От чайника до киборга. Отец и дочь пьют чай на кухне и разговаривают про искусственный интеллект и безопасность

От чайника до киборга. Отец и дочь пьют чай на кухне и разговаривают про искусственный интеллект и безопасность

Не будем скрывать, BIS Journal нещадно эксплуатирует родственные связи своих сотрудников. И в первую очередь связи Валерии Мещеряковой – студентки факультета журналистики МГУ, заведующей на страницах журнала молодыми безопасниками.

Точнее, тем коротким, но страшно ответственным отрезком жизни, на котором многочисленные студенты факультетов ИБ всего мира превращаются в немногочисленных специалистов сферы ИБ. Надеемся, её цикл интервью и репортажей из России и Франции, посвящённых перипетиям юных в поисках работы в ИБ, себя в ИБ и ИБ в себе, привлёк внимание наших читателей. Так вот, периодически редакция даёт своему молодому корреспонденту задание упорядочить и обобщить собственные впечатления в беседе с Романом Мещеряковым – своим папой, а по совместительству главным научным сотрудником Лаборатории 80 киберфизических систем ИПУ РАН, доктором наук, профессором и проч. и проч. В последний раз получилось весьма познавательно [1].

На этот раз дочь расспрашивает отца об искусственном интеллекте.

- Мы живём в интересное время – иногда кажется, что вещи умнее нас с тобой. Звонишь в банк – отвечает голосовой помощник, который знает наши проблемы лучше нас самих, а умный дом – вообще райское место: интеллект есть даже у стиральной машины, даже у чайника, из которого мы с тобой сейчас пьём…

- Да, желание встроить технологии во всё, что возможно, превышает мыслимые пределы – развитие идёт по областям Industry 4.0., IoT (IoE), Big Data и т. п. И да, любые продукты и услуги, использующие вычисления, обработку данных, сегодня пытаются отнести к системам с искусственным интеллектом.

- Но так ли всё радужно, как нам говорят?

- Хорошо, давай обсудим и помечтаем, и прости, если буду использовать специфические термины.

- Итак, что такое искусственный интеллект?

- Существует огромное количество определений искусственного интеллекта. Из всех этих определений следует, что основные области применения технологий искусственного интеллекта – это системы обработки информации для задач, которые человек решает просто, но они слабо поддаются формализации либо относятся к NP-полным задачам. Тут следует привести английский термин –  Artificial intelligence, переводимый на русский язык как искусственный интеллект. Однако его семантическое поле определяется гораздо шире: Intelligence – Artificial intelligence – Intellect. Следовательно, надо воспринимать этот перевод не как один термин, а как некоторое облако понятий и смыслов. Также не будем отвлекаться на понятия слабого (для решения узких задач) и сильного (общего назначения) искусственного интеллекта.

Попытка заменить естественный интеллект искусственным давно занимает человечество. Издревле люди хотели, чтобы машины мыслили. И тут существуют два подхода. Один – механистический, включающий в себя попытки физического моделирования нервной системы или её элементов, опыты на насекомых, млекопитающих и всяческое биологическое моделирование. Другой – вычислительное моделирование, то есть создание вычислительных структур и процессов, которые информационно моделируют процессы размышления.

Не будем углубляться в детали технологий искусственного интеллекта, но нужно понимать, что сегодня существует огромное множество методов, которые в этом направлении используются, и они не ограничиваются искусственными нейронными сетями, которыми, кстати, много где занимаются, причём с разной степенью успешности и разными объёмами финансирования.

- А как же информационная безопасность?

- Выполнение требований информационной безопасности ориентировано на обеспечение защиты свойств информации: конфиденциальности, целостности и доступности. Сформулируем попроще: нужно, чтобы информация не выходила за пределы определённого круга лиц и систем, была неизменна и к ней был доступ в течение разумного количества времени. Конечно же, свойств у информации, которой требуется защита, гораздо больше (например, часто важно авторство), но не будем останавливаться на этом.

Первое, что делается для защиты информации в различных системах, – это категоризация информации и проведение аудита. Современные системы и средства защиты активно разрабатываются для противодействия новым видам атак и нарушителей. Вместе с тем системы обработки информации становятся более сложными, а при увеличении сложности возрастает и количество уязвимостей.

- И какие перспективы у искусственного интеллекта в сфере защиты информации?

- С одной стороны, технологии искусственного интеллекта можно использовать на стороне атаки, с другой – для защиты информации. Варианты использования технологий искусственного интеллекта для атак опустим как неэтичные, но будем помнить, что враг преследует свои цели и не всегда поступает морально. Примером такого рода атак являются дипфейки, в которых реальное видео и голос заменяются чужими.

Для обеспечения защиты информации распространены технологии искусственного интеллекта, которые проводят анализ данных на предмет выявления вредоносного содержимого (в статике) или проведения несанкционированных действий (в динамике). Для этого как создаются математические модели и алгоритмы, так и разрабатывается специализированное аппаратное обеспечение, ориентированное на использование алгоритмов.

- А можно ли верить результатам работы систем с искусственным интеллектом?

- В сферах, где обрабатывается и используется информация, которая незначительно влияет на окружающий мир, требований к правилам функционирования нет. Однако в финансовых и оборонных системах, в здравоохранении ошибки могут привести к значительным последствиям. Следовательно, надо каким-то образом оценивать их работу и требовать доверия к системе.

В классических подходах, как правило, изначально имеется модель, в которой заложена доказательная составляющая, что формирует так называемую доказуемую стойкость шифра – давай вспомним правило Кирхгофа.

В настоящее время имеются такие основные подходы.

- Тест Тьюринга, в котором человек взаимодействует с одним компьютером и одним человеком и на основании ответов на вопросы определяет, с кем он разговаривает. В этом случае тест показывает, насколько компьютер с ИИ может имитировать размышления человека.

- Система интерпретации поведения и размышления ИИ. Внешняя (по отношению к системе с искусственным интеллектом) система проводит оценку выполнения «рассуждений» ИИ, и в зависимости от степени интерпретируемости система с ИИ признаётся заслуживающей доверия или нет.

- Проверка решений на верифицированных базах данных. Например, можно провести проверку системы оценки степени поражения по медицинским изображениям на верифицированных данных.

Собственно, отсутствие достоверности (гарантий) работы систем с ИИ сильно сдерживает их внедрение в системы безопасности и другие автономные системы.

- А можно ли как-то воздействовать на системы с искусственным интеллектом?

- Системы с искусственным интеллектом обладают некоторыми специфическими уязвимостями. Как правило, для систем с ИИ готовится обучающая выборка. Гарантий, что выборка полна и в ней присутствуют все возможные комбинации для классификации событий, вряд ли кто-то даст.

Что может случиться или пойти не так? Большую проблему несёт в себе появление в обучающей выборке специально подготовленных данных с аномалиями, которые не могут быть распознаны на этапе обучения. С другой стороны, мир меняется, и с течением времени требуется дообучать систему под новые реалии, и система начинает заметно отличаться от своего исходного состояния.

Следующая проблема – это собственно атаки на систему. Один из самых известных примеров атак – это когда на рисунок с купюрой низкого номинала накладывается шум, и она распознаётся как купюра с высоким номиналом (ну, прям как классический пример панды с гиббоном). И примеров таких много.

Сейчас злоумышленнику не нужно подделывать голос – проще сразу атаковать биометрическую систему речеподобным сигналом.

Важно, что в системах с искусственным интеллектом мы получаем системную закладку, и когда она сработает, мы не знаем. Получается, что формально вся входная информация проверяется и проходит детекторы, однако при сборке в системе появляется закладка.

- Значит, слухи о возможностях искусственного интеллекта сильно преувеличены. И всё же, какие у него перспективы?

- Несмотря на недостатки систем с искусственным интеллектом, технологии развиваются, и их необходимо использовать. А новые вычислительные архитектуры, микропроцессоры, телекоммуникационные каналы связи, источники энергии на новых материалах (включая квантовые и оптические системы) позволят существенно повысить эффективность работы существующих технологий с искусственным интеллектом.

Вместе с тем мы живём, и мир вокруг значительно меняется. Так, всё больший упор делается на инвазивные интерфейсы систем взаимодействия человека с компьютером, и вполне возможно, что человек уже свернул в сторону киборгизации – для расширения своих возможностей и повышения эффективности. В общем, жизнь будет более сложной и менее контролируемой, а работа специалиста по информационной безопасности — более интересной.

[1] «В России нет понимания профессии безопасника. Отец и дочь беседуют о проблемах образования в сфере ИБ», BIS Journal №1(32)/2019