Страница 8 из 19
В 2017 г. антитеррористические подразделения Израиля успешно провели испытания дрона, который атаковал в многотысячной толпе строго определенных лиц. В качестве эксперимента одежда этих лиц была обрызгана определенной краской. Однако никто не мешает вместо краски использовать отравляющее вещество, либо просто пулю. Мы имеем дело с объединением дрона с ИИ, способным в потоковом видео опознать лицо среди тысяч субъектов.
В подавляющем большинстве докладов по теме ИИ львиная доля внимания, связанного с угрозами, приходится на риски попадания ИИ в детские руки, либо в руки террористов и т. п. Что касается детей и подростков, то разрушительный эффект их деятельности подчас оказывается сопоставимым с ударами со стороны экстремистских радикалов, вооруженных гаджетами. В 2017 году в Польше на протяжении двух дней было парализовано все городское движение просто потому, что одному 13-летнему «таланту» захотелось проверить свои расчеты относительно того, можно или нет проложить трамвайную линию не внутри города, а между городами. Эта шалость обошлась Польше почти в 30 млн. злотых и почти 10 человек, пострадавших в авариях, были доставлены в больницы.
На сегодняшний день накоплено достаточно материала, чтобы изложить классификацию вредоносного использования элементов ИИ по недосмотру, ошибке и т. п., приводящих к негативным последствиям.
В максимально грубом приближении можно выделить три типа угроз, связанных с использованием ИИ добропорядочными акторами.
Первая группа объединяет ИИ с подавляющим большинством других сложных машин, созданных человеком. Речь идет о банальных отказах. К сожалению, совершенно не осознанным остался тот факт, что интернет всего, по сути, означает ИИ всего. Любые компании – производители продукции, в которую встроены миникомпьютерные элементы – от чайника до кроссовок – наиболее эффективно выполняют свои обязанности. Если могут участвовать в коллективном машинном обучении. Однако это возможно лишь в том случае, если все эти устройства задействованы на центральный процессор, который анализирует недостатки, конфликты, инциденты, делает из этого выводы, и вносит изменения в программы вещей, связанных с интернетом. Теперь предположим, что в силу программного сбоя обучение произошло неправильно, и вместо того, чтобы снизить вероятность неблагоприятных последствий, все устройства сети научились, как попадать в ситуацию, в которую попал виновник происшествия. Такие случаи в реальности уже случались. Компьютер не обладает самосознанием и поэтому он обучает всех тому, что предусмотрено в его программе.
Вторая группа угроз сопряжена с особенностями программного обеспечения ИИ. На сегодняшний день и, видимо, в период ближайших пяти лет, алгоритмическим ядром ИИ будут выступать нейронные сети вкупе с машинным обучением. Как уже отмечалось, по сути, нейронные сети – это программная поисковая среда, которая постоянно меняется за счет перенормирования удельных весов, определенных программой, в зависимости от фактически полученных результатов.
Если в 2015–2017 гг. ИИ использовал простые нейронные сети, соответственно, и разработчики и аналитики хорошо понимали значение перенормировок на каждой итерации расчетов, то нынешние глубокие сети оказываются для человека черным ящиком. Фактически возникает ситуация, когда машины делают выводы, которые в подавляющем большинстве являются точными, но как и почему они делаются, люди не понимают. Фактически ИИ превращается в черный ящик, относительно которого известны только вход и выход.
В научных и политических дискуссиях, которые ведутся вокруг модели «ИИ как черный ящик», прежде всего, в США, а также Великобритании и Израиле, на первый план выступает стремление сделать этот черный ящик прозрачным и понятным для аналитиков. Однако если посмотреть статистику фактических инцидентов с ИИ, то заботиться надо не о вскрытии черного ящика, а о явном задании времени оптимизации.
Многие исследователи опасаются, что компьютер при решении той или иной задачи построит программу, в которой оптимизироваться должно то, что оптимизируемым с точки зрения человеческого общества ни в коем случае быть не может. Грубо говоря, существует перезагруженный авиационный маршрут. Число желающих осуществить перелет намного превышает возможности авиакомпании. Компьютер, рассмотрев различные способы решения этой проблемы, пришел к выводу, что лучшим вариантом будет серьезная авария без смертельных случаев, но с большим числом раненых самолета данной авиакомпании на данном маршруте. Модель показала падение числа желающих до нормативного уровня. У математиков эта ситуация известна как отсутствие запрета на скрытую оптимизацию.
Данный пример показывает не только появление принципиально новых угроз, но и принципиальное различие в подготовке, анализе и принятии решения у человека и компьютера. Человек отказался бы от подобной оптимизации на самой ранней стадии разработки темы. А компьютер выбрал ее как основную.
Еще одна группа угроз связана, как это ни парадоксально, с притуплением внимания и снижением ответственности лиц, принимающих решения, чьим советником является ИИ. В отличие от триллеров и фантастических блокбастеров, лица, принимающие решения, это, в подавляющем большинстве, обычные по интеллектуальным способностям средние люди. Они находятся под прессингом воздействия социальных СМИ, телевидения, интернета, которые изо дня в день вот уже на протяжении двух-трех лет рассказывают о всемогуществе ИИ. Соответственно, даже в тех случаях, когда окончательные решения остаются за человеком, а ИИ дают лишь рекомендации, то, как показали эксперименты в университетах Йокогамы (Япония) и Ванкувера (Канада), лица, принимающие решения на уровне полицейских управлений городов, более чем в 98 % случаев солидаризировались с рекомендациями ИИ и принимали те решения, которые де-факто выработал ИИ.
В одном случае опыт проводился для 70 ситуаций, в которых принимали участие три полицейских начальника, а в другом – для 300 ситуаций, где работало пять начальников. Самым удивительным итогом эксперимента стало следующее. ИИ дали неправильные ответы по оценке ситуации для Японии примерно в 20 % случаев, для Канады – в 17 %. Начальники же в тех примерно 10 % случаев, где приняли решение вопреки ИИ, правы оказались лишь в Канаде в 5 %, а в Японии – ни в одном. Данные выкладки показывают, что тема гибридного или человеко-машинного интеллекта чрезвычайно сложна. В конечном счете, мы пытаемся соединить то, в чем мы вообще ничего не понимаем, – человеческое сознание, с тем, что является техникой в первом поколении ИИ, и надеемся на базе этого соединения успешно решать все проблемы.
Рассмотрим основные сценарии злонамеренного использования ИИ
Ключевой угрозой является автоматизация социальной инженерии. С помощью ИИ на человека, являющегося целью социальных инженеров, собирается досье. При этом особое внимание обращается на его непроизвольные автоматические реакции, которые и будут использоваться социальными инженерами при фишинговых атаках, использовании телефонии и т. п. По мере развития ИИ в целях обеспечения анонимности возможно использование социальными инженерами чат-ботов, которые будут вести разговоры с жертвами. Наряду с автоматизацией социальной инженерии следует ожидать использования ИИ для улучшения выбора целей и определения приоритетов в злонамеренных атаках. Автономное программное обеспечение, внедренное в атакуемую сеть, будет в течение долгого времени обеспечивать ИИ необходимой информацией.
Следует ожидать, что уже к 2020 году практически на всех континентах будут широко использоваться беспилотные летательные аппараты, управлявмые ИИ. Наряду с бизнесовым и личным использованием дронов, следует ожидать их массовой закупки преступниками и террористами, например, для транспортировки наркотиков и доставки взрывчатых веществ.
Недооцененным, но чрезвычайно важным обстоятельством является использование элементов ИИ как способа компенсации низкой квалификации людей. Например, активное применение наводящихся с использованием ИИ снайперских винтовок дальнего действия, с джойстиками для управления, заметно снижает требования к профессиональной подготовке боевиков. Вооруженный подобной винтовкой малообразованный и не имеющий боевого опыта человек по эффективности действий может соответствовать бывалому бойцу спецназа.