Конечно, развитие технологий ИИ является лишь необходимым, а не достаточным условием выживания нашего вида в условиях постоянно растущих техногенных рисков. В какой-то мере наша ситуация похожа на положение, в котором находится человек, быстро идущий по канату над пропастью. Запрет технологий ИИ подобен идее резко остановиться или идее полностью отказаться от наклонов в одну из сторон. Даже если нам хватит ума не предпринимать такие заведомо самоубийственные действия, это вовсе не гарантирует нам того, что наше путешествие завершится благополучно. На этой дороге нас поджидает множество опасностей, которые придётся преодолеть, например: риски, связанные с чрезмерной концентрацией технологической и интеллектуальной мощи в руках немногочисленных национальных и экономических элит (как это показано во множестве дистопий киберпанка), различные диспропорции и недостаточная открытость обществу в развитии технологий, неразумные и безответственные попытки их регулирования (подобно тому, как в техно-опере Виктора Аргонова «2032: легенда о несбывшемся грядущем» попытка идеологической индоктринации АСГУ — Автоматической системы государственного управления — приводит к ошибкам в её решениях и к разрушительной для человечества войне [3129]) и так далее.
Система ИИ как элемент технологической катастрофы — это скорее дань моде: истории с участием ИИ продаются лучше, точно так же, как детективы с Шерлоком Холмсом или Натом Пинкертоном в годы популярности этих великих сыщиков продавались лучше обычных детективов.
Разумеется, все эти соображения не означают, что следует беспечно относиться к проблеме технологических рисков (включая и специфические ИИ-риски). Любая достаточно мощная технология требует известной осторожности в обращении — это относится и к энергии пара, и к атомной энергии, и к электричеству, и к «новому электричеству». Малая вероятность глобальной катастрофы не означает, что невозможны катастрофы локальные. Сколько людей погибло и погибает до сих пор из-за неудачного использования машин? Люди гибнут на производстве, в автоавариях, из-за неосторожного обращения с теми или иными инструментами. История знает много примеров техногенных аварий и катастроф. Хотя смерти людей из-за дефектов в программном обеспечении пока что экзотика, игнорировать их нельзя. Из-за халатности разработчиков программного обеспечения машины, убивающие людей вопреки воле своих создателей, уже были опробованы в деле. Одним из наиболее ярких примеров таких машин стал Therac-25 — аппарат лучевой терапии, созданный в 1982 г. канадской государственной корпорацией Atomic Energy of Canada Limited. С июня 1985 г. по январь 1987 г. этот аппарат стал причиной как минимум шести случаев многократного превышения дозы излучения, полученной пациентами в ходе терапии, при этом некоторые из них получили дозы в десятки тысяч рад. Как минимум два человека умерли от непосредственного воздействия радиации. Причиной трагедии стали ошибки в программном обеспечении аппарата [3130], [3131].
Также можно вспомнить авиакатастрофы с самолётами Boeing 737 серии MAX 8: причиной стала ошибочная работа программного обеспечения самолёта MCAS (Maneuvering Characteristics Augmentation System, система повышения маневренных характеристик). Как показало расследование, компания Boeing скрывала сам факт существования данной системы, чтобы избежать расходов по сертификации модели MAX 8 как нового самолёта. В результате в случае неверных показаний датчика угла атаки система MCAS предпринимала неверные и неожиданные для пилотов действия по опусканию носа самолёта и препятствовала попыткам экипажа исправить ситуацию [3132]. Следствием этого стали две авиакатастрофы в 2018 и 2019 гг., унесшие жизни 346 человек.
В целом количество смертей в результате техногенных аварий и катастроф многократно уступает числу жертв войн. Злонамеренный человеческий разум причиняет людям куда больше горя и страданий, чем ошибки проектирования техники. Это наводит на мысль, что создаваемые людьми системы ИИ будут представлять опасность скорее не в результате чьих-то ошибок, а в результате намеренного придания таким системам функций оружия. Боевые системы на базе ИИ необязательно должны быть особенно умны, чтобы представлять серьёзную опасность. Им вполне достаточно сочетания интеллекта примитивного организма с нечеловеческой скоростью реакции и разрушительной силой современного оружия. Именно поэтому, несмотря на то что универсальный искусственный интеллект ещё не создан, существующие наработки в области машинного обучения уже сегодня обладают значительным потенциалом применения в качестве компонентов оружия. Впрочем, если разобраться в этой проблеме чуть глубже, то окажется, что первые образцы оружия, способного убивать без решения человека, так называемого летального автономного оружия (Lethal autonomous weapons, LAWs), появились не позже XVII в. Речь идёт о наземных и водных минах. Примитивный механизм мины «уполномочен» принимать решения об убийстве людей. Развитие технологий привело к появлению в XX в. различных самонаводящихся машин убийства — торпед и ракет, а затем и первых боевых роботов. К сожалению, несмотря на протесты общественности, разработка новых, всё более «умных» видов вооружения продолжается семимильными шагами во всех ведущих технологических державах. Многие учёные, работающие в области ИИ, выступают за запрет автономного летального оружия. В июле 2015 г. более тысячи экспертов в области ИИ подписали письмо, предупреждающее об угрозе гонки вооружений, основанных на технологиях ИИ, и призывающее к запрету автономного оружия. Письмо было представлено на XXIV Международной совместной конференции по искусственному интеллекту (International Joint Conferences on Artificial Intelligence, IJCAI-15) в Буэнос-Айресе. В числе его подписантов были Стюарт Рассел, Питер Норвиг, Ян Лекун, Йошуа Бенджио, Нильс Нильссон, Демис Хассабис и многие другие. Свою подпись под письмом поставили и учёные, работающие в других областях, такие как Стивен Хокинг, Макс Тегмарк, знаменитый американский лингвист и философ Ноам Хомский, а также ряд предпринимателей из мира информационных технологий — Илон Маск, Стив Возняк, соучредитель Skype Яан Таллинн и так далее [3133].
Хотя большинство стран — членов ООН выступает за запрет летального автономного оружия, меньшинство блокирует это решение. Всё дело в том, что в составе этого меньшинства США, Россия, Великобритания, Австралия и Израиль [3134].
При этом было бы наивно полагать, что другие страны в таких условиях откажутся от применения технологий ИИ при разработке систем вооружений. Например, масштабы их применения Китаем позволяет оценить вышедший в 2021 г. доклад, подготовленный специалистами Центра безопасности и перспективных технологий (Center for Security and Emerging Technology, CSET), под названием «Обузданная молния. Как китайские военные внедряют искусственный интеллект» (Harnessed Lightning. How the Chinese Military is Adopting Artificial Intelligence). В основу исследования положен анализ около 350 контрактов на связанное с ИИ оборудование, заключенных в 2020 г. Народно-освободительной армией Китая с государственными оборонными предприятиями [3135].
В марте 2022 г. печально известный журнал Nature Machine Intelligence опубликовал статью «Двойное использование основанных на ИИ методов поиска лекарственных препаратов» (Dual use of artificial-intelligence-powered drug discovery) [3136], в которой было показано, что генеративные модели могут вполне успешно использоваться для разработки новых видов химического оружия. К сожалению, многие технологии, создаваемые в области ИИ, могут применяться не только в мирных целях.
