Есть ещё одно из направлений деятельности Маска, которое в некоторой степени связано с проблемой ИИ-рисков. Речь идёт о компании Neuralink, делящей с OpenAI здание Pioneer Building в Сан-Франциско. Эта компания специализируется на исследованиях в области интерфейсов «машина — мозг» (Brain Computer Interfaces, BCI), что по замыслу позволит людям тесно интегрироваться с будущими системами ИИ [3121]. Можно сказать, что они стремятся сделать человечество частью будущего сверхразума, чтобы оно смогло избежать роли тупиковой ветви эволюции.
Идеи, подобные идеям Маска, высказывают и другие известные предприниматели из сферы информационных технологий. Например, основатель компании Microsoft Билл Гейтс формулирует свои взгляды следующим образом: «Я принадлежу к лагерю тех, кто озабочен возникновением сверхинтеллекта. Сначала машины будут делать для нас много полезной работы и не будут обладать сверхинтеллектом. Это будет позитивным явлением, если мы нормально управляем процессом. Однако через несколько десятилетий ИИ станет достаточно сильным, чтобы вызвать беспокойство. Я согласен с Илоном Маском и другими на этот счёт и не понимаю, почему некоторые люди не чувствуют такого же беспокойства» [3122]. При этом Билл Гейтс поясняет, что не пытается притормозить научно-технический прогресс, а всего лишь хочет привлечь внимание к двум потенциальным проблемам: 1) ИИ начинает выполнять работу, к которой привыкли люди; 2) универсальный ИИ может эволюционировать в состояние, «конфликтующее с целями человеческих систем» [3123].
В целом, анализируя мнения учёных и бизнесменов относительно ИИ-рисков, заметно, что в действительности между взглядами, скажем, Бострома и Цукерберга, Маска и Ына мы не находим никакой зияющей пропасти. Даже Бостром, заслуживший себе репутацию алармиста, весьма далёк от идей Батлера. Набор мер, предлагаемый Бостромом, вовсе не предполагает «возврата в пещеры» и даже запрета развития ИИ.
Если рассматривать позицию представителей противоположного лагеря, взяв в качестве примера, скажем, Марка Цукерберга, то его взгляды на деле далеки от шапкозакидательского оптимизма. Даже в неформальных рассуждениях на тему ИИ-рисков за приготовлением говяжьих рёбрышек видно, что он вовсе не отрицает наличия этих рисков и необходимости принимать их в расчёт [3124]. На поверку вопрос об ИИ-рисках становится вопросом меры: как мы оцениваем те или иные риски? Когда и в какой мере следует уделять им внимание? Какие из них переоценены, а какие недооценены в глазах общественности?
Анализируя опасения, высказываемые в отношении развития ИИ, можно выделить несколько групп рисков, безусловно заслуживающих более подробного рассмотрения. Давайте попробуем приглядеться к этим группам поближе, чтобы лучше понять все pro et contra в отношении их серьёзности.
7.2 Сверхразум: реальные и мнимые опасности
— Ну? Тем более!
— Сверхразум — это сверхдобро, — сказал Тойво.
— Ну? Тем более!
— Нет, — сказал Тойво. — Никаких «тем более». Что такое добро мы знаем, да и то не очень твёрдо. А вот что такое сверхдобро…
Ася снова ударила себя кулачками по коленкам.
— Не понимаю! Уму непостижимо! Откуда у вас эта презумпция угрозы? Объясни, втолкуй!
— Вы все совершенно неправильно понимаете нашу установку, — сказал Тойво, уже злясь. — Никто не считает, будто Странники стремятся причинить землянам зло. Это действительно чрезвычайно маловероятно. Другого мы боимся, другого! Мы боимся, что они начнут творить здесь добро, как они его понимают!
Аркадий и Борис Стругацкие. Волны гасят ветер
Наверное, самый популярный катастрофический сценарий, предполагающий участие ИИ, — это появление опасного для человечества сверхразума (сверхинтеллекта). Его опасность для людей может заключаться в том, что интересы этого разума могут плохо соотноситься с интересами человечества, что обычно называют «проблемой выравнивания» [alignment problem]. Такое трагическое расхождение с ценностями человечества гипотетически может возникнуть как в результате ошибок при программировании системы, так и в процессе саморазвития (самообучения) сверхразума. Причём это может оказаться проблемой в духе Стругацких: беда будет не в том, что машина захочет причинить людям зло, напротив, она может стремиться сделать людям добро, но так, как она его понимает, и далеко не факт, что это представление машины о добре понравится людям.
История с нежелательными для нас действиями сверхразума хороша практически всем: здесь есть конфликт, историю несложно насытить различными драматическими деталями, на её основе можно построить как боевик (с несколькими сиквелами; пример — тот же «Терминатор»), так и психологический триллер.
Однако у неё есть и серьёзные недостатки.
Начнём с того, что для воплощения этого сценария необходимо появление сверхразума. Казалось бы, мы уже знаем, какой гипотетический процесс может привести к возникновению такой системы — это уже упомянутый нами «интеллектуальный взрыв», то есть некоторая самообучающаяся система в процессе обучения совершенствует саму себя, тем самым увеличивает эффективность этого самообучения, а далее возникновение петли с положительной обратной связью неизбежно приводит к появлению сверхинтеллекта, возможно превосходящего людей даже сильнее, чем люди превосходят муравьёв.
Однако не исключено, что наша Вселенная содержит ряд фундаментальных физических ограничений, которые могут сделать создание сверхинтеллекта невозможным. Мы уже упоминали физические лимиты, не позволяющие бесконечно наращивать скорость вычислений, — это лимиты Бремерманна и Ландауэра. Казалось бы, наши вычислительные устройства всё ещё далеки от этих пределов. Далёк от них и человеческий мозг. Однако важная особенность заключается в том, что многие интеллектуальные задачи относятся к классу сложности EXPTIME-complete, то есть время, необходимое для их решения, является экспоненциальной функцией от размерности задачи. Ввиду этого ускорение системы в несколько раз даёт лишь фиксированный, а не кратный прирост «интеллекта» (измеренного по некой условной шкале).
При этом, скорее всего, даже такой результат будет достигнут лишь в лучшем случае. Как показала практика разработки игр (а игры — это упрощённые модели реальности), часто наблюдается явление, получившее название «закон уменьшающейся полезности» [law of diminishing returns]: по мере продвижения к цели одинаковый прирост усилий даёт всё меньшую отдачу. Например, шахматная программа с фиксированной глубиной перебора вариантов получает куда больший прирост в силе игры при увеличении глубины перебора с одного до двух полуходов, чем при увеличении глубины перебора, скажем, с 10 до 11 полуходов [3125]. Таким образом, постоянное ускорение системы в несколько раз может даже и не обеспечивать постоянного «константного поумнения».
Конечно, за скобками наших рассуждений остаётся вопрос об эффективности применяемого алгоритма. Можно ли создать алгоритм для универсального ИИ, существенно превосходящий алгоритм мышления человека? К сожалению, у нас пока нет ответа на этот вопрос, поскольку нет иных примеров универсального интеллекта, кроме интеллекта человека. Мышление человека есть результат эволюции, способствующей приспособлению человеческих особей к среде их обитания. Это приспособление к среде обычно связано с решением определённого спектра задач. Причём многие из них, решавшиеся нашими предками на протяжении тысячелетий и оказавшие значимое влияние на то, как мы в принципе думаем, были бесконечно далеки от тех, что человечество ставит перед собой и системами ИИ сегодня. Вероятно, исследователи будущего смогут создать системы, более приспособленные для решения актуального круга задач по сравнению с человеческим мозгом, и тогда можно будет сказать, что в этом случае человеческий мозг обладает рядом существенных изъянов. Тут можно вспомнить фразу Гельмгольца: «Я счёл бы себя вправе самым резким образом выразиться о небрежности работы оптика и возвратить ему прибор с протестом, если бы он вздумал продать мне инструмент, обладающий такими недостатками, как человеческий глаз». Но несмотря на это, важно понимать, что человеческий мозг является продуктом длительного и масштабного оптимизационного процесса, в ходе которого он сталкивался с довольно разнообразными вызовами, что позволяет предположить его близость к оптимуму при решении весьма сложных и разнообразных задач.
