Поэтому, по всей видимости, даже несмотря на весьма вероятное появление более эффективных алгоритмов мышления, вместо экспоненциального «интеллектуального взрыва» мы имеем все шансы получить асимптотически приближающуюся к некоторому пределу кривую.
Исходя из вышеизложенных ограничений, мы имеем серьёзные основания полагать, что возникновение сверхразума невозможно. При этом наверняка уровень человеческого интеллекта будет превзойдён — то есть созданная система будет способна более быстро и эффективно решать задачи, подвластные человеческому мышлению. Насколько это опасно? Представьте себе, что вы внезапно начали думать в сто раз быстрее остальных людей. Это позволит вам быстрее выполнять вашу работу, быстрее выучивать что-то новое, но не позволит вам подчинять других людей своей воле и захватить власть над миром.
Следующим недостатком рассуждений об опасностях, связанных с созданием сверхразума, является классическая ошибка в области риск-менеджмента — отсутствие анализа альтернативных сценариев и ассоциированных с ними опасностей. Алармисты рассматривают риски, связанные с потенциальным разрушительным воздействием ИИ, но при этом игнорируют риски, связанные с попыткой ограничить или даже остановить прогресс в этой области. Если ваш путь пролегает через реку, а мост через неё может с вероятностью один на сто миллиардов не выдержать вас, то значит ли это, что следует преодолевать реку вплавь?
Победа неолуддитов, результатом которой может стать существенное ограничение исследований в области ИИ, а также применения соответствующих технологий, потенциально может нанести куда более значительный вред, чем возможные негативные последствия применения самих технологий. Системы ИИ могут быть успешным инструментом для борьбы с существующими или новыми технологическими рисками (например, на транспорте, в опасных производствах), эффективно применяться в медицине, в деле охраны общественного порядка, в сфере воспитания и образования людей. Вообще они способны поднять качество принимаемых решений во множестве сфер человеческой деятельности, в том числе таких решений, которые связаны с огромными рисками. Тем самым технологии ИИ способны спасти множество человеческих жизней и улучшить уровень всеобщего счастья.
Как оценить эффект от запрета развития таких технологий?
Если рассуждать о технологических рисках, то можно заметить, что технологическое могущество человечества возрастает чрезвычайно быстрыми темпами, что приводит к эффекту, который я называю «удешевлением апокалипсиса». 150 лет назад при всём желании человечество не могло нанести ни биосфере, ни себе как виду невосполнимого урона. Для реализации катастрофического сценария 50 лет назад необходимо было бы сконцентрировать всю технологическую мощь ведущих мировых держав. Завтра для воплощения в жизнь глобальной техногенной катастрофы может хватить и небольшой горстки фанатиков. Наша технологическая мощь растёт куда быстрее, чем наша способность эту мощь контролировать. Продвинутая химия, технологии ядерного распада и синтеза, передовые биотехнологии и так далее — человечество развивает все эти направления с огромной скоростью, создавая всё больше и больше возможностей в манипуляции силами природы. При этом способность разумно распорядиться этим могуществом растёт не такими впечатляющими темпами — биологическая эволюция не может быстро сделать нас умнее (если вообще ведёт к нашему поумнению).
Именно об этой проблеме говорил в ходе своей последней пресс-конференции Станислав Лем: «У каждой технологии есть свой аверс и свой реверс: иными словами, её можно использовать совершенно по-разному. Риск, сопутствующий внедрению новых технологий, действительно, очень серьёзен и, вероятно, неизбежен. Однако я бы сказал, что куда большие угрозы дремлют в нас самих: человек имеет болезненную склонность к использованию технологических достижений против самого себя. Не случайно, что множество открытий было совершено для нужд гонки вооружений. Когда-то я сравнил современного человека с хищной обезьяной, которой вложили в руку бритву. Это сравнение нисколько не утратило своей актуальности, разве что обезьяна сделалась ещё более алчной» [3126].
Развитие технологий ИИ является в некотором роде ответом на медлительность нашей эволюции. Подобно тому, как одежда или, скажем, ножи являются «усовершенствованиями» наших тел, от рождения лишённых тёплого меха или острых когтей, системы ИИ раздвигают границы нашего разума. Текстовый редактор, поисковая система, смартфон, базы знаний и, наконец, продвинутые нейросетевые модели — это всё продолжение нас, нашего интеллекта, нашей культуры, это компоненты синтетического человеко-машинного интеллекта. Запрет технологий ИИ, таким образом, является в своём роде самокастрацией или, если угодно, лоботомией нашего вида, способом существования которого давно стало расширение своих возможностей за счёт создания технологических улучшений своей несовершенной природы.
Любопытно, что за изобретение и популяризацию лоботомии в своё время была присуждена Нобелевская премия. По дорогам США разъезжали лоботомобили, в которых вас могли путём нехитрой манипуляции раз и навсегда избавить от кучи проблем [3127]. Аналогично сторонники запрета ИИ в действительности призывают человечество сделать крайне опасный шаг, куда более опасный, чем многие переоценённые и разрекламированные ИИ-риски, о которых они пишут (нередко отвлекая внимание от реально существующих рисков алгоритмического общества [3128], которыми нужно учиться разумно управлять — что, конечно, куда сложнее и куда как менее эффектно, чем радикальные запретительные меры).
Люди, вооружённые продвинутыми системами аналитики и моделирования, средствами эффективной коммуникации, интеллектуальными средствами обучения и психологической поддержки, платформами для коллективного принятия решений, смогут действовать куда более разумно, чем люди, лишённые всего этого, имеющие в своём багаже лишь иррациональное поведение, связанное с неуправляемой агрессией, когнитивными искажениями, предрассудками, заблуждениями, ограниченностью и так далее. Возможно, нашим спасением от проклятия техноапокалипсиса станет именно технологически улучшенный человеческий интеллект, объединённый с машинами в единую систему, — своего рода «аугментированная прямая демократия». Если же такой новый социотехнологический уклад не возникнет, то нас может ждать глобальная катастрофа. Таким образом, попытки ограничить или запретить развитие технологий ИИ могут создать значительно большие риски, чем появление опасного для человечества сверхразума.
Кроме того, можно заметить, что многие апокалиптические сценарии с участием сверхразумного ИИ в действительности включают систему ИИ лишь в качестве своеобразной вишенки на торте. Ведь машина Бострома для максимизации числа скрепок сможет перемолоть всё человечество лишь в случае наличия разрушительной технологии переделки всего и всех в скрепки, причём эта технология должна быть столь могущественна, что ей не являются помехой никакие контрмеры человечества (некоторые интерпретации этого сценария предполагают, что машина добивается своего, манипулируя людьми, но для такой манипуляции определённо нужен сверхразум, многократно превосходящий человеческий, возможность создания которого мы уже обсудили). Машине, обладающей таким всесокрушающим оружием, вовсе не нужен оператор в виде сверхразума или ИИ-системы человеческого уровня. Устроить катастрофу, обладая такой технологией, могут и сами люди — сознательно или по недомыслию.
Если взять популярный апокалиптический сценарий с системой ИИ, нажимающей на красную ядерную кнопку, то он основан на наличии смертоносного ядерного оружия, созданного десятилетия назад без всякого участия ИИ. Данный сценарий останется вполне валидным, если ядерную кнопку нажимает не система ИИ, а человек или даже обезьяна. Но если кто-то предложит запретить обезьян то вряд ли мы сочтём это предложение адекватным.
