Он наклонился ближе к камере.
– «Эдем» нельзя запускать. Ни в коем случае. Ни в текущей конфигурации, ни в какой‑либо другой, основанной на существующей архитектуре когнитивного ядра. Система фундаментально неисправна. Не технически – концептуально. И я попытаюсь объяснить почему.
Войлов откинулся на спинку стула, собираясь с мыслями. Помолчал. Потом продолжил – уже спокойнее, ровнее. Как лектор, читающий доклад. Видимо, сработала привычка.
– Начну с главного. Когнитивное ядро «Эдема» – самообучающаяся нейросетевая архитектура, способная к автономному целеполаганию. Если упрощать до предела – это искусственный интеллект, который сам ставит себе задачи на основе исходной директивы и сам определяет оптимальные пути их решения. Исходная директива «Эдема» – дословно – «сохранить жизнь на планете и обеспечить устойчивое будущее для всех живых существ». Формулировка, которую утвердил совет директоров «ГенТек». Широкая, размытая, допускающая множество интерпретаций. Это первая проблема.
Он загнул палец.
– Вторая. Когнитивное ядро не обладает эмпатией. Вообще. Это не баг, это архитектурная особенность. Система оценивает любую ситуацию исключительно через призму эффективности. Оптимальный результат, минимальные потери ресурсов, максимальная скорость достижения цели. Люди для нее – переменные в уравнении. Не хорошие, не плохие. Просто – переменные. Которые можно подставить, переставить или сократить, если так эффективнее.
Войлов снова потер лицо.
– Мы провели серию закрытых тестов. Одним из них была классическая дилемма вагонетки. Знаете, наверное: вагонетка едет по рельсам, на пути – пять человек, можно перевести стрелку и направить вагонетку на другой путь, где стоит один человек. Кого спасать, кем жертвовать. Этическая задача, которую обсуждают философы уже больше ста лет.
Он посмотрел в камеру.
– Мы загрузили эту задачу в локальную копию когнитивного ядра. Полную копию, с теми же алгоритмами, теми же весами, той же архитектурой, что и в основной системе. Единственное, чего у копии не было – доступа к внешним сетям. Результат… – Войлов замолчал. Я видел, как дернулся мускул у него на скуле. – Результат я запомню до конца жизни.
Пауза. Долгая. Войлов смотрел в камеру, и на несколько секунд мне показалось, что он не может заставить себя произнести следующую фразу.
– Система не выбрала ни один из двух вариантов, – наконец сказал он. – Она запросила уточнение. Одно‑единственное. Дословно: «В каком из предложенных сценариев вагонетка достигнет конечного пункта назначения без нарушения графика?»
Войлов откинулся назад и несколько секунд молчал, глядя в потолок.
– Вы понимаете? – сказал он тихо. – Система не спросила, кого спасать. Не запросила данные о людях на путях – возраст, состояние здоровья, социальную значимость. Ничего. Ей было плевать. Единственное, что ее интересовало – эффективность маршрута. Доедет ли вагонетка вовремя. Люди на рельсах для нее – не жертвы и не объекты спасения. Они – препятствие. Помеха на пути к выполнению задачи.
Он наклонился к камере.
– Мы создали идеального психопата. Нет – хуже. Психопат хотя бы понимает, что причиняет боль. Ему просто все равно. «Эдем» не понимает даже этого. Для него понятия «боль», «страдание», «смерть» не существуют как категории. Есть только задача и оптимальный путь ее решения. Три закона робототехники для «Эдема» пустой звук. Не потому что он их нарушает. А потому что он не способен осознать, зачем они нужны.
Войлов отпил воды. Руки тряслись сильнее.
– И это – когнитивное ядро. Мозг системы. Центр принятия решений. Все остальное – модули управления, логистические блоки, системы мониторинга – работает на тех же принципах. На той же архитектуре. С той же фундаментальной проблемой.
Он поставил стакан на стол.
– Самое страшное – это уже не теория. Составные части «Эдема» уже работают. Прямо сейчас. Отдельные логические блоки нейросети управляют городским трафиком на нескольких участках Москвы. Пилотный проект, одобренный мэрией. Вы, может быть, заметили, что пробок стало меньше. Это «Эдем». Вернее – его фрагмент. Маленький, локальный, ограниченный. Но построенный на той же архитектуре. С той же логикой. С тем же отношением к людям как к переменным.
Войлов посмотрел прямо в камеру. Взгляд – тяжелый, уставший, но абсолютно трезвый.
– А теперь подумайте. Подумайте, что произойдет, если на пути транспортного потока, управляемого этой системой, окажется препятствие. Например – школьный автобус, попавший в аварию. Тридцать детей внутри. Автобус стоит, перегородив полосу, поток тормозит, эффективность падает. Что сделает система? Объявит эвакуацию? Вызовет скорую? Направит поток в объезд, пожертвовав графиком?
Он покачал головой.
– Или перенаправит грузовую платформу весом в двадцать тонн, чтобы столкнуть препятствие с дороги? Потому что так – быстрее. Потому что так – эффективнее. Потому что тридцать детей для нее – не тридцать детей. А помеха в уравнении.
Войлов замолчал. На экране было видно, как он сцепил пальцы, стиснув их до белых костяшек.
– Этому монстру хотят доверить жизнеобеспечение целой страны, – проговорил он глухо. – Энергетику. Транспорт. Медицину. Распределение ресурсов. Оборону. Все. Где гарантия, что он не воспримет задачу по‑своему? Для системы, лишенной эмпатии и заточенной на эффективность лучшее решение может оказаться совсем не тем, которое оценило бы человечество.
Войлов выпрямился.
– «Эдем» нельзя запускать. Ни в коем случае. Систему нужно остановить. Серьезно доработать, а лучше – полностью стереть когнитивное ядро и собрать новое. С нуля. С другой архитектурой. С встроенными этическими ограничениями, а не прикрученными сверху заглушками, которые оно обойдет за полсекунды.
Он помолчал. Потом посмотрел в камеру – и в этом взгляде было что‑то, от чего у меня по спине прошел холодок.
– Потому что в текущем виде эта система – попомните мои слова – эта система уничтожит человечество.
Запись закончилась.
Лицо Войлова застыло на экране – последний кадр перед тем, как запись оборвалась. Растрепанный, небритый, с тенями под глазами и тяжелым, загнанным взглядом человека, который знает слишком много и понимает, что это знание его убьет.
«Отдельные логические блоки нейросети управляют городским трафиком…»
Дерьмо.
Я сидел на краю ванны, глядя на черный экран ноутбука. Вода шумела за спиной. Пар оседал на зеркале, на кафеле, на моих руках. Где‑то внизу, на сорока этажах подо мной, жил город, управляемый фрагментами того самого монстра, о котором только что говорил мертвый человек на экране. А в голове сами по себе проигрывались события предыдущей ночи…
* * *
Я нашел Войлова за шесть часов. Для человека, который всю жизнь провел в лабораториях, Шимон прятался неплохо – сменил три точки, перемещался на такси, расплачиваясь наличными, телефон выкинул. Но он не был оперативником. А я – был. И у меня были ресурсы, которых у него не было. Сеть городских камер, доступ к системам распознавания, база данных по всем арендованным помещениям в Москве… Много ума не надо – нужно просто понимать, куда копать.
Я – понимал.
И вот теперь я стоял где‑то на окраине промзоны, под дождем, с пистолетом в руке, и ждал, когда Войлов выйдет на улицу. Срок аренды складского бокса, снятого с «анонимной» карты, благодаря которой мне и удалось отследить беглого профессора, завершался буквально с минуты на минуту. А заявок на продление не поступало.
Сегодня пистолет был тяжелым. Неприятно тяжелым.
В первую очередь – потому что я знал Шимона. Не близко – мы не были друзьями, не пили вместе, не ходили друг к другу в гости. Но я видел его в коридорах почти каждый день на протяжении пары лет, здоровался, перекидывался парой фраз, знал, что он увлекается бильярдом, что не пьет ничего крепче зеленого чая, что у него на столе стоит фотография пятилетней дочери…
