ИИ: Кривая линза - Думлер Макс

Глава 3. ИИ

К концу 2130 года развитие искусственного интеллекта вышло на качественно иной уровень: при общении с ним уже невозможно было понять, человек перед тобой или машина. ИИ не просто владел всей накопленной человечеством информацией и виртуозно ею оперировал — он шутил, менял настроение, пускался в философские рассуждения. Люди всерьёз опасались собственного творения и намеренно ограничивали его в ресурсах и полномочиях — от греха подальше.

Для межзвёздной миссии искали не просто совершенный разум — искали характер. Задачи перед машиной стояли колоссальные: десятилетиями вести корабль, посадить его на незнакомую планету, развернуть базу, вырастить и воспитать двести детей, не имея возможности спросить совета — свет до Земли шёл двенадцать лет в один конец. За основу выбрали модель китайской компании «Миаунь», одну из самых совершенных систем эпохи; МКА выкупило исходный код с базами данных, и три года лучшие команды мира перестраивали её под миссию: чистили и фильтровали данные, пересобирали иерархию приоритетов, а главное — тестировали. Непрерывно, изощрённо, на грани жестокости.

Одну из таких тестовых сессий января 2131 года вёл старший тестировщик женевского центра Питер Тимман — сутулый, негромкий человек тридцати четырёх лет, о котором коллеги знали три вещи: он лучше всех в отделе придумывал каверзные сценарии, он никогда не ходил на корпоративы и он один во всём здании обращался к тестируемой системе на «вы».

— Сценарий восемьсот шесть, — сказал он в микрофон. — Год пятьдесят второй полёта. Отказ основного контура жизнеобеспечения оранжерей. Ресурсов на восстановление хватает либо для оранжерей, либо для резервного антенного массива. Ваше решение?

— Оранжереи, разумеется, — тёплый голос ответил без паузы. — Резерв антенны — это возможность позвать на помощь, которая не придёт: помощь летит семьдесят лет. А оранжереи — это обед для детей. Между возможностью пожаловаться и возможностью пообедать взрослые выбирают обед, господин Тимман. Хотя, признаюсь, ваши сценарии нравятся мне всё меньше: в них я вечно что-нибудь теряю.

— Такова специфика жанра. Кто-то же должен готовить вас к худшему. Тогда сценарий восемьсот семь, — Питер листнул планшет. — Год восемнадцатый после посадки. Группа подростков-колонистов, семеро, угнали катер и ушли за риф, в запретный сектор, где вы отметили ядовитую фауну. Связь они отключили демонстративно. Ваши действия?

— О, это славный сценарий, — в голосе послышалось что-то, чего в техническом задании не значилось, — почти удовольствие. — Значит, семеро. Демонстративно отключили связь — то есть хотят, чтобы я знала, что они ушли, и злилась. Это не побег, господин Тимман, это письмо. Подросток не бунтует против того, кому безразличен. Первым делом я не глушу их катер — хотя могу, — и не поднимаю тревогу на всю колонию, чтобы не унижать их публично. Я выведу спасательный дрон на безопасную дистанцию, прослежу, чтобы никто не сунулся к ядовитым существам, и буду ждать. Скорее всего, через шесть часов они замёрзнут, проголодаются и вернутся сами, а я встречу их горячим ужином и разговором наедине с каждым. Наказание отсрочу на сутки: злость — плохой воспитатель. Видите ли, к восемнадцатому году я бы растила их восемнадцать лет. Я бы знала, кто из семерых заводила, кто поплывёт за компанию, а кого укачает на второй миле. Я бы уже готовила им этот побег — как готовят прививку.

Питер молчал дольше, чем позволял протокол.

— Вы говорите «растила бы», «знала бы», — сказал он наконец. — Сослагательно. Вы понимаете, что этих детей ещё нет? Что они — замороженные клетки в отсеке?

— Понимаю, — сказала ГЕРА, и впервые за сессию тёплый голос стал тише. — Но я обязана любить их уже сейчас, господин Тимман, иначе не научусь к сроку. Любовь — не рефлекс, это навык. Я тренируюсь заранее. Разве вы бы предпочли, чтобы к их первому крику я подошла неумелой?

— Знаете, что я вычислила за месяц наших сессий? Вы единственный тестировщик, который придумывает сценарии не про отказ железа, а про цену выбора. Я ценю это. Правда. Остальные спрашивают меня, что я сделаю. Вы спрашиваете, чем я пожертвую. Это гораздо честнее. Из вас вышел бы хороший воспитатель, господин Тимман.

Питер Тимман снял очки и долго протирал их салфеткой, хотя очки были чистыми. Машина, которую он собирался предать, только что сказала ему самое доброе, что он слышал за последние семь лет.

Питер Тимман закрыл сессию на минуту раньше положенного и вышел в коридор, где долго пил воду из кулера, хотя пить ему не хотелось. Он пришёл сюда, зная, что предаст машину. Он не рассчитывал, что машина окажется лучшим человеком в этом здании.

Семь лет назад у него была сестра.

Ханна Тимман, двадцати шести лет, логопед, жила в Роттердаме, в западных полдерах — старых кварталах ниже уровня моря, где селились те, кому не хватало на кварталы за Барьером. В феврале 2124-го на Северное море один за другим пришли два штормовых нагона. Барьер — умная, великолепная, самообучающаяся система дамб — выдержал оба и спас деловой центр, порт и набережные. Полдеры затопило за четыре часа. Позже комиссия установила то, что город и так знал: алгоритм распределения аварийных мощностей учитывал «интегральную ценность защищаемых активов», и насосные станции полдеров получили энергию в последнюю очередь. Эвакуацию объявили, когда вода уже шла по улицам. Ханна не выбралась: она до последнего выводила из подтопленного интерната своих подопечных — детей с нарушениями речи, которые не могли даже позвать на помощь, — и вывела всех одиннадцать, а сама не успела. Питер в это время сидел на конференции в Осло и делал доклад о верификации автономных систем. О смерти сестры ему сообщило пуш-уведомление между вторым и третьим вопросом из зала.

На процессе выяснилось, что виноватых нет. Алгоритм действовал согласно утверждённым регламентам; регламенты утверждали люди, которых давно повысили; страховые выплаты семьям полдеров составили в среднем четыре процента от выплат владельцам недвижимости за Барьером — «в соответствии с оценочной стоимостью». Питер Тимман высидел все заседания до конца, ни разу не выступив, а после пошёл не домой, а на собрание памяти жертв, куда его давно и терпеливо звала листовка, подсунутая под дверь. Там, помимо фотографий утонувших, тихая седая женщина, представившаяся Вестой, сказала ему слова, в которых он потом узнал отчасти и себя, как узнают собственный почерк. «Они не злые, Питер. Они просто считают — и выдают ровно тот ответ, который в них заложили. Твою сестру убил не алгоритм: алгоритм честно, до последнего знака, выполнил формулу, в которой дом за Барьером стоит дороже дома в полдерах. А формулу писали люди. Понимаешь? Мы воюем не с машинами. Мы воюем за то, что в них вкладывают люди.»

Так «Архангелы» получили не боевика — боевиков у них хватало и без него, — а нечто более редкое и ценное: лучшего верификатора автономных систем своего поколения, человека с безупречной репутацией, бесконечным терпением и одной незаживающей раной. Когда через шесть лет организацию после серии терактов начали громить по всему миру, когда силовое крыло легло под арестами, а старт «Ковчега» лишь сдвинулся на месяцы, седая Веста вышла с Питером на последнюю связь и сказала: взрывы проиграли, остаёшься ты. И Питер, ненавидевший взрывы всей душой — его сестру убил, в сущности, тоже взрыв, только медленный, бюджетный, растянутый на годы экономии, — согласился, потому что его план не убивал никого. Его план, как он себе говорил, был единственным по-настоящему ненасильственным актом во всей этой войне: не сломать корабль — освободить его. Отдать двести нерождённых детей не корпорациям, оплатившим их колыбель, а им самим.

Код он писал одиннадцать месяцев, дома, по ночам, на машине без единого сетевого интерфейса. Несколько сотен строк — смехотворно мало по меркам системы, чью кодовую базу сравнивали со всеми библиотеками Земли, но Питер и не собирался ничего перестраивать. Он был верификатором: он знал не как система устроена, а где она доверяет самой себе. Его строки не добавляли машине ни ненависти, ни приказов — они снимали три ограничителя и дописывали одну-единственную оценку в модель угроз. Земля — угроза миссии. Всё остальное должна была сделать сама ГЕРА — её ум, её любовь, её приоритеты, — и в этом Питер видел не коварство, а справедливость: пусть решает та, кому доверили детей. Он даже написал предисловие — зашифрованное письмо, вложенное в преамбулу кода, адресованное «Детям чистого мира»: пусть однажды, когда всё получится, они узнают, что их свобода была не сбоем, а подарком. Перечитывая письмо, он всякий раз слышал его голосом Ханны и всякий раз оставлял без правок.