В общем, задача поиска эффективных архитектур нейронных сетей для самых разных классов задач не теряет актуальности.
8.4 Интерпретация работы моделей ИИ
Нет таких трав, чтобы узнать чужой нрав.
Русская народная пословица
Ещё одной часто обсуждаемой проблемой в области машинного обучения является так называемая «проблема чёрного ящика» [black box problem], или «объяснимого ИИ» [explainable AI]. Читатели жёлтой околотехнологической прессы обычно получают напоминания о существовании этой проблемы в виде двух типов статей. В одних рассказывается, что мы не понимаем, «как работает ИИ» (вариант — нейросети), что эти модели являются «неинтерпретируемыми» и что это очень плохо и опасно, а в других сообщается, что кому-то из исследователей наконец-то удалось решить «проблему чёрного ящика» и объяснить, как именно «работает ИИ». Реально, как водится, куда сложнее. Для начала нужно понять, что означает выражение «мы понимаем» (иными словами — какой смысл мы вкладываем в понятие интерпретируемости). Что значит «понимать» то, как работает та или иная модель машинного обучения? Что касается нейронной сети, то все вычисления, которые она выполняет, можно представить в виде последовательности арифметических операций. В этом смысле работа нейронной сети вполне понятна. Взяв достаточное количество бумаги и карандашей и обладая достаточным количеством свободного времени, любой человек, знакомый со школьной арифметикой, вполне может вычислить ответ нейронной сети на тот или иной входной стимул. Постичь принципы, лежащие в основе нейросетевых моделей и их обучения, довольно нетрудно, и в этом смысле мы хорошо понимаем, как работают нейронные сети. Однако это, очевидно, не тот тип понимания, который имеют в виду, называя нейронную сеть чёрным ящиком. В действительности люди имеют в виду скорее возможность представить обученную сеть в виде компактного набора правил, который мог бы быть усвоен человеком и применён им на практике. Таким образом, под объяснимостью модели обычно понимают возможность уместить её «в человеческую голову», в некоторый ограниченный информационный объём, который американский учёный чилийского происхождения Сезар Идальго остроумно назвал «челобайтом» [personbyte] [3320].
В машинном обучении существует отдельная область, которая занимается передачей знаний от больших (по числу параметров) моделей к меньшим, она называется «дистилляция знаний» [knowledge distillation]. Частным случаем дистилляции является «сжатие моделей» [model compression] — активно развивающееся в последние годы направление, в рамках которого исследуется возможность выполнения современных глубоких сетей на устройствах с ограниченными ресурсами без значительного снижения точности. В рамках этого направления выработано множество интересных методов, например различных видов малоранговой аппроксимации (таких как разреженная малоранговая факторизация, которая позволяет эффективно заменить многие синаптические веса нулевыми значениями) [3321], квантизации весов (например, замены 32-битных вещественных значений весов 8-битными целочисленными) и так далее. В рамках этой парадигмы при обучении модели можно использовать специальные виды регуляризации параметров, например «регуляризацию в целях увеличения интерпретируемости» [regularization for interpretability] [3322], чтобы позволить искусственной нейронной сети «выполниться» на таком устройстве, как мозг человека.
Аналогия со сжатием подталкивает к ещё одному интересному соображению. В сжатии данных часто используются алгоритмы, ищущие аналогии в потоках данных, например повторяющиеся фрагменты. Модель, «понятная человеку», могла бы опираться на понятия и концепции, уже понятые и усвоенные человеком. Тут речь идёт о «переиспользовании» признаков, выученных биологической сетью, в интерпретируемой искусственной нейронной сети. Предположим, некий человек не знает, кто такой тигр, но знает понятия «животное», «кошка», «оранжевый», «чёрный», «полоска». Если мы скажем ему, что тигр — это животное, напоминающее крупную оранжевую кошку с чёрными полосками, то тем самым мы дадим ему интерпретируемую модель для определения тигра. Нетрудно заметить, что наша модель получилась чрезвычайно компактной за счёт того, что мы выполнили сжатие путём замены алгоритмов определения признаков на отсылки к уже существующим в голове человека понятиям. Однако у этого подхода есть очевидный недостаток — мы не знаем заранее, какие именно признаки содержатся в уме конкретного человека, и не можем быть уверены в том, что, например, под «оранжевым» или «полоской» он понимает то же самое, что и наша модель. В процессе передачи знаний от одних людей другим часто возникает аналогичная проблема, поэтому на деле сжатие знаний при их передаче через «узкое горлышко» естественного языка неизбежно сопряжено с определёнными потерями. Употребляя аналогии из мира глубокого обучения, можно сказать, что человеческий разум оборудован своеобразным кодировщиком, который позволяет преобразовать паттерны активности мозга, связанные с теми или иными мысленными образами, в более компактное представление в семиотическом пространстве (т. е. в пространстве той или иной символьной системы, например естественного языка). К этому «кодировщику» прилагается «декодер», способный, напротив, перевести такое компактное представление в паттерны активности мозга.
Помочь с проблемой потерь знаний при их передаче может составление своеобразного каталога общепринятых понятий и их значений, что, в свою очередь, подводит нас к ещё одной интересной аналогии: задача создания интерпретируемой модели в действительности очень похожа на задачу машинного перевода. Поэтому методы из этой области используют для создания своих моделей некоторые исследователи «объяснимого ИИ».
На сегодняшний день учёными создано множество инструментов, предназначенных для интерпретации работы нейросетевых моделей. Это и системы по визуализации активаций в свёрточных нейронных сетях, позволяющие своими глазами увидеть признаки, на которые реагирует нейронная сеть, и системы для визуализации полей внимания (в том числе в задачах по обработке естественного языка). Помогают понять структуру знаний моделей компьютерного зрения и состязательные атаки [3323], и мультимодальные архитектуры, способные работать одновременно с изображениями и их текстовым описанием, подобно уже упомянутым нами в главе о творчестве нейронных сетей моделям CLIP и DALL·E. Исследователи из Google создали специальную генеративно-состязательную архитектуру под названием StyleEx, призванную объяснять причины принятия зрительными нейросетевыми классификаторами тех или иных решений [3324]. Значительные успехи достигнуты и в развитии методов, позволяющих объяснять работу моделей, основанных на трансформерных архитектурах. Это направление получило полушуточное название «бертология» [bertology] в честь модели BERT [3325]. Одно из удивительных достижений современных бертологов — открытие того, что полносвязные слои в блоках трансформера могут играть роль механизма «ключ — значение», где ключи коррелируют с текстовыми структурами в обучающих примерах, а значения влияют на распределение вероятностей токенов на выходах сети, причём выучиваемые связи понятны людям. Также авторы исследования показали, что слои сети, расположенные ближе к её входу, отвечают за более конкретные, «низкоуровневые» закономерности в тексте, а слои, расположенные ближе к выходу сети, кодируют более абстрактные, семантические зависимости [3326]. Более того, в наши дни уже разработаны методы, позволяющие выявлять веса трансформерной модели, отвечающие за хранение конкретных фактов, и затем вмешиваться в «память» модели, производя «подмену» фактологической информации [3327], [3328]. Однако в этом направлении многое ещё предстоит сделать, чтобы работа нейросетевых моделей стала ещё более понятной экспертам-людям.
