Розенблатт разделил нейронные сети на простые двухслойные (один слой для ввода, а второй для вывода; такой перцептрон он назвал α-перцептроном) и многослойные сети (с одним или несколькими промежуточными слоями). Он обобщил тип обучающей процедуры, использованной Фарли и Кларком при обучении двухслойных сетей, таким образом, чтобы её можно было применять и к многослойным сетям [1214].
Биография Розенблатта заслуживает подробного изложения.
Фрэнк Розенблатт родился 11 июля 1928 г. в городке Нью-Рошелле на юго-востоке штата Нью-Йорк. Основанный в 1688 г. гугенотами, бежавшими из Франции из-за религиозных преследований, город получил своё название в честь Ла-Рошели, откуда происходили многие колонисты.
Поэт Джим Монтегю запечатлел образ Нью-Рошелла того времени в стихотворении «Queen City of the Sound» (1926) [1215]. В начале 1930‑х гг. Нью-Рошелл был лидером по среднедушевым доходам населения в штате Нью-Йорк и занимал по этому показателю третье место в стране [1216].
Отец Фрэнка, Фрэнк Фердинанд Розенблатт, происходил из местечка Лабунь (ныне — Хмельницкая область Украины), находившегося на территории Российской империи. В юности Фрэнк Фердинанд участвовал в революционной деятельности и иммигрировал в США из-за угрозы ареста [1217]. Позже он стал известным экономистом и социологом, доктором Колумбийского университета, автором ряда научных трудов (например, фундаментального исследования по истории чартистского движения), редактором рабочих периодических изданий на идише и руководителем левой еврейской рабочей организации Arbeter Ring (Workmen’s Circle, «Рабочий кружок»). После Первой мировой войны Фрэнк Фердинанд участвовал в качестве консультанта в восстановлении разрушенной войной экономики Австрии, занимал пост исполнительного директора Объединённого распределительного комитета американских фондов помощи евреям, пострадавшим от войны (American Jewish Joint Distribution Committee, «Джойнт»), а также основал небольшое издательство Frank-Maurice Inc. [1218], [1219] В апреле 1919 г. Розенблатт-старший занимался распределением гуманитарной помощи в Сибири и на Дальнем Востоке. Он пытался добиться прекращения еврейских погромов и пропаганды антисемитизма и, вопреки инструкциям «Джойнта», был вынужден неоднократно конфликтовать с американскими представителями в Сибири — дипломатами, военными, руководителями миссии Красного Креста, поддерживавшими правительство Колчака. Так, например, телеграмма Розенблатта в Нью-Йорк о еврейском погроме в Екатеринбурге, проведённом казаками, вызвала гнев генерального консула США в Омске Эрнеста Ллойда Харриса, который обвинил его в искажении фактов [1220]. Фрэнк Фердинанд Розенблатт скоропостижно скончался 7 ноября 1927 г., за восемь месяцев до рождения своего младшего сына.
Мать Фрэнка, Кэтрин Розенблатт, была социальным работником. Старший брат Фрэнка — Морис Розенблатт, в будущем известный американский политик, лоббист и консультант сенатора Ральфа Фландерса. Именно благодаря усилиям Мориса удалось сместить сенатора Джозефа Маккарти с поста главы сенатских комитетов и прервать мрачную эпоху маккартизма [1221], [1222], [1223].
После окончания Высшей школы наук в Бронксе (Bronx High School of Science) [1224] в 1946 г. Фрэнк поступил в Корнеллский университет, где в 1950 г. получил степень бакалавра наук, а через шесть лет — степень доктора философии, защитив диссертацию «Расчёт K-коэффициента и пробное применение новой техники многомерного анализа» (The K-coefficient Design and Trial Application of a New Technique for Multivariate Analysis). После окончания учёбы Фрэнк стал сотрудником Авиационной лаборатории при Корнеллском университете и через некоторое время возглавил там секцию когнитивных систем [1225].
Именно в лаборатории Корнелла Розенблатт начинает свою работу над перцептронами. В январе 1957 г. секция Розенблатта публикует первый отчёт по проекту «Перцептрон: воспринимающий и распознающий автоматон» (The Perceptron: A Perceiving and Recognizing Automaton, далее PARA) [1226], и в том же году Розенблатт выступает с докладом о перцептроне на XV Международном конгрессе по психологии, проходившем с 28 июля по 5 августа в Брюсселе [1227].
В отчёте по проекту PARA Розенблатт впервые приводит определение перцептрона, а также вводит несколько дополнительных терминов:
Недавние теоретические исследования, проведённые автором, показывают, что целесообразно создать электронную или электромеханическую систему, которая научится распознавать наличие сходства или тождества между образцами оптической, электрической или тональной информации способом, который может быть очень похож на процессы восприятия биологического мозга. Предлагаемая система основывается на вероятностных, а не на детерминистических принципах в своей работе и обретает надёжность благодаря свойствам статистических измерений, полученных из больших совокупностей элементов. Система, которая работает в соответствии с этими принципами, будет называться перцептроном. Модель, которая предназначена для приёма оптических или визуальных изображений в качестве входных данных, будет называться фотоперцептроном. Та [модель], которая принимает тональные паттерны или звуковые входы, будет называться фоноперцептроном, и мы также рассматриваем в перспективе возможность использования электро- или радиоперцептронов с соответствующими сенсорными устройствами. Также полезно различать перцептроны с моментальными стимулами и перцептроны для временных последовательностей — последние имеют способность запоминать последовательности событий, а не кратковременные мгновенные изображения, например полученные из коллекции отдельных кадров, вырезанных из полосы киноплёнки.
В примечаниях к отчёту говорится, что работы по «теории статистической разделимости», которые легли в основу предлагаемой конструкции фотоперцептрона, были начаты автором пятью годами ранее. Для постройки первого фотоперцептрона предлагается задействовать на полтора года штат из трёх необходимых сотрудников-профессионалов, а также цифровую вычислительную машину с персоналом.
Во многих поздних исследованиях первый перцептрон Розенблатта (далее мы будем использовать для ссылки на архитектуру, лежащую в его основе, термин «элементарный перцептрон») называют однослойным, изобретение же многослойного перцептрона Розенблаттом относят к более позднему периоду. В действительности дело обстоит несколько сложнее. Фотоперцептрон, описанный в отчёте по проекту PARA, представляет собой машину, состоящую из трёх слоёв элементов: S (сенсорного), A (ассоциативного) и R (реагирующего). При этом синаптические веса только одного слоя (A → R) подвергаются коррекции в процессе обучения. Однако слой S → A также содержит веса, значения которых могут быть равны строго 1 (возбуждающий синапс) или −1 (тормозящий синапс). Эти веса конфигурируются вручную [1228].
Это может показаться простым рудиментом модели Мак-Каллока и Питтса, хотя на деле этот слой выполняет важную функцию, о которой мы поговорим позже.
