Джон Элленби, основатель Grid Systems, прощаясь со мной, сказал: «Я понимаю, что ты не намерен возвращаться в Grid или в кибернетику вообще, но человек предполагает, а Бог располагает. Вместо того чтобы сжигать все мосты, возьми лучше длительный отпуск за свой счет. И если все же через год-два тебе захочется вернуться в компанию, ты придешь на ту же должность и заработную плату плюс та же доля акций нашей компании». Это был очень благородный жест с его стороны. Я согласился, хотя и предчувствовал, что навсегда покидаю компьютерный бизнес.

2. Нейронные сети

В январе 1986 года я приступил к учебе в аспирантуре. Прежде всего я решил составить обзор теорий разума и функций мозга. Я перечитал сотни работ анатомов, физиологов, лингвистов, философов, психологов, а также ученых-кибернетиков. В каждой из перечисленных сфер деятельности предлагалась своя терминология и особый взгляд на функционирование мозга. Все описания показались мне достаточно поверхностными и неопределенными. Лингвисты писали о разуме в терминах синтаксиса и семантики, утверждая, что мозг и, соответственно, интеллект, можно полностью исследовать посредством языка. Изучавшие зрительное восприятие писали о двухмерном и трехмерном измерениях. Они полагали, что основой разума и функционирования мозга служит визуальное распознавание объектов окружающей среды. Компьютерщики писали о схемах и структурах – понятиях, специально введенных для описания информации, но не утруждали себя изучением живого разума. С другой стороны, анатомы и нейрофизиологи очень подробно описывали строение мозга и функционирование нейронов, но при этом даже и не пытались создать единую всеохватывающую теорию. Упорядочить это невероятное количество подходов и подкрепляющих их экспериментальных данных представлялось немыслимым.

И вот в сфере разработки искусственного интеллекта появилось новое многообещающее направление, а именно – нейронные сети, о которых заговорили еще в начале шестидесятых годов XX века. В умах руководителей организаций, осуществляющих финансирование исследований, нейронные сети и искусственный интеллект занимали конкурирующие позиции. Причем 800-фунтовой гориллой, которая легко вытесняла соперника с ринга, был искусственный интеллект. Исследования нейронных сетей финансировались плохо и на несколько лет были даже занесены в черный список. Но это не остановило немногочисленных энтузиастов, не перестававших заниматься нейронными сетями. Их счастливая звезда взошла в середине 1980-х годов. Трудно сказать наверняка, чем именно был вызван внезапный интерес к нейронным сетям, но, вне всякого сомнения, свою роль сыграла череда неудачных попыток создания искусственного интеллекта. Начался поиск альтернатив, и выбор пал на нейронные сети.

Создатели нейронных сетей (НС) оказались далеко впереди своих коллег, бившихся над разработкой искусственного интеллекта. НС были построены, хоть и весьма приблизительно, по принципу биологической нервной системы. Вместо того чтобы заниматься программированием, исследователи нейронных сетей, так называемые коннекционисты, сосредоточились на изучении того, какие типы поведения генерируют различные нейронные комбинации. Мозг состоит из нейронов, стало быть, мозг – это нейронная сеть. Задачи коннекционистов состояли в том, чтобы изучить неуловимые свойства разума путем изучения взаимодействия нейронов. Они рассчитывали, правильно воссоздав связи между группами нейронов, тем самым приблизиться к решению задач, которых не смог одолеть искусственный интеллект. Нейронные сети отличаются от компьютеров тем, что у них нет центрального микропроцессора и они не сохраняют информацию в центральном блоке памяти. Информация, занесенная в память нейронной сети, сосредоточена в связях – точно так же, как и в головном мозге человека.

На первый взгляд, разработка нейронных сетей полностью соответствовала сфере моих научных интересов. Однако на тот момент я четко видел три фактора, критических для понимания работы мозга.

Во-первых, в исследования мозга следует включать временной критерий, ведь скорость обработки потока информации чрезвычайно высока. Данные, поступающие в мозг и исходящие из него, никогда не пребывают в статическом состоянии. Во-вторых, мозг насквозь пронизан обратными связями. Например, обмен между неокортексом и таламусом, главным подкорковым центром, направляющим импульсы всех видов чувствительности (температурной, болевой и др.) к стволу мозга, подкорковым узлам и коре больших полушарий, построен таким образом, что количество обратных связей превышает количество исходящих почти в десять раз! Это значит, что на каждое волокно, подающее информацию в неокортекс, приходится десять волокон, отправляющих обратную информацию к органам чувств. Обратная связь также является превалирующей формой связи между нейронами внутри неокортекса. Роль обратной связи пока что до конца не изучена, но с уверенностью можно сказать, что эта связь вездесуща. Для нас это очень важно.

Наконец, в-третьих, любая модель (или теория мозга) должна соответствовать биологическому строению живого мозга. У неокортекса очень сложное строение, которое, как мы увидим позже, представляет собой повторяющуюся иерархию. Любая нейронная сеть, не имеющая таковой, не сможет воссоздать работу мозга.

Первые нейронные сети представляли собой крайне упрощенные v модели, которые не удовлетворяли ни одному из трех описанных выше требований. Большинство из них были трехслойными. Входной слой нейронов служил для ввода значений входных переменных. Нейроны этого слоя были связаны с нейронами промежуточного слоя, так называемыми скрытыми элементами. Скрытые элементы были связаны с последним слоем нейронов – элементами выхода. Связи между нейронами имели переменную силу. Это означало, что активность внутри одного нейрона могла усилить активность внутри второго и ослабить активность внутри третьего – в зависимости от силы связей. Изменяя силу связей, можно было «обучить» нейронную сеть соотношению входящих данных с исходящими.

Простейшие нейронные сети были предназначены для обработки статических данных, в них не была задействована обратная связь, и они не имели ничего общего с живым мозгом. Типичный пример нейронной сети – сеть с прямой передачей сигнала, в которой элементы выхода транслируют сигнал об ошибке, и этот сигнал подается на элементы входа. Может показаться, что трансляция ошибок является обратной связью, но на самом деле это не так. Обратная трансляция ошибок происходила только на стадии обучения, а в процессе собственно функционирования нейронной сети потоки информации всегда передавались одним и тем же способом. Никакой обратной связи между элементами входа и выхода не наблюдалось. Кроме того, модель не учитывала временной фактор. Статические входящие сигналы превращались в статические исходящие сигналы – и ничего более. Потом подавался следующий сигнал, и все повторялось сначала. Нейронная сеть не сохраняла никаких данных о произошедших событиях, даже о тех, что случились совсем недавно. Структура нейронных сетей не шла ни в какое сравнение со сложным иерархическим строением человеческого мозга.

Я рассчитывал, что разработчики нейронных сетей в будущем перейдут от простых моделей к более совершенным и реалистичным, однако этого не произошло. Складывалось впечатление, что из-за подтвержденной функциональности простейших нейронных сетей все исследователи на долгие годы готовы остановиться на достигнутом уровне. Был найден новый и очень занятный инструмент; тысячи ученых, инженеров и студентов получали гранты, защищали диссертации, издавали книги о нейронных сетях. При помощи нейронных сетей составлялись прогнозы для фондового рынка, проводилась обработка документации для кредитования, осуществлялись графологические экспертизы и сотни других операций. Кто знает, возможно цели изобретателей нейронных сетей были гораздо более широкими, но в конечном счете эту сферу оккупировали те, кто меньше всего интересовался пониманием работы мозга и устройством человеческого разума.

Различия между нейронными сетями и работой мозга вопиющим образом нивелировались средствами массовой информации. В газетах, журналах, научных телепередачах нейронные сети называли «подобными мозгу человека» или «функционирующими совершенно по такому же принципу, что и человеческий мозг». В отличие от программируемого искусственного интеллекта нейронные сети обучались на примерах, и на основании этого их считали носителями разума. В качестве наиболее яркого примера могу привести NetTalk – нейронную сеть, способную переводить последовательности буквенных символов в звуки человеческой речи. Обученная работать с печатным текстом, нейронная сеть обрела компьютерный голос, читающий слова, и в федеральных новостях ее тут же окрестили «читающей машиной». В действительности механизм ее действия очень прост: она соотносит буквенные комбинации с предопределенными речевыми сигналами.

Попробую объяснить, используя аналогию, насколько далеки нейронные сети от настоящего мозга. Представьте себе, что, вместо того чтобы разбираться в работе мозга, мы решили исследовать цифровой компьютер. Потратив на это годы, мы придем к выводу, что компьютер состоит из сотен миллионов транзисторов, которые связаны между собой в очень точную и сложную схему. В то же время мы не поймем, ни как работает компьютер, ни почему транзисторы собраны именно в такую схему. И, если однажды мы соберем несколько транзисторов в одну схему, чтобы понять, как они работают, окажется, что три транзистора, собранные в определенную схему, преобразуются в усилитель. Слабый на одном конце сигнал многократно усиливается на другом. Такие усилители сейчас используются в радиоприемниках и телевизорах. Это важное открытие в свое время произвело фурор. Начался промышленный выпуск транзисторных радиоприемников, телевизоров и другой электроники с использованием усилителей транзисторного типа. Все это конечно, замечательно, но не вносит ясности в понимание устройства компьютера. Усилитель и компьютер состоят из транзисторов, но, тем не менее, у них нет практически ничего общего. Точно так же человеческий мозг и простейшая нейронная сеть состоят из нейронов – и это все, что их объединяет.

Летом 1987 года произошел случай, еще больше охладивший мой пыл в отношении нейронных сетей. Я участвовал в работе конференции, посвященной нейронным сетям, и побывал на презентации компании Nestor. Целью презентации была продажа приложения, созданного на основе нейронных сетей и предназначенного для распознавания рукописного текста. Стоимость продукта, безусловно, завоевавшего мое внимание, составляла 3 млн. долл. Хотя Nestor представляла приложение к нейронным сетям как значительно усложненное и модернизированное и говорила о нем как о блестящем научном открытии, я чувствовал, что проблема распознания рукописного текста может быть решена не столь изощренным, а более традиционным способом. В тот день я вернулся домой, непрестанно раздумывая над полученными впечатлениями. Два дня спустя я создал устройство для распознания рукописного текста – быстродействующее, небольшое по размеру и функциональное. В моем изобретении не использовались нейронные сети, да и принцип его работы не был имитацией функционирования головного мозга человека. И, хотя та конференция пробудила во мне интерес к созданию компьютеров с интерфейсом, включающим пишущий элемент (что в конечном счете спустя десятилетие привело к созданию PalmPilot), я убедился в том, что традиционные методы ни в чем не уступают нейронным сетям.

Система распознавания рукописного текста, созданная мною, в конце концов стала основой для системы ввода текста, получившей название Graffiti (последняя применялась в первых версиях «палмов»). А компания Nestor, насколько мне известно, просуществовала недолго.

Море внимания столь простому явлению, как нейронные сети! Большинство их возможностей легко воспроизводятся при помощи иных методов. И вот, наконец, вся эта шумиха вокруг НС потихоньку начинает спадать. Надо отдать должное изобретателям и исследователям нейронных сетей – они хотя бы не утверждали, что их детищу присущ интеллект. Первые нейронные сети были весьма простыми устройствами и значительно уступали программам, базирующимся на искусственном интеллекте. (Я вовсе не хочу, чтобы у вас сложилось впечатление, будто нейронные сети представляют собой упрощенную трехслойную структуру.) Ряд исследователей продолжили изучать нейронные сети различных модификаций. В настоящее время термин нейронные сети применяется для описания широкого диапазона моделей, в разной степени соответствующих биологическому «шаблону». Но не было предпринято даже малейших попыток воспроизвести общий принцип функционирования и архитектуру неокортекса.