Джон Сёрль:
Сознание, мозг и наука.
Глава 2. Могут ли компьютеры мыслить?

В первой главе я обрисовал в общих чертах решение проблемы отношения сознания и тела. Хотя мы и не знаем в подробностях, как функционирует мозг, у нас достаточно знаний, чтобы составить общее представление об отношениях между мозговыми и ментальными процессами. Ментальные процессы причинно обусловлены деятельностью элементов мозга. В то же время они реализуются в структуре, состоящей из этих элементов. Полагаю, что это согласуется со стандартными подходами к биологическим феноменам. Вообще говоря, это — представление, основанное на здравом смысле. Однако такую точку зрения разделяет меньшинство. В философии, психологии и исследованиях по искусственному интеллекту превалирует взгляд, подчёркивающий аналогии между функционированием человеческого мозга и цифровых компьютеров, Согласно крайней версии этого взгляда, мозг является цифровым компьютером, а сознание — компьютерной программой. Можно суммировать данный взгляд, — я называю его «сильной версией искусственного интеллекта», или «сильным ИИ», — сказав, что сознание относится к мозгу так же, как программа — к аппаратным средствам компьютера.

Следовательно, в человеческом сознании нет ничего биологического. Мозг оказывается одним из видов компьютерной аппаратуры, способной выполнять программы, которые составляют человеческий интеллект. Согласно этому взгляду, сознанием обладает любая физическая система с правильной программой и правильными устройствами ввода и считывания данных, Например, вы можете соорудить компьютер из пустых пивных банок, а в качестве источника энергии выбрать ветряные мельницы. Если в компьютер заложена правильная программа, то он обладает сознанием. И дело не в том, что он мог бы обладать мыслями и чувствами. Он должен ими обладать, потому что для этого требуется только одно: выполнение правильной программы.

Считается, что мы ещё не разработали программу, которая является сознанием. Но при этом все, кто придерживается сильной версии ИИ, соглашаются с тем, что это лишь вопрос времени. Специалисты по компьютерам и искусственному интеллекту рано или поздно построят компьютерную аппаратуру и программы, эквивалентные человеческому мозгу и сознанию. Это будут искусственный мозг и искусственное сознание, во всём равные человеческому мозгу и человеческому сознанию.

Люди, не знакомые с областью исследований по искусственному интеллекту, очень удивляются, когда узнают, что кто-то вообще придерживается такого взгляда. Поэтому, прежде чем подвергнуть его критическому анализу, приведу высказывания учёных, которые занимались этим предметом. Герберт Саймон из университета Карнеги-Меллона утверждает, что у нас уже есть машины, которые в буквальном смысле мыслят. Речь идёт не о какой-то будущей машине — уже существующие цифровые компьютеры мыслят точно так же, как и мы с вами. Представляете? На протяжении столетий философов волновало, может машина мыслить или нет, а сейчас обнаруживается, что в Карнеги-Меллоне мыслящие машины уже имеются. Коллега Саймона Алан Ньюэлл заявляет: мы открыли (заметьте, что он говорит «открыли», а не «предположили» или «сочли вероятным»), что интеллект есть всего лишь манипуляция физическими символами и не связан существенным образом с какой-либо особой биологической или физической аппаратурой. Интеллектом обладает любая система, способная правильно манипулировать физическими символами. К чести Саймона и Ньюэлла, оба они подчёркивают, что в их заявлениях нет ничего метафорического: смысл этих заявлений буквален.

Далее, Фримен Дайсон утверждает, что если говорить о дальнейшей эволюции, то компьютеры имеют преимущество перед людьми. Поскольку сознание — это формальные процессы, в компьютерах они могут выполняться на таких субстанциях, которые имеют гораздо больше шансов выжить, чем мы — существа, состоящие из влажных и мягких материалов. Марвин Мински из Массачусетского технологического института утверждает, что следующее поколение компьютеров будет настолько разумным, что нам «повезёт, если они захотят оставить нас при себе в качестве домашних животных». Но наилучшим преувеличением являются слова Джона Маккарти, изобретателя самого термина «искусственный интеллект». С его точки зрения, даже «столь простые машины, как термостаты, придерживаются определённых убеждений». Убеждения есть практически у любой машины, способной решать проблемы. Я восхищаюсь мужеством Маккарти. Однажды я спросил его: «Какие же именно убеждения есть у вашего термостата?» Он ответил: «У моего термостата три убеждения: здесь слишком жарко, здесь слишком холодно, здесь нормальная температура». Как философу, эти тезисы нравятся мне по одной простой причине: им присуща ясность и они допускают простое и решающее опровержение. Именно такое опровержение я и собираюсь изложить в этой главе.

Опровержение это не имеет в виду ту или иную стадию развития компьютерной технологии. Мы склонны полагать, что решение всех наших проблем заключено в каком-то ещё не случившемся технологическом чуде. Наше опровержение не имеет ничего общего с такого рода аргументацией. Оно касается самого определения цифрового компьютера.

Для нашей концепции цифрового компьютера существенно важно, чтобы его операции можно было определять чисто формальным образом: иначе говоря, мы определяем шаги в терминах абстрактных символов — например, в виде последовательностей нулей и единиц. Типичное компьютерное «правило» определяет, что когда машина находится в определённом состоянии и на ленте напечатан определённый символ, она выполняет некую операцию, например стирает символ или печатает другой символ; затем она переходит к другому состоянию, например передвигает ленту на один квадрат влево. Но у символов нет семантического содержания, и они должны быть конкретизированы исключительно в терминах своей формальной или синтаксической структуры. Например, нули и единицы — всего лишь символы чисел; они даже не являются заменой для чисел. И именно это свойство цифровых компьютеров делает их столь мощными инструментами. Одна и та же компьютерная аппаратура может быть непользована для выполнения бесконечного числа различных программ. А одна и та же программа может выполняться на различных типах компьютерной аппаратуры.

Но это свойство программ — их чисто формальный или синтаксический характер — фатально для взгляда, согласно которому ментальные и программные процессы тождественны друг другу. Объяснить это можно очень просто. Сознание есть нечто большее, чем формальные или синтаксические процессы. Наши внутренние ментальные состояния, по определению, обладают содержанием. Если я думаю о Канзас-Сити, или не прочь был бы выпить холодного пива, или интересуюсь, не упадёт ли процентная ставка, — в каждом из этих случаев моё ментальное состояние обладает определённым содержанием в дополнение к любым формальным свойствам. Иначе говоря, даже если мои мысли представляются мне в виде цепочек из символов, в самом мышлении должно быть нечто большее, потому что цепочки сами по себе не обладают никаким смыслом. Если мои мысли являются мыслями о чём-либо, то и цепочки должны иметь смысл, и это делает их мыслями об этих вещах. Словом, в сознании есть не только синтаксис, но и семантика. Компьютерная программа не может стать сознанием, если это чисто синтаксическая программа. Сознание же семантично в том смысле, что оно обладает не только формальной структурой, но и содержанием.

Проведем следующий мысленный эксперимент. Представим себе, что группа программистов составила программу, позволяющую компьютеру имитировать понимание китайского языка. Если компьютеру задаётся вопpoc по-китайски, он сверяет его со своей памятью, или базой данных, а затем выдаёт подходящие ответы, тоже по-китайски. Допустим, ответы компьютера оказываются не хуже ответов настоящего китайца. Можно ли сказать, что компьютер понимает по-китайски не хуже самих китайцев? Вообразите, что вы находитесь в комнате, где расставлено несколько корзинок с китайскими иероглифами. Вы не понимаете по-китайски ни слова, но вам дали книжку на английском языке, содержащую правила манипулирования этими иероглифами. Это чисто формальные правила, касающиеся синтаксиса, а не семантики. Например: «Возьми знак фигли-мигли из корзины № 1 и положи его рядом со знаком фогли-могли из корзины № 2». Предположим теперь, что в комнату поступили другие китайские иероглифы, а вас снабдили новыми правилами, предписывающими, как возвращать эти иероглифы. Предположим также, что находящиеся снаружи люди называют неизвестные вам иероглифы вопросами, а те, что вы возвращаете назад, — ответами. Допустим также, что программисты поднаторели в составлении программ, а вы — в манипулировании символами. Ваши ответы практически неотличимы от ответов настоящих китайцев. Итак, вы заперты в комнате, перекладываете иероглифы с места на место и посылаете одни в ответ на другие. В этой ситуации нет никакой возможности изучить китайский язык, дело сводится к простому манипулированию этими чисто формальными символами.

Смысл примера состоит в следующем: выполняя формальную компьютерную программу, вы, с точки зрения внешнего наблюдателя, ведёте себя так, как будто понимаете по-китайски, однако на самом деле вы не понимаете по-китайски ни единого слова. Но если выполнения компьютерной программы недостаточно для того, чтобы вы стали понимать по-китайски, то этого недостаточно и для того, чтобы его стал понимать любой другой цифровой компьютер. Объясняется это очень просто. Если вы не понимаете по-китайски, то и никакой другой компьютер не сможет понять этот язык, потому что у цифрового компьютера нет ничего такого, чего бы не было у вас. Всё, что у него имеется, — это формальная программа для манипулирования неинтерпретированными иероглифами. Повторим, у компьютера есть синтаксис, но нет семантики. Суть притчи проста. Понимать язык, или иметь ментальные состояния — значит иметь нечто большее, чем просто совокупность формальных символов. Предполагается, что у вас есть интерпретация, или смысл, которым наделены символы, А у цифрового компьютера не может быть ничего, кроме формальных символов, потому что работа компьютера, как я уже говорил, состоит в выполнении программ. Эти программы чисто формальны и не имеют семантического содержания.

Силу этого аргумента можно оценить, если сопоставить вопросы и ответы на английском языке с вопросами и ответами на языке, слова которого для нас не имеют никакого смысла. Вообразите, что в китайской комнате вам также задают вопросы по-английски: сколько вам лет, или о вашей жизни, — а вы на них отвечаете. В чём же отличие «китайского» и «английского» случаев? Если вы не понимаете по-китайски, но понимаете по-английски, тогда отличие очевидно. Вы понимаете вопросы, заданные по-английски, потому что они выражены в символах, смыслы которых вам известны. Когда вы на них отвечаете, вы производите осмысленные символы, Ничего подобного нет в «китайском» случае. Тут вы просто манипулируете формальными символами в соответствии с компьютерной программой и не наделяете их никаким смыслом.

Ответы на это возражение были предложены как исследователями в области искусственного интеллекта и психологами, так и философами. Но в них есть нечто общее: все они неадекватны. Причина неадекватности очевидна: одного синтаксиса недостаточно, а цифровые компьютеры имеют, по определению, один только синтаксис.

Рассмотрим аргументы, выдвигаемые против моей позиции ¹.

Первое возражение заключается в том, что в примере с китайской комнатой китайский язык понимает вся система в целом. И хотя я, находясь в комнате и манипулируя символами, не понимаю китайского языка, однако представляю собой центральную часть компьютерной системы. Вся система в целом, включая комнату, корзинки с символами, папки с программами и вероятно с чем-то ещё, — все это вместе взятое понимает китайский язык. Но против этого аргумента можно выдвинуть такое же возражение, как и раньше: не существует способа, который позволил бы системе перейти от синтаксиса к семантике. Даже я, центральный процессор, не способен выяснить, что означает каждый из этих символов; но тогда это не способна сделать и вся система в целом.

Другое характерное возражение, выдвигаемое против моей позиции, заключается в следующем. Вообразите, что в робота вложена программа понимания китайского языка. Если робот движется и взаимодействует с миром, то не свидетельствует ли это о том, что он понимает по-китайски? Однако неустранимость различий между семантикой и синтаксисом сводит на нет и этот способ аргументации. До тех пор, пока у робота вместо мозга компьютер, он не может перейти от синтаксиса китайского языка к его семантике. Вообразите, что я — компьютер. Находясь в комнате и располагаясь в голове робота, я передвигаю с места на место символы и не знаю, что одни символы поступают ко мне от телевизионных камер, прикреплённых к голове робота, а другие — выходят и управляют движением его рук и ног. И до тех пор, пока все, с чем я имей дело, есть формальная компьютерная программа, я не способен наделять смыслом какой-либо из символов. Тот факт, что робот взаимодействует с внешним миром, не поможет мне в наделении символов смыслом, пока у меня не будет способа получить информацию об этом факте. Представим, что робот выбирает гамбургер, и вследствие этого символ, обозначающий гамбургеры, появляется в комнате. Поскольку всё, что у меня есть, — это символ без знания его причин или того, как он сюда попал, установить его значение невозможно. Причинные взаимодействия между роботом и остальным миром не играют роли, если только они не представлены в том или ином сознании. Но их и нельзя представить, если всё, что составляет так называемое сознание, есть множество чисто формальных, синтаксических операций.

Важно точно понять, что утверждает и чего не утверждает мой аргумент. Зададимся старым вопросом: «Может ли машина мыслить?» В некотором смысле все мы машины. Мы можем считать, что вещество в наших головах есть машина. И разумеется, все мы способны мыслить. Так что в одном из смыслов слова «машина», а именно в том, что машина — всего лишь физическая система, способная выполнять определённые операции, мы все машины и мы можем мыслить. Итак, существуют машины, которые могут мыслить. Но ведь нас занимал вовсе не этот вопрос. Сформулируем его иначе. Может ли мыслить артефакт? Может ли мыслить машина, сотворённая человеком? Конечно, это зависит от того, о каком артефакте идёт речь, Допустим, мы сконструировали машину, которая ни на одну молекулу не отличается от человеческого существа. Тогда, если вы можете дублицировать причины, вы, вероятно, сможете дублицировать и следствия. Ответ на поставленный вопрос, по крайней мере в принципе, тривиален: «да». Если бы вы построили машину, имеющую ту же структуру, что и человеческое существо, то эта машина была бы способна мыслить. Конечно, это был бы суррогат. Но сделаем ещё одну попытку.

Вопрос состоит не в том, может ли машина мыслить, или может ли артефакт мыслить, а в том, может ли мыслить цифровой компьютер. Но мы должны быть очень осторожны с интерпретацией. С математической точки зрения, цифровым компьютером может быть названо всё что угодно. Всё что угодно может быть описано как пример или выполнение компьютерной программы. Даже ручка, лежащая передо мной на столе, может быть названа цифровым компьютером. Хотя компьютерная программа у неё весьма и весьма скучная. Программа говорит: «Оставайся на месте». Поскольку в этом смысле всё что угодно является цифровым компьютером, мы вновь получаем тривиальный ответ на наш вопрос. Конечно, наш мозг является цифровым компьютером, поскольку он выполняет любое количество компьютерных программ. И конечно, наш мозг способен мыслить. Итак, мы опять получили тривиальный ответ. Но на самом деле вопрос был задан неверно. Его следовало задать так: «Может ли цифровой компьютер мыслить?» Или иначе; «Достаточно ли для мышления выполнения правильной компьютерной программы с правильными данными на входе и выходе, конституирует ли это мышление?» На этот вопрос следует ответить: «нет». «Нет», потому что компьютерная программа определяется чисто синтаксически. Но мышление есть нечто большее, чем манипулирование не имеющими смысла символами, оно предполагает осмысленные семантические содержания. Эти семантические содержания я и имей в виду, когда говорю о «смысле».

Ещё раз следует подчеркнуть, что речь идёт не о той или иной конкретной стадии развития компьютерной технологии. Будущие открытия ничего не изменят. Дело не в грядущих удивительных достижениях компьютерной науки, не в различении последовательных и параллельных процессов, не в объёме программ, не в скорости компьютерных операций и не в компьютерах, способных взаимодействовать со средой, и даже не в изобретении роботов. Конечно, развитие компьютеров является весьма значительным шагом вперёд. И в будущем мы вправе ожидать дальнейшего прогресса в этой области, В будущем мы сможем имитировать человеческое поведение на компьютерах гораздо лучше, чем сегодня, и уж наверное лучше, чем вчера. Но с моей точки зрения, все эти имитации просто не имеют отношения к делу. Неважно, насколько хороша технология или какова скорость вычислений, производимых компьютером. В компьютере операции определяются синтаксически, в то время как сознание, мысли, чувства, эмоции и тому подобное предполагают нечто большее, чем синтаксис. Эти свойства компьютер не способен воспроизвести по определению, как бы хорошо он их ни имитировал. Существует большое различие между воспроизведением и имитацией. Никакая имитация сама по себе не может быть воспроизведением.

До сих пор я просто подводил фундамент под то ощущение абсурдности, которое вызвали цитаты, приведённые в начале главы. Остаётся один только вопрос: как кому-то вообще пришла в голову мысль, что компьютеры могут мыслить, чувствовать, обладать эмоциями и так далее? В конце концов, мы можем осуществить компьютерную имитацию любого процесса, поддающегося формальному описанию. Так, мы можем имитировать движение денег в британской экономике, или разделение власти в лейбористской партии. Мы способны имитировать грозы в прилегающих к Лондону графствах или пожары на складах восточного района Лондона. В любом из этих случаев ни у кого не возникает и мысли, что компьютерная имитация — это что-то, что происходит на самом деле; никто не ожидает, что компьютерная имитация грозы оставит всех нас насквозь промокшими, а имитация пожара превратит в пепелище наш дом. Никто, будучи в здравом уме, не примет компьютерную имитацию ментальных процессов за действительные ментальные процессы. Откровенно говоря, сама идея кажется мне совершенно безумной. Но стоит всё же немного поразмышлять на эту тему.

Во-первых, в отношении сознания многие люди до сих пор придерживаются позиции бихевиоризма. Они полагают, что если система ведёт себя так, как если бы она понимала китайский язык, то она и в самом деле его понимает. Но мы уже опровергли эту форму бихевиоризма, прибегнув к помощи аргумента «китайской комнаты». Согласно другому предположению, сознание не является частью биологического мира, частью мира природы. Точка зрения «сильной версии ИИ» состоит в том, что сознание — это чисто формальный процесс и не может считаться конкретным продуктом биологических процессов. Короче говоря, это нечто вроде останков дуализма. Приверженцы ИИ убеждены, что сознание — не просто часть природного биологического мира; они считают, что оно полностью формализуемо, Парадокс заключается в том, что литература по ИИ полна инвектив по поводу дуализма, но фактически сильная версия ИИ сама основывается на своего рода дуализме: за сознанием отрицается его принадлежность к обычным биологическим феноменам.

Сведём вместе тезисы первой и второй главы. Если это сделать, получается весьма впечатляющая картина. Аргументация имеет очень простую логическую структуру, так что вы сами сможете увидеть, правильна она или нет. Первая посылка такова:

1. Мозг причинно обусловливает сознание.

Разумеется, это несколько грубая формулировка. Имеется в виду, что ментальные процессы, составляющие сознание, причинно обусловлены, полностью причинно обусловлены мозговыми процессами. Но мы будем говорить кратко: мозг причинно обусловливает психику. Это просто факт, говорящий о том, как устроен мир.

Теперь запишем второе суждение:

2. Синтаксиса недостаточно для семантики.

Это суждение является чисто понятийной истиной. В нём различено формальное и обладающее содержанием. К этим двум суждениям — что мозг причинно обусловливает психику и что синтаксиса недостаточно для семантики — добавим третье и четвёртое:

1. Компьютерные программы полностью определяются своей формальной или синтаксической структурой.
2. Это суждение истинно по определению, будучи частью того, что мы имеем в виду под компьютерной программой.
3. Сознание обладает ментальными содержаниями, в частности — содержаниями семантическими.

По-моему, это просто очевидный факт. Мои мысли, убеждения и желания всегда говорят о чём-то, они указывают на что-то, они касаются положения дел в мире; и это происходит потому, что их содержание направлено на это положение дел. Из указанных посылок можно вывести наше первое заключение; оно с очевидностью следует из посылок 2, 3 и 4.

Заключение 1:

Компьютерной программы самой по себе недостаточно, чтобы у системы появилось сознание. Короче говоря, программы — это не сознание, и самих по себе программ недостаточно для того, чтобы появилось сознание.

Это очень сильное заключение, оно означает, что проект создания сознания исключительно с помощью программ обречён с самого начала. Важно ещё раз подчеркнуть, что дело не в конкретном состоянии технологии или степени сложности программы. Это заключение — чисто формальный, или логический результат, полученный из множества аксиом, которые принимают все (или почти все) участники соответствующей дискуссии. Даже большинство энтузиастов искусственного интеллекта согласны, что мозговые процессы причинно обусловливают ментальные состояния, а программы определяются чисто формальным образом, Но если сложить вместе эти заключения и некоторые другие известные нам вещи, мы увидим, что проект сильной версии ИИ неосуществим. Посмотрим, что ещё можно вывести из этих аксиом.

Заключение 2:

Причинная обусловленность сознания деятельностью мозга не может определяться выполнением компьютерной программы.

Это второе заключение следует из соединения первой посылки с нашим первым заключением. Иначе говоря, из того, что мозг причинно обусловливает сознание и что компьютерных программ для этого недостаточно, следует, что мозг порождает сознание не благодаря выполнению некоей компьютерной программы. Это тоже важный результат, из него следует, что мозг не является цифровым компьютером, или по крайней мере не является только цифровым компьютером. В тривиальном смысле слова цифровым компьютером может быть названо всё что угодно, и мозг не составляет здесь исключения. Но значимость данного заключения в том, что вычислительных свойств мозга просто недостаточно для того, чтобы можно было объяснить появление ментальных состояний. И это в любом случае должно казаться нам здравым научным заключением, оно напоминает о том, что мозг является биологической реальностью; биология мозга здесь имеет значение. И неправы те специалисты по искусственному интеллекту, которые считают несущественным то, что сознание реализуется в человеческом мозге.

Из нашей первой посылки мы можем вывести ещё одно заключение.

Заключение 3:

Чем бы ни было обусловлено сознание, оно должно обладать каузальной силой, по крайней мере эквивалентной силе мозга.

Это третье заключение есть тривиальное следствие из первой посылки. Вывод аналогичен следующему рассуждению: поскольку карбюраторный двигатель обеспечивает скорость в семьдесят пять миль в час, то и любой дизельный двигатель, способный на это, обладает мощностью, по крайней мере эквивалентной мощности карбюраторного двигателя. Наверное, могла бы существовать и какая-то другая система, которая бы обусловливала ментальные процессы, обладая химическими или биохимическими свойствами, полностью отличными от тех, что имеются в мозге. Может оказаться, что на других планетах или в других солнечных системах есть существа с совершенно другой биохимией, но обладающие ментальными состояниями. Предположим, на Землю высадились марсиане, и мы пришли к выводу, что они обладают ментальными состояниями. Но предположим также, что при вскрытии их голов там обнаружилась одна только Зелёная слизь. Эта Зелёная слизь, порождающая сознание и всю в целом ментальную жизнь, должна иметь причинную силу, равную силе человеческого мозга. Итак, из нашего первого заключения, что одних программ недостаточно, и нашего третьего заключения, что любая другая система должна была бы обладать причинной силой, равной силе мозга, следует заключение 4.

Заключение 4:

Для любого артефакта с ментальными состояниями, эквивалентными человеческим, недостаточно одной лишь компьютерной программы. Артефакт должен обладать силой, равной силе человеческого мозга.

Это обсуждение, я полагаю, напоминает нам о том, что мы всегда знали, а именно что ментальные состояния суть биологические феномены. Сознание, интенциональность, субъективность и ментальная причинность — все это части биологической истории нашей жизни, наряду с ростом, воспроизводством, выделением желчи и пищеварением.