Ханс Ленк:
Размышления о современной технике.
Глава VII. Могут ли информационные системы быть морально ответственными?

В грядущем супериндустриальном, или, точнее, информационном и системотехнологическом веке информационные системы станут принимать решения во всё более растущем объёме. Правда, трудно сказать, может ли в подлинных, а не рассматриваемых лишь в специально информационном отношении информационных и компьютерных системах вообще идти речь о том, что мы называем принятием решений. Если же говорить по существу, то количество данных и факторов влияния слишком велики и сложны (за исключением лишь немногих случаев), чтобы можно было их разумно и осмысленно обработать. В сложных областях управления, в области контроля над данными и в управлении системами принятие решений предоставляется компьютерам, имеющим чрезвычайно гибкое математическое обеспечение, обладающим логической приспособляемостью, к тому же компьютерные системы легко формируемы и достаточно разветвлены ¹⁴⁸. По логике вещей, компьютерам будет предоставлена функция принятия решений также по жизненно важным социальным и даже индивидуальным проблемам. Это особенно касается военной области, в которой задействованы сложнейшие технические системы, и в случае чрезвычайных ситуаций человек просто не будет в состоянии достаточно оперативно и быстро принять необходимые решения, притом достаточно ответственные.

С другой стороны, сама передача функции принятия решений компьютерным системам означает, что решения принимаются без «ответственного лица», то есть человека или группы людей. Возникает вопрос: идёт ли здесь речь о своего рода групповой и даже институциональной «не-ответственности» за подготовку, реализацию и контролирование реализации решений? Или другой вопрос в этой же связи: имеем ли мы право «привлекать к ответственности» принимающие решения компьютерные системы? Здесь, по-видимому, речь идёт о возникшей и не существовавшей доселе новой опасности — снятия самого чувства ответственности с человека, который по своей природе и роли в производстве и обществе должен нести её, и передачи этой ответственности компьютерным системам. Этот вопрос до сих пор обсуждался лишь в самых общих чертах, на «постановочном» уровне, а между тем он обрёл исключительную значимость уже теперь, в настоящее время.

Для иллюстрации этого феномена передачи функции «системам» можно привести пример, кажущийся довольно невинным. В американских университетах определение пригодности или непригодности абитуриентов или самих учащихся для тех или иных специальностей предоставлено компьютерным системам: учащихся «профилируют» машины на основе разработанных «тестов». А вот другой пример может вызвать чувство страха: программирование заранее обусловленных решений о запуске ракет на основе данных систем предварительного оповещения, если иметь в виду слишком часто появляющиеся в печати сообщения о ложных тревогах. Можно ли, позволительно ли доверять ответственность такого — рода компьютерной системе, если она даже весьма гибка, способна учиться, крайне чувствительна в сфере восприятия дифференцированных данных? Кто же должен нести ответственность фактически и этически? За ложное решение, принятое компьютерной системой, не могут нести ответственность в отдельности ни проектировщик, ни создатель программы или математического обеспечения системы, ни руководитель соответствующего вычислительного центра. Может ли такую ответственность нести политический деятель, стоящий далеко от компьютерных систем и понимания их механизмов воздействия, однако занимающий пост, облечённый ответственностью? И вообще существует ли здесь общая, глобальная ответственность за нормальное функционирование, а также за сбой или выход из строя решающих устройств?

Во всяком случае фактически уже верно то, что мы становимся всё более зависимыми от функционирования компьютерных систем. Однако если это так, то должны ли мы открыто возлагать ответственность на эти системы? Почти 20 лет назад Дж. Вайценбаум сообщал о существовании проекта, созданного в недрах американского информационного центра при Массачусетском Технологическом институте, в котором говорилось, что МТИ рассматривает «эти системы как в большинстве случаев ответственные за сохранение мира и стабильности во всём мире» ¹⁴⁹. В связи с этим Вайценбаум напоминал в своём сообщении, что ещё в 1960-е годы один генерал требовал от учёных и технологов рассмотрения и решения вопроса о степени и мере доверия к компьютерам и усовершенствования этих компьютеров с тем, чтобы они сделались более достойными нашего доверия! Сказано неплохо и с генеральской прямотой!

Преподаватель информатики К. Хефнер видит в этом, практически уже неотвратимом процессе «первый шаг к интеграции человека в некую крайне сложную общую систему, которая берёт на себя всё возрастающую ответственность и компетентность» ¹⁵⁰. Он даже полагает, что человек ответственный, обычно отдающий себе отчёт в характере своих действий, уже давно ушёл в небытие под натиском организационных структур, а интегрированные информационные и разрешающие системы лишь обострили эту проблему вплоть до обесценения самого понятия ответственности, во всяком случае там, где речь идёт об индивидуальной ответственности в традиционном смысле. Он пишет в связи с этим: «Автономно действующий и осознающий свою ответственность человек, то есть человек, который был идеалом и целью гуманистов, уже давно как бы растворился и исчез в интегрированных и насквозь сложноструктурированных организациях.

С тех самых пор, как появилась информационная техника, заставившая нас включить в свою деятельность новые схемы, состоящие из технических средств и математического обеспечения, для ответственности и компетенции человека в конечном счёте остаётся лишь одно убежище и то лишь в определённых случаях и сферах деятельности. И такая ситуация возникает вследствие того, что задачи и их решения, которые раньше входили в исключительную компетенцию человека, постепенно берёт на себя информационная техника» ¹⁵¹. И этому можно привести множество достаточно красочных примеров. Стюардесса авиационной компании «Люфтганза» сама уже не организовывает и не контролирует пассажирские места на борту самолётов, которые совершают рейсы от Франкфурта-на-Майне в Нью-Йорк, а пользуется лишь вычислительным устройством, в которое вложена программа, выполняющая учёт занятых и резервных мест на борту. Контролёр на атомной электростанции понимает и контролирует не физику атомного реактора, а наблюдает лишь за функционированием комплексной системы увязанных друг с другом процессоров и их сочетаний. Пилот самолёта в своей кабине, включив автоматическую навигационную систему, уже не определяет местонахождение самолёта по секстанту, оставляя это «в компетенции» компьютеризованной инерциальной навигационной системы. Солдат не станет взбираться на гору или на борт самолёта с полевым биноклем в руках, чтобы определить расположение вражеских подразделений, он скорее доверится компьютерной расшифровке снимков, выполненных радарными и другими устройствами, монтированными на спутниках. Именно благодаря всему этому, с одной стороны, постепенно утрачивают свою значимость компетенции, передающиеся теперь общим системам, и, с другой стороны, обесценивается и ответственность, так как она «вложена» в системы ¹⁵².

Описанные здесь тенденции в развитии техники, пожалуй, не вызывают сомнений, они действительно имеют место. Решения задач всё более и более берут на себя информационные системы, и это происходит практически. Уже не человек, а программа принимает решения в зависимости от определённого обусловливающего сочетания данных. Итак, человек вынужден довериться по возможности безошибочным и безупречным информационным и решающим системам. Означает ли это, что ответственность теперь заложена в системах? Можно ли сказать, что человек постепенно освобождается от ответственности, в то время как системы становятся всё более «ответственными?» И вообще, в каком смысле система может быть ответственна? Относится ли эта передача ответственности системам только к сфере поисков причин тех или иных ошибок или сбоев в системах с целью восстановления безупречного функционирования устройства? Или, быть может, такая «взявшая на себя ответственность» система несёт ещё и юридическую, и даже моральную ответственность?

При соблюдении норм научного исследования такие вопросы не могут рассматриваться и анализироваться врозь, дифференцированно, ибо проще всего при анализе исходить из глобального понимания ответственности как таковой. Такие понятия, как «ответственность», «ответственное поведение», «виновность» или «причина» столь сложны, что практически невозможно будет установить какую-либо общую связь между ними. Вообще-то кажется ясно, что компьютеры не являются моральными, социальными существами и что информационные системы не могут брать на себя — в узком смысле слова — моральную ответственность. С другой стороны, если мы хотим воспрепятствовать дальнейшему распространению какого-либо возникшего внутри системы состояния, которое не содержит явного «состава преступления», достаточного для того, чтобы обвинять его в отсутствии ответственности, фактически определённого рода ответственность системы все же налицо.

Можем ли мы исключить из области морально ответственных действий или бездействий со всеми их последствиями фактическое воздействие принятых решений? Позволительно ли такие судьбоносные решения, как приведённое выше решение о нанесении ответного ракетного удара, исключить из числа ответственных действий, неважно какие они: политические, социальные или моральные по своему характеру? Конечно, требовать, чтобы несли ответственность за такого рода ясно не просматриваемые решения, как пример с ракетами, было бы, пожалуй, «сверхтребованием». Это же касается и политического осознания ответственности. Может ли человек считать себя свободным от ответственности, если он уже предоставил её информационным системам? Во всём сказанном нетрудно увидеть, что речь идёт об уменьшении или вообще о снятии всякой ответственности. Но именно этот феномен должен стать предметом пристального внимания философии и философов. Нам, философам, необходимо встретить эту ситуацию во всеоружии, чтобы разобраться в проблеме ответственности и всеми силами противиться формированию образа мысли, будто бы вполне возможна безответственность, которую никому нельзя вменить в вину, своего рода «невменяемая никому безответственность».

Можем ли мы позволить себе придерживаться принципа поиска виновника в том его смысле, в каком этот принцип дебатируется в литературе по вопросу о защите окружающей среды, и просто переносить на социально и морально контролируемую ответственность за информационную среду «в гуманно компьютеризированном обществе» будущего, как это делает Хефнер? И при этом «виновные» (а следовательно программисты, создатели и поставщики компьютерных устройств, монтажники) должны привлекаться к ответственности «при создании гуманно компьютеризированного общества» ¹⁵³. Причём в эту систему ответственности Хефнер включает все легитимные технические и моральные проблемы свободного пользования информацией, отсутствие всякой цензуры, приватность и охрану данных. Хефнер расписывает ответственность виновных, «ответственность поставщиков оборудования», «ответственность разработчиков и изготовителей персональных информационных и телекоммуникационных систем», а также виновных за политическое управление и политический контроль в процессе создания будущего «информационного общества». Он предлагает также создать нечто вроде «Объединения информационно-технических наблюдателей» или контролёров, «Объединения организаторов знания», которые очевидно должны будут штемпелевать специальные «знаки проверки» на персональных информационных и телекоммуникационных системах и на банках данных ¹⁵⁴.

По мнению Хефнера, в свободном, но не централизованно организованном обществе «должны привлекаться к прямой ответственности все, кто так или иначе включён в процессы формирования (компьютеризированного. — Прим. авт.) общества» ¹⁵⁵. В рамках необходимой совместной ответственности, по мнению Хефнера, необходимо ввести также и «непосредственную ответственность» за принятия решений в высокоструктурированной общей системе, зависимой к тому же от многих промежуточных решений и действий по вводу информации: «Ответственность и компетентность, несмотря на интенсивное интегрирование в информационно-техническую сеть, должны непременно просматриваться, и таким образом должна существовать возможность связать их с отдельной личностью» ¹⁵⁶. «Сопричастность» и «совместная ответственность» — лозунги времени.

Должен заметить, что все эти рассуждения и утверждения, какими бы очевидными они ни показались, всё же слишком общи. И в этой чрезмерной общности они не применимы. Я уже не говорю о некотором налёте «дешевизны» и упрощённости, ведь требование совместной ответственности всех привлечённых лиц прежде всего утопично или нереализуемо точно так же, как и утверждение Вайценбаума о том, что каждый из нас несёт ответственность за современную ситуацию в мире. Но если бы каждый был ответствен за все, то никто не был бы ответствен ни за что конкретно. Ответственность должна быть конкретна, соотнесена с чем-нибудь реально данным, операционально привязана; она должна быть вменена конкретной личности или конкретному учреждению и при этом непременно контролируема. Поэтому употребляемые Хефнером слова-этикетки часто свидетельствует лишь о пустословии или о легковесной, хотя и рафинированной стратегии уклонения, или об уходе от ответственности, применяемой теми политиками, которые coram publico (публично) «берут на себя всю ответственность» лишь словесно, но не предпринимают никаких «ответственных» действий, оказываются неспособными вести решительную борьбу с нарушениями и неполадками, применять действенные санкции к нарушителям, чаще же просто уклоняются от ответственности тем, что уходят в отставку. Другими словами, неконкретные, неоперациональные, слишком общие формы вербализации ответственности, «ответственности как таковой», в таком абстрактно-глобальном виде вряд ли могут быть приняты всерьёз. Это в ещё большей мере проявляется тогда, когда взятые на себя те или иные ответственности в разных областях и на разных уровнях накладываются друг на друга и могут вступить в конфликт друг с другом.

В одной из своих работ ¹⁵⁷ я различаю разные типы понятия ответственности, которые, как я полагаю, следовало бы учесть при анализе этого понятия. Так, я отличаю ответственность, связанную с той или иной деятельностью и её последствиями, от ответственности, обусловленной ролью и формированием задач, а также от ответственности правовой и моральной. Помимо всего этого, многое должно быть осмыслено и учтено в тесной связи с различием между личностями, ролями, группами, учреждениями и так далее. Такого рода различающая «типология» крайне необходима для более точного описания дифференцированной, на мой взгляд, проблемы ответственности. Это типизирование ответственности было бы нелишне дополнять правилами приоритетов, как они в общих чертах уже, кажется, сформулированы в хозяйственной этике ¹⁵⁸.

Дополнительно можно было бы ввести прямую моральную ответственность там, где речь идёт о якобы морально нейтральной форме деятельности. По крайней мере, такую ответственность следовало бы предусмотреть. Разумеется, здесь речь идёт о регулировании prima facie, с первого взгляда, в первом приближении, пригодном для аналитического различия. Однако в определённом ситуационном контексте обычно требуют специальной, дифференцированной или казуистической, то есть связанной с конкретными случаями оценки.

Разумеется весьма сомнительно, чтобы такого рода дифференциации существенно помогли нам разрешить проблему практического стирания понятия «ответственности» и самой ответственности, когда мы стоим перед фактом явного дефицита самого осознания ответственности в автоматизированных системах принятия решения. Несомненно, речь здесь идёт о предварительных разработках, и не более того. Сама же проблема как таковая требует уже не предварительной, а в отличие от неё дальнейшей философской характеристики и анализа. Речь идёт о недостаточной до сих пор дифференциации различных понятий ответственности при их интерпретации. И как мне кажется, следует проводить чёткое различие между вменением дескриптивной и нормативной форм ответственности. То, что ответственность (Verantwortung) и «обладание чувством ответственности» (Verantwortlichkeif) являются понятиями, предполагающими их реальных носителей (личности, группы, учреждения), известно уже давно, например, из социальной психологии, в которой исследуются эмпирические факторы и условия при решении вопроса о субъекте ответственности или о вменении ответственности конкретному «лицу» ¹⁵⁹. Конечно, вопрос о вменении ответственности можно решать и по нормативному принципу, когда мы, например, объявляем виновника и привлекаем к ответственности за определённые последствия его деятельности, если это лицо было по существующим нормам признано несущим ответственность.

Несомненно, нормативное определение субъекта ответственности, самого вменения ответственности зависит от некоторых предварительных условий, в свою очередь рассматриваемых как дескриптивные. Например, должно быть признано, что привлекаемый к ответственности субъект действительно был в состоянии брать на себя ответственность во всех отношениях; он должен быть признан ответственным за результат своей деятельности лишь в том случае, если он в своём решении, приведшем к данному результату, был свободен, то есть мог принять и другое, не чреватое пагубными последствиями решение. Ещё Аристотель (Никомахова этика, книга 3) рассматривал понятия «обдуманность», «взвешенность» и «предумышленность» как признаки ответственных действий. Эти признаки являются предварительными условиями для нормативного вменения ответственности тому или иному лицу. Эти условия в свою очередь предполагают интенциональность, то есть намеренность приблизительно в том смысле, в каком этот вопрос в настоящее время обсуждается, например, Сирлом ¹⁶⁰. Вопрос здесь состоит в том, существует ли единый дескриптивный критерий для вменения ответственности субъекту и есть ли основание распространять этот критерий и на нормативное вменение ответственности тому или иному лицу. В этом смысле упомянутые дискуссии по вопросу об ответственности страдают многими недостатками и упущениями. Ниже, на нескольких примерах анализируются дискуссии по рассматриваемому вопросу.

Как бы продолжая обсуждение, я попытаюсь более дифференцированно, чем это делалось до сих пор, проанализировать разницу между дескриптивным и нормативным понятием вменения ответственности субъекту.

Для начала я обращусь к критике Байнэмом теории интенциональности Сирла и вопросу о её применении к информационным и решающим системам ¹⁶¹. Согласно Сирлу, компьютерные программы и решающие системы «чисто формальны», поскольку они в состоянии манипулировать только интерпретированными символами по заранее запрограммированным правилам. Они не в состоянии демонстрировать никаких интенциональных состояний или процессов, ибо последние могут порождаться только мозгом как их биологической основой. Интенциональность является феноменом биологическим, потому она не может быть воспроизведена никакой системой автоматов. Разумеется, все это не ново. Это просто вопрос о том, в какой мере компьютерная метафора, которая является ни чем иным как современным вариантом «человека-машины», может быть интерпретирована реалистически. Позволительно ли, как это делают современные психологи, рассматривать человека в качестве сложной перерабатывающей информацию системы или в качестве способного манипулировать информацией организма, которому, как гибкой, программируемой машине, перерабатывающей данные и способной принимать решения, приписывают мышление, сознание, а иногда даже чувствование?

Ответ на такие вопросы, естественно, будет зависеть от того, будем ли мы исходить из бихевиористских установок или нет. Функционалисту же достаточен упомянутый критерий Тьюринга: если нам систематически не удаётся «интеллектуальные» действия человека отличить от действий программированной решающей системы, то тогда необходимо признать за соответствующим компьютером интеллект и способность мыслить. Однако строгие, доведённые до конца принципы бихевиоризма и функционализма спорны. Сирл выбирает реалистическое исходное положение, направленное на то, чтобы идентифицировать интенциональные состояния (правда, только в тех случаях, когда мы берём в основу функциональный критерий действия): направленность («direction of fit» или «directedness») ¹⁶² и способность представления (representation); выполнение или невыполнение требований истинности или правильности; гибкость или адаптируемость, самовключение в сетевые системы или контексты, — все они являются главными критериями для характеристики и идентификации интенциональных состояний.

После публикации работы Байнэма (1985) можно дополнительно учитывать также и входные органы, и передаточные устройства, а в известных условиях также и выходные механизмы, но особенно следует учитывать требование, что такие состояния должны быть «семантически активными» ¹⁶³. Семантически активными являются состояния или процессы, которые длительное время взаимодействуют друг с другом и с миром таким образом, что интенциональное (а следовательно, и изображённое) содержание в соответствующей форме воспроизводится и изменяется. Байнэм убедительно показывает, что все эти критерии подходят для характеристики интенциональных состояний также новейших компьютерных систем, и их не следует поэтому ограничивать сферой лишь биологических организмов. Это может оказаться верным лишь в том случае, если мы ограничиваемся указанными выше как бихевиористскими, так и функционалистскими критериями, и в основу наших суждений кладём нечто вроде современной каузальной теории на манер Крипке или Патнэма. Байнэм разъясняет это на примере модели способного к обучению шахматного компьютера, на базе которого был развит и построен шахматный робот, способный решать задачи.

И так как Байнэм считает «логические свойства» решающими и характеризующими чертами интенциональных состояний, но не онтологическими категориями, то с этой, функционалистско-логической, точки зрения новейшие компьютеризированные информационные и разрешающие системы, по меньшей мере, должны с высокой гибкостью и способностью к обучению обнаруживать интенциональные состояния. В этом функционалистском смысле интенциональность не была бы привязана только к биологически реализующей субстанции (то есть к мозгу). В этом случае возникает вопрос: можно было бы рассматривать упомянутые новейшие информационные и разрешающие системы, которые характеризуются как интенциональные существа, впредь и в качестве ответственно действующих субъектов, которые могут быть привлечены к ответственности за принятые ими решения?

У. Бехтель ¹⁶⁴ и Д. Снэппер ¹⁶⁵ предпринимают этот шаг: они полностью специфицируют реализуемые условия для гибко, программно регулируемых разрешающих систем, которые, по их мнению, позволяют нам вменять этим системам правовую и моральную ответственность. Снэппер, например, полагает, что с правовой точки зрения законы могут и должны быть изменены так, чтобы компьютеры могли считаться «ответственными» в том смысле, чтобы их эксплуатирующие (а в определённых случаях и их изготавливающие и поставляющие) учреждения и предприятия гарантировали от возможного их выхода из строя, сбоя или от ущерба, нанесённого ими по ходу их функционирования. На этой базе можно было бы решать и вопрос о распределении ответственности. До сих пор считался спорным вопрос, можно ли признать ответственными за ошибки компьютеров эксплуатирующего их обладателя или собственника, изготовителя, программиста, разработчика математического обеспечения и тому подобное. «Если бы мы рассматривали машину как юридически действующее лицо, то стало бы значительно легче пострадавшей стороне требовать возмещения убытков, а сам юридический процесс был бы намного упрощён» ¹⁶⁶. И в то же время это оказало бы определённое давление на всех соучастников процесса с тем, чтобы они усовершенствовали технологическую надёжность машины, полагает Снэппер.

Мне это кажется не очень убедительным, ибо именно в случае ограждения себя от нежелательных последствий с помощью одних рутинных заверений можно заподозрить ослабление добросовестности, если общество, основанное на принципах безопасности, не настаивает на выполнении строгих требований. Снэппер привлекает для укрепления своих суждений и Аристотелеву теорию ответственности (Никомахова этика, книга 3) с тем, чтобы обосновать своё положение о возможности вменять ответственность компьютеру, считая, что последний способен на рефлектированные решения и выбор. Но если так, то можно было бы сделать вывод, что «машина является деятельным лицом, несущим ответственность»; ибо ведь компьютер и действительно, по его мнению, взвешивает различные альтернативы и условия соответственно своим оптимизирующим масштабам, следовательно, он принимает вполне обдуманное решение и делает обдуманный выбор. Критерий обдуманности является, конечно, лишь одной частью Аристотелева критерия ответственного действия. Произвольное, то есть свободное от внешнего принуждения, действие, сознательная установка и интенциональность в отношении своих собственных действий, которые принимает действующее лицо по отношению к себе самому и своим решениям, являются другой частью критерия ответственности. Снэппер полагает, что компьютер «не может принимать некую (ментальную) установку по отношению к сделанному им выбору». В этом смысле компьютеры не осуществляют каких-либо рефлективных, тем более направленных на самих себя сознательных процессов или сознательных репрезентаций, которые бы учитывали субъективность и положение действующего субъекта, как и его включение в контекст других действующих субъектов. В этом, более специфическом, характерном для социальности и моральности смысле компьютеру нельзя, разумеется, вменять никакой ответственности. Компьютер, полагает Снэппер, может нести ответственность в плане своей способности обдумывать, однако в плане вполне сознательных и произвольных (свободных от внешнего условия) действий он никакой ответственности нести не может.

Здесь выявляется некая необходимая дифференциация ответственностей, полагает Снэппер. Однако мне кажется сомнительным, что идентификация таких способностей, как способность обдумывания, по сравнению со способностью к произвольным действиям как и способность порождать интенциональные состояния, можно ставить в один ряд с соответствующими им типами ответственностей. Быть ответственным означает нечто большее, чем соответствовать критериям способности обдумывания и интенциональности. Во всяком случае такое соответствие, конечно, является необходимым, но отнюдь не недостаточным условием вменения ответственности. К тому же мы тем самым вовсе не покидаем дескриптивное поле вменения ответственности, но просто имплицитно предполагаем его вместе с нормативным, считая их равными. Сам Снэппер не проводит никакого различия между дескриптивным и нормативным типами вменения ответственности.

То же я могу сказать о концепции У. Бехтеля, ратующего за «вменение ответственности компьютерным системам». В связи с этим Бехтель намерен «сформулировать условия, при которых мы смогли бы конструировать компьютеры в качестве ответственно действующих субъектов и сделали бы их ответственными за принимаемые ими решения». Он собирается, не впадая «в сферу научной фантастики», всё же развить и предложить необходимые и достаточные условия для разграничения ответственности с помощью показа свойств некоторой «интенциональной системы». Необходимое условие для привлечения к ответственности за то или иное решение тривиальным образом заключается в том, что «действующее лицо находится в причинном ряду, ведущем к разрешению, или по меньшей мере оно было способно вмешиваться в причинную цепь» (как, например, в случае подавления информации). Следовательно, информация должна исходить от действующего субъекта и быть в сфере его контроля. Интенциональные системы, согласно Донне, отличаются тем, что мы воспринимаем их действия «как результат определённых желаний или мнений». При этом важно учесть, что решения и суждения относят не только к внутренним состояниям, но и к отношению системы к её окружению. Для этого требуются наличие некоего метауровня схватывания (понимания) и самореференциальности (самосоотнесённости) в смысле описания внутреннего состояния и выработки отношения к этому состоянию. В смысле сформулированного упомянутым Д. Сирлом критерия направленности системы на саму себя, то есть на описание своего внутреннего состояния, включение системы в окружающую среду можно рассматривать и как «пригонку» «мира к слову», и как «пригонку слова к миру». Тем самым система окажется в состоянии применять символы телеологически и, так сказать, со знанием направленности.

Таким образом система может быть адаптивной и возможно даже способной к обучению. В той мере, в какой компьютерные и решающие системы именно как системы с внутренней адаптационной способностью могут свои внутренние состояния и свою продуктивную способность приспосабливать к сигналам и данным внешней среды, они будут в состоянии изменять свои реакции на данные в соответствии с вводимой программой и со стратегическими метапрограммами. «Такие системы в состоянии изменять своё поведение и даже саму программу своего поведения при реакции на окружающую среду» ¹⁶⁷. Для этого, продолжает Бехтель, понадобятся «метаправила, назначение которых сводится к тому, чтобы изменять правила внутри самой системы. Например, обучение внутри какой-либо производственной системы требует внутренние правила производства, которые, если их активизировать, могут дополнительно создавать новые выработки, снимать или изменять другие». Конечно, традиционный последовательный компьютер, напоминающий неймановскую архитектуру, не может реализовать что-то подобное.

Однако существуют формы реализации и модели «параллельно обрабатывающих процессорных автоматов, которые смоделированы в соответствии с нейронной сетью человеческого мозга». «Они состоят из многих единиц, которые могут быть введены в действие время от времени, по мере необходимости и в различной степени», и «связи которых, с помощью возбуждающих и тормозящих стимулов, могут активизироваться с различной силой». Подобная система может быть соотнесена со многими и различными состояниями стабильности, причём это зависит от первоначальных величин активирования, а также от более поздних моделирующих или случайных вводов. Разные образцы активирования могут друг с другом конкурировать, но тогда они должны, по аналогии с процессом обдумывания выбора между многими вариантами, привести к какому-либо решению. Параллельно работающая адаптивная система, сориентированная на внешнюю среду, также не «регулируется исключительно эксплицитными правилами, накопленными внутри системы», но создаёт курс и стратегию в зависимости «от начального активирования, от степени переплетения между единицами» и последующими сигналами из окружающей среды. Из приспособительной системы вырастает обучающаяся система, которая «может принимать решения как ответ на различные введённые данные» ¹⁶⁸.

Из всего сказанного Бехтель делает вывод, что такого рода параллельно обрабатывающие, обучающиеся средние системы не показывают, конечно, внутренние желания или состояния, базирующиеся на каких-либо убеждениях в реалистическом смысле этих понятий, однако они всё же будут реагировать функционально соответственно им и даже «действовать» так, как если бы они обладали интенциональными состояниями как причинными факторами, на основе которых они принимают решения относительно своего собственного поведения. Высокая степень гибкости, способность адаптироваться и обучаться в отношении сигналов и побуждений («раздражителей»), исходящих из окружающей среды, внутренняя способность к формированию обучающих стратегий и соответствующие метаправила над поведенческими правилами позволяют нам, по его мнению, рассматривать систему так, как если бы она имела собственные мнения и желания, имеющие силу причины, лежащей в основе внутренне возникших решений (а может быть, не только силу причины, но и «естественную силу?»). Решения должны исходить из причины и находиться под её контролем с тем, чтобы у нас было основание говорить об их «ответственности». Так обстоит дело в интенциональных системах: «То, что мы утверждаем, когда мы вменяем какой-либо интенциональной системе ответственность, сводится к тому, что система сама приняла уже состоявшееся решение, так как она в качестве действующего субъекта так устроена. Это объясняет, каким путём решения интенциональной системы исходят из неё самой» ¹⁶⁹. Это же положение действительно и для способности реакции и адаптации обучающейся системы в отношении среды, так что у нас есть основание говорить о решении, «которое находится под контролем системы».

«Если мы имеем такие компьютерные системы, которые в качестве приспосабливающихся устроены так, что встраиваются в окружающую среду и приспосабливают свои реакции к этой среде, то можно предположить, что мы здесь уже выявили и назвали те черты человеческого существа, которые мы учитываем, рассматривая человека как ответственного. Если мы принимаем этот результат и делаем вывод о том, что некоторые компьютерные системы могут быть признаны ответственными за принятые ими решения; если они являются системами, способными к адаптации, и если они «научились» вести себя в своей среде определённым образом, то тогда должны существовать условия, при которых мы можем им «простить» и не считать их ответственными» ¹⁷⁰, следовательно, освободить их от ответственности. Из всего сказанного Бехтель делает вывод, что в принципе можно спроектировать компьютерные системы, которые «можно сделать ответственными за принятые ими решения» ¹⁷¹. Как и Снэппер, Бехтель принимает понятие ответственности только в описательно вменяемом смысле: должны быть даны условия, пригодные для того, чтобы описать интенциональные системы как «ответственные». Нормативное вменение в смысле: «кого-то делать ответственным» или «кого-то считать ответственным» не дискутируется. Нормативное вменение ответственности есть оценочный процесс, который нельзя понять в рамках одних лишь дескриптивных категорий. Хотя выполнение определённых дескриптивных условий (как, например, упомянутое условие интенциональности, причиняемости, контроля и произвольность действий) и является необходимым, но тем не менее они — не достаточное требование для нормативного вменения ответственности.

Бехтель считает описательные, по меньшей мере, необходимые условия дескриптивного вменения ответственности в целом уже достаточными: он, не вдаваясь глубже в проблематику, идентифицирует необходимые условия дескриптивного вменения ответственности с критерием (то есть необходимые и достаточные условия с претензией на достаточно полный охват условий). Необходимые условия не могут быть просто идентифицированы с критерием. Помимо этого, условия дескриптивных вменений (ответственности) перспектив наблюдателя не могут быть просто отождествлены с условиями и тем более с критериями нормативного вменения. Реально делать кого-либо ответственным есть нечто совсем иное, чем описывать или рассматривать просто его как способного принимать на себя ответственность. Особенно существенным для моральной ответственности является проведение различия между дескриптивными условиями и нормативным вменением ответственности. Пусть для компьютерных, информационных, а также решающих систем уже созданы дескриптивные условия для вдумчивого (делиберативного) принятия решения, для гибкого приспособления к среде и так далее; пусть даже структурные аналогии полностью соответствуют дескриптивной вменяемости. И тем не менее нормативное вменение, по меньшей мере в моральном смысле, здесь отсутствует. Мы можем, конечно, застраховать компьютерную систему и таким образом, в рамках гражданского права, квази-нормативно проводить аналогию в смысле материальной ответственности (это соответствует специфическому типу правовой ответственности); и всё-таки, вследствие этого, компьютер не станет юридическим лицом. (При различных толкованиях понятия «юридическое лицо» существует много возможностей варьирования, позволяющих, например, и его квази-персональную интерпретацию, не превращая при этом юридические лица в собственном смысле в лица «естественные» или моральные.)

Именно по этой причине компьютеризованная система принятия решений в моральном смысле не может стать полностью ответственной моральной личностью, и тем самым оказаться носителем морально-практического разума. Сказанное, разумеется, не означает, что невозможно найти пути или промежуточные возможности для того, чтобы приписывать системам принятия решений моральную релевантность (по всей вероятности, это по аналогии с той чрезвычайно важной дискуссией о моральной ответственности корпораций, которая сейчас идёт в литературе и в периодической печати) ¹⁷².

Несмотря на существующую склонность к персонификации компьютера как партнёра в компьютерной игре в шахматы, несмотря на попытки проектировать в компьютере установки личного партнёрства, несмотря на тенденцию создания и применения специальной «личностной» терминологии, — несмотря на всё это, компьютерные системы не следует рассматривать как моральных партнёров или как существа, обладающие практическим разумом. По крайней мере, против этого протестуют наши классические представления о моральности и наша этическая интуиция, унаследованные нами от предшествующих поколений ¹⁷³. Ведь в таком случае нам пришлось бы размыть все грани и смысл моральной терминологии и самого языка морали для того, чтобы вписать компьютерные системы как морально действующие лица в Кантово царство нравственности с его автономией в деятельности и моральном законодательстве и в учение о практическом разуме того же Канта. Компьютеры, я повторяю, не являются социальными или моральными существами, если даже принятые ими запрограммированные решения могут иметь достаточно второстепенную и непрямую моральную релевантность и по этой причине кем-то могут считаться «ответственными». В рамках гражданского права компьютер или информационная система, с помощью вышеописанного трюка по их страхованию, не могут быть превращены в моральную личность (в такой же мере, как и, вопреки мнению Фрэнча, какое-нибудь экономическое предприятие или социальный институт). Само понятие вменения ответственности можно и нужно дифференцировать в нормативном смысле: быть морально ответственным (пусть даже во второстепенном смысле, как это имеет место с корпорациями, если им вменять ответственность), не имея статуса моральной личности, — следует отличать от способности аргументированного, гибкого в зависимости от ситуации и приспособляемости к среде «обдумывания».

Градация различных ступеней в континууме этих способностей возможна и необходима, если даже первоначальную ответственность, ответственность как таковую, нельзя вменять информационным системам и системам принятия решений в моральном смысле рассматриваемого понятия. Стремление преднамеренно и слишком поспешно превращать компьютер в моральное существо означало бы открывать слишком лёгкие пути для выхода из дилеммы ответственности, выбирать стратегию уклонения от решения проблемы, которая в свою очередь может привести к уходу от собственной моральной ответственности. И тогда компьютер оказался бы в роли козла отпущения. Если нельзя привлекать к ответственности личность, то крайне легко сваливать ответственность на компьютер или вообще от неё отказаться. Но ведь моральная ответственность характеризуется именно тем, что независимо от того, идёт ли речь о личной или о совместной ответственности, от неё невозможно уклониться, её нельзя отклонять, её нельзя «делегировать» другим или разбить на части вплоть до исчезновения ¹⁷⁴.

Как уже говорилось, вменять компьютерам моральную ответственность означало бы встать на путь легко применяемой стратегии уклонения от действительной моральной ответственности. Именно поэтому наше моральное сознание не должно позволять открывать этот путь выхода из дилеммы или форсировать его. Мы не должны позволять безответственность даже на вторичном уровне, и надо сказать, что не существует никаких простительных обстоятельств, дающих нам «право» или какое-либо основание сваливать нашу ответственность на компьютеры. От моральной ответственности невозможно уходить, её нельзя «передавать» другому, она не может быть как нормативное вменение ответственности решена в запрограммированных разрешающих системах, если даже её крайне трудно кому-то вменить или нести её.

Мы должны создавать управляемые модели, определяющие участие в ответственности, которые позволили бы нам морально удовлетворительно разрешать дилемму кажущегося стирания ответственности в системах.