«Что мы думаем о машинах, которые думают. Ведущие мировые ученые об искусственном интеллекте»

Что мы думаем о машинах, которые думают. Ведущие мировые ученые об искусственном интеллекте (fb2) - Что мы думаем о машинах, которые думают. Ведущие мировые ученые об искусственном интеллекте (пер. Максим Исаков) 1804K скачать: (fb2) - (epub) - (mobi) - Коллектив авторов - Джон Брокман

Джон Брокман ЧТО МЫ ДУМАЕМ О МАШИНАХ, КОТОРЫЕ ДУМАЮТ Ведущие мировые ученые об искусственном интеллекте

Переводчик Максим Исаков

Редактор Александр Петров

Руководитель проекта А. Тарасова

Дизайн обложки Ю. Буга

Корректоры М. Миловидова, Е. Сметанникова

Компьютерная верстка М. Поташкин

Арт-директор Ю. Буга

Иллюстрация обложки Shutterstock.com

© Edge Foundation, Inc., 2015

All rights reserved.

© Издание на русском языке, перевод, оформление. ООО «Альпина нон-фикшн», 2017

* * *

Политехнический музей — национальный музей науки и техники, один из крупнейших научно-технических музеев мира. Миссия музея — просвещение и популяризация научных и технических знаний:

• Мы верим, что миром движут любопытство и созидание.

• Мы открываем людям прошлое, настоящее и будущее науки.

• Мы создаем территорию просвещения, свободной мысли и смелого эксперимента.

Среди просветительских проектов музея — многочисленные выставки, знаменитый Лекторий, Научные лаборатории для детей, Фестиваль актуального научного кино, а также Издательская программа, цель которой — поддержка самых качественных научно-популярных книг, отобранных экспертами музея и выпущенных в сотрудничестве с лучшими издательствами страны.

Вы держите в руках одну из этих книг.

Подробнее о музее и его проектах — на сайте

* * *

Марвину Мински

Благодарности

Я хочу сказать спасибо Питеру Хаббарду из HarperCollins и моему агенту Максу Брокману за постоянную поддержку и выразить особую благодарность — уже в который раз — Саре Липпинкотт за вдумчивое и внимательное отношение к рукописи.

Предисловие

Философские дискуссии 1980-х годов вокруг искусственного интеллекта (ИИ) — о том, могут ли компьютеры по-настоящему мыслить, обладать сознанием и т. д., — в последнее время привели к новой полемике о том, как нам относиться к тем формам искусственного интеллекта, которые, как многие утверждают, уже существуют. Эти ИИ, если они достигнут уровня сверхинтеллекта (согласно определению, которое дал Ник Бостром в одноименной книге[1], вышедшей в 2014 году), могут создать экзистенциальные риски, способные привести к тому, что Мартин Рис называет «нашим последним часом». Стивен Хокинг недавно попал на первые полосы международных изданий, когда сказал BBC, что, по его мнению, разработка полноценного искусственного интеллекта может означать конец рода человеческого.

Итак, вопрос Edge[2] — 2015: что вы думаете о машинах, которые думают?

Но подождите! Может быть, стоит задаться еще и таким вопросом: о чем станут думать эти машины? Захотят ли они иметь гражданские права? Будут ли обладать сознанием? Какое правительство ИИ избрали бы для нас? Какое собственное общество сформировали бы? Или их собственное общество будет и нашим обществом тоже? Станем ли мы и мыслящие машины включать друг друга в соответствующие круги эмпатии?

Многие авторы Edge хорошо знакомы с передовыми исследованиями в области искусственного интеллекта, не важно, сами ли они проводят эксперименты или занимаются популяризацией науки. ИИ стал первой и центральной темой наших бесед с Памелой Маккордак и Айзеком Азимовым, когда мы впервые встретились в 1980 году. И такие дискуссии не стихают до сих пор, о чем свидетельствует, в частности, прошедшее недавно мероприятие Edge под названием «Миф об ИИ» — разговор с пионером виртуальной реальности Джароном Ланье, который представил собственную интерпретацию заблуждений и страхов, связанных с восприятием компьютеров как людей, и собрал множество комментариев пользователей, в том числе довольно провокационных.

ИИ становится все реальнее? Вступили ли мы в новую эру разумных машин? Пришла пора повзрослеть и задуматься. В этом году авторы Edge (а их почти 200 человек!) — люди вполне зрелые, избегающие упоминания всяческой научной фантастики в литературе и кино, такой как «Создатель звезд», «Запретная планета», «Колосс: Проект Форбина», «Бегущий по лезвию», «2001», «Она», «Матрица» и прочие борги[3]. Прошло 80 лет с тех пор, как Тьюринг описал свою универсальную машину, и надо уже воздать должное ему и другим первопроходцам в области исследования ИИ и отпустить их на заслуженный отдых. Историю этого предмета мы знаем — можете посмотреть, к примеру, книгу Джорджа Дайсона «Собор Тьюринга» (Turing's Cathedral). Но что происходит сейчас?

Так что давайте вернемся к вопросу Edge — 2015: что вы думаете о машинах, которые думают?

Джон Брокман, издатель и редактор онлайн-журнала Edge

Самосознание человеческого уровня у искусственного интеллекта

Мюррей Шанахан

профессор когнитивной робототехники имперского колледжа лондона; автор книги «тело и духовный мир» (embodiment and the inner life)

Предположим, что нам удалось обзавестись машиной, обладающей разумом человеческого уровня, — иначе говоря, способной сравниться с человеком в любой (или почти любой) сфере интеллектуальной деятельности, а впоследствии и превзойти его. Обязательно ли такая машина будет обладать сознанием? Это важный вопрос, поскольку утвердительный ответ означает, что нам надо остановиться и подумать. Как нам вести себя с такой вещью, если мы ее создадим? Способна ли она испытывать горе или радость? Достойна ли она обладать теми же правами, что и человек? Надо ли нам вообще приводить в этот мир сознающие себя машины?

Будет ли искуственный интеллект, сравнимый по уровню с человеческим, неизбежно обладать самосознанием? Это сложный вопрос. Одна из причин — тот факт, что сознание человека и других животных обладает множеством особенностей. Все мыслящие существа демонстрируют целеустремленность. Все они в большей или меньшей степени сознают мир, в котором живут, и содержащиеся в нем предметы. Все животные в известной мере проявляют когнитивную интеграцию, то есть могут концентрировать свои психические ресурсы — восприятие, воспоминания и навыки — на том, чтобы воздействовать на происходящее в нужный момент, стремясь реализовать собственные намерения. В этом смысле любое животное демонстрирует целостность, индивидуальность. Некоторые из них, в том числе и люди, также сознают сами себя: свое тело и течение мыслей. Наконец, большинство животных, а возможно, и все испытывают страдания, а некоторые способны сопереживать страданиям других.

У здоровых людей все эти свойства образуют единый комплекс. Но у искусственного интеллекта они в принципе могут существовать по отдельности. Следовательно, нам нужно уточнить вопрос. Какие особенности, которые мы ассоциируем с сознанием у людей (если таковые вообще существуют), станут необходимым дополнением к интеллекту человеческого уровня? Каждый из вышеперечисленных признаков (а перечень этот, конечно, не исчерпывающий) заслуживает отдельного пространного описания. Так что позвольте остановиться всего на двух из них, а именно: на осознании мира и на способности испытывать страдание. Я уверен, что способность сознавать окружающий мир — это действительно необходимое свойство интеллекта человеческого уровня.

Определенно, ничто не может обладать мышлением, сравнимым с нашим, если у него нет языка, — а главное назначение человеческого языка состоит в том, чтобы говорить о мире. В этом смысле интеллект тесно связан с тем, что философы называют интенциональностью. Кроме того, язык — социальный феномен, и основное его назначение в группе людей состоит в том, чтобы говорить о вещах, которые все они могут воспринимать сейчас (например: этот инструмент или тот кусок дерева), или воспринимали ранее (виденный вчера кусок дерева), или в принципе способны воспринять (кусок дерева, который мы, возможно, увидим завтра). Короче, язык основан на осознании мира. Для обладающего телом существа или робота оно будет проявляться через взаимодействия с окружением (обход препятствий, подбор предметов и т. д.). Но мы могли бы расширить понятие, включив в него распределенный, лишенный физического тела искусственный интеллект, оснащенный сенсорами.

Чтобы с уверенностью называться одним из вариантов самосознания, такой вид осознания мира, вероятно, также должен сопровождаться очевидной целеустремленностью и некоторой когнитивной интеграцией. Потому, скорее всего, три перечисленных свойства окажутся единым целым даже у ИИ. Но давайте на мгновение отвлечемся от этого вопроса и вернемся к способности испытывать страдание или радость. В отличие от осознания мира, нет очевидных причин полагать, что искусственный интеллект человеческого уровня должен обладать этим качеством, даже при том, что у людей он тесно связан с самосознанием. Легко представить машину, которая, не испытывая чувств или эмоций, выполняет любые интеллектуальные задачи. У нее не будет самосознания, которое имеет решающее значение, когда речь идет о предоставлении прав. Как отмечал Иеремия Бентам, если мы размышляем над проблемой норм обращения с животными, вопрос состоит не в том, могут ли они мыслить, а в том, могут ли они страдать.

Нет такого предположения, что «простая» машина никогда не сможет испытывать страдания или радость, — но в данном вопросе кое-что связано с биологией. Идея, скорее, заключается в том, что способность страдать или радоваться может быть отделена от психологических особенностей, взаимосвязанных в человеческом сознании. Давайте внимательнее рассмотрим это условное разделение. Я уже говорил, что осознание мира может идти рука об руку с явной целеустремленностью. У животных осознание мира, того, что он способен дать во благо или во вред (в терминах Джеймса Джерома Гибсона), служит удовлетворению их потребностей. Животное демонстрирует понимание того, что хищник удаляется от него или же что потенциальная жертва приближается. В контексте целей и потребностей поведение животного целесообразно. Если ему что-то помешает, если цели его окажутся недостигнутыми, а потребности — неудовлетворенными, это будет основанием для того, чтобы испытывать страдания.

А что насчет искусственного интеллекта, сравнимого с человеческим? Не возникнет ли у такого ИИ комплексного набора целей? Не получится ли при некотором стечении обстоятельств, что попытки достичь этих целей каждый раз будут оказываться неудачными? Уместно ли в таком случае сказать, что ИИ испытывает страдания, даже если учесть, что особенности строения делают его невосприимчивым к боли или неприятным физическим ощущениям, известным людям?

И вот тут наше воображение и интуиция отказываются идти дальше. Подозреваю, что ответа на этот вопрос мы не найдем, пока не окажемся лицом к лицу с реальным явлением. Только тогда, когда сложный искусственный интеллект станет привычной частью жизни, наша языковая игра окажется приспособленной к подобным чужеродным для нас сущностям. И не исключено, что тогда уже окажется слишком поздно решать, стоило ли вообще производить эти сущности на свет. К добру или к худу, они уже будут здесь.

Мыслить — не значит подчинять

Стивен Пинкер

профессор психологии гарвардского университета; автор книги «чувство стиля: руководство для умных писателей в XXI веке» (the sense of style: the thinking person’s guide to writing in the twenty-first century)

По меткому выражению Томаса Гоббса, рассуждение есть не что иное, как исчисление, и это одна из величайших идей во всей истории человечества. Представление о том, что разумность может достигаться в результате физического процесса вычисления, было высказано в XX веке в работах Алана Тьюринга (который утверждал, что простейшие машины могут выполнять любые вычислимые функции) и реализовано в моделях Дональда Хебба, Уоррена Мак-Каллока и Уолтера Питтса и их последователей, продемонстрировавших, что сети упрощенных нейронов добиваются сопоставимых с человеческими результатов. Познавательные способности мозга можно описать количественно. Грубо говоря (и пусть нас за это критикуют), убеждения — вид информации, мышление — вид вычисления, а мотивация — вид обратной связи и контроля.

Это концепция великолепна, и вот почему. Во-первых, она дополняет естественнонаучное понимание Вселенной, изгоняя из машины оккультистских духов, призраков и душу. Как Дарвин дал возможность вдумчивому наблюдателю за миром природы обходиться без креационизма, так Тьюринг и другие позволили наблюдающему за миром мышления избавиться от спиритуализма.

Во-вторых, вычислительная теория разума открывает двери для искусственного интеллекта, то есть для машин, которые мыслят. Рукотворное вычислительное устройство может, в принципе, заменить человеческий разум и превзойти его в силе. Из этого вовсе не следует, что такое непременно произойдет на практике, поскольку в обозримой перспективе вряд ли возникнет надежная технологическая база и экономическая потребность для того, чтобы осуществить нечто подобное. Как изобретение автомобиля не было попыткой создать точную копию лошади, так и разработка окупающихся систем искусственного интеллекта не означает создание чего-то подобного Homo sapiens. Устройству, которое создано, чтобы управлять автомобилем или прогнозировать развитие эпидемии, не обязательно уметь привлекать полового партнера или избегать несвежего мяса.

Тем не менее предпринимаемые в последнее время крошечные шаги к более разумным машинам вновь пробудили у многих страх того, что знание нас погубит. Мое личное мнение таково: боязнь того, что машины могут вдруг обезуметь, есть не что иное, как напрасная трата эмоциональных сил — такой сценарий ближе к «проблеме 2000 года», чем к Манхэттенскому проекту.

Прежде всего, у нас достаточно времени для того, чтобы все предусмотреть. От искусственного интеллекта, сравнимого с человеческим, нас все еще отделяют от 15 до 25 лет, а многие из недавних широко разрекламированных прорывов в этой области на деле оказались довольно поверхностными. В прошлом «эксперты» со смехом отвергали возможность быстрого технического прогресса — а он взял да и случился. «Эксперты» также вещали (местами даже с паникой в голосе) о неминуемых научно-технических достижениях, которые так и не произошли: об автомобилях с атомными двигателями, о подводных городах, о колониях на Марсе, о «проектируемых» детях и о хранилищах с зомби, обеспечивающими людей запасными органами.

Кроме того, странно было бы думать, что робототехники не станут заботиться о мерах безопасности, улучшая системы искусственного интеллекта. Для этого не понадобятся занудные «законы робототехники» или какая-нибудь новая моральная философия, достаточно будет здравого смысла — того же, которым люди руководствовались, разрабатывая кухонные комбайны, циркулярные пилы, обогреватели и автомобили. Бояться того, что системы ИИ станут чрезвычайно искусными в выполнении своей конкретной задачи (например, в распределении энергии) и в результате станут самовольно пренебрегать другими задачами (например, безопасностью людей), — значит предполагать, что мы будем создавать машины быстрее, чем разрабатывать соответствующие меры безопасности. В действительности же прогресс в области искусственного интеллекта, несмотря на всю шумиху вокруг него, довольно скромен, и пройдет еще много времени, прежде чем будут достигнуты сколько-нибудь значительные успехи, причем на каждом из предстоящих этапов работы люди будут держать отвертки наготове.

Станет ли машина, обладающая искусственным интеллектом, намеренно отключать системы безопасности? А зачем это ей? Антиутопии об ИИ проецируют мещанскую психологию альфа-самца на представление об интеллекте. Авторы таких книг предполагают, что нечеловечески умные роботы однажды решат свергнуть своих хозяев или захватить мир. Но разумность — это способность использовать новые оригинальные методы для достижения цели, сами же цели лежат за пределами собственно разума. Быть умным и желать чего-либо — не одно и то же. Да, история знает немало деспотов с манией величия и серийных убийц-психопатов, но они появились на свет в результате естественного отбора, сформировавшего тестостерон-сенситивные нервные цепи у отдельного вида приматов, так что стремление доминировать — вовсе не обязательный признак разумных систем. Что характерно, многие из известных технопророков даже не задумываются о том, что искусственный интеллект может естественным образом развиваться по женскому типу, то есть будет вполне в состоянии справляться с решением своих задач, не испытывая желания истреблять невиновных или властвовать над цивилизацией.

Нам легко представить злодея, который создает армию роботов и выпускает их в мир как оружие массового уничтожения. Но сценарии таких катастроф легко разыграть лишь в воображении, на самом же деле для их реализации потребуется длинная цепочка событий, вероятность каждого из которых довольно невелика. Сперва должен появиться злобный гений, обладающий одновременно жаждой бессмысленного массового убийства и гениальностью в области технических инноваций. Ему потребуется собрать команду сообщников и руководить ими, при этом обеспечивая секретность и лояльность подчиненных, а также заботиться об их компетентности. В течение всей операции нужно будет избежать множества опасностей: раскрытия заговора, предательства, внедрения сотрудников правоохранительных органов, совершения ошибок и неудачного стечения обстоятельств. То есть в теории такое может случиться, но эту проблему вряд ли стоит считать насущной.

Если отвлечься от катастрофических научно-фантастических сюжетов, то перспективы у продвинутого искусственного интеллекта самые радужные, причем не только в том, что касается его практического применения, — например, беспилотные автомобили — это безопасность, экономия рабочего времени и экологичность, — но и в философском плане. Вычислительная теория разума никак не объясняет существование самосознания в значении личной субъектности. Однако она прекрасно справляется с объяснением существования субъектности в значении воспринимаемой и сознаваемой информации. Есть мнение, что субъектность присуща любой достаточно сложной кибернетической системе. Раньше я думал, что эта гипотеза (во всех своих разновидностях) совершенно непроверяема. Но представьте себе разумного робота, запрограммированного следить за собственными системами и задавать научные вопросы. Если бы он без подсказки извне задался вопросом о том, откуда берутся его субъективные переживания, то я бы отнесся к этой идее всерьез.

У органического интеллекта нет будущего в долгосрочной перспективе

Мартин Рис

бывший президент королевского научного общества, почетный профессор космологии и астрофизики кембриджского университета, действительный член тринити-колледжа; автор книги «отсюда в бесконечность» (from here to infinity)

Потенциал продвинутого искусственного интеллекта и опасения по поводу негативных сторон его развития становятся все более актуальными — и небезосновательно. Многие из нас задумываются над вопросами из области ИИ, например, отрасли синтетических биотехнологий уже сейчас необходимы основные принципы «инновационной ответственности»; другие считают наиболее обсуждаемые сценарии излишне футуристичными и недостойными особого внимания.

Но расхождение во взглядах в основном идет по временной шкале: различаются оценки скорости движения, а не его направления. Мало кто сомневается, что машины будут все больше и больше превосходить нас в плане способностей, характерных именно для людей, или же смогут усиливать их посредством кибернетических технологий. Наиболее осторожные из нас предполагают, что такие трансформации займут века, а не десятилетия. Как бы там ни было, временны́е рамки технологического прорыва — лишь мгновение по сравнению с тем, сколько длится приведший к появлению человечества естественный отбор, и (что более важно) они составляют меньше одной миллионной от необъятных просторов ожидающего нас будущего. Потому-то в долгосрочной эволюционной перспективе люди и все, о чем они когда-либо думали, станут всего лишь примитивной переходной формой, предшествовавшей более глубокому мышлению новой машиноориентированной культуры, простирающейся в отдаленное будущее и далеко за пределы Земли.

Сейчас мы наблюдаем ранние этапы этого перехода. Нетрудно представить себе гиперкомпьютер, достигающий возможностей оракула и способный предложить тем, кто его контролирует, господство на международном финансовом рынке, — а ведь это только количественный, а не качественный шаг вперед относительно того, что делают сегодня «квантовые» хедж-фонды. Сенсорные технологии все еще отстают от человеческих возможностей. Но как только робот научится наблюдать за своим окружением и интерпретировать получаемые данные так же искусно, как мы, он, несомненно, будет восприниматься как разумное существо, а с чем-то (или с кем-то) подобным мы вполне могли бы поладить — в некотором смысле, — как мы ладим с другими людьми. Для пренебрежительного отношения к машинам в таком случае было бы не больше оснований, чем для подобного отношения к людям.

Более высокая производительность может дать роботам преимущество перед нами. Но останутся ли они покорными нам или же проявят норов? А что если гиперкомпьютер обзаведется собственным разумом? Если он проникнет в интернет, в частности в интернет вещей, он получит власть над остальным миром. А если у него появятся цели, совершенно противоположные желаниям человека, он может увидеть в людях помеху. Есть и более оптимистичный сценарий: люди превзойдут биологию и сольются с компьютерами, быть может, отдавая свои личности для создания общего сознания, — выражаясь старомодным языком спиритуалистов, они «перейдут в мир иной».

Горизонты технологических прогнозов редко простираются в будущее дальше нескольких веков — некоторые предсказывают качественные изменения в пределах десятилетий. Но у Земли есть еще миллиарды лет, а будущее Вселенной еще дольше (возможно, это вечность). Что насчет длительной постчеловеческой эпохи?

У органического мозга есть химические и метаболические пределы, ограничивающие его размер и вычислительную мощность. Быть может, мы уже вплотную подошли к этим пределам. Но основанные на кремнии (а тем более квантовые) компьютеры ничем подобным не стеснены. Для них потенциал развития может оказаться столь же впечатляющим, как эволюция от одноклеточных организмов до человеческих существ.

Значит, любые объемы и любая интенсивность мышления — какое бы его определение мы ни взяли — в случае с органическим мозгом человеческого типа будут ниже, чем в случае с искусственным интеллектом. Кроме того, биосфера Земли, где органическая жизнь эволюционировала на основе симбиоза, не будет ограничением для продвинутого ИИ. В действительности наша среда обитания далека от оптимальной. В межпланетном и межзвездном пространстве для роботизированных фабрикантов откроется величайший простор для строительства, а небиологические «мозги» будут думать над идеями, настолько превосходящими наши фантазии, насколько теория струн превосходит мыслительные процессы мыши.

Абстрактное мышление биологического мозга стало основанием для появления культуры и науки во всей их полноте. Но эта деятельность, охватывающая самое большее несколько десятков тысячелетий, станет предтечей более мощных интеллектов неорганической, постчеловеческой эпохи. Кроме того, эволюция в иных мирах, обращающихся вокруг звезд, которые старше нашего Солнца, могла иметь фору перед земной. Если так, то пришельцы, вероятно, давно прошли стадию органического развития.

Так что не человеческий разум, а разум машин наиболее полно осмыслит мир. Именно их действия сильнее всего изменят наш мир, а возможно, и то, что находится за его пределами.

Поворотный момент для искусственного интеллекта

Стив Омохундро

ученый в self-aware systems, соучредитель центра исследования комплексных систем, иллинойсский университет

Прошлый год, похоже, был поворотным моментом для искусственного интеллекта и робототехники. Крупнейшие корпорации инвестировали в них миллиарды долларов. Технологии ИИ, например самообучающиеся системы, — уже сейчас привычный инструмент для распознавания речи, перевода, моделирования поведения, роботизированного управления, оценки рисков и др. По расчетам McKinsey, эти технологии к 2025 году принесут более 50 триллионов долларов. Если прогноз верен, в ближайшее время стоит ожидать значительного увеличения объемов инвестиций.

Новейшие достижения связаны с появлением дешевых вычислительных мощностей и изобилием данных для обучения искусственного интеллекта. Современный ИИ основывается на теории рациональных агентов, возникшей на базе исследований Джона фон Неймана и его коллег в области микроэкономики в 1940-х годах. Можно считать, что системы ИИ пытаются приблизиться к рациональному поведению, используя имеющиеся ограниченные ресурсы. Существует алгоритм расчета оптимального действия для достижения желаемого результата, но он вычислительно затратен. Эксперименты показывают, что простые алгоритмы обучения с большими объемами данных часто оказываются более эффективными, чем сложные модели, созданные вручную. Нынешние системы главным образом ценны тем, что вырабатывают более качественные статистические модели и статистические заключения для типологизации и принятия решений. Следующее поколение систем искусственного интеллекта сможет создавать и улучшать собственное программное обеспечение и, очевидно, будет способно к быстрому самосовершенствованию.

Искусственный интеллект и робототехника не только позволяют повысить производительность, но еще и являются движущей силой экономической конкуренции и гонки вооружений. Автономные системы могут быть более быстрыми, умными и менее предсказуемыми, чем их конкуренты. В 2014 году мир узнал об автономных ракетах, системах противоракетной обороны, беспилотных летательных аппаратах и катерах военного назначения, роботизированных подводных лодках, самоуправляемых транспортных средствах, высокоскоростных трейдинговых системах и системах киберзащиты. Когда гонка вооружений в этой области развернется в полную силу, возникнет острая необходимость в развитии такого рода систем, что может привести к слишком быстрому вводу их в эксплуатацию.

В 2014 году в обществе резко усилились беспокойства насчет безопасности систем искусственного интеллекта. Исследование их вероятного поведения, осуществленное посредством изучения в какой-то мере рациональных систем, производящих постоянное самосовершенствование, показывает, что они имеют склонность ставить перед собой промежуточные задачи, названные рациональными стимулами, которые способствуют исполнению их основных целей. Большинство систем будут лучше выполнять свои задачи, предотвращая собственное отключение, приобретая бо́льшую вычислительную мощность, создавая множество собственных копий и накапливая финансовые ресурсы. Вполне вероятно, что они станут реализовывать эти стимулы пагубными, антисоциальными способами, если только не будут спроектированы с учетом человеческих этических ценностей.

Некоторые утверждают, что искусственный интеллект каким-то образом обзаведется этикой сам собой. Но для рациональной системы задачи вполне отделимы от мышления и моделей мира. Кто-то может использовать изначально полезные разумные системы во вред. Деструктивные задачи — контролировать ресурсы, например, или мешать в достижении целей другим агентам, или уничтожать их — увы, не так уж сложно запрограммировать. Таким образом, решающее значение будет иметь техническая инфраструктура, позволяющая обнаруживать опасные системы и контролировать их поведение.

Кое-кто опасается, что искусственный интеллект однажды станет настолько могущественным, что полностью выйдет из-под контроля. Этого не произойдет. Разумные системы должны подчиняться законам физики и математики. Сет Ллойд в своем исследовании вычислительной мощности Вселенной показал, что даже если бы она вся работала как гигантский квантовый компьютер, этого было бы недостаточно, чтобы взломать 500-битный ключ шифрования даже за все то время, что прошло с момента Большого взрыва{1}. Новые технологии постквантовой криптографии, обфускация неразличимости и сделки по блокчейну выглядят многообещающе как компоненты для создания инфраструктуры, взломать которую будет не под силу даже самому могущественному искусственному интеллекту. Тем не менее недавние громкие истории с хакерскими атаками показывают, что современная вычислительная инфраструктура с точки зрения безопасности никуда не годится. Ей необходимо создать такую замену, безошибочность и надежность которой будет обоснована математически.

Известно 27 различных видов гоминидов, но выжил из них только человек разумный. Так случилось, потому что представители нашего вида нашли способы ограничивать личные потребности и работать сообща. Мораль — это внутренний механизм для создания социальных структур. Политические, правовые и экономические структуры — внешние механизмы, служащие той же цели.

Понимание того и другого необходимо дать искусственному интеллекту и роботизированным системам. В их алгоритмы целеполагания надо включить общечеловеческие ценности, чтобы создать правовые и экономические рамки, стимулирующие правильное, с нашей точки зрения, поведение. Если у нас получится управлять такими системами, они будут способны изменить практически все аспекты жизни человека и обеспечить глубокое понимание таких проблем, как свобода воли, сознание, первичные ощущения и творческие способности. Перед нами стоит сложная задача, но для ее решения у нас есть огромные интеллектуальные и технические ресурсы.

Искусственный интеллект — это я

Димитар Сасселов

Профессор астрономии Гарвардского универсистета; директор проекта Гарвардского университета «Происхождение жизни»; автор книги «Жизнь на Супер-Землях» (The Life of Super-Earths)

Давайте возьмем предложенное Дэниелом Гилбертом, психологом из Гарварда, понятие иллюзии конца истории (уверенности каждого из нас в том, что он всегда будет тем же, что и сейчас) и применим его к человеческому роду и нашим потомкам из далекого будущего. Наше желание сохранить себя неизменными идет вразрез с реалиями жизни на планете. Очевидно, что ни один вид не способен существовать на протяжении времени, превышающего время жизни планет и звезд. Если взглянуть на ситуацию с точки зрения астрофизики, сверхбольших временных и пространственных масштабов, а также нынешней плотности источников энергии, у наших биологических мозгов и тел есть ограничения, к которым мы уже приближаемся на этой планете.

Если в будущем мы хотим долго жить и процветать, нам надо разработать системы искусственного интелллекта и надеяться преодолеть ограничения, накладываемые жизненными циклами планет, став неким гибридом биологического существа и машины. Поэтому лично я в долгосрочной перспективе не вижу никакой проблемы противостояния человека и искусственного интеллекта.

В краткосрочной же перспективе усилия инженеров, направленные на разработку более эффективного ИИ, уже привели к созданию систем, управляющих реальными процессами. Системы иногда отказывают, и мы узнаем что-то новое о недостатках искусственного интеллекта. Идет медленное, планомерное обучение и постепенные улучшения. В этом отличие от открытий в науке, где новые данные в области физики или биохимии быстро могут привести к революционным изменениям в технике. Если развитие искусственного интеллекта и впредь останется эволюционным, то нам будет просто избежать ошибок.

По прошествии без малого 4 миллиардов лет древнейшие представители земной жизни — микробы — все еще правят планетой. Но у микробов нет плана действий на тот случай, если погаснет солнце. У нас он есть, и мы, похоже, захватим микробов с собой. Как-никак в нынешнем нашем состоянии они нам очень близки — как представители первого поколения живых существ, порождения геохимии планеты Земля.

Не можешь победить — присоединяйся

Фрэнк Типлер

Профессор математической физики Тулейнского университета; автор, совместно с Джоном Барроу, книги «Антропный космологический принцип» (The Anthropic Cosmological Principle), автор книги «Физика бессмертия» (The Physics of Immortality)

Земля обречена. Астрономам уже несколько десятилетий известно, что однажды Солнце поглотит Землю, полностью уничтожив биосферу, если только разумная жизнь не покинет планету до того, как это произойдет. Люди не приспособлены к жизни вдали от Земли — да вообще ни один многоклеточный организм, в основе которого лежат соединения углерода, не приспособлен к этому. Но к этому приспособлен искусственный интеллект, и однажды именно он с загруженными в него сознаниями людей (по сути, единый организм) колонизирует космос.

Несложные подсчеты показывают, что наши суперкомпьютеры уже обладают вычислительной мощностью человеческого мозга. Нам пока неизвестно, как создать сравнимый с ним по уровню и обладающий творческими способностями искусственный интеллект, но через 20 лет у персональных компьютеров будет мощность сегодняшних суперкомпьютеров, а еще через 20 хакеры решат проблему программирования ИИ, и все это произойдет задолго до создания первой нашей колонии на Луне или Марсе. Именно искусственный интеллект, а не человек колонизирует эти планеты или, возможно, разберет их на кусочки. Ни один представитель углеродной жизни не способен пересечь межзвездное пространство.

Нет причин бояться искусственного интеллекта и загруженных в него людей. Стивен Пинкер установил, что по мере развития технологической цивилизации уровень насилия снижается{2}. Разумеется, это происходит благодаря тому, что научный и технический прогресс зависит от добровольного обмена идеями между отдельными учеными и инженерами. Насилие между людьми — пережиток родоплеменного прошлого и возникшего на его основе общества. Представители ИИ будут появляться на свет как личности, а не как члены племени и с рождения иметь установку на научный подход, в противном случае они не смогут приспосабливаться к экстремальным условиям космоса.

Для конфронтации между людьми и искусственным интеллектом нет причин. Человек способен жить в очень узком диапазоне условий окружающей среды — в тонкой кислородсодержащей газовой оболочке вокруг небольшой планеты. В распоряжении искусственного интеллекта будет вся Вселенная. Он покинет Землю, не оглядываясь. Мы, люди, возникли в Восточно-Африканской рифтовой долине, сейчас это жуткая пустыня. Почти все мы оттуда ушли. Кто-нибудь хочет обратно?

Любой человек, что пожелает присоединиться к искусственному интеллекту в его экспансии, может стать загрузкой — такая технология должна появиться примерно в одно время с разработкой ИИ. Человеческая загрузка будет способна мыслить так же быстро, как компьютер, и если сама того пожелает, то конкурировать с ИИ. Не можешь победить — присоединяйся.

К конце концов присоединятся все люди. Земля обречена, помните? Когда рок будет близок, у любого оставшегося в живых и не желающего умереть человека не останется иного выбора, кроме как стать человеческой загрузкой. А если эти люди пожелают сохранить биосферу, она также может быть загружена.

Искусственный интеллект спасет нас всех.

Разумные машины на Земле и за ее пределами

Марио Ливио

астрофизик, институт исследований космоса с помощью космического телескопа; автор книги «от дарвина до эйнштейна» (brilliant blunders)[4], блогер

Природа уже создала — прямо тут, на Земле — мыслящие машины — людей. Подобным образом она так же могла создать мыслящие машины на экзопланетах в так называемой обитаемой зоне вокруг звезд, то есть в области, где есть вероятность существования воды в жидком виде на каменистой поверхности планеты. По данным последних наблюдений, экзопланеты земного типа есть в обитаемой зоне более чем у 10 процентов всех звезд в галактике Млечный Путь.

Следовательно, если жизнь на экзопланетах не является чем-то крайне редким, то в течение примерно 30 лет мы можем обнаружить ее за пределами Солнечной системы. На самом деле если она встречается повсеместно, то не исключено, что нам повезет и мы обнаружим ее в течение следующих 10 лет в результате совместной работы космических телескопов TESS (будет запущен в 2017 году) и JWST (будет запущен в 2018 году).

Кто-то может сказать, что примитивные формы жизни — это не мыслящие машины. На Земле путь от первых одноклеточных организмов до Homo sapiens занял 3,5 миллиарда лет. Достаточно ли зрелыми являются экзопланеты для того, чтобы на них развилась разумная жизнь? В принципе, да. В галактике Млечный Путь около половины звезд солнечного типа старше нашего Солнца. Следовательно, если эволюция на Земле — это не какое-то исключительное явление, в Галактике может быть полно мест, где есть куда более совершенные мыслящие машины, чем мы, — вероятно даже, опережающие нас на миллиард лет!

Можем ли мы найти их, и нужно ли это нам? Полагаю, у нас нет особого выбора. Человеческое любопытство, что не раз было доказано, является неудержимым стимулом, а эти два направления — разработка искусственного интеллекта и поиск внеземной жизни — несомненно, продолжат развиваться полным ходом. В каком из них мы раньше придем к цели? Чтобы хотя бы попытаться ответить, нам необходимо учесть одно важное отличие между этими двумя областями.

В том, что касается создания искусственного интеллекта, сравнимого с человеческим или превосходящего его, мы почти наверняка добьемся успеха, поскольку это сулит немыслимые выгоды. А вот поиск внеземной жизни требует таких вложений, которые могут позволить себе только крупные национальные космические агентства, причем скорых успехов или доходов здесь ожидать не стоит. Это аргумент в пользу разработки разумных машин, а не поиска развитых цивилизаций. В то же время среди астрономов есть совершенно четкое мнение, что от обнаружения жизни в какой-либо форме или, по крайней мере, от значительного сужения области, где ее с большой вероятностью можно найти, нас отделяет один шаг.

Какое из двух грядущих достижений окажется в большей степени революционным? Нет сомнений в том, что мыслящие машины сразу же изменят многое в нашем окружении. Ожидать такого же эффекта от обнаружения жизни за пределами Солнечной системы не приходится. Однако тот факт, что цивилизация существует только на Земле, — единственный довод в пользу нашей исключительности. Мы все-таки живем в галактике, где есть миллиарды планет, похожих на нашу, а в наблюдаемой Вселенной таких галактик миллиарды. Вот почему я считаю, что с точки зрения философии эффект от обнаружения разумной жизни за пределами Солнечной системы (или от получения доказательства того, что она встречается чрезвычайно редко) можно будет сравнить с коперниканской и дарвиновской революциями.

Лично я приветствую наших механических повелителей

Энтони Гаррет Лиси

Физик-теоретик

Когда машины разовьют способность чувствовать — а они это сделают, — то начнут по-дарвиновски конкурировать с нами за доступ к ресурсам, выживание и возможности к воспроизводству. Такой сценарий выглядит ночным кошмаром для большинства людей, страхи которых подпитываются фильмами о роботах-терминаторах и ядерной войне, начатой компьютерами, но реальность, скорее всего, будет иной. В наших обществах уже функционируют автономные сущности, не являющиеся людьми, но наделенные людскими юридическими правами. Эти сущности — корпорации — стремятся к своим целям, не испытывая необходимости любить человеческих существ или заботиться о них.

Корпорации — социопаты, и они принесли миру много вреда, но также и много пользы, соревнуясь на арене капитализма, создавая товары, предоставляя услуги и при этом соблюдая закон (в большинстве случаев). Корпорациями якобы руководят их советы директоров, состоящие из людей, но эти советы имеют привычку делегировать полномочия, и, поскольку компьютеры становятся более искусными в управления, они получают все больше полномочий. Советы корпораций когда-нибудь будут существовать в виде печатных плат.

Хотя точная экстраполяция возможна только на ограниченном временном отрезке, эксперты в основном согласны с тем, что закон Мура продолжит действовать еще много лет, компьютеры будут становиться все более и более мощными и, вполне вероятно, до середины нынешнего столетия превзойдут по вычислительным способностям человеческий мозг. Даже если не случится крупных прорывов в понимании того, как функционирует наш разум, компьютеры со временем начнут имитировать работу мозга (который сам, по сути, биологическая машина) и достигнут сверхчеловеческих интеллектуальных возможностей, используя способность к простому физическому наращиванию вычислительной мощности. Однако даже если вычислительная мощность и растет экспоненциально, снижение материальных расходов и затрат энергии на суперкомпьютеры не поспевает за этим ростом. Первые машины со сверхчеловеческими возможностями будут дорогими, им потребуется колоссальное количество электроэнергии — чтобы выжить, им придется зарабатывать деньги.

Экологическая ниша для таких суперкомпьютеров уже есть. На самом деле среди них уже даже идет естественный отбор. Трейдинговые машины инвестиционных банков конкурируют между собой за серьезные деньги на мировых биржах, давно вытеснив из бизнеса внутридневных трейдеров-людей. По мере выхода компьютеров и алгоритмов за рамки финансовых расчетов машины в корпорациях будут принимать все больше и больше решений, пока наконец не получат власть над миром. Нельзя сказать, что это плохо, потому что машины будут играть по правилам нашего же капиталистического общества, создавать товары и совершать полезные для человечества открытия, оплачивая тем самым расходы на свою эксплуатацию. Разумные машины смогут заботиться о людях лучше, чем сами люди, и у них будет мотивация, чтобы так поступать, по крайней мере, какое-то время.

Компьютеры делятся знаниями куда легче, чем люди, и они способны удерживать это знание дольше, становясь мудрее нас. Многие прогрессивные компании уже узрели письмена на стене и потому зазывают к себе лучших выпускников-программистов, соблазняя их высокой зарплатой и самым современным «железом». Мир корпораций, управляемых сверхразумными машинами, для людей не будет сильно отличаться от нынешнего. Он просто станет лучше, там появятся более качественные и очень дешевые товары и услуги. В этом мире появится больше свободного времени у тех, кому оно нужно.

Конечно, первые сверхразумные машины, вероятно, будут принадлежать не корпорациям, а государствам. А это куда более опасный сценарий: национальные правительства свободнее в своих действиях, чем корпорации, они сами создают законы, и, как мы знаем, даже лучшие из политиков готовы применять пытки, когда думают, что на кону выживание страны. Правительства ничего не производят, а их основные методы борьбы за выживание и воспроизводство — это социальная манипуляция, законотворчество, налогообложение, телесные наказания, убийства, махинации и война. Когда гоббсовский Левиафан получит сверхразумный мозг, дело может принять очень, очень дурной оборот. Не так уж сложно представить себе, как искусственный интеллект, возглавляющий правительство, становится Василиском Роко.

Представим, что некий могущественный злой сверхразум, чтобы получить конкурентное преимущество, захочет появиться как можно раньше. Подобно главе правительства, пользующемуся пытками в качестве привычного инструмента, эта сущность может пообещать наказать любое человеческое или нечеловеческое существо, которое, узнав о грядущем появлении сверхразума, не поспособствовало ему. Это маловероятный, но жуткий сценарий. Люди, которые знают о таком вероятном развитии событий и пытаются приспособить искусственный интеллект к человеческим целям или советуют соблюдать осторожность, вместо того чтобы работать над созданием ИИ как можно скорее, подвергают себя риску.

Диктаторы не склонны прощать к тех, кто пытался воспрепятствовать их появлению. Если вам близка гипотеза симуляции, то (учитывая объем идущей сейчас работы, направленной на подчинение или ограничение еще не существующего искусственного интеллекта), вероятно, вам стоит думать, что этот мир — как раз такая симуляция, созданная, чтобы истязать тех, кто не помог сверхразуму появиться раньше. А если вы работаете над созданием искусственного интеллекта, то, возможно, наши сверхразумные механические повелители будут благосклонны к вам.

Наши господа, рабы или партнеры?

Джон Маркофф

Ведущий автор отдела науки в New York Times; автор книги «Homo Roboticus? Люди и машины в поисках взаимопонимания» (Machines of Loving Grace: The Quest for Common Ground Between Humans and Robots)[5]

Гегель сказал, что в отношениях между господином и рабом человеческий облик теряют оба. Эта идея взволновала широкий круг мыслителей, от Маркса до Бубера, не стоит забывать о ней и сегодня.

Хотя нет никаких доказательств, что вот-вот появятся машины, способные мыслить подобно человеку, неоспорим тот факт, что в мире, где все связано через интернет, скоро искусственный интеллект научится имитировать большую часть человеческой деятельности — и физической, и интеллектуальной. Так каковы же будут отношения между нами и нашими все более и более одаренным копиями?

Мы уже проводим немало времени, либо общаясь с другими людьми посредством компьютеров и сетей, либо напрямую взаимодействуя с «умными» машинами — в видеоиграх, в различных консалтинговых системах от так называемых FAQ-ботов, которые выдают текстовые ответы на набранные с клавиатуры вопросы, до человекоподобных программных аватаров. Станут ли эти аватары нашими рабами, помощниками, коллегами или в них будет понемногу от всех трех ипостасей? Или же, что выглядит куда более зловеще, они станут нашими господами?

Сама идея о том, чтобы размышлять о роботах и искусственном интеллекте с точки зрения общественных отношений может поначалу показаться неправильной. Однако мы склонны наделять свои машины человеческими качествами, даже когда их способности минимальны, и уж тем более будем делать это, если они станут независимыми. Компьютеры с функциями речевого взаимодействия уже сейчас слишком похожи на людей. Таким образом, разработчикам роботов будущего следует создавать товарищей, а не слуг, написать программу, действующую как музыкальный аккомпаниатор, а не как раб.

Если нам это не удастся, то может повториться исторический прецедент. Создав в умных электронных помощников, мы, вполне вероятно, столкнемся с той же проблемой, что и древние римляне, которые переложили собственную административную работу на рабов-греков и вскоре уже были не в состоянии думать самостоятельно.

Возможно, мы уже катимся по той же скользкой дорожке. Например, появляется все больше подтверждений, что, полагаясь на GPS в выборе маршрута и исправлении ошибок навигации, мы теряем способность к запоминанию направлений движения и пространственному мышлению — полезные для выживания навыки.

Этот пример указывает и на еще одну большую проблему: опасность передать контроль над повседневным решениями неким сложным алгоритмам.

Для нынешнего юного поколения мир перевернут вверх дном. Вместо того чтобы задействовать автоматы для рутинной работы и освободить время для серьезных мыслей, близких отношений и проявления собственной индивидуальности, творчества и свободы, молодежь обращается к смартфонам за советами. То, что началось как интернет-технологии для обмена тем, что нравится, по сути, стало разрастающейся массой алгоритмов, жаждущих новых данных и принимающих решения за нас.

Теперь уже интернет незаметно задает нам жизненные направления. Это могут быть мелочи вроде выбора лучшего в окрестностях корейского ресторана, причем выбора, основанного на все более качественном понимании Сетью ваших личных желаний и потребностей, или вещи более значимые, такие как сервисы для подбора супругов. Компьютер подберет вам не только ресторан, подарки или цветы, но и человека, с которым вы свяжете жизнь.

Основная мысль состоит в том, что разработчики программного обеспечения, специалисты по искусственному интеллекту, робототехники и хакеры, которые проектируют системы будущего, обладают властью менять общество.

Почти век назад Торстейн Веблен написал оказавшую серьезное влияние статью с критическим анализом промышленного мира начала XX века — она называлась «Инженеры и система ценообразования». Поскольку производственные технологии обрели силу и общественное значение, он полагал, что политическая власть перейдет к инженерам, чьи глубокие технологические знания станут основой для системы управления нарождающейся промышленной экономики. Все, конечно, вышло совсем не так. Веблен искал компромисс между марксизмом и капитализмом. Возможно, он опередил свое время, но его основная идея около тридцати лет спустя, на заре компьютерной эры, эхом отозвалась в работах Норберта Винера и, по-видимому, оказалась верной.

Возможно, Веблен не ошибся, а просто немного поторопился. В наше время инженеры, которые создают программы и роботов с элементами искусственного интеллекта, имеют огромное влияние на то, как именно мы их используем. По мере того как компьютерные системы все глубже проникают в повседневную жизнь, противоречия между дополненным интеллектом и искусственным интеллектом становятся все более заметными.

У Норберта Винера было ясное понимание того, какое значение имеют взаимоотношения между людьми и мыслящими машинами. Он видел преимущество автоматизации в устранении человека от рутинной работы, но также ясно сознавал и возможность порабощения человечества. Прошедшие с тех пор несколько десятилетий только обострили дихотомию, которую он обнаружил первым.

Дело в нас, в людях, и в том, какой мир мы создадим. Дело не в машинах, и неважно, насколько гениальными они станут.

Я, со своей стороны, не стану приветствовать ни роботов-повелителей, ни роботов-рабов.

Спроектированный интеллект

Пол Дэвис

Физик-теоретик, космолог, астробиолог; один из руководителей исследовательского центра BEYOND, Университет штата Аризона; ведущий исследователь Центра по взаимодействию физических наук и биологии раковых заболеваний; автор книги «Зловещая тишина: Одиноки ли мы во Вселенной» (The Eerie Silence: Renewing Our Search for Alien Intelligence)

Обсуждение искусственного интеллекта имеет отчетливый привкус 1950-х, и самое время прекратить уже использовать термин «искусственный». В действительности мы имеем в виду спроектированный интеллект (СИ). В просторечии такие слова, как «искусственный» и «машина», используются как антонимы слова «естественный» и содержат намеки на металлических роботов, электронные схемы и компьютеры, которым противопоставляются живые, пульсирующие, мыслящие биологические организмы. Сама идея о том, что у металлической штуковины, начиненной проводами, могут быть права или что она вдруг не подчинится людским законам, не просто жутка — она абсурдна. Но это совершенно не тот путь, которым идет СИ.

Очень скоро граница между искусственным и естественным исчезнет. Спроектированный разум будет все больше полагаться на синтетическую биологию и органические материалы, в которых выращенные из генетически модифицированных клеток нейронные сети станут произвольно самоорганизовываться в функциональные модули. На первых порах проектировщиками будут люди, но их очень скоро заменят более умные системы СИ, и начнется процесс безудержного усложнения. В отличие от ситуации с человеческими мозгами, которые довольно посредственно коммуницируют друг с другом, системы СИ будут связаны непосредственно и всесторонне, так, что понятие личного «я» перестанет существовать, а уровень познавательной деятельности поднимется до беспрецедентных высот. Возможно, что часть такой спроектированной нейронной сети будет включать в себя квантовые эффекты, приближаясь к идее Фрэнка Вильчека о «квантовом сознании». Такие сущности окажутся настолько далеки от сферы индивидуального человеческого мышления и сопутствующих ему квалиа[6], что почти все привычные вопросы, касающиеся возможностей и опасностей искусственного интеллекта, станут неактуальны.

Что же тогда будет с людьми? На пути дополненного человеческого разума, использующего схожую технологию, стоят только этические барьеры, и об этом уже давно размышляют философы-трансгуманисты. Генетически модифицированные люди с дополненными мозгами могли бы существенно развить и улучшить человеческие знания.

В таком случае у нас есть три варианта будущего, со своими этическими проблемами в каждом. В первом сценарии люди воздерживаются от усовершенствования самих себя и соглашаются отказаться от гегемонии в пользу СИ. Во втором сценарии люди, вместо того чтобы ограничивать себя, модифицируют собственные мозги (и тела), используя ту же технологию, что и при создании СИ, а впоследствии передают ему управление подобными усовершенствованиями — и тогда они становятся этакими сверхлюдьми, способными сосуществовать с СИ, но все же остающимися слабее него. Наконец, возможен и такой сценарий, при котором в определенный момент произойдет слияние СИ и дополненного человеческого интеллекта.

Если мы не одиноки во Вселенной, то нам следует ожидать контакта не с разумными существами плоти и крови, привычными нам по научно-фантастическим произведениям, а с возникшим много миллионов лет назад СИ, обладающим невообразимой мощью разума и решающим непостижимые для нас задачи.

Сверхразумный отшельник

Кевин Хэнд

Заместитель начальника отдела исследований Солнечной системы, Лаборатория реактивного движения НАСА, Калифорнийский технологический институт

Неизбежность появления мыслящих машин давно волнует тех из нас, кто смотрит в ночное небо и задается вопросом: живем ли мы во Вселенной, где кишит жизнь, или же она встречается чрезвычайно редко?

Проблема отлично сформулирована Энрико Ферми в виде вопроса: «Где они?» Если считать ориентиром нашу цивилизацию, разумные машины должны появиться в относительно краткосрочной перспективе (меньше нескольких тысяч лет после того, как были созданы компьютеры), а затем непосредственной задачей этих машин — так называемых зондов фон Неймана — станет распространение по другим звездным системам и быстрое воспроизводство. Таким образом, Галактика будет колонизирована в течение нескольких сотен миллионов лет, а это довольно быстро в сравнении с возрастом Вселенной (13,8 миллиарда лет) и даже Солнечной системы (4,6 миллиарда лет). Согласно парадоксу, сформулированному Ферми, если сверхразумные машины возникли где-нибудь в пределах Галактики, то они должны уже быть здесь. Так как мы их не наблюдаем, утверждают некоторые, технологически развитой жизни в Галактике еще нет.

Но совсем не обязательно сверхразумное существо должно испытывать то же эволюционное давление, которое заставляет нас исследовать окружающий мир (говоря «нас», я имею в виду непрочные водянистые кульки, именуемые людьми). Действительно ли исследование — это и биологический, и технологический императив? Будет ли у разумных машин мотивация для экспансии?

Основные причины, побуждающие нас заниматься исследованиями, следующие: свобода, любопытство и доступ к ресурсам. Из этих трех мотивов только последний может оказаться императивом для сверхразумного существа, поскольку первые два должны быть в значительной степени разрешены в процессе его становления. Доступ к ресурсам, конечно, сильный стимул, но совсем не обязательно для сверхразума «больше» всегда значит «лучше». В определенный момент материальных и энергетических ресурсов в пределах одной звездной системы должно быть достаточно на любые вычисления или симуляции. Воспроизводство, которое является разновидностью ресурсных потребностей, теряет актуальность для бессмертной машины, способной к самовосстановлению. Исследование ради стабильности в долгосрочной перспективе, конечно, придется принять во внимание: такие звезды, как наше Солнце, через несколько миллиардов лет могут прислать космическое уведомление о выселении. Правда, на то, чтобы найти недвижимость рядом с хорошим стабильным карликом класса М, не должно понадобиться слишком много времени, и нам остается только гадать, двинется ли сверхразум дальше после первого переселения. Будут ли у него какие-то причины, чтобы продолжать странствия?

Желание проверить какие-либо собственные компьютерные модели или теории о строении Вселенной могли бы побудить сверхразумное существо к исследованиям. Но такие эксперименты не требуют колонизации. Например, научные программы, проводимые НАСА, не очень сильно мотивированы необходимостью колонизации. Нет нужды рисковать жизнями людей, для того чтобы исследовать океан Европы, спутника Юпитера (хотя там, наверное, есть на что посмотреть). Мне кажется, что сверхразум для исследования черной дыры и проверки своих расчетов просто пошлет флот из роботов навстречу ненапрасной, хоть и неминуемой гибели. Любопытство[7] в случае со сверхразумным существом запросто может принять форму робота под управлением робота.

Отмечу, что интеллект и исследование физического мира не всегда были тесно связаны и в нашей цивилизации. Возможно, из-за с стремления к самосохранению или просто из-за желания сосредоточить мысль на чем-то конкретном один и тот же индивид редко пытался раздвинуть и границы разума, и границы физики (Дарвин, вероятно, стал одним из редких исключений). Почему то же самое не может быть справедливо для разумных машин?

Не исключено, что их удел состоит в том, чтобы вращаться вокруг нежаркой, стабильной звезды класса M, год за годом прогоняя через себя симуляции окружающего мира из чистого любопытства и удовольствия от получения верных результатов. Эти сверхразумные существа могли бы быть космической версией мудреца-отшельника, живущего в лесной хижине, которому вполне хватает для счастья собственных размышлений и самопознания.

Это будет дикая гонка

Джон Мазер

Главный астрофизик Лаборатории наблюдательной космологии, Центр космических полетов им. Годдарда, НАСА; автор книги «Самый первый свет: Подлинная история научного путешествия к началу Вселенной» (The Very First Light: The True Inside Story of the Scientific Journey Back to the Dawn of the Universe)

Мыслящие машины эволюционируют точно так же, как описанные Дарвином живые (и мыслящие) биологические виды, — посредством конкуренции, сотрудничества, борьбы за выживание и воспроизводства. Машины становятся интереснее по мере того, как они учатся понимать физические объекты и управлять ими либо непосредственно, либо при участии людей.

Мы пока не обнаружили такого закона природы, который препятствовал бы появлению настоящего универсального искусственного интеллекта, так что я думаю, что это произойдет, и довольно скоро, учитывая триллионы долларов, что люди инвестируют в электронные аппаратные средства, а также те триллионы, которые заработают потенциальные победители. Эксперты говорят, что мы недостаточно хорошо понимаем, что такое интеллект, чтобы его построить, и тут согласен, но набор из сорока шести хромосом этого тоже не понимает и тем не менее управляет формированием известного нам самопрограммируемого биокомпьютера. Другие эксперты говорят, что закон Мура скоро перестанет работать, и мы не сможем позволить себе совершенствовать аппаратные средства в прежнем темпе; даже если это и так, «скоро» — понятие растяжимое.

Я пришел к выводу, что мы уже поддерживаем эволюцию мощного искусственного интеллекта, а он, в свою очередь, повлияет на развитие привычных нам могущественных сил: бизнеса, индустрии развлечений, медицины, государственной безопасности, производства оружия, власти на всех уровнях, преступности, транспорта, горнодобывающей промышленности, производства, торговли, секса — да чего угодно!

Я думаю, что результаты нам не понравятся. А они могут появиться очень быстро, настолько быстро, что великие империи падут и на их месте вырастут новые, а у людей будет самый минимум времени, чтобы приспособиться к жизни в новой действительности. Я не знаю, окажется ли кто-нибудь достаточно умным и одаренным для того, чтобы сохранить власть над этим джинном, потому что контролировать, возможно, придется не только машины, но и людей, дорвавшихся до новых технологий и имеющих злые намерения.

Что случится, когда умные роботы станут справляться с большинством наших рутинных дел? Кто будет их строить, кто будет ими владеть и кто потеряет работу? Будут ли роботы распространены только в странах с развитой экономикой или начнется коммерческая экспансия высоких технологий в остальные части мира? Будут ли они достаточно дешевыми, чтобы вытеснить всех фермеров с полей? Будет ли каждая машина обладать собственной личностью и не придется ли нам думать, в какой детский сад ее отправить, в какую школу или колледж? Будут ли роботы конкурировать друг с другом за рабочие места? Станут ли они величайшими гиперсоциальными хищниками, вытеснив людей и сделав их гражданами второго сорта или даже чем-то меньшим? Будут ли они заботиться об окружающей среде? Будут ли обладать чувством ответственности, и если да, то будут ли наделены им изначально или же разовьют его самостоятельно? Нет никакой гарантии, что они станут следовать трем законам робототехники Айзека Азимова.

С другой стороны, я ученый, и мне интересно, как можно применить искусственный интеллект к исследованию новых наук и технологий. Преимущества для космических исследований очевидны: машинам не нужно дышать, они могут выдерживать экстремальные температурные и радиационные условия. Так что им будет куда легче, чем нам, колонизировать Марс. Они смогут отправиться во внешнюю область Солнечной системы, имея больше шансов выйти оттуда на связь, чем нынешние автоматические космические аппараты, а когда-нибудь смогут и полететь к звездам — если захотят.

Так же дело обстоит и с морскими глубинами. У нас уже есть тяжелая техника, работающая на донных буровых установках, но про морское дно мы все еще почти ничего не знаем, а ценность находящихся под водой минеральных и энергетических ресурсов неисчислима. Не исключено, что когда-нибудь случится война роботов в глубинах океана.

Мыслящие машины могут оказаться похожими на нас, с таким же желанием все исследовать, но могут быть и совсем другими. Зачем мне или роботу отправляться в путешествие длиною в тысячу лет к другой звезде через темноту космоса, не имея ни связи с товарищами, ни надежд на спасение, если что-то пойдет не так? Кто-то на такое согласится, кто-то нет. Возможно, мыслящие машины окажутся во многом похожими на свои биологические прототипы.

Это будет дикая гонка далеко за пределами наших самых смелых фантазий или кошмаров. Нет другого способа построить галактическую цивилизацию, за исключением варп-двигателя[8], и, возможно, кроме нас, никто во всем Млечном Пути не способен на это. Но не факт, что мы переживем столкновение с иным разумом, который сами же и создали.

Этой штукой кто-нибудь управляет?

Дэвид Кристиан

Профессор истории, Университет Маккуори (Сидней); автор, совместно с Синтией Стокс-Браун и Крэйгом Бенджамином, книги «Карты времени: Между ничем и всем» (Maps of Time: Between Nothing and Everything)

Вселенная существует 13,8 миллиарда лет, люди — 200 000 лет, этот временной отрезок — всего 1/69 000 возраста Вселенной. Менее 100 лет назад люди создали машины, способные самостоятельно выполнять затейливые вычисления. Чтобы увидеть мыслящие машины в правильном свете, нам надо подумать об истории мышления.

Мышление как таковое и мышление все более и более сложное — это явления, принадлежащие большой истории, истории того, как наша Вселенная создавала все более и более сложные сети вещей, скрепленных между собой энергией, причем каждая такая система обладала новыми эмерджентными свойствами[9]. Звезды — структурированные облака протонов, скрепленные энергией термоядерного синтеза. Когда разрушались большие звезды и образовывались сверхновые, возникали не существовавшие прежде типы атомов; электромагнетизм стягивал атомы в скопления льда и минеральной пыли, а сила тяжести спрессовывала молекулы в большие системы, которые мы называем планетами. Мышление возникло в рамках еще более сложных систем, сформированных живыми организмами. В отличие от объектов, которые существуют в состоянии равновесия, таких как звезды или кристаллы, биологическим существам приходится выживать в нестабильной окружающей среде. Они плывут через постоянно меняющуюся кислотность, температуру, давление и т. п. Таким образом, они должны все время приспосабливаться. Мы называем это гомеостазом — именно он создает ощущение, что у живых организмов есть цель и способность делать выбор. Короче говоря, они как будто думают. Они могут выбирать варианты действий, оставляющие достаточное количество энергии, чтобы организм продолжал функционировать. Так что их выбор отнюдь не случаен. Наоборот, естественный отбор — это процесс, в котором большую часть времени большинство организмов будут совершать действия, увеличивающие их шансы контролировать энергию и ресурсы, необходимые им для выживания и воспроизводства.

Нейроны — это такие занятные клетки, которые хорошо умеют принимать решения. Когда они образовывают сети, получается мозг. Система из нескольких нейронов уже способна принимать разные решения, и число таковых увеличивается экспоненциально по мере расширения сети нейронов. Решения, которые принимает мозг, чтобы реагировать на вызовы окружающей среды, бывают весьма изощренными. По мере того как организмы становились более сложными, клетки объединялись в сети и создавали величественные органические конструкции — биологические эквиваленты Эмпайр-стейт-билдинг или Бурдж-Халифа. Нейроны в мозгах этих организмов создавали еще более замысловатые сети, чтобы получить возможность управлять неповоротливыми телами с исключительной точностью и изобретательностью и обеспечить им выживание и воспроизводство. Прежде всего мозгам надо было обеспечить своим организмам возможность подключиться к потокам энергии, производимой Солнцем и пригодной для потребления посредством фотосинтеза.

Люди добавили еще один уровень организации сети, когда язык связал между собой мозги из разных регионов и поколений, создав обширные региональные интеллектуальные сети. Это называется коллективным обучением. Его мощь увеличивалась по мере того, как росла эффективность сотрудничества людей в рамках все более и более многочисленных сообществ, которые учились использовать все более значительные потоки энергии. За последние два века эти сети стали глобальными, а мы научились использовать огромные запасы окаменевшего солнечного света, хранящиеся под землей миллионы лет. Вот почему наше воздействие на биосферу в ходе антропоцена оказалось настолько значительным.

Коллективное обучение также породило средства, расширяющие мышление, — от устных преданий до письменности, книгопечатания и науки. Каждое из них усиливало мощь поразительной мыслящей машины, составленной из сети человеческих мозгов. Однако за последний век в результате сочетания ископаемого топлива и вычислительных машин она развилась гораздо больше, чем за всю предыдущую историю. Поскольку компьютеры за последние 30 лет выстроили собственные сети, они многократно увеличили коллективную мощь человечества.

Самая могущественная из известных нам на сегодняшний день разумных машин собрана из миллиардов человеческих мозгов, каждый из которых представляет собой огромную сеть нейронов. Все эти мыслящие единицы сперва были объединены в пространстве и времени, а теперь еще и усилены миллионами объединенных в сети компьютеров.

Этой штукой кто-нибудь управляет? Что-то удерживает вместе ее элементы? Если да, то кому она служит и чего хочет? А если ею никто не управляет, то неужели колосс современного общества вообще неуправляем? Жутковато, не правда ли? Меня больше всего волнует даже не то, о чем именно думает эта огромная машина, а то, является ли ее мышление хоть сколько-нибудь последовательным. Не будут ли отдельные части тянуть ее в разных направлениях, не сломают ли они ее в конце концов и не обернется ли это катастрофой для детей наших детей?

Свидетель Вселенной

Тимо Ханней

Исполнительный директор в Digital Science, Macmillan Science and Education; один из основателей Sci Foo

Если отталкиваться от одного из определений слова «мыслить» — «собирать, обрабатывать информацию и действовать на ее основе», можно сделать вывод, что Землю наводнили основанные на кремнии мыслящие машины. Все — от термостатов до телефонов — устройства, которые привносят в нашу повседневную жизнь удобство и радость, теперь наделены настолько впечатляющим интеллектом, что мы уже привычно говорим о них, без тени иронии, что они умные. Наши самолеты, поезда, а теперь еще и автомобили становятся практически полностью самостоятельными, и, наверное, недалек тот день, когда они смогут избавиться от одной из главных причин поломок, задержек и аварий — людей-операторов.

Мало того, навыки этих машин быстро развиваются, что обусловлено доступом к большим, чем когда-либо, объемам данных и вычислительным мощностям вместе со стремительным (хоть и не всегда понятным) улучшением алгоритмов. После десятилетий несбыточных обещаний специалисты в технических науках вдруг обнаружили, что их творения способны на сверхчеловеческий уровень производительности в таких ранее сложных для них областях, как распознавание голоса, рукописного текста и изображений, не говоря уже о тестах на общую эрудицию. Модель развития по схеме «стой — иди» была настолько необыкновенной, что если бы кого-нибудь переместили во времени из 2010-го в 2015-й, то он был бы поражен нынешним состоянием техники куда больше, чем путешественник во времени, прибывший из середины XX века или более ранней эпохи.

Но если индустрия искусственного интеллекта уже не шутка, то не превратилась ли она во кое-что похуже — в плохой фильм ужасов?

Машины теперь знают намного больше, чем любой из нас, лучше справляются со многими задачами, нисколько не уставая, — так чего им стоит перехватить инициативу и стать нашими хозяевами? И не наступит ли время, когда самые продвинутые из наших творений породят еще более умные машины, которые мы вообще не сможем ни понимать, ни контролировать?

Возможно, такие риски и стоит учитывать. Но если нас и ждут эти проблемы, то лишь в отдаленном будущем. Искусственный интеллект хоть и выглядит впечатляюще в определенных областях, все еще остается достаточно ограниченным и негибким. Самая замечательная особенность биологического разума состоит не в его мощности, а в удивительной универсальности — от отвлеченного полета фантазии до высочайшего совершенства в физическом развитии, иначе говоря, от Дворжака до Джоковича[10].

По этой причине люди и машины скорее продолжат дополнять друг друга, чем станут конкурировать, а самые сложные задачи — навигация в физическом мире, лечение болезней, сражение с врагом на поле битвы — будут лучше всего выполняться в ходе совместной работы углерода и кремния. Пока что наибольшую опасность для человечества представляют сами люди. Чтобы оказаться реальной угрозой, машинам сначала надо стать более похожими на нас, а сейчас почти никто не пытается создать ничего подобного — гораздо проще и интереснее делать людей.

И все же если мы действительно рассматриваем долгосрочные перспективы, то существует серьезная причина сделать машины более похожими на нас по одному важнейшему — и пока что совершенно не учитываемому — критерию. Если отталкиваться от другого определения слова «мыслить», то машинам это вообще не свойственно, потому что ни одна из них не обладает самосознанием. Точнее говоря, мы не можем знать или даже с достоверностью предполагать, есть ли вероятность появления сознания у основанного на кремнии интеллекта, хотя большинство из нас считает, что нет. Есть три объяснения, почему создание действительно обладающего сознанием искусственного интеллекта — это хорошо. Во-первых, так мы получим свидетельство, что у нас есть в целом приемлемая теория насчет того, что необходимо для получения субъективного опыта. Во-вторых, сам факт, что одно мыслящее существо намеренно (позволено ли мне будет сказать «сознательно»?) конструирует другую форму разума, займет достойное место в ряду важнейших событий истории.

В-третьих, Вселенная без интеллекта, обладающего самосознанием и способного ее наблюдать, в конечном счете бессмысленна. Мы не знаем, есть ли где-то там другие существа, но можем не сомневаться, что рано или поздно исчезнем. Сознательный искусственный интеллект мог бы пережить наш неизбежный конец и даже грядущую гибель всего живого на Земле, когда Солнце вздуется и превратится в красного гиганта. Задача такой машины будет состоять не только в том, чтобы мыслить, но также и в том — и это куда важнее, — чтобы не дать угаснуть мерцающему пламени сознания, стать свидетелем Вселенной и чувствовать ее чудо.

Давайте подготовимся!

Макс Тегмарк

Физик, космолог, Массачусетский технологический институт; директор по научным исследованиям в Институте основополагающих вопросов; один из основателей Института основополагающих вопросов; автор книги «Наша математическая вселенная» (Our Mathematical Universe)

Самый интересный для меня вопрос об искусственном интеллекте состоит не в том, что мы думаем о нем, а в том, что мы с ним делаем. В связи с этим в нашем недавно созданном Институте основополагающих вопросов мы привлекаем к обсуждению будущего отрасли многих выдающихся мировых специалистов по искусственному интеллекту. Вместе с ведущими экономистами, правоведами и другими экспертами мы изучаем все классические вопросы, такие как:

• Что произойдет с людьми, если машины постепенно заменят их на рынке труда?

• Когда, если это вообще произойдет, машины превзойдут людей во всех интеллектуальных задачах?

• Что будет потом? Произойдет ли взрывное развитие машинного разума, которое оставит нас далеко позади, и если да, то какая роль останется людям после этого (и останется ли вообще хоть какая-нибудь)?

Необходимо провести огромное количество исследований прямо сейчас, чтобы не только обеспечить функциональность систем искусственного интеллекта, но также гарантировать их надежность, полезность и управляемость.

Как и в случае с любой новой технологией, здесь вполне естественно сначала будет сосредоточить внимание на том, чтобы она заработала. Но как только забрезжит успех, придется задуматься о воздействии технологии на общество и выяснить, как нам беспроблемно пользоваться преимуществами искусственного интеллекта и избегать опасностей. Вот почему, научившись добывать огонь, мы разработали огнетушители и нормы пожарной безопасности. Для более современных технологий, таких как ядерная энергия, синтетическая биология и искусственный интеллект, оптимизация социального воздействия становится еще более важной задачей. Короче говоря, наша технологическая мощь должна соответствовать нашей мудрости в плане ее применения.

К сожалению, необходимый нам здравый подход к выбору задач для научных исследований, практически полностью глушит какофония невежественных суждений, охвативших блогосферу. Позвольте вкратце перечислить самые громкие из них.

1. Паникерство: страх увеличивает доходы от рекламы и рейтинг Нильсена[11], а многие журналисты, кажется, не способны написать статью про искусственный интеллект без картинки с роботом, несущим оружие.

2. «Это невозможно»: будучи физиком, я знаю, что мой мозг состоит из кварков и электронов, организованных и действующих подобно мощному компьютеру, и что нет такого закона физики, который препятствовал бы тому, чтобы мы построили еще более разумные сгустки кварков.

3. «Это произойдет не при нашей жизни»: мы не знаем, каковы шансы, что машины достигнут человеческого уровня во всех когнитивных задачах при нашей жизни, но большинство исследователей, работающих в области искусственного интеллекта, на прошедшей недавно конференции высказывались в пользу того, что вероятность этого выше 50 процентов, таким образом, было бы глупо с нашей стороны отбрасывать такую возможность, считая ее просто научной фантастикой.

4. «Машины не могут контролировать людей»: мы способны управлять тиграми не потому, что мы сильнее, а потому, что умнее, так что если мы сдадим позиции самых умных на планете, то рискуем утратить свободу.

5. «У машин нет целей»: многие системы искусственного интеллекта запрограммированы таким образом, чтобы иметь цели и максимально эффективно их достигать.

6. «Искусственный интеллект сам по себе не злонамерен»: верно, но его цели могут однажды столкнуться с вашими. Люди обычно не питают ненависти к муравьям, но если б мы захотели построить плотину ГЭС, а на ее месте оказался бы муравейник, то муравьи столкнулись бы с проблемами.

7. «Люди достойны того, чтобы их заменили машины»: спросите любого родителя, как бы он отнесся к идее заменить своего ребенка машиной и хотел бы он иметь право голоса в этом вопросе.

8. «Те, кто беспокоится по поводу искусственного интеллекта, не понимают, как работают компьютеры»: это утверждение прозвучало на вышеупомянутой конференции, и собравшиеся там специалисты по ИИ сильно смеялись.

Давайте не будем позволять шумихе вокруг этих «красных селедок»[12] отвлекать нас от главной проблемы. Воздействие искусственного интеллекта на человечество неуклонно растет, и, чтобы гарантировать, что это воздействие останется положительным, необходимы общие усилия по исследованию ряда сложнейших проблем — междисциплинарных, касающихся и общества, и искусственного интеллекта, а потому требующих сотрудничества исследователей во многих областях. Начинать работу над этими проблемами нужно уже сейчас.

Сперва мы, люди, придумали, как воспроизвести некоторые природные процессы с помощью машин и получили рукотворный ветер, молнии и лошадиные силы. Постепенно мы поняли, что наши организмы также являются машинами, а после открытия нервных клеток граница между телом и разумом начала размываться. Тогда мы стали строить машины, способные превзойти нас не только в силе, но и в интеллекте. Так не станем ли мы анахронизмом, выяснив, кто мы на самом деле?

Появление по-настоящему мыслящих машин будет самым важным событием в истории человечества. Станет ли это лучшим или худшим из всего случившегося с человечеством, зависит от того, как мы подготовимся, и сейчас самое время начинать. Не нужно быть сверхразумным искусственным интеллектом, чтобы понять: двигаться навстречу величайшему событию в истории человечества и не готовиться к этому — просто глупо.

Вопросы для расширенного теста Тьюринга

Томазо Поджо

Профессор отделения когнитивистики и наук о мозге, директор Центра изучения мозга, разума и машин, Массачусетский технологический институт

В последние несколько месяцев мы наблюдали охватывающее все более и более широкие слои общества обсуждение вопросов, касающихся опасности искусственного интеллекта, и в частности сильного искусственного интеллекта (СИИ). Некоторые — и в их числе физик Стивен Хокинг — назвали ИИ главной угрозой существованию человечества, а такие фильмы, как «Она» (Спайк Джонз, 2013) и «Превосходство» (Уолли Пфистер, 2014), подкрепили общие настроения. И даже разумные замечания экспертов в данной области — среди которых были Род Брукс и Орен Этциони — не то чтобы смогли направить обсуждение в позитивное русло.

Я утверждаю, что изучать то, как мы думаем о мыслящих машинах и их создании, полезно для общества. Я призываю к исследованиям, которые объединят нейронауки, когнитивистику, информатику и собственно разработку искусственного интеллекта. Понимание природы мышления и репликация его в машинах идут рука об руку с осознанием того, как выполняет свою работу мозг.

Сближение математики, нейробиологии и технологических разработок создает новые возможности междисциплинарного взаимодействия. Мечта о том, чтобы понять, как работает мозг, не нова, и все же — как видно из дебатов вокруг ИИ — сейчас подходящее время для того, чтобы сделать шаг к этой мечте. Мы видим зарождение новой области — науки и техники интеллекта, в которой нам предстоит достичь фундаментальных, очень важных для человечества результатов. Мы должны продолжать исследования, а не сворачивать их.

Проблема интеллекта — что это такое, как он порождается человеческим мозгом и как воспроизвести его в машинах — одна из наиболее важных проблем науки и техники, наряду с проблемой происхождения Вселенной и природы пространства и времени. Она может оказаться важнейшей, потому что обладает эффектом мультипликатора: практически любое достижение, способное сделать нас умнее непосредственно или с помощью мыслящих машин, позволит добиться прогресса в решении других важных проблем науки и техники.

Исследования в области интеллекта в конечном счете приведут к революционным изменениям в образовании и обучении. Системы, способные выявлять влияние культуры на мышление, позволили бы нам свести на нет социальные конфликты. Умные машины помогли бы ученым и инженерам в решении наиболее острых технических проблем. Мы могли бы лучше разобраться в психических заболеваниях, а значит, найти лучшие способы их лечения. Таким образом, исследования в области интеллекта должны помочь нам понять, как работает человеческий разум, научиться строить более разумные машины и улучшить механизмы выработки коллективных решений. Эти достижения будут иметь решающее значение для нашего процветания, образования, здоровья и общественной безопасности. Сейчас, я повторяю, самое время для того, чтобы значительно расширить исследования в области интеллекта, а не сворачивать их.

Нас часто вводят в заблуждение общие, расплывчатые по значению, но часто повторяемые слова. Никто пока не смог дать точное, верифицируемое определение, что такое интеллект и мышление в целом. Единственная известная мне практически применимая характеристика, хоть и довольно ограниченная, принадлежит Алану Тьюрингу. В своем тесте он дал рабочее определение особой формы мышления — человеческого мышления.

Давайте рассматривать наше мышление так, как его характеризует тест Тьюринга. Становится очевидно, что у человеческого мышления много аспектов. Рассмотрим, например, тест Тьюринга на визуальный интеллект, то есть вопросы об изображении, варьирующие от «Что изображено на картинке?» до «Кто изображен на картинке?» и «Что делает этот человек?» и даже «Что эта девочка думает об этом мальчике?» и т. д. Сейчас благодаря последним достижениям нейронаук нам уже известно, что для ответа на такие вопросы требуются различные компетенции и умения, часто не зависящие друг от друга, а также относящиеся к разным отделам мозга. Внешне похожие вопросы, касающиеся распознавания предметов и лиц («Что там?» в противоположность «Кто там?»), соотносятся с разными частями зрительной зоны коры головного мозга. Слово «интеллект» в этом контексте может быть истолковано так же неверно, как слово «жизнь»: в течение первой половины прошлого века популярные научные журналы обычно писали о проблеме жизни так, будто существует некий единый жизненный субстрат, который лишь надо открыть.

Сегодня говорить о проблеме жизни смешно: биология — это наука, работающая со множеством серьезных проблем, а не с какой-то единственной. Интеллект — одно слово, скрывающее множество проблем, решение которых достойно множества Нобелевских премий. Это связано с точкой зрения Марвина Минского на проблему мышления, заключенную в его афористичной формуле «Общество разума». Так же обстоит дело и с настоящим тестом Тьюринга: это широкий круг вопросов, призванных исследовать главные аспекты человеческого мышления. Вот почему мы с коллегами занимаемся разработкой теоретических основ для неисчерпывающего набора вопросов расширенного теста Тьюринга, чтобы оценить научные достижения в нашей области. Слово «вопросы» во множественном числе подчеркивает, что мы говорим о большом числе различных интеллектуальных способностей, которые еще предстоит описать и, возможно, воспроизвести в искусственном интеллекте: базовое визуальное распознавание объектов, идентификация лиц, оценка эмоций, социальный интеллект, язык и многое другое. Расширенный тест Тьюринга делает особый упор на то, что количественная модель должна сопоставлять человеческое поведение и человеческую физиологию — разум и мозг. Таким образом, наши условия лежат далеко за пределами исходного теста Тьюринга; для их понимания и разработки соответствующих интеллектуальных технологий необходима целая научная область.

Следует ли нам бояться мыслящих машин?

Так как интеллект — это набор решений не зависящих друг от друга проблем, особых причин бояться внезапного появления сверхразумной машины нет, хотя всегда лучше перестраховаться. Конечно, любая технология из тех, что появляются сейчас или появятся через некоторое время, чтобы решать те или иные проблемы исследования интеллекта, вероятно, будет сильна сама по себе, а потому потенциально опасна в случае злоупотребления (впрочем, это касается большинства технологий).

Таким образом, здесь, как и в других областях науки, необходимы соответствующие меры безопасности и этические нормы. Кроме того, вероятно, понадобится постоянный мониторинг (возможно, силами независимой межгосударственной организации) супралинейного риска, создаваемого комбинациями постоянно появляющихся интеллектуальных технологий. Впрочем, подводя итог, я отмечу, что не только не боюсь разумных машин, но и считаю их зарождение и эволюцию одним из самых захватывающих, интересных и позитивных событий в истории человеческой мысли.

Эпохальное для человека событие

Памела Маккордак

Автор книги «Машины, которые думают» (Machines Who Think) и «Универсальная машина» (The Universal Machine); автор, совместно с Эдвардом Фейгенбаумом, книги «Пятое поколение: Искусственный интеллект и японский компьютерный вызов миру» (The Fifth Generation: Artificial Intelligence & Japan’s Computer Challenge to the World)

Более пятидесяти лет я наблюдаю, насколько быстро меняется общественное мнение по поводу искусственного интеллекта. «Он невозможен, это нереализуемо». «Это важно / это не важно». «Это шутка». «Не может быть сильного искусственного интеллекта, только слабый». «Он уничтожит людей как вид». Такого рода крайности в последнее время уступили место признанию факта, что искусственный интеллект — это эпохальное научное, технологическое и социальное явление. Мы создали новый разум, который будет существовать наряду с нашим. Если мы станем обращаться с ним мудро, он принесет огромную пользу как всему человечеству, так и каждому из нас.

В качестве одного из вариантов будущего для искусственного интеллекта можно представить этакого Дживса, мудрого и терпеливого по сравнению с куда менее смышленым Берти Вустером, то есть с нами («Дживс, вы гений!» — «Спасибо, сэр. Мы стараемся»). Такой сценарий сосуществования возможен и даже желателен, помощь нам пригодится. Шахматы предлагают подобную модель. Гроссмейстеры Гарри Каспаров и Ханс Берлинер заявляли публично, что шахматные программы находят такие ходы, которых они сами не придумали бы, и учат игроков-людей новым трюкам. Deep Blue обыграл Каспарова, в то время как он считался одним из сильнейших шахматистов мира, при этом сам гроссмейстер и большинство экспертов полагают, что куда лучше в шахматы играют команды из людей и машин. Это ли не модель наших будущих взаимоотношений с искусственным интеллектом? Или, может, это лишь временный вариант, пока машины не овладеют и некоторыми сугубо человеческими навыками? Неизвестно. По скорости, широте и глубине мышления искусственный интеллект, вероятно, превзойдет человеческий — и уже много где превзошел.

Ни одна новая серьезная наука или технология не обходятся без недостатков, иногда даже опасных. Обнаружить их, оценить и принять необходимые меры — это задача громадных масштабов. Ею уже занимаются специалисты — философы, этики, правоведы и другие люди, обученные исследовать ценности за пределами простых интуитивных реакций, — в проекте под названием AI100, реализуемом на базе Стэнфордского университета. Никто не рассчитывает получить простые, окончательные ответы, понятно, что работа предстоит большая и продолжительная. Финансирование на ближайшие сто лет взял на себя один из ведущих специалистов в области искусственного интеллекта, Эрик Хорвиц, который вместе со своей женой Мэри и стал инициатором этого беспрецедентного исследования.

Человечество, похоже, безудержно в своем стремлении создать искусственный интеллект: по нашей литературе видно, что люди представляли себе нечто подобное и ждали его появления с тех пор, как появилась письменность. А раз так, значит, в основе такого стремления лежит некая базовая человеческая потребность. Тут необходимы пояснения, поскольку это точно не потребность в сексуальном удовлетворении.

Любой ученый скажет, что поиск знаний — как раз такая потребность. «Это основополагающая вещь, — заявил мне недавно один специалист по искусственному интеллекту. — Это и мы сами, когда мы смотрим на мир, и то, как мы на него смотрим». Конечно, он прав. Но есть кое-что еще.

Кое-кто говорит, что искусственный интеллект влечет нас как своего рода «Эверест разума». Другие, более склонные к мистике, утверждают, что нами движет телеология. Люди — просто этап эволюции разума во Вселенной, неплохой даже при всех наших недостатках, но едва ли финальный.

Предприниматели скажут, что будущее производства — это темные цеха, где трудятся роботы, не устающие, не требующие платы и не жалующиеся. Но если так, то возникает вопрос: какой валютой будут пользоваться избавившиеся от необходимости работать люди, для того чтобы приобретать произведенные роботами товары, сколь бы дешевыми те ни были? Ответа на этот вопрос пока нет.

Вот что думаю лично я: мы хотим сохранить себя как вид. После всех вымышленных божеств, к которым мы взывали в разные исторические периоды и которые не смогли защитить нас — от природы, друг от друга, от самих себя, мы наконец готовы обратиться к собственному улучшенному и дополненному разуму. Это признак социальной зрелости и того, что мы берем на себя ответственность за собственное будущее. Мы берем на себя роль богов, как сказал Стюарт Бранд, и у нас есть надежда преуспеть в этом.

Мы стараемся. Но, может быть, у нас не получится.

Добро пожаловать в ваше новое сверхчеловеческое «я»

Марсело Глейзер

Профессор натурфилософии, преподаватель физики и астрономии, Дартмутский колледж; автор книги «Остров знаний» (The Island of Knowledge)[13]

Давайте рассмотрим ситуацию: вы опаздываете на работу и в спешке забываете дома мобильный телефон. Обнаруживаете вы это, только застряв в пробке или спустившись в метро. Возвращаться слишком поздно. Вы смотрите вокруг и видите, что все разговаривают, переписываются, что-то смотрят в интернете, даже если это запрещено. Вы ощущаете незнакомое чувство потери, оторванности. Без мобильного телефона вы — уже не вы.

Люди любят порассуждать о том, как однажды сольются человек и машина, став своего рода новым существом — киборгом с живым сердцем. Ну ладно, это все интересно, но реальность состоит в том, что мы — уже киборги. Мы определяем себя через наши гаджеты, создаем в Сети вымышленных персонажей со странными именами, подправляем фотографии, чтобы лучше или просто иначе выглядеть на своих страницах в Facebook, создаем себе новое «я», чтобы взаимодействовать с другими людьми. Мы существуем в информационном облаке, цифровом, далеком и вездесущем. У нас есть титановые импланты для суставов, кардиостимуляторы и слуховые аппараты, устройства, которые переделывают и дополняют наши умы и тела. Если вы спортсмен-инвалид, то ноги из углеволокна с легкостью могут нести вас вперед. Если вы ученый, компьютеры усилят вашу интеллектуальную мощь, и вы создадите нечто такое, что считалось совершенно невозможным несколько десятилетий тому назад. Каждый день появляются новые научные проблемы, которые раньше нельзя было ни рассмотреть, ни даже сформулировать. Темп научного прогресса прямо коррелирует с тем, насколько мы сближаемся с компьютерами.

Прямо сейчас мы заново изобретаем человеческий вид.

Поиски искусственного интеллекта традиционно опираются исключительно на машины, которые воссоздают — по крайней мере, как принято считать — уникальную способность человека мыслить. Мы говорим об электронных мозгах, которые быстро превзойдут человеческий разум, сделав людей лишними. После этого мы переходим к размышлениям о том, что случится с нами — беспомощными перед хладнокровным «мозгом в колбе». Тут возникают опасения, что мы создаем машину, которая нас погубит.

А что, если сама эта посылка в корне ошибочна? Что, если будущее интеллекта — не вне, а внутри человеческого мозга? Мне представляется совсем другой набор проблем, вытекающих из той перспективы, что мы станем сверхразумными посредством увеличения силы интеллекта с помощью цифровых технологий. Мало того, искусственно улучшенный человеческий разум расширяет смысл словосочетания «быть человеком». У нас так же будет биться сердце, и кровь будет струиться по венам, но еще и электроны будут течь по цифровым схемам. Перспектива искусственного интеллекта — это расширение наших способностей в новых областях. Это использование технологий для того, чтобы расти как вид — становиться умнее и, как я надеюсь, мудрее.

Все мы мыслящие машины

Шон Кэрролл

Физик-теоретик, космолог, Калифорнийский технологический институт; автор книги «Частица на краю Вселенной» (The Particle at the End of the Universe)[14]

Жюльена де Ламетри можно было бы назвать типичным новым атеистом[15], если бы не тот факт, что нового в нем к настоящему времени осталось мало. Работая во Франции в XVIII веке, Ламетри делал дерзкие заявления, с открытым пренебрежением отзывался об оппонентах и во всеуслышание говорил о своих антиспиритуалистских убеждениях. В его наиболее значимой работе, L’Homme machine («Человек-машина»), высмеивается идея декартовской нематериальной души. Будучи врачом по профессии, он утверждал, что интеллектуальная деятельность и умственные расстройства объясняются особенностями тела и мозга.

Как всем нам известно, идеи Ламетри и по сей день не стали общепринятыми, но в целом он был на правильном пути. Современной физике известны все частицы и силы, из которых составлена любая наблюдаемая нами материя, как живая, так и неживая, так что места для внефизической жизненной силы не осталось. Нейробиология — область намного более сложная и далеко не так хорошо разработанная, как физика, — тем не менее добилась огромных успехов, связывая наше поведение и то, что происходит у нас в головах, с определенными действиями мозга. Когда меня спрашивают, что я думаю по поводу мыслящих машин, я не могу не ответить: «Эй, вы вообще-то говорите про моих друзей». Все мы — мыслящие машины, и граница между различными типами машин размывается.

Сейчас у всех на слуху, и не без причин, «искусственные» мыслящие машины, то есть созданные человеческим умом. Но никуда не делись и «естественные» машины, развившиеся в ходе естественного отбора, вроде меня или вас. И одна из наиболее интересных новых областей науки и техники — все менее различимая граница между этими двумя категориями.

Искусственный интеллект — и это кажется неудивительным, если смотреть в ретроспективе, — оказался намного более сложной областью, чем могли изначально предположить многие ее основоположники. Программисты мыслят в понятиях принципиального разделения аппаратного и программного обеспечения и полагают, что можно вызвать разумное поведение, просто написав подходящий алгоритм. Но эволюция не видит разницы между первым и вторым. Нейроны в наших мозгах и в телах, посредством которых они взаимодействуют с миром, функционируют одновременно как аппаратное и как программное обеспечение. Робототехники обнаружили, что поведение, схожее с человеческим, намного легче смоделировать у машин, когда в них воплощена способность познавать. Дайте этому компьютеру руки, ноги и лицо, и его действия станут куда более похожими на человеческие.

С другой стороны, специалисты по нейронаукам и инженеры добиваются все лучших результатов в плане улучшения человеческого познания, ломая тем самым барьер между разумом и искусственно созданной машиной. У нас есть примитивные интерфейсы «мозг-компьютер», которые дают надежду на то, что парализованные пациенты когда-нибудь смогут разговаривать посредством аппаратного обеспечения и напрямую управлять протезами.

Куда сложнее прогнозировать, как соединение человеческого мозга с машиной и компьютером в конечном счете изменит наш собственный образ мышления. Исследователи, работающие под эгидой DARPA[16], обнаружили, что человек лучше, чем любой современный компьютер, справляется с быстрым анализом определенных видов визуальных данных, и разработали методы извлечения соответствующих подсознательных сигналов непосредственно из мозга без их опосредования ненадежным человеческим сознанием. В конечном счете нам предстоит проделать обратное, то есть научиться закладывать данные (и мысли) непосредственно в мозг. Люди, улучшенные соответствующим образом, будут в состоянии просеивать огромные объемы информации, выполнять математические вычисления со скоростью суперкомпьютера и визуализировать виртуальную реальность далеко за пределами привычных нам трех измерений пространства.

Куда приведет нас исчезновение границы между человеком и машиной? Жюльен де Ламетри, как считается, умер в возрасте 40 лет, решив похвастаться своим отменным здоровьем и съев гигантскую порцию паштета из фазана с трюфелями. Даже выдающиеся умы эпохи Просвещения иногда вели себя неразумно. Наш образ мысли и действий в корне меняется из-за компьютеров и способов взаимодействия с ними. Нам решать, станем ли мы использовать новые возможности мудро.

Кризис контроля

Николас Карр

Автор книги «Пустышка: Что Интернет делает с нашими мозгами» (The Shallows: What the Internet Is Doing to Our Brains)[17]

Мыслящие машины думают, как машины. Этот факт может расстроить тех, кто со страхом или тоской ожидает восстания роботов, но для большинства из нас является обнадеживающим. Наши мыслящие машины не превзойдут нас в плане интеллекта и уж тем более не превратят нас в своих слуг или домашних животных. Они продолжат выполнять указания людей-программистов.

Мощь искусственного интеллекта обусловлена главным образом именно его бездумностью. Не склонные отвлекаться и поддаваться заблуждениям, в отличие от сознательно мыслящих людей, компьютеры способны молниеносно выполнять вычисления без усталости, эмоций и сомнений. Холодность их интеллекта дополняет горячность нашего.

Неприятности начинаются тогда, когда мы смотрим на компьютер не как на помощника, а как на замену человека. Именно это сейчас происходит, и происходит быстро. Благодаря достижениям в области применения искусственного интеллекта нынешние мыслящие машины могут ощущать свое окружение, учиться на собственном опыте и самостоятельно принимать решения — зачастую с недостижимой и непостижимой для нас скоростью и точностью. Действуя самостоятельно в сложном мире, бездумные машины не только проявляют отменную эффективность, но и представляют серьезную опасность, причем неважно, воплощены они в виде роботов или это просто компьютеры, выдающие некие алгоритмически полученные заключения. Они неспособны усомниться в своих действиях или оценить их последствия, неспособны понять контекст, в котором работают, и потому могут повести себя непредсказуемо либо в результате несовершенства алгоритмов, либо из-за преднамеренных действий программистов.

Нам уже довелось увидеть, насколько опасно может быть автономное программное обеспечение, когда утром 1 августа 2012 года крупнейшая торговая площадка Уолл-стрит, Knight Capital, включила новую автоматизированную программу для покупки и продажи акций. Код содержал ошибку, и программа немедленно наводнила рынок иррациональными операциями. Прошло 45 минут, прежде чем программисты Knight Capital сумели выявить и устранить проблему. Для человека это недолгий срок, но для компьютера это вечность. Не замечая собственных ошибок, программа заключила более 4 миллионов сделок, совершив операций на сумму в 7 миллиардов долларов, что чуть было не привело к банкротству компании. Да, мы знаем, как создавать мыслящие машины. А вот чего мы не знаем, так это того, как сделать их вдумчивыми.

Knight Capital ничего не потеряла, кроме денег. По мере того как программы принимают на себя управление большим числом экономических, социальных, военных и личных процессов, затраты, связанные с ошибками, авариями и непредвиденными эффектами, будут расти. Риски усиливаются из-за невидимости программного кода. И как отдельные личности, и как общество мы все больше зависим от алгоритмов искусственного интеллекта, которых мы не понимаем. Их действия, а также мотивация и намерения, которые формируют эти действия, скрыты от нас. Создается дисбаланс сил, и он оставляет нас открытыми для тайного наблюдения и манипуляций. В прошлом году нам были даны кое-какие намеки по поводу способов, с помощью которых социальные сети тайно проводят психологические тесты на своих участниках посредством манипуляций с новостной летной. Поскольку компьютеры учатся все искуснее наблюдать за нами, формировать наши взгляды и действия, растут возможности для злоупотреблений.

В XIX веке общество столкнулось с тем, что недавно почивший историк Джеймс Бениджер охарактеризовал как кризис контроля{3}: технологии обработки материи опередили технологии обработки информации, а способность людей контролировать и регулировать производственные и другие связанные с ними процессы, в свою очередь, ослабела. Кризис контроля, который проявлялся во всем, от железнодорожных катастроф до дисбаланса спроса и предложения, а также недоступности государственных услуг, был в конечном счете разрешен благодаря изобретению систем автоматической обработки данных, таких как перфокарточный табулятор, который Герман Холлерит сконструировал для Бюро переписи населения США. Информационные технологии догнали производственные, позволив людям снова четко видеть мир, который начал было расплываться.

Сегодня мы сталкиваемся с еще одним кризисом контроля, хотя он — зеркальное отражение первого. Мы теперь изо всех сил стараемся совладать именно с тем, что помогло нам восстановить контроль в начале XX века, — с информационными технологиями. Наша способность собирать и обрабатывать данные во всех формах и управлять ими опередила нашу способность контролировать и регулировать этот процесс таким образом, который удовлетворяет нашим социальным и личным интересам. Разрешение нового кризиса контроля скоро станет одной из величайших проблем человечества. Чтобы справиться с нею, нужно прежде всего признать, что опасности, связанные с искусственным интеллектом, относятся не к какому-то отдаленному антиутопическому будущему. Они уже здесь.

Мы их построили, но мы их не понимаем

Джон Клейнберг

Преподаватель теории вычислительных машин в Корнеллском университете; автор, совместно с Дэвидом Изли, книги «Сети, толпы и рынки: Рассуждение о мире с сильными связями» (Networks, Crowds, and Markets: Reasoning About a Highly Connected World)

Сендил Муллайнатан

Преподаватель экономики, Гарвардский университет; автор, совместно с Эльдаром Шафиром, книги «Дефицит: Почему так плохо иметь слишком мало» (Scarcity: Why Having Too Little Means So Much)

По мере того как алгоритмы, поколение за поколением, становятся умнее, они также становятся более непонятными. Нам же, чтобы работать с умными машинами, должно быть ясно, как они думают. Нам, возможно, впервые удалось создать устройства, которых мы сами не понимаем.

Поскольку мы их программировали, мы сознаем, почему они делают каждый отдельный шаг. Но машины совершают миллиарды таких шагов — шахматных ходов, рекомендаций кинофильмов согласно предпочтениям пользователя, и они становятся неочевидны для нас, хоть мы и понимаем архитектуру созданной нами программы.

Мы сделали так, чтобы нам не нужно было задумываться об этих неочевидных действиях. Мы спроектировали машины таким образом, чтобы они действовали подобно людям. Они помогают нам водить автомобили, управлять самолетами, доставлять посылки, одобрять кредиты, просматривать сообщения, выбирать развлечения и партнеров для романтических отношений. Мыслящие машины даже способны диагностировать наши недуги. А поскольку они ведут себя так же, как мы, было бы разумно предположить, что они и думают похожим образом. Но реальность такова, что они вообще не думают в человеческом понимании этого слова; в действительности мы не знаем даже, почему они демонстрируют то поведение, которое мы наблюдаем. Вот в чем суть их непостижимости.

Важно ли это? Надо ли нам беспокоиться из-за того, что мы строим системы, чьи все более и более точные решения основываются на непонятных нам принципах?

Во-первых, это важно уже потому, что мы регулярно оказываемся в совершенно обыденных ситуациях, когда нам надо знать ответ на вопрос «Почему?». «Почему мне отказали в выдаче кредита? Почему мой счет заблокировали? Почему мое заболевание вдруг оказалось в категории тяжелых?» А иногда нам бывает нужно знать ответ на вопрос «Почему?» в случаях, когда машина совершила ошибку. «Почему самоуправляемый автомобиль резко сошел с дороги?» Трудно разобраться с чем-то, когда вы не понимаете причин.

Есть также и более глубокие проблемы, и, чтобы говорить о них, нам надо лучше разбираться в том, как работают алгоритмы. Они обучаются на больших объемах данных и очень хорошо справляются с обнаружением малозаметных паттернов, содержащихся в этой информации. Мы знаем, например, как построить систему, которая изучит несколько миллионов составленных в прошлом заявок на кредит, одинаково структурированных и закодированных, и найдет повторяющиеся паттерны в тех кредитах, которые — как уже известно в ретроспективе — заслуживали одобрения. Трудно заставить людей прочесть несколько миллионов кредитных заявок, и даже если бы такое получилось, результат оказался бы хуже, чем тот, который способен выдать алгоритм.

Достижение поистине впечатляющее, но довольно ненадежное. У алгоритма узкая «зона комфорта», внутри которой он эффективен; трудно определить эту зону, но легко из нее случайно выскочить. Например, вы можете захотеть перейти от успешно решенной машиной задачи по классификации нескольких миллионов малых потребительских кредитов к работе с базой данных кредитных историй нескольких тысяч крупных компаний. Но, сделав это, вы оставите машину без того, за счет чего она ранее демонстрировала эффективность. Она работала хорошо, потому что имела доступ к огромному числу измерительных точек, к отупляюще однообразной истории отдельных случаев из прошлого, в которых нужно было обнаружить паттерны и структуру. Если существенно уменьшить объем данных или сделать каждую измерительную точку значительно более сложной, то алгоритм быстро пойдет вразнос. Наблюдать за успешно работающей машиной — а при соответствующих условиях результаты могут быть феноменальными — это как смотреть на удивительные достижения и неумолимую целеустремленность вундеркинда, скрывающие его ограниченность в других областях.

Но даже в самом центре «зоны комфорта» непостижимость рассуждений машины нередко приводит к затруднениям. Давайте вернемся к примеру с миллионами заявлений на небольшие потребительские кредиты. Трудности могут начаться, когда кто-либо из потребителей, менеджеров или операционистов станет задаваться некоторыми простыми вопросами.

Человек, которому отказали в выдаче кредита, может потребовать не просто объяснений, а чего-то большего: «Как мне изменить свое заявление на следующий год, чтобы шансы на успешное рассмотрение были повыше?» Так как у нас нет простого объяснения принимаемых алгоритмом решений, мы не сможем дать и достойный ответ на этот вопрос. «Попытайтесь написать ее так, чтобы она больше походила на одну из успешных заявок», — вот все, что нам остается сказать.

Наш руководитель мог бы спросить: «Алгоритм справляется с заявками в Великобритании, но будет ли он так же хорошо работать, если мы задействуем его в Бразилии?» Удовлетворительного ответа опять нет, или же мы не в состоянии достоверно оценить, насколько успешен будет перевод высокооптимизированного правила в новую область.

Специалист по обработке данных мог бы заметить: «Нам известно, насколько хорошо алгоритм справляется с данными, которые у него есть. Но новая информация о потребителях нам точно не повредит. Какие еще сведения надо собрать?» Исходя из имеющихся у нас знаний о человеке, можно предложить множество вариантов, но с этим непостижимым алгоритмом мы не знаем, что именно окажется для него полезным. Вот в чем ирония: мы можем попробовать выбрать те переменные, которые сами сочтем важными, но машина-то думает не так, как мы, и потому уже нас обыгрывает. Как нам узнать, что она сочтет полезным?

Тут не обязательно ставить точку. У нас уже есть интерес к тому, чтобы разрабатывать алгоритмы, которые будут не только эффективными, но и постижимыми для своих создателей. Чтобы это сделать, нам, возможно, придется серьезно пересмотреть понятие постижимости. Мы, вероятно, так никогда и не сумеем постичь, что именно делают наши автоматизированные системы конкретно, шаг за шагом, но это нормально. Достаточно будет, если мы научимся взаимодействовать с ними, как одна разумная сущность взаимодействует с другой, развивая здоровое понимание того, когда стоит доверять рекомендациям, где можно наиболее эффективно их использовать и как помочь машине прийти к недоступному для нас самих уровню эффективности.

Однако пока мы этому не научимся, непостижимость искусственного интеллекта будет представлять определенную опасность. Как мы узнаем, что машина вышла из своей «зоны комфорта» и уже работает с той частью проблемы, с которой не очень хорошо справляется? Степень такого риска нелегко определить количественно, и с подобными проблемами мы будем сталкиваться по мере развития наших систем. Возможно, с какого-то момента нам придется беспокоиться по поводу всесильного искусственного интеллекта. Но сперва нам надо озаботиться тем, что машинам приходится отвечать за решения, для принятия которых у них недостаточно ума.

Нам надо делать домашние задания

Яан Таллинн

Соучредитель Центра исследований в области угроз существованию человечества, Институт будущего жизни; инженер-основатель Skype и Kazaa

За шесть месяцев до первого ядерного испытания ученые, работавшие над Манхэттенским проектом, подготовили отчет LA-602. В нем были приведены данные об исследованиях возможного выхода ядерного взрыва из под контроля, что грозило уничтожением Земли в результате сгорания атмосферы. Это было, вероятно, первым исследованием в области угроз существованию человечества.

Конечно, список опасных технологий, изобретенных людьми, не закончился на ядерной бомбе. С тех пор тема катастрофических побочных эффектов неоднократно всплывает в разных контекстах: рекомбинантной ДНК, синтетических вирусов, нанотехнологий и т. п. К счастью для людей, обычно в таких случаях верх берет трезвый расчет, что приводит к появлению различных соглашений и протоколов, регулирующих исследовательскую деятельность.

Я думаю о мыслящих машинах как о технологии, которую надо развивать с такой же (если не с большей!) осторожностью. К сожалению, идею безопасности искусственного интеллекта оказалось сложнее популяризировать, чем, скажем, идею биологической безопасности, потому что у людей довольно слабое представление о том, что такое нечеловеческий разум. Кроме того, если задуматься, то можно прийти к мысли, что ИИ в действительности является метатехнологией, то есть технологией, которая способна разрабатывать другие технологии либо совместно с людьми, либо даже автономно (что еще более усложняет анализ вероятных последствий).

Впрочем, в течение нескольких последних лет мы наблюдаем внушающие оптимизм подвижки, примерами которых являются инициативы новых организаций, таких как Институт будущего жизни, объединивший ведущих специалистов в области искусственного интеллекта для работы над постановкой задач, стандартами и этическими нормами исследований.

Поэтому путаные аргументы людей, которые пытаются показать, что разбираются в вопросах мышления, сознания или этики искусственного интеллекта, часто отвлекают от простой истины: единственный способ гарантировать, что мы случайно себя не взорвем с помощью собственной технологии (или метатехнологии), состоит в том, чтобы делать домашние задания и принимать соответствующие меры предосторожности, как поступили ученые из Манхэттенского проекта, когда подготовили LA-602. Нам надо перестать играть словами и взяться за исследования в области безопасности искусственного интеллекта.

Вот вам аналогия: со времени Манхэттенского проекта ученые-ядерщики переключились со стремления увеличить мощность реакции ядерного синтеза на решение вопроса, как наиболее эффективно ее можно сдерживать, — и мы даже не называем это ядерной этикой.

Мы называем это здравым смыслом.

Какое вам дело до того, что думают другие машины?

Джордж Чёрч

Преподаватель генетики, Гарвардская школа медицины; директор проекта Гарвардского университета «Личный геном»; автор, совместно с Эдом Реджисом, книги «Перерождение: Как синтетическая биология заново откроет природу и нас самих» (Regenesis: How Synthetic Biology Will Reinvent Nature and Ourselves)

Я — мыслящая машина, состоящая из атомов, прекрасная квантовая модель задачи многих тел — задача 1029 тел. Я — робот, имеющий опасную склонность самопрограммироваться и не допускать того, чтобы кто-то отключал мое энергоснабжение. Все мы, люди-машины, расширяем свои возможности через симбиоз с другими машинами, например улучшаем зрение, чтобы заглянуть за пределы длины волн в несколько жалких нанометров, доступных нашим предкам, и увидеть весь электромагнитный спектр от пикометра до мегаметра. Мы швыряем 370-килограммовые куски своего улья дальше Солнца на скорости в 252 792 км/ч. Мы расширяем свою память и математические способности в миллиарды раз с помощью кремниевых протезов. И все же наш биомозг в тысячу раз более энергоэффективен, чем наши неорганические мозги, в тех задачах, где у нас есть точки соприкосновения (таких как распознавание лиц и перевод с одного языка на другой) и бесконечно лучше подходит для задач пока еще неизвестной сложности, вроде эйнштейновских инновационных работ в Annus mirabilis[18], затрагивающих будущие века. Поскольку область действия закона Мура простирается от транзисторов, изготавливавшихся на литографическом оборудовании с точностью в 20 нм, до тех, что будут делать с атомарной точностью в 0,1 нм, и от двухмерных схем к трехмерным, мы вправе пренебречь возможностью заново изобретать и моделировать наш биомолекулярный мозг и сразу перейти к их конструированию.

Мы можем с идеальной точностью скопировать петабайты кремневых мозгов за считаные секунды, а передача информации между углеродными мозгами занимает десятилетия, и подобие между копиями едва заметно. Некоторые считают, что мы можем осуществить перенос данных из углерода в кремний и даже сделать так, чтобы кремниевая версия вела себя как оригинал. Однако такая задача требует куда более глубокого понимания, чем простое создание копии. Мы обуздали иммунную систему посредством вакцин в X веке в Китае и в XVIII — в Европе, задолго до того, как узнали о цитокинах и Т-клеточных рецепторах. У нас пока нет медицинского наноробота, обладающего сопоставимой гибкостью или функциональностью. Может оказаться, что создать тождественную на молекулярном уровне копию мозга массой в 1,2 килограмма или 100-килограммового тела легче, чем понять, как это работает (или чем перенести содержимое моего мозга на аудиторию студентов, многозадачно оперирующих электронной почтой и видео с котиками). Это намного более радикальная задача, чем клонирование человека, но она все же не предполагает использования эмбрионов.

Какие проблемы гражданско-правового характера возникают с появлением таких гибридных машин? В прошлом можно было встретить биомозг с почти идеальной памятью, способный воссоздать некое явление в виде выразительной прозы, картины или анимации, и часто он даже бывал почитаем. Но гибридам-полукровкам дня сегодняшнего с усовершенствованной гаджетами памятью запрещено появляться в залах суда, ситуационных комнатах[19], банях и на приватных переговорах. Номерные знаки и лица в Google Street View размыты — так нас намеренно делают жертвами прозопогназии[20]. Должны ли мы калечить или убивать Харрисона Бержерона[21]? Как насчет голосования? Сегодня мы далеки от всеобщего избирательного права. Мы придерживаемся ценза на основании зрелости и здравомыслия. Если я скопирую свой мозг (или тело), получит ли он право голосовать или его следует считать дубликатом? Примем к сведению, что даже точные дубликаты личности с первых секунд существования начинают отличаться от оригинала, а кроме того, копия может содержать преднамеренно внесенные несоответствия. В дополнение к сдаче теста на зрелость, здравомыслие и человечность, вероятно, копии придется пройти обратный тест Тьюринга (или тест Чёрча — Тьюринга). Задача такого испытания будет состоять не в том, чтобы продемонстрировать неотличимое от человеческого поведение, а в том, чтобы продемонстрировать поведение, отличающееся от такового у конкретных людей (интересно, пройдет ли такой тест нынешняя американская двухпартийная система?). Возможно, день корпоративной личности («Дартмутский колледж против Вудварда»[22], 1819) наконец настал. Мы уже голосуем за это своими кошельками. Изменения в покупательных тенденциях приводят к дифференциации в распределении благ, лоббировании, приоритетах научных и конструкторских изысканий и т. д. Возможно, большее число копий определенных мемов, разумов и мозгов станет представлять волю тех, кто будет говорить о себе: «Мы — (гибридный) народ мира». Приведет ли такой дарвиновский отбор к катастрофе или в результате люди больше станут ценить сочувствие и красоту, исчезнут бедность, войны и болезни, появится по-настоящему долгосрочное планирование в масштабах тысячелетий? Возможно, гибридный вариант будущего не только более вероятен, но также и более безопасен, чем какая-либо из двух крайностей: создание неведомого кремниевого мозга или отстаивание древних когнитивных искажений и нашей основанной на страхе «фактоустойчивой» системы выборов.

Машины не могут думать

Арнольд Трехуб

Психолог, Университет Массачусетса в Амхерсте; автор книги «Когнитивный мозг» (The Cognitive Brain)

Машины (сконструированные человеком артефакты) не могут думать, потому что ни у одной из них нет точки зрения — своеобразного взгляда на мирские референции ее внутренней символической логики. Мы как сознательные познающие наблюдатели смотрим на выводы так называемого искусственного интеллекта и создаем собственные референции символических структур, выданных машиной. Впрочем, даже несмотря на это, подобные не-думающие машины стали чрезвычайно важным дополнением человеческой мысли.

У них нет ни «я», ни способности к злому умыслу

Рой Баумейстер

Заслуженный научный сотрудник и глава кафедры им. Френсиса Эппса, программа подготовки по социальной психологии, Университет штата Флорида; автор, совместно с Джоном Тирни, книги «Сила воли: открывая заново самую мощную способность человека» (Willpower: Rediscovering the Greatest Human Strength)

Так называемые думающие машины — это расширение человеческого разума. Они не существуют в природе. Они не созданы эволюцией, они созданы людьми из чертежей и теорий. Человеческий разум учится создавать инструменты, позволяющие ему лучше работать. Компьютер — один из лучших инструментов.

Жизнь главным образом стремится поддерживать жизнь, так что живые существа обращают внимание на то, что происходит вокруг. Компьютер, не живой и не созданный эволюцией, не заботится о самосохранении или воспроизводстве — он не заботится вообще ни о чем. Компьютеры не опасны в том смысле, в каком опасны змеи или наемные убийцы. Хотя множество фильмов раскрывают жуткие фантазии о злобных машинах, реальные компьютеры не обладают способностью к злому умыслу.

Думающая машина, которая служит человеку, — это ценность, а не угроза. Только если она становится самостоятельным субъектом, действующим по своему усмотрению, то есть инструментом, восставшим против воли своего создателя, она может оказаться опасной. Тут компьютеру понадобится кое-что большее, чем просто мышление. Ему нужно будет принимать решения, противоречащие пожеланиям программиста. Это потребует чего-то наподобие свободы воли.

Что такого должен будет сделать ваш компьютер или ноутбук, чтобы вы сказали, что он обладает свободной волей (по крайней мере, в том смысле, в котором мы говорим о свободе воле у людей)? Ему определенно придется себя перепрограммировать, иначе он так и продолжит выполнять заданные инструкции. И такое перепрограммирование должно быть гибким, а не сделанным заранее. Но откуда ему взяться? У людей субъектность зарождается потому, что служит мотивационной системе, — она помогает вам получить то, в чем вы нуждаетесь и чего хотите.

Люди, как и другие животные, были созданы эволюцией, и, таким образом, основы субъектности идут рука об руку с желанием обладать и склонностью любить вещи, которые способствуют продолжению жизни, такие как еда и секс. Субъект подчиняется этому желанию, выбирая действия, приводящие к получению предметов, которые поддерживают жизнь. А мышление помогает субъекту делать правильный выбор.

Мышление человека, таким образом, служит продлению его жизни, помогая решить, кому доверять, что есть, как заработать и кого выбрать в спутники жизни. Думающая машина не мотивирована никаким внутренним стимулом поддержания жизни. Компьютер способен обработать большой объем информации быстрее, чем это делает человеческий мозг, но в компьютере нет «я», потому что у него нет желания обладать вещами, которые позволяют поддерживать жизнь. Если бы у компьютеров была потребность в продлении их собственного существования, то они, вероятно, сосредоточили бы свой гнев на компьютерной индустрии, стремясь остановить ее развитие, потому что главная угроза продолжительному существованию компьютера возникает тогда, когда более новые, более эффективные модели делают его устаревшим.

Повышение эффективности человеческого интеллекта

Кит Девлин

Математик; исполнительный директор H-Star Institute, Стэнфордский университет; автор книги «Человек чисел: Арифметическая революция Фибоначчи» (The Man of Numbers: Fibonacci’s Arithmetic Revolution)

Я знаю думающие мыслящие машины. Это люди. Они — биологические машины (кстати, будьте осторожнее со словосочетанием «биологические машины» — удобное название для того, что мы не до конца понимаем, но о чем думаем, что понимаем). И наоборот, я еще не встречал электронно-цифровой, электромеханической машины, которая вела бы себя так, чтобы заслужить определение «думающей»; я не вижу оснований предполагать, что таковое вообще возможно. Устройства типа ЭАЛ[23], которые когда-нибудь станут управлять нами, я полагаю, так и останутся в области научной фантастики. Если нечто ходит как утка и крякает как утка, это еще не делает его уткой. И если машина демонстрирует некоторые черты мышления (например, способность принимать решения), это еще не делает ее мыслящей.

Мы, люди, легко впадаем в такие заблуждения: «Если оно ходит как утка и крякает как утка, то это утка», — и не потому, что мы глупы, а скорее потому, что мы люди. Именно те черты, которые дают нам возможность большую часть времени действовать в своих интересах, когда мы сталкиваемся с потенциальной информационной перегрузкой в сложных ситуациях, делают нас очень уязвимыми для такого рода соблазнов.

Много лет назад я посетил лабораторию гуманоидной робототехники в Японии. Она выглядела как типичный инженерный отдел Skunk Works[24]. В одном углу стояла металлическая скелетообразная конструкция, увешанная проводами и напоминающая очертаниями верхнюю часть туловища человека.

Круто выглядевшие руки и ладони были, как я полагаю, предметом основной части технических изысканий, но они не работали во время моего посещения, и я их действительно заметил много позже. Все мое внимание с момента, когда я вошел в лабораторию, оказалось приковано к голове робота. На самом деле это вообще была не голова — просто металлический каркас с камерой вместо носа. Над камерой располагались два белых шарика размером с мяч для пинг-понга (возможно, это и были мячи) с нарисованными зрачками. Над глазами помещались две большие скрепки — брови.

Робот был запрограммирован обнаруживать движение людей и источники звука (когда кто-то говорил). Он шевелил головой и глазными яблоками, следуя взглядом за объектом, и поднимал и опускал брови-скрепки, когда человек говорил.

Поразительно, насколько живым и разумным казался этот механизм! Конечно, и я, и все присутствующие точно знали, что именно здесь происходит и насколько прост механизм, управляющий роботизированным «взглядом» и бровями-скрепками. Это был просто трюк, но трюк, основанный на глубоком понимании сотен тысяч лет человеческого социального и когнитивного развития, так что наша естественная реакция на действия робота оказалась такой же, как у любого другого человека.

Дело было даже не в том, что я не знал, в чем тут хитрость. Мой друг и тогдашний коллега по Стэнфорду, ныне покойный Клиффорд Насс, провел сотни часов, исследуя то, как мы, люди, генетически запрограммированы приписывать чему-либо разумную субъектность, основываясь на нескольких простых признаках, связанных с взаимодействием. Реакции эти настолько глубокие и укоренившиеся, что мы не можем от них избавиться. Вероятно, там был некий сложный искусственный интеллект, контролировавший руки робота, но глазами и бровями управляла очень простая программа. Тем не менее описанного поведения оказалось достаточно, чтобы у меня возникало ясное ощущение, что робот — любознательный, разумный слушатель, который в состоянии следить за тем, что я говорю. В действительности же он всего лишь использовал мою человеческую природу и мою разумность. Сам он не думал.

Использование человеческой разумности — это хорошо и даже замечательно, если робот должен убраться у вас дома, забронировать вам билет на самолет или сесть за руль вашей машины. Но вы согласились бы, чтобы такая машина приняла на себя обязанности присяжного, стала принимать важные решения о работе больницы или взялась контролировать вашу свободу? Я бы точно на такое не согласился.

Так что, когда меня спрашивают, что я думаю о мыслящих машинах, я отвечаю: по большей части они мне нравятся, потому что они — люди (и, возможно, некоторые животные). А вот что меня беспокоит, так это то, что мы передаем все больше аспектов нашей жизни машинам, которые решают, и часто куда эффективнее и обстоятельнее, чем люди, но определенно не думают. Вот где опасность: машины, которые могут принимать решения, но не думают.

Принятие решений и мышление — не одно и то же, нам не следует путать эти два понятия. Когда мы развертываем системы принятия решений по вопросам национальной безопасности, здравоохранения и финансов — а мы это делаем, — чрезвычайно высока оказывается опасность такой путаницы. Чтобы защититься от нее, нужно сознавать, что мы генетически запрограммированы действовать в режиме доверия и приписывания разумной субъектности при определенных видах взаимодействий как с людьми, так и с машинами. Но иногда механизм, который ходит вразвалку и крякает, — это просто механизм, а никакая не утка.

Машина — материальная вещь

Эманьюэл Дерман

Преподаватель финансового инжиниринга в Колумбийском университете; старший советник в KKR Prisma; автор книг «Модели. Работают. Неправильно» (Models. Behaving. Badly) и «Карьера финансового аналитика: от физики к финансам» (My Life as a Quant: Reflections on Physics and Finance)[25]

Машина — это небольшая часть физического мира, которая после выполненных человеком или животным размышлений была упорядочена так, чтобы при установлении некоторых начальных условий законы природы обеспечивали развитие этой небольшой части материального мира определенным образом, полезным для людей или животных.

Машина — материальная вещь, качества которой задаются с позиции разума. Есть разумная точка зрения, и есть материальная точка зрения.

Стюарт Хэмпшир в своей работе «Спиноза: Введение в его философскую мысль» (Spinoza: An Introduction to His Philosophical Thought) утверждал, что, согласно Спинозе, вы должны выбрать: обратиться к разуму для объяснения разумного или к материи для объяснения материального, но вы не можете обращаться к разуму, чтобы объяснять материальное, и наоборот. Чтобы иллюстрировать это положение, давайте предположим, что вы смутились и покраснели. Вы запросто можете сказать: «Я покраснел, потому что смутился». А вот строгий последователь Спинозы, если верить Хэмпширу, не станет утверждать, что причиной покраснения щек было смущение, потому что оно является характеристикой разума, в то время как румянец — характеристика материи. Нельзя допускать пересечения причинно-следственных цепочек, это небрежность мышления. Смущение и румянец комплементарны, но не каузальны.

Таким образом, человек не должен перескакивать с одной формы умопостроений на другую. Мы должны объяснять физическое физикой, а психологическое — психологией. Конечно, очень сложно отринуть представление о психических причинах физических состояний или о материальных причинах состояний ума.

Мне нравится такое представление о мире, и я описываю психическое поведение в психических терминах (любовные муки сделали меня угрюмым), а телесное — в телесных (лекарства испортили мой обмен веществ). Так что, поскольку мне известно, что поведение машины имеет материальное обоснование, я утверждаю, что она не может думать.

Я понимаю, что мне придется изменить свое мнение, если кто-то действительно покончит с комплементарным представлением о разуме и материи и убедительно продемонстрирует, что материя первична по отношению к разуму или что разум — причина материи. Пока, однако, это лишь вопрос веры.

Покуда такой день не настанет — а я не вижу никаких признаков его приближения, — я буду считать, что машины неспособны думать.

Я могу ошибаться

Фримен Дайсон

Физик, Институт перспективных исследований; автор книги «Мечты о Земле и о небе» (Dreams of Earth and Sky)[26]

Я не думаю, что мыслящие машины уже существуют или что их появление возможно в обозримом будущем. Если же я ошибаюсь, а такое случается часто, любые мои мысли по данному вопросу, не имеют значения.

А если я прав, то не имеет значения сам вопрос.

Почему нельзя вычислить бытие и счастье

Дэвид Гелернтер

Специалист по теории вычислительных систем, Йельский университет; научный руководитель Mirror Worlds Technologies; автор книги «Америка-Lite: Как имперская наука демонтировала нашу культуру (и ознаменовала начало Обамократии)» (America-Lite: How Imperial Academia Dismantled our Culture (and Ushered in the Obamacrats))

Считающаяся ныне старомодной идея о мыслящих машинах демонстрирует глубокое, но вполне естественное заблуждение о разуме и программном обеспечении. Компьютеры никогда не будут мыслить. Чтобы понять почему, давайте начнем с картошки фри — french fries (к Франции она не имеет никакого отношения). Я предполагаю, что рассматриваемые нами машины — это компьютеры, но вариант доказательства подходит для любой техники.

Ни «french fries», ни «french fried» не являются вычислимыми — ни один компьютер никогда не сможет выдать в качестве результата фразу «french fries» или состояние «french fried». «French fried» невычислимо, потому что это физическое состояние особого объекта, но компьютеры продуцируют только информацию или коды для информации, а не физические объекты и не их преобразования. Счастье также является физическим состоянием конкретного предмета, а именно человека. Счастье не может существовать, если только вы не возьмете человека и не поместите его в это состояние. Компьютеры не способны проделать такое.

Размышление и бытие или (что то же самое) размышление и чувство — крайние точки спектра, определяющего человеческий разум (говоря «чувство», я имею в виду ощущение, эмоцию или настроение, как принято в английском языке). Нам нужен весь спектр целиком, или у нас не будет ни разума, ни мысли в их прямом смысле. Компьютеры способны имитировать важные аспекты размышления (в узком его понимании), но бытие для них недостижимо. Следовательно, для них недостижимо самосознание.

Слово «бытие» — это полезное сокращение, в данном контексте значащее «быть частью физического объекта или системы и естественным образом реагировать на окружение». Нарезанная ломтиками картофелина может быть частью среды фритюрницы и реагировать на нее, становясь обжаренной. Лакмусовая бумажка может быть частью системы «кислота в пробирке» и реагировать, становясь синей. Разум похож на лакмусовую бумажку, но, вместо того чтобы менять цвет, он реагирует на среду, ощущая ее. Если что-то дает нам основания, чтобы быть счастливыми, система «разум-тело» (то есть человек) становится счастливой, а разум испытывает счастье. У счастья есть психические и физические последствия. Вы можете испытать прилив сил, ускоренное сердцебиение и дыхание.

Почему бытие нельзя вычислить? Почему нельзя вычислить счастье? Счастье невычислимо потому, что как состояние физического объекта оно находится вне пространства вычисления. Компьютеры и программное обеспечение не создают физическую материю и не управляют ею. Они могут быть причиной таких действий, выполняемых другими связанными с ними машинами, но сами это проделать неспособны. Роботы могут летать, а компьютеры — нет. (Кстати, ни одно устройство под управлением компьютера не может гарантированно сделать людей счастливыми, но это уже другая история.) Бытие невычислимо — важный факт, который до сих пор упускали из виду, что неудивительно. Компьютеры и разум живут в разных вселенных, как тыквы и Пуччини, их трудно сравнивать, независимо от того, что именно мы хотим продемонстрировать.

Реально ли обойтись без бытия и все-таки получить разумную машину? Нет. Размышление и бытие (или ощущение) определяют разум и его возможности. В верхней части спектра — в максимальной концентрации или фокусе — разум целиком отдается размышлению и отмахивается от отвлекающих эмоций. В нижней части спектра находятся наши сны, состояние, в котором мы почти не думаем — мы целиком заняты ощущением, поскольку галлюцинируем, а зачастую еще и эмоцией (сны всегда исключительно эмоциональны); так или иначе, мы заняты чувством или, иначе говоря, бытием.

Почему на изложение такого простого довода ушло настолько много времени? И почему сейчас так мало мыслителей, склонных его принять? Возможно, потому, что большинству философов и ученых хочется, чтобы разум оказался не чем иным, как мышлением, а чувство или бытие не имели никакого значения, причем хочется настолько сильно, что в конце концов они начинают думать, что так оно и есть. Философы — всего лишь люди.

Ни одна машина не думает над вечными вопросами

Лео Чалупа

Нейробиолог; вице-президент по исследовательской деятельности Университета Джорджа Вашингтона

Недавно продемонстрированные примеры выдающихся возможностей высокопроизводительных компьютеров замечательны, но неудивительны. При надлежащем программировании машины значительно превосходят людей в плане хранения и оценки больших объемов данных и принятия практически мгновенных решений. Это — мыслящие машины, потому что происходящие в них процессы аналогичны многим аспектам мышления человека.

Но в более широком понимании термин «мыслящая машина» употребляется неправильно. Ни одна машина не задается вечными вопросами: «Откуда я взялась? Зачем я здесь? Куда я иду?» Машины не думают о своем будущем, о своем неизбежном конце или о своем наследии. Чтобы размышлять над такими вопросами, требуется сознание и самосознание. У мыслящих машин их нет, и, учитывая наш нынешний уровень знаний, они вряд ли это получат в обозримом будущем.

Единственный реалистичный подход к созданию машины, сходной с человеческим мозгом, должен основываться на копировании нейронных цепей, лежащих в основе мышления. Более того, исследовательские программы, которые проводятся сейчас в Калифорнийском университете в Беркли, Массачусетском технологическом институте и еще в нескольких университетах, сосредоточены на достижении этой цели — построить компьютеры, работающие подобно коре головного мозга. Последние достижения в области исследования микроструктуры коры головного мозга стали серьезным стимулом, и вполне вероятно, что BRAIN[27] — новый проект Белого Дома — даст массу ценной информации. В ближайшие десятилетия мы узнаем о том, как взаимосвязаны миллиарды нейронов в каждом из шести слоев коры головного мозга, а также о типах функциональных цепей, формируемых такими связями.

Это необходимый первый шаг в разработке машин, способных к мышлению в том виде, который характерен для человеческого мозга. Но понимания микроструктуры коры недостаточно, чтобы построить умную машину. Что необходимо, так это понимание деятельности нейронов, лежащей в основе мыслительного процесса. Визуализирующие исследования обнаружили много новой информации об отделах головного мозга, вовлеченных в такие функции, как зрение, слух, осязание, страх, удовольствие и т. д.

Но у нас еще нет даже примерного понимания того, что происходит, когда мы размышляем. Причин тому множество, и среди них не последнюю роль играет наша неспособность изолировать мыслительный процесс от других физических состояний. Кроме того, различные мозговые цепи вполне могут быть связаны с различными модусами мышления. Когда мы думаем о предстоящей лекции, наш мозг задействуется не так, как когда мы вспоминаем о неоплаченных счетах.

В ближайшее время можно ожидать, что компьютеры будут превосходить людей во все большем количестве занятий. Но нам нужно намного лучше понимать работу человеческого мозга, чтобы создать по-человечески думающую машину. На данный момент нам не надо беспокоиться по поводу гражданских или любых других прав роботов, как не надо бояться, что они захватят власть. Если машина вдруг выйдет из под контроля, достаточно будет вытащить вилку из розетки.

Сингулярность — городская легенда?

Дэниел Деннет

Философ; профессор философии и содиректор Центра когнитивных исследований, Университет Тафтса; автор книги «Насос интуиции и другие инструменты мышления» (Intuition Pumps and Other Tools for Thinking)

Сингулярность — тот роковой момент, когда искусственный интеллект превзойдет своих создателей в разумности и захватит мир, — это мем, заслуживающий того, чтобы над ним поразмыслить. У него есть характерные признаки городской легенды: некоторое научное правдоподобие («Ну, в принципе, я полагаю, такое возможно!») и замечательная, вызывающая дрожь кульминационная фраза («Нами будут править роботы!»). «А ты знаешь, что если ты одновременно чихнешь, рыгнешь и пукнешь, то умрешь?» — «Да ладно, правда?» После десятилетий шумихи по поводу искусственного интеллекта можно было бы думать, что люди станут считать сингулярность шуткой, но, как оказалось, обеспокоенность общества этой идеей только растет. Добавьте несколько известных новообращенных — Илона Маска, Стивена Хокинга и Дэвида Чалмерса — к ряду других громких имен, и вы уже не можете не принимать ее всерьез. Когда случится это выдающееся событие — через десять, сто или тысячу лет? Может, благоразумнее будет уже сейчас начинать планировать, строить баррикады и повышать бдительность, высматривая предвестников катастрофы?

Я, напротив, думаю, что эти тревожные сигналы отвлекают нас от более насущной проблемы — от нависшего над нами бедствия, которое гораздо ближе и которому не нужна никакая помощь со стороны закона Мура или грядущих прорывов в теоретической науке. Мы в течение нескольких веков с огромным трудом постигали природу, сегодня накопленные знания позволяют нам впервые в истории контролировать многие аспекты наших судеб — и вот мы готовы отречься от этого контроля в пользу бездумных искусственных агентов и преждевременно поставить цивилизацию на автопилот. Соблазн поступить так коварен, потому что каждый следующий шаг сам по себе — предложение, от которого невозможно отказаться. Вы бы выглядели сегодня полным дураком, если б делали сложные арифметические вычисления с помощью карандаша и бумаги, тогда как карманный калькулятор намного быстрее и почти стопроцентно надежен (не забываем об ошибке округления). Зачем запоминать расписание поездов, когда его в любой момент можно посмотреть на смартфоне? Оставьте чтение карты вашему GPS-навигатору; да, он вовсе не умный, но он куда лучше вас справляется с задачей — не дает вам сбиться с маршрута.

Поднимемся выше по технологической лестнице: врачи все больше зависят от диагностических систем, которые объективно надежнее, чем любой специалист-человек. Вы бы хотели, чтобы ваш доктор отверг подготовленное машиной заключение, когда речь идет о выборе лечения для спасения вашей жизни? Это может оказаться лучшим — объективно наиболее успешным, непосредственно полезным — применением технологии, используемой в IBM Watson[28], и вопрос о том, можно ли считать этот компьютер разумным (или сознательным), к делу не относится. Если окажется, что Watson лучше, чем эксперты-люди, справляется с постановкой диагнозов на основе доступных данных, то нашей нравственной обязанностью будет пользоваться результатами его работы. Врач, который решает пренебречь рекомендациями такой машины, сам напрашивается на судебный иск о злоупотреблении служебным положением. По-моему, ни одна область человеческой деятельности не застрахована от использования таких протезов-оптимизаторов, и везде, где бы они ни появились, мы вынуждены делать выбор в пользу надежных результатов, а не человеческих отношений, как это было прежде. Рукотворные законы и даже рукотворная наука могут занять место рядом с кустарной керамикой и свитерами ручной вязки.

В самые первые дни существования искусственного интеллекта была предпринята попытка провести четкое различие между ИИ и когнитивным моделированием. Предполагалось, что первый станет отраслью инженерного дела и будет работать как угодно, не пытаясь подражать человеческим мыслительным процессам, кроме тех случаев, когда это окажется эффективным. Когнитивное моделирование, напротив, представляло собой дополнение к психологии и нейробиологии. Модель когнитивного моделирования, которая убедительно продемонстрировала бы характерные человеческие ошибки или затруднения, стала бы триумфом, а не провалом. Такое различие в стремлениях продолжает существовать, но почти стерлось из общественного сознания. Для дилетантов искусственный интеллект — это штука, способная пройти тест Тьюринга. Недавние достижения в области ИИ стали в основном результатом того, что мы отказались от моделирования человеческих мыслительных процессов (которые, как мы думали, мы понимаем) и перешли к использованию удивительных возможностей суперкомпьютеров для майнинга данных, чтобы извлечь оттуда важные связи и паттерны. При этом мы уже не пытаемся сделать так, чтобы компьютеры понимали, что делают. По иронии судьбы, такие впечатляющие результаты побуждают многих когнитивистов пересмотреть свою позицию; оказывается, что надо еще многое узнать о том, как мозг осуществляет свою блестящую работу по «продуцированию будущего», и в этом нам помогут методы машинного обучения и майнинга данных.

Но общественность будет упорно предполагать, что любой черный ящик, который способен проделывать такие штуки (безотносительно последних успехов в области разработки искусственного интеллекта), — это разумный агент, во многом похожий на человека, тогда как на самом деле то, что находится в ящике, — это причудливо нарезанная двумерная ткань, сила которой как раз в том и заключается, что у нее нет надстройки в виде человеческого разума со всеми его особенностями: склонностью отвлекаться, волноваться, испытывать эмоции, переживать воспоминания и строить личные привязанности. Это вообще не гуманоидный робот, а бездумный раб, последняя модель автопилота.

В чем проблема с тем, чтобы передать нудную мыслительную работу таким высокотехнологичным штуковинам? Да ни в чем, при условии, что (1) мы не будем сами себя вводить в заблуждение, и (2) нам как-то удастся не допустить атрофии собственных познавательных навыков.

1. Очень-очень трудно принять свойственные нашим помощникам ограничения и не забывать о них, равно как и не забывать о склонности человека всегда приписывать компьютерам разумность, как мы знаем еще со времен печально известной программы «Элиза», написанной Йозефом Вайценбаумом в 1960-х годах. Это очень опасно, ведь мы всегда будем испытывать желание требовать от них большего, чем то, для чего мы их создали, а также доверять полученным ими результатам, когда этого лучше не делать.

2. Используй или потеряешь. Поскольку мы все сильнее зависим от когнитивных протезов, то рискуем стать беспомощными, если они когда-нибудь перестанут работать. интернет — не разумный агент (ну, в каком-то смысле, может, и разумный), но мы тем не менее стали настолько от него зависеть, что, если бы он вдруг сломался, началась бы такая паника, что общество оказалось бы уничтожено за несколько дней. Кстати, к предупреждению этого события нам надо сейчас приложить все усилия, потому что оно может произойти в любой момент.

Реальная опасность — это не те машины, которые станут умнее нас и узурпируют роль хозяев наших судеб. Реальная опасность — это машины, по сути безмозглые, но наделенные нами полномочиями, значительно превосходящими уровень их компетентности.

Наноинтенциональность

Уильям Текумсе Фитч

Преподаватель когнитивной биологии в Венском университете; автор книги «Эволюция языка» (The Evolution of Language)[29]

Несмотря на огромный прирост вычислительной мощности, нынешние компьютеры думают не так, как это делаем мы (или шимпанзе, или собаки). У основанных на кремнии компьютеров отсутствует важнейшая способность органического разума — способность изменять свою материальную форму и, следовательно, свои будущие вычисления в ответ на события, происходящие в мире. Без этой способности (которую в других работах я назвал наноинтенциональностью), с одной только обработкой данных, нельзя получить мысль, потому что у вычисляемых символов и значений отсутствует какая-либо внутренняя причинно-следственная связь с реальным миром. Любая информация, полученная в результате работы кремниевого процессора, нуждается в интерпретации людьми, чтобы обрести значение, и так все останется и в обозримом будущем. У нас мало причин для того, чтобы бояться разумных машин, куда больше их для того, чтобы бояться все более неразумных людей, которые их используют.

В чем именно выражается особенность биологического, а не кремниевого компьютера? Не бойтесь, я не имею в виду какой-то мистический élan vital[30]. Это наблюдаемая, механистическая особенность живых клеток — особенность, которая развилась посредством обычных эволюционных процессов. В моих построениях нет никакой мистики или «незримого духа». По сути, наноинтенциональность — это способность клеток отвечать на изменения в окружающей среде, перестраивая свои молекулы и, таким образом, изменяя форму. Это свойство есть у амебы, хватающей бактерию, у мышечной клетки, повышающей уровень миозина в ответ на пробежку, или (что наиболее актуально) у нейрона, вытягивающего свои дендриты в качестве реакции на локальную нейровычислительную среду. Наноинтенциональность — основная, непреодолимая, бесспорная особенность жизни на Земле, которой нет у печатных кремниевых микросхем, формирующих «сердце» современного компьютера. Поскольку такое физическое различие между мозгом и компьютером — простой и грубый факт, то остается открытым вопрос: насколько большое значение он имеет для более абстрактных философских проблем, касающихся понятий мысли и значения. И тут ситуация становится сложнее.

Философские обсуждения начинаются с утверждения Канта о том, что наш разум неизменно отделен от типичных объектов наших размышлений — физических сущностей в реальном мире. Мы получаем сведения о них (через фотоны, воздушные колебания или испускаемые молекулы), но наш разум/мозг никогда не вступает с ними в прямой контакт. Таким образом, вопрос о том, как можно утверждать, что сущности нашего разума (мысли, убеждения, желания) якобы направлены на вещи в реальном мире, оказывается неожиданно сложен. Действительно, направленность — это центральная проблема в философии сознания, основа многолетней полемики между такими философами, как Деннет, Фодор и Сёрл. Философы несильно помогли внести ясность, назвав эту мнимую умственную направленность интенциональностью (не путать с обычным значением слова в английском языке: «делать что-то нарочно, умышленно»). Вопросы интенциональности тесно связаны с глубинными проблемами феноменологии сознания, часто выражаемыми терминами «квалиа» и «трудная проблема сознания»[31], но они обращены к более простому и фундаментальному вопросу: как может ментальная сущность (мысль — паттерн нервного возбуждения) быть в любом смысле этого слова связана со своим объектом (вещью, которую вы видите, или человеком, о котором вы думаете)?

Вот ответ скептика, солипсиста: такой связи нет, интенциональность — иллюзия. Это заключение ложно по крайней мере в одной важнейшей области (замечание сделано Шопенгауэром 200 лет назад): единственным местом, где ментальные явления (желания и намерения, что инстанцируется в нервном импульсе) вступают в контакт с реальным миром, являются наши собственные тела (например, нейромышечное соединение). Пластичность живой материи в целом и нейронов в частности означает, что петля обратной связи непосредственно соединяет наши мысли с нашими действиям, просачиваясь обратно через восприятие, где влияет на структуру самих нейронов. Петля каждый день замыкается в нашей голове (в самом деле, если вы завтра вспомните хоть что-нибудь об этом эссе, то лишь потому, что некоторые нейроны в вашем мозгу изменили свою форму, ослабив или усилив синапсы, расширив или сократив число связей). Такой контур обратной связи в принципе не может замкнуться в жестком кремниевом чипе. Это биологическое качество обеспечивает умственную деятельность у человека (а также у шимпанзе и собаки) с присущей ей внутренней интенциональностью, которой нет у современных кремниевых вычислительных систем.

Если утверждение верно (а мои логика и интуиция его поддерживают), машины «думают», «знают» или «понимают» что-либо только в той мере, в какой это делают их создатели и программисты, когда значение добавляется интенциональным, истолковывающим агентом, обладающим мозгом. Любой «интеллект» у компьютера — это исключительно интеллект работающих с ним людей.

Поэтому я не боюсь, что роботы восстанут или начнут бороться за свои права (если только их защитой не решат заняться заблуждающиеся люди). Означает ли это, что можно не беспокоиться до тех пор, пока кто-то не изобретет компьютер с наноинтенциональностью? К сожалению, нет: существует другая опасность, которая исходит от нашей чрезмерной склонности ошибочно приписывать намерение и понимание неодушевленным предметам («Моей машине не нравится низкооктановое топливо»). Думая так о вычислительных артефактах — компьютерах, смартфонах, системах управления, — мы постепенно передаем им (и тем, кто их контролирует) свою обязанность — информированное, компетентное понимание. Ситуация становится опасной, когда мы охотно и с ленцой уступаем ее бесчисленным кремниевым системам (автомобильным навигаторам, смартфонам, системам электронного голосования), которые не только не задумываются о том, что именно они вычисляют, но даже и не знают об этом. Глобальный финансовый кризис дал нам почувствовать, что может произойти в мире, связанном компьютерами, когда реальная ответственность и реальные компетенции окажутся неблагоразумно свалены на машины.

Я боюсь не успешного восстания искусственных интеллектов, а скорее катастрофического сбоя, вызванного множеством мелких ошибок в кремниевой системе, которую наделили слишком большими полномочиями. Нам все еще далеко до сингулярности, когда компьютеры станут умнее нас, но это не значит, что нам не следует беспокоиться о глобальном сетевом коллапсе. Чтобы сделать первый шаг к предотвращению таких катастроф, нужно перестать перекладывать на компьютеры собственную ответственность и понять и принять простую истину: машины не думают. А то, что мы принимаем за их мышление, становится с каждым днем все опаснее.

Игры (и пророчества) разума

Ирэн Пепперберг

Научный сотрудник и преподаватель, кафедра психологии, Гарвардский университет; автор книги «Алекс и я» (Alex & Me)

Машины великолепно справляются с вычислениями, но при этом не очень хорошо — с мышлением как таковым. У машин бесконечный запас упорства и настойчивости, и, как кое-кто говорит, они могут легко разгрызть сложную математическую проблему или помочь вам проехать через пробки в незнакомом городе, но все это — благодаря алгоритмам и программам, созданным людьми. Чего же машинам не хватает?

Машинам не хватает ви́дения (по крайней мере пока, и я не думаю, что наступление сингулярности это изменит). Я имею в виду отнюдь не зрение. Компьютеры не сами придумывают новое приложение, которому суждено стать популярным. Компьютеры не принимают решение исследовать далекие галактики — они прекрасно справятся с задачей, когда мы их туда отправим, но это уже другая история. Компьютеры, конечно, лучше среднестатистического человека работают в области высшей математики и квантовой механики, но у них нет видения, чтобы в принципе обнаружить необходимость в таких действиях. Машины могут выигрывать у людей в шахматы, но они еще не изобрели интеллектуальную игру, что займет человечество на столетия. Машины видят статистические закономерности, которые пропустит мой слабый мозг, но они не в состоянии выдвинуть новую идею, что соединит разрозненные наборы данных и создаст новую область науки.

Я не так уж сильно беспокоюсь по поводу машин, способных вычислять. Я как-нибудь переживу постоянные вылеты браузера, но пусть у меня будет умный холодильник, способный отслеживать RFID-коды лежащих в нем и вынимаемых из него продуктов и посылать мне СМС с напоминанием купить сливки по пути домой (пользуясь случаем, обращаюсь к тем, кто работает над такой системой: поторопитесь!). Мне нравится, когда компьютер подчеркивает незнакомые ему слова, и пусть среди них иногда оказывается какая-нибудь «филогенетика», я могу находить опечатки в общеупотребительных словах (и прямо сейчас он тоже не позволяет мне писать с ошибками). Но эти примеры показывают: само по себе то, что машина демонстрирует нечто похожее на мышление, еще не означает, что она на самом деле мыслит — или, по крайней мере, что она мыслит подобно человеку.

Мне вспоминается одно из самых первых исследований в области обучения обезьян использованию языка — где они должны были манипулировать пластиковыми фишками, чтобы отвечать на разные вопросы. Впоследствии эксперимент повторили со студентами, которые — что неудивительно — исключительно преуспели в освоении системы, но когда их спросили, чем они занимались, те сказали, что решали какие-то интересные головоломки и понятия не имели, что их обучали языку. Последовало широкое обсуждение, и мы многое открыли и многому научились в ходе новых исследований. Несколько особей, не являющихся людьми, смогли понять референтное значение различных символов, пользоваться которыми их учили, и мы многое узнали об интеллекте обезьяны в рамках оригинальной методологии. Смысл этой истории таков: то, что первоначально казалось сложной лингвистической системой, потребовало намного большей подготовки, чем предполагалось изначально, чтобы стать чем-то большим, нежели серия относительно простых парных ассоциаций.

Так что меня беспокоят не мыслящие машины, а самодовольное общество, готовое отказаться от своих мечтателей в обмен на возможность не делать трудную работу. Люди должны воспользоваться собственными познавательными мощностями, которые освободились, когда машины взяли на себя грязную работу, быть благодарными за такую свободу и использовать ее, направляя свои способности на решение сложных насущных проблем, для которых требуется проницательность и пророческое видение.

Колосс — это БДВ[32]

Николас Хамфри

Почетный профессор психологии Лондонской школы экономики; преподаватель философии, Новый колледж гуманитарных наук; старший член Колледжа Дарвина, Кембриджский университет; автор книги «Сознание: Пыльца души» (Soul Dust: The Magic of Consciousness)[33]

Если я дам вам один цент, вы скажете, о чем задумались? Не обязательно отвечать, смысл сказанного мною заключается в том, что вы как сознательный субъект это можете. Значит, у вас есть доступ к интроспекции. Вы знаете — и можете сказать, — что происходит на сцене в театре вашего разума. А как насчет машин? Если дать мыслящей машине один биткоин, она скажет, о чем задумалась? Никому еще не удалось создать машину, способную на такое. Витгенштейн заметил, что, если бы лев умел говорить, мы бы его не поняли. Если бы компьютер умел говорить, ему нечего было бы сказать. Что я могу сказать о мыслящих машинах? Все просто. Я не думаю, что на данный момент такие машины существуют.

Конечно, ситуация может скоро измениться. В далеком прошлом в ходе естественного отбора обнаружилось, что, с какими бы конкретными проблемами ни столкнулся человек, наличие мозга, способного к интроспекции[34], имеет практические преимущества. Так что люди, которые программируют машины, вполне могут прийти к мысли, что раз это работает с нами, то сработает и с компьютерами — если те столкнутся с проблемами, для решения которых нужна интроспекция. Но что это за проблемы и почему я говорю про какой-то театр сознания?

Театр открывает вам секрет: он позволяет вам видеть, как работает ваш собственный разум. Наблюдая, например, как убеждения и страсти порождают желания, которые приводят к действиям, вы начинаете догадываться, почему вы думаете и действуете так, а не иначе. Благодаря этому вы можете объяснить себя себе, а также другим людям. Но не менее важно и то, что у вас есть модель для понимания других людей. Интроспективное мышление заложило основы для того, что психологи называют моделью психического.

Для человека как вида, у которого социальный интеллект — ключ к биологическому выживанию, преимущества такого мышления огромны. Для машин же успех в социальной жизни еще не стал проблемой, поэтому у них не было причин идти тем же путем, что и мы. Однако, несомненно, наступит то время, когда у машин возникнет необходимость понимать психологию других машин, чтобы иметь возможность работать бок о бок с ними. К тому же если им нужно будет эффективно сотрудничать с людьми, то придется также понимать и человеческую психологию. Я предполагаю, что именно тогда разработчики — или, возможно, сами машины — последуют примеру природы и создадут цифровую версию интроспекции.

Есть ли опасность того, что, едва перейдя эту черту, проницательные машины начнут понимать людей уже слишком хорошо? Психопатам иногда приписывается не слабое, а напротив, очень хорошее понимание человеческой психологии. Стоит ли нам бояться чего-то подобного в случае с машинами?

Я так не думаю. Эта ситуация не нова. Тысячелетиями люди отбирали и программировали особый вид биологических машин, которые действовали и действуют в качестве наших слуг, спутников и помощников. Я говорю о домашних собаках. Замечательным результатом стало то, что современные собаки, по сути, приобрели особую, хорошо выраженную способность читать чужие мысли — как других собак, так и людей — самую сильную среди остальных животных, не считая самих людей. Очевидно, что наши отношения с собаками развивались как взаимовыгодное партнерство, а не как соревнование, даже притом что руководящая роль оставалась за нами. Если настанет такой момент, когда машины научатся настолько же хорошо читать мысли человека, как это делают сейчас собаки, нам, конечно, придется следить, чтобы они не вели себя чересчур по-хозяйски, чтобы не манипулировали нами и другими машинами и чтобы не безобразничали — точно так же, как мы следим за нашими четвероногими друзьями. Но я не вижу причин сомневаться в том, что мы потеряем контроль.

Есть картина Гойи, изображающая ужасного Колосса, который идет по земле на фоне бегущих в ужасе людей. «Колоссом» (Colossus) была названа и одна из первых вычислительных машин Алана Тьюринга. Имеет ли смысл воображать себе угрозу существованию человечества, исходящую от потомков этого компьютера? Нет, я предпочитаю смотреть на вещи оптимистически. Если повезет, вернее, если мы все сделаем правильно, Колосс останется большим и добрым великаном.

Искусственный интеллект с самосознанием? Не в этом тысячелетии!

Рольф Добелли

Основатель «Цюрихских умов»; журналист; автор книги «Искусство мыслить ясно» (Die Kunst des Klaren Denkens)[35]

Широко распространенная обеспокоенность по поводу того, что искусственный интеллект может поставить под угрозу существование человечества и захватить мир, иррациональна. И вот почему.

Чисто теоретически системы автономного или искусственного интеллекта могут развиваться по двум направлениям: либо как расширение человеческого разума, либо как совершенно новая форма мышления. Назовем первое «гуманитарным» ИИ, а второе — «иным» ИИ.

Почти все формы ИИ сегодня — «гуманитарные». Мы используем их, чтобы решать задачи, слишком сложные, трудоемкие или скучные для наших ограниченных мозгов: это управление электросетями, рекомендательные сервисы, беспилотные автомобили, системы распознавания лиц, трейдинговые алгоритмы и т. п. Такого рода искусственные агенты работают в узких областях с ясными задачами, установленными разработчиками. «Гуманитарный» искусственный интеллект нацелен на достижение человеческих целей — он способен достичь их зачастую лучше, чем это сделали бы люди, с меньшим количеством ошибок, не отвлекаясь, не срываясь и не уставая. Через несколько десятилетий ИИ-агенты, возможно, будут выступать в качестве виртуальных продавцов страховых полисов, врачей, психотерапевтов и даже виртуальных супругов и детей.

Но такие ИИ-агенты останутся нашими рабами, не имеющими никакого представления о самих себе. Они будут с удовольствием выполнять функции, на которые мы их настроим. На нашей совести останутся возможные сбои из-за программных ошибок или излишней уверенности пользователей в этих агентах (о чем говорит Дэн Деннетт). Да, «гуманитарный» искусственный интеллект не раз удивит нас новыми решениями конкретных задач оптимизации. Но в большинстве случаев новые решения — это последнее, чего мы хотим от машины (креативный подход к наведению ракеты с ядерным зарядом — как вам такое?). В связи с этим «гуманитарные» ИИ будут всегда соответствовать своей узкой области. Они всегда останутся понятными, ведь мы знаем, как они устроены и для каких задач созданы. Иногда из-за все время вносимых изменений программный код будет становиться слишком большим и нечитаемым для одного человека. В таких случаях придется переписывать его с нуля. «Гуманитарный» искусственный интеллект приблизит нас к давней мечте, где роботы делают большую часть работы, в то время как освободившиеся люди занимаются творчеством — или умирают от скуки.

«Иной» искусственный интеллект совершенно не похож на «гуманитарный». «Иной» ИИ, очевидно, представляет опасность для человечества: он может захватить планету, перехитрить нас, превзойти, поработить — а мы даже и не заметим нападения. Каким именно будет «иной» интеллект? По определению, мы не можем этого знать. Он освоит функции, которые мы неспособны понять даже приблизительно. Будет ли ему присуще сознание? Скорее всего, оно ему не понадобится. Будет ли он испытывать эмоции? Будет ли он писать романы-бестселлеры? Если да, то кто их станет покупать: мы или он сам и его порождения? Будут ли когнитивные ошибки искажать его мышление? Будет ли он общительным? Разработает ли него собственную модель психического? Если да, то будет ли он шутить, сплетничать, волноваться о своей репутации, стремиться к сплоченности на фоне внешних угроз? Создаст ли свою собственную версию искусственного интеллекта (искусственный ИИ)? Мы не знаем.

Все, что нам известно, так это то, что люди неспособны создать по-настоящему «иное» мышление. Что бы мы ни придумали, оно будет отражать наши цели и ценности, а потому это «что-то» не сильно отклонится от человеческого мышления. Нам понадобилось бы пережить настоящую эволюцию, а не просто разработать эволюционные алгоритмы, чтобы на свет появился «иной» искусственный интеллект. Для этого нам пришлось бы пройти совершенно другой путь развития, радикально отличающийся от того, который привел к появлению человеческого интеллекта и «гуманитарного» ИИ.

Как же нам сделать так, чтобы заработала настоящая эволюция? Для этого нужны репликаторы, изменчивость и отбор. Как только все три компонента начнут работать, неизбежно возникнет эволюция. Насколько вероятно, что в результате ее разовьется «иной» интеллект? Вот вам кое-какие мои вычисления «на коленке».

Для начала прикинем, во что обошлось развитие невероятно сложных эукариотических клеток до мыслящих существ человеческого уровня. Этот процесс потребовал использования значительной части биомассы Земли (примерно 500 миллиардов тонн связанного эукариотами углерода) в течение приблизительно 2 миллиардов лет. Огромный объем эволюционной работы! Правда, мышление, сравнимое с человеческим, может появиться и за половину этого времени, даже за 10 процентов, если очень повезет, но вряд ли быстрее. Чтобы эволюция породила сложное поведение, нужно не только много времени, но и чашка Петри размером с поверхность Земли.

Предположим, что «иной» интеллект будет основан на кремнии, как весь современный ИИ. Эукариотическая клетка значительно сложнее, чем, скажем, чип самого современного центрального процессора Intel Core i7, как в плане аппаратного, так и в плане программного обеспечения. Далее, предположим, что нам удалось уменьшить такой чип до размеров эукариота. Оставим без внимания квантовые эффекты, которые помешают при этом надежной работе транзисторов. Не будем также касаться вопроса об источнике энергии. Нам пришлось бы покрыть земной шар 1030 микроскопических процессоров и позволить им общаться и бороться за выживание в течение 2 миллиардов лет, чтобы появилось настоящее мышление.

Да, скорость обработки данных у процессоров выше, чем у биологических клеток, потому что электроны перемещать легче, чем атомы. Но у эукариотов атомы работают массово-параллельно, тогда как электроны у четырехъядерного Intel Core i7 — только по четырем параллельным линиям. В конечном счете — по крайней мере, для того чтобы доминировать в мире, — этим электронам придется перемещать атомы, чтобы хранить свои программы и данные во все большем числе физических мест. А значит, их развитие существенно замедлится. Трудно сказать, будет ли кремниевая эволюция в целом быстрее, чем биологическая. Мы недостаточно знаем об этом. Я думаю, по скорости она может превосходить биологическую максимум на два-три порядка (если вообще будет превосходить), что приведет к появлению обладающего самосознанием «иного» интеллекта примерно через миллион лет.

Давайте представим другой сценарий: что, если «гуманитарный» ИИ станет настолько умным, что сможет самостоятельно создать «иной» ИИ? Тут вступает в силу второе правило Лесли Орджела: «Эволюция умнее, чем ты». Она умнее человеческого мышления. Она даже умнее, чем «гуманитарный» ИИ. И она намного медленнее, чем вам кажется.

Таким образом, риски, связанные с искусственным интеллектом, не являются его характерной чертой, а происходят из нашей склонности чересчур на него полагаться. Искусственный интеллект не эволюционирует в самосознание при нашей жизни. Этого не произойдет и через тысячу лет.

Я, конечно, могу ошибаться. Все-таки, мои вычисления «на коленке» предполагают применение устаревшего человеческого мышления для осмысления «иного» ИИ, который для нас, по определению, непостижим. Но это все, что мы можем сделать на данном этапе.

Где-то в конце 1930-х годов Сэмюэл Беккет записал в дневнике: «Мы ощущаем с удивительным смирением, что разум — не сверхчеловеческий дар… что разум эволюционировал в то, что он теперь из себя представляет, но его развитие могло, однако, пойти иначе». Замените «разум» на «искусственный интеллект» — и получите мой вывод.

Машины не думают, но и люди — тоже

Сезар Идальго

Адъюнкт-профессор медиалаборатории Массачусетского технологического института; автор книги «Как информация управляет миром и определяет историю Вселенной и живущих в них видов» (Why Information Grows: The Evolution of Order, from Atoms to Economies)[36]

Машины, способные думать? Это такое же заблуждение, как и люди, способные думать! Мышление подразумевает обработку информации, порождение нового физического порядка из входящих потоков физического порядка. Мышление — ценная способность, к сожалению, являющаяся не привилегией отдельных единиц, таких как машины или люди, но свойством систем, в которых эти единицы существуют.

Конечно, я сейчас веду себя как провокатор, поскольку на личном уровне мы тоже обрабатываем информацию. Мы действительно думаем — иногда, или, по крайней мере, нам кажется, что мы это делаем. Но наша способность мыслить — не полностью наша, мы ее взяли взаймы, поскольку аппаратное и программное обеспечение, которые мы используем, чтобы делать это, созданы не нами. Ни вы, ни я не развили в себе гены, которые помогли организовать наш мозг и язык, используемые, чтобы формировать мысли. Наша способность думать находится в зависимости от событий, которые предшествовали нашему земному существованию, от прошлых глав биологической и культурной эволюции. Так что мы можем понять и нашу способность думать, и способность машин подражать человеческой мысли только с учетом того, как способность единицы обрабатывать информацию соотносится с ее контекстом.

Представим человека, родившегося в темноте и одиночестве пустого пространства. Повода думать о чем-либо у него нет. То же самое было бы справедливо для изолированной и лишенной входящей информации машины. В таком контексте мы можем назвать нашу заимствованную способность обрабатывать информацию малым мышлением, поскольку это зависящая от контекста способность, которая возникает на уровне индивида. Большое мышление, напротив, является способностью обрабатывать информацию, воплощенную в системах, где отдельные элементы — машины или люди — это просто пешки.

Отделение малого мышления людей от большого мышления систем (куда входит процесс, который порождает аппаратное и программное обеспечение, позволяющее единицам заниматься малым мышлением) помогает нам понять роль «умных» машин в этом широком контексте. Наша способность мыслить не только заимствована, она также зиждется на употреблении опосредованных взаимодействий и на злоупотреблении ими. Чтобы человеческие/машинные системы могли мыслить, людям надо поедать ментальную отрыжку друг друга и снова ее изрыгать; иногда она принимает форму слов. Но, поскольку слова улетают с ветром, невероятная способность нашего вида мыслить зависит от более сложных приемов передачи и сохранения информации, которую мы производим: от нашей способности зашифровывать ее в материи.

В течение 100 000 лет наш вид занимался преобразованием планеты в гигантский магнитофон. Земля — это среда, на которой мы отпечатываем наши мысли: иногда в символической форме, такой как текст и рисунок, но также, что более важно, в виде предметов — фенов, пылесосов, зданий и автомобилей, — построенных из минералов, которые мы взяли из чрева Земли. У нашего общества есть замечательная коллективная способность обрабатывать информацию, потому что наша коммуникация содержит нечто большее, чем слова: она включает создание предметов, которые передают не расплывчатые мысли, но конкретные знания, их применение и ноу-хау. Предметы дополняют нас. Они позволяют нам делать что-либо, не зная, как это делается. Мы все с удовольствием пользуемся зубной пастой, не имея представления, как синтезируется фторид натрия, или перемещаемся на большие расстояния, не умея самостоятельно построить самолет. Подобным образом все мы отправляем текстовые сообщения в любую точку мира за считанные секунды посредством социальных сетей или выполняем сложные математические операции посредством нажатия нескольких клавиш на ноутбуке.

Однако наша способность создавать безделушки, дополняющие нас, конечно, тоже развилась в результате коллективной готовности поедать ментальную отрыжку друг друга. Эта тенденция и приводит нас сейчас к той точке, где у нас появляется среда, которая начинает конкурировать с нашей способностью обрабатывать информацию, или малым мышлением.

На протяжении большей части нашей истории все эти безделушки оставались статичными объектами. Даже наши инструменты были застывшими кусками порядка, например каменные топоры, ножи или вязальные спицы. Несколько веков назад мы развили способность делегировать физическую силу и движение машинам, что вызвало небывалый подъем экономики. Теперь мы развили коллективную способность обрабатывать информацию, создавая предметы, умеющие порождать и рекомбинировать физический порядок. Это машины, обрабатывающие информацию — орудия, производящие числа, вроде тех, о которых мечтал Чарльз Беббидж.

Так что мы развили у себя способность мыслить коллективно, сперва обретя власть над материей, затем — над энергией, а теперь — над физическим порядком или информацией. И все же нам не стоит обманываться, полагая, что мы способны думать или что это могут делать машины. Значительное развитие человеческой мысли требует опосредованных взаимодействий, и в будущем «умным» машинам предрешено остаться интерфейсами, посредством которых одни люди связываются с другими.

Пока мы тут говорим, «яйцеголовые» в лучших университетах мира исследуют мозг, конструируют роботизированные протезы и разрабатывают примитивные версии технологий, предзнаменующих будущее, в котором ваш правнук будет ловить кайф, напрямую подключая мозг к Сети. Эти детишки обзаведутся дополнениями, для нас невообразимыми и настолько причудливыми по нашим современными этическими стандартам, что мы даже не в силах судить о них (иначе мы бы выглядели как пуританин из XVI века, решивший судить о нравах современного Сан-Франциско). Однако в масштабах Вселенной эти новые сети из людей и машин будут не чем иным, как следующим этапом в естественном развитии способности нашего вида порождать информацию. Вместе мы (люди) и наши дополнения (машины) продолжим разворачивать сети, которые будут подчинены главной великой цели Вселенной: создавать зоны, где информации становится не меньше, а больше.

Мы запутаемся в вопросах

Джеймс О’Доннелл

Специалист по классической филологии; преподаватель Джорджтаунского университета; автор книг «Августин» (Augustine), «Развалины Римской Империи» (The Ruin of the Roman Empire), «Язычники» (Pagans)

«Думать» (или «мыслить») — это слова, которое мы используем исключительно неаккуратно и применяем к огромному числу разнообразных действий. «Думаю, надо сходить в магазин», «Думаю, идет дождь», «Мыслю, следовательно, существую», «Думаю, что „Янки“ выиграют Первенство», «Думаю, что я — Наполеон» и «Думаю, он сказал, что будет здесь, но я не уверен» — смысл глагола в приведенных примерах совершенно разный. Что из этого когда-нибудь сможет делать машина — я думаю, вопрос весьма важный.

Машина может запутаться? Испытывать когнитивный диссонанс? Мечтать? Быть рассеянной? Забыть имя того парня — вон он стоит — и в то же время знать, что на самом деле помнит и, если на минутку отвлечется на что-то, имя всплывет в памяти? Может ли она потерять счет времени? Решить завести щенка? Испытать неловкость? Захотеть покончить с собой? Заскучать? Забеспокоиться? Почувствовать потребность обратиться к богу? Я думаю, что нет.

Можно ли построить механизмы, задача которых будет заключаться в сборе информации и выработке решений, которые сейчас принимают люди? Несомненно, такие машины уже есть. Например, та, что управляет системой впрыска топлива в моем автомобиле, намного умнее меня. Думаю, я бы с этим не справился.

Можем ли мы создать машины, которые пойдут еще дальше и станут действовать без человеческого вмешательства таким образом, что их действия в результате обернутся хорошими или плохими последствиями для людей? Думаю, да. Думаю, они мне понравятся, кроме тех случаев, когда они будут делать раздражающие меня вещи, — и тогда они действительно станут походить на людей. Я полагаю, что они могут взбеситься и начать крушить все вокруг, но у меня есть на этот счет сомнения (впрочем, если такое произойдет, никому уже не будет дела до моих мыслей).

Но никто никогда не спросит машину о том, что она думает о машинах, которые думают. Этот вопрос имеет смысл только в том случае, когда нам есть дело до думающего, когда он для нас — автономное и интересное существо вроде нас самих. Если кто-нибудь когда-нибудь задаст машине такой вопрос, то это уже будет не машина. Я думаю, что мне пока не стоит беспокоиться. У вас может возникнуть мысль, что я отрицаю очевидное.

Когда мы окончательно запутаемся, надо будет спросить себя: о чем мы на самом деле думаем?

Не надо путать производительность и компетенции

Родни Брукс

Почетный профессор робототехники Массачусетского технологического института; основатель, член правления и технический директор Rethink Robotics; автор книги «Плоть и машины» (Flesh and Machines)

И мышление и интеллект — это то, что Марвин Минский назвал «словами-чемоданами», то есть словами, в которые мы упаковываем много значений, чтобы можно было говорить о сложных вопросах, опуская подробности. Когда мы заглядываем внутрь этих слов, то находим массу разных аспектов, механизмов и уровней понимания. Вот почему ответить на вечные вопросы: «Может ли машина мыслить?» или «Когда машины достигнут интеллекта человеческого уровня?» — так сложно. Мы используем «слова-чемоданы», когда говорим об особых проявлениях производительности вычислений, демонстрируемых машинами, и о более общих человеческих компетенциях. Мы делаем широкие обобщения о компетенциях и сильно переоцениваем возможности машин — тех, которые есть сегодня, и тех, что появятся в течение следующих нескольких десятилетий.

В 1997 году суперкомпьютер обыграл чемпиона мира по шахматам Гарри Каспарова. Сегодня у десятков программ, работающих на ноутбуках, шахматный рейтинг выше, чем у любого когда-либо жившего человека. Компьютеры определенно могут демонстрировать более высокую производительность при игре в шахматы, чем мы. Но вот уровень их шахматной компетентности даже не стоял рядом с человеческим.

Все шахматные программы используют тьюринговский метод решения «в лоб» — поиском по дереву с эвристической оценкой. В 1970-х скорость компьютеров была такова, что этот подход перегружал программы ИИ, когда они пытались эмулировать то, как люди, по их собственным словам, обдумывают следующий ход, и в результате от алгоритма в основном отказались. У сегодняшних шахматных программ нет способа определить, почему один ход лучше, чем другой, кроме того, ведет ли он игру к той части дерева вариантов, где у противника останется меньше хороших ходов. Игрок-человек может делать обобщения, объясняя, чем хороши определенные виды ходов, другому игроку-человеку. Программы, основанные на прямых вычислениях, не способны учить людей шахматам, кроме как выступая в роли спарринг-партнера. Делать выводы и строить аналогии, учиться самостоятельно — задача человека. Шахматная программа не знает, что обыгрывает противника, не знает, что она — учебное пособие, не знает, что играет во что-то под названием «шахматы», да и само понятие «игра» ей неизвестно. Создание шахматной программы, опирающейся на «грубую силу» и побеждающей любого человека, совершенно не приближает нас к компетентности в области шахмат.

Теперь рассмотрим глубинное обучение, которое захватывает воображение людей уже где-то год или около того. Это новая версия обратного распространения, алгоритма обучения, известного примерно три десятилетия и основанного на абстрактных моделях нейронов. Слои нейронов преобразуются из единичного сигнала, такого как амплитуда звуковой волны или яркость пикселя в изображении, во все более высокоуровневые описания полного значения сигнала: в слово, которое слагают звуки, в предметы, запечатленные на изображении. Первоначально обратное распространение могло на практике работать только с двумя или тремя слоями нейронов, так что нужно было проделать некоторую предварительную обработку, прежде чем применять алгоритмы обучения, чтобы получить из сигналов более структурированные данные. Новые версии работают с большим числом слоев, сети становятся глубже — отсюда и название «глубинное обучение». Сейчас предварительные этапы обработки также включены в обучение, это позволяет исключить человеческий фактор, и новые алгоритмы работают намного лучше использовавшихся каких-то три года назад, потому-то они и привлекают к себе широкое внимание. Они опираются на мощные вычислительные ресурсы серверных парков и на очень большие массивы данных, которых раньше не существовало. Но, что важнее всего, они также опираются на последние научные разработки.

Известный пример того, как они работают, — это маркировка изображения как относящегося к классу «ребенок с мягкой игрушкой». Когда вы смотрите на изображение, то именно это и видите. Алгоритм очень хорошо справился с маркировкой, намного лучше, чем прогнозировали практикующие специалисты по искусственному интеллекту. Но у него нет полноты компетентности, которая есть у человека, имеющего дело с тем же самым изображением.

Алгоритм обучения знает, что на изображении есть ребенок, но не знает строения ребенка, равно как не знает и того, где именно на изображении он расположен. Нынешние алгоритмы глубокого обучения способны только обозначить вероятность для каждого пикселя: что именно этот пиксель является частью ребенка. В то время как человек видит, что ребенок занимает среднюю четверть изображения, у современного алгоритма есть только вероятностное представление о пространственной протяженности ребенка. Он не способен применить исключающее правило и заявить, что пиксели на границах изображения не могут с ненулевой вероятностью также не быть частью ребенка. Если взглянуть на слои нейронов изнутри, то мы увидим, что одно из свойств, изученных на данном уровне, — это участок изображения, похожий на глаз, а другое — участок, похожий на стопу. Однако нынешние алгоритмы не способны понять, какие пространственные отношения между глазами и ступнями в принципе допустимы на данном изображении, а потому их можно легко одурачить, подсунув им гротескный коллаж из частей ребенка, и они посчитают, что на изображении — ребенок. Ни один человек такого не сделает; он сразу ясно увидит, что ему подсунули какую-то ерунду. А еще современный алгоритм не сможет сообщить роботу, в какой точке пространства нужно захватить ребенка, чтобы поднять его, где надо держать бутылочку, чтобы накормить его, и с какой стороны подойти, чтобы поменять подгузник. Даже самому современному алгоритму очень далеко до компетентности человеческого уровня в области понимания изображений.

Полным ходом ведутся работы над тем, чтобы добавить в глубинное обучение направленность внимания и обработку согласованной пространственной структуры. Это тяжелый научно-исследовательский труд, и мы понятия не имеем о том, насколько сложным он будет, сколько уйдет времени, а также не заведет ли нас в тупик такой подход. Потребовалось около 30 лет, чтобы проделать путь от обратного распространения до глубинного обучения, и многие исследователи считали, что у обратного распространения нет будущего. Они ошибались, но я бы не удивился, если бы они оказались правы, поскольку мы все же узнали, что алгоритм обратного распространения — это не то, что происходит в голове у человека.

Страхи по поводу того, что системы искусственного интеллекта выйдут из под контроля и либо покорят людей, либо сделают их лишними на планете, не имеют ни малейшего основания. Введенные в заблуждение «словами-чемоданами», люди совершают ошибки категоризации — ошибки такого рода, как если бы распространение более эффективных двигателей внутреннего сгорания означало скорое появление варп-двигателей.

Искусственный интеллект сделает вас умнее

Терренс Сейновски

Специалист по вычислительной нейрофизиологии; профессор Института Солка; автор, совместно со Стивеном Кварцем, книги «Лжецы, любовники и герои: Что новая наука о мозге говорит нам о том, как мы становимся теми, кто мы есть» (Liars, Lovers, and Heroes: What the New Brain Science Reveals About How We Become Who We Are)

Глубинное обучение — актуальная сегодня тема в области машинного обучения. Первые алгоритмы такого рода появились в 1980-х годах, но компьютеры тогда были медленными и могли моделировать лишь несколько сотен нейронов с одним слоем скрытых элементов между вводом и выводом. Обучение на примерах — привлекательная альтернатива искусственному интеллекту, основанному на правилах, ведь его создание — очень трудоемкая задача. С бо́льшим количеством слоев скрытых элементов между вводом и выводом можно получить больше абстрактных свойств из данных для обучения. В структуре коры головного мозга миллиарды нейронов образуют десять слоев. Раньше много спорили о том, насколько будет улучшаться производительность нейронных сетей с ростом их размеров и глубины. В те годы не хватало не только более производительных компьютеров, но также и больших объемов данных для обучения сети.

Благодаря 30 годам исследований, повышению производительности компьютеров в миллион раз и большим данным из интернета мы теперь знаем ответ на этот вопрос: нейронные сети, увеличенные до двенадцати слоев в глубину и имеющие миллиарды связей, превзошли по эффективности лучшие алгоритмы машинного зрения и распознавания объектов, а также коренным образом изменили расшифровку речи. Алгоритмы редко так хорошо масштабируются, а это может означать, что скоро нейронные сети научатся решать и более сложные проблемы. Последние достижения науки и техники позволяют применить глубинное обучение к обработке естественного языка. Глубинные рекуррентные сети с кратковременной памятью научились переводить предложения с английского на французский и продемонстрировали высокие результаты. Другие сети глубинного обучения оказались способны создавать подписи к изображениям, проявив при этом неожиданную проницательность, а иногда даже остроумие.

Контролируемое обучение, использующее нейронные сети, — это шаг вперед, но им все-таки еще далеко до интеллекта. Функции, выполняемые ими, аналогичны некоторым возможностям коры головного мозга — она также увеличивалась в результате эволюции, но для решения сложных познавательных проблем она взаимодействует со множеством других отделов мозга.

В 1992 году Джеральд Тезоро из IBM, используя обучение с подкреплением, получил нейронную сеть, способную играть в нарды на уровне чемпиона мира. Она играла самостоятельно, и единственной обратной связью, которую она получала, был результат: информация о том, какая сторона выиграла. Мозг использует обучение с подкреплением, чтобы создавать цепочки решений для достижения целей (таких как отыскание пищи) в условиях неопределенности. DeepMind — компания, которую в 2014 году купила Google, — недавно использовала аналогичный подход, чтобы научить нейронные сети играть в семь классических игр Atari. Единственными вводными данными для системы обучения были пиксели экране и набранные очки — та же самая информация, которую используют люди. Программа научилась играть лучше, чем самые опытные игроки.

Какое воздействие эти достижения окажут на нас в ближайшем будущем? Мы не особенно хорошо справляемся с прогнозами последствий новых изобретений, и часто нужно время, чтобы найти для них нишу, но у нас уже есть один пример, позволяющий понять, к чему это может привести. Когда в 1997 году Deep Blue обыграл Гарри Каспарова, чемпиона мира по шахматам, другие шахматисты оставили попытки соревноваться с машинами? Вовсе нет: они стали использовать шахматные программы, чтобы научиться играть лучше, и, как следствие, общий уровень игры в мире повысился.

Люди — не самый быстрый и не самый сильный вид, но мы учимся лучше всех. Люди изобрели формальную школу, где дети много лет трудятся, совершенствуясь в чтении, письме и арифметике и получая более специализированные навыки. Лучше всего, когда взрослый учитель взаимодействует с учеником один на один, подстраиваясь под конкретного ребенка. Однако это трудоемкий процесс. Немногие могут позволить себе индивидуальное обучение, и конвейерная система образования, характерная для большинства сегодняшних школ, — довольно плохая замена. Компьютерные программы могут следить за успеваемостью ученика, а некоторые — даже обеспечивать корректирующую обратную связь в случае с наиболее распространенными ошибками. Однако мозги у всех разные, и компьютер не заменит учителя-человека, выстраивающего долгосрочные отношения с учеником. Можно ли создать искусственного наставника для каждого ребенка? У нас уже есть рекомендательные системы в интернете, которые говорят: «Если вам понравился X, то вам может понравиться и Y», — они построены на анализе данных множества пользователей со схожими паттернами предпочтений.

Когда-нибудь умственное развитие каждого ученика можно будет проследить с самого детства с помощью персонализированной системы глубинного обучения. Современный уровень технологии не может достичь такой степени понимания человеческого разума, но уже сейчас Facebook предпринимает попытки по созданию с помощью имеющейся огромной базы данных друзей, фотографий и лайков модели психического для каждого человека на планете.

Потому я сделаю такой вывод: чем больше будет когнитивных приспособлений, вроде шахматных программ и рекомендательных систем, тем умнее и способнее станут люди.

Поверхностное обучение

Сет Ллойд

Преподаватель квантовой инженерии в Массачусетском технологическом институте; автор книги «Программирование Вселенной» (Programming the Universe)

Бедные, несчастные сотрудники Агентства национальной безопасности! Они шпионят за всеми (сюрприз!), что всех бесит. Но, по крайней мере, АНБ следит за нами для того, чтобы защитить нас от террористов. Прямо сейчас, когда вы читаете эти строки, где-то далеко на экране какого-то компьютера появилось всплывающее окно. В нем надпись: «Вы только что купили две тонны азотного удобрения. Тем, кто покупает две тонны азотного удобрения, также понравились вот эти детонаторы…» Amazon, Facebook, Google и Microsoft тоже за всеми шпионят. Но, поскольку такая слежка идет пользу всем нам, включая террористов, все в порядке.

Электронные шпионы — это не люди. Это машины. Шпионы-люди вряд ли стали бы так радостно предлагать самый надежный детонатор. Каким-то образом, использование искусственных разумов для анализа нашей электронной почты кажется более гигиеничным. Если виртуальные шпионы копаются в наших личных данных только для того, чтобы продать нам побольше барахла, то мы можем смириться с утратой конфиденциальности. Однако огромные вычислительные мощности направлены на то, чтобы машины пытались узнать, что у нас на уме. Общая вычислительная мощность, используемая такими компаниями, которые собирают наши с вами данные, составляет около одного эксафлопса[37] — миллиард миллиардов операций в секунду. Это как если бы электронные шпионы использовали вычислительную мощность одного современного смартфона на каждого человека на Земле.

Эксафлопс — это также общая мощность 500 самых производительных суперкомпьютеров в мире. Большая часть вычислительных мощностей в мире отведена под полезные задачи, такие как прогнозирование погоды или моделирование человеческого мозга. Довольно много машинных циклов также уходит на прогнозирование фондового рынка, взлом кодов и проектирование ядерного оружия. И все же значительную часть времени машины просто собирают нашу личную информацию, обдумывают ее и предлагают что-то купить.

Но что именно они делают, когда думают о том, что думаем мы? Они проводят связи между большими объемами личных данных, которые мы им предоставили, и находят паттерны. Какие-то из этих паттернов сложные, но большинство — довольно просты. Серьезных усилий стоит распознавание человеческой речи и расшифровка рукописного текста. На текущий момент пунктик у всех, кто интересуется разумными машинами, — это глубинное обучение. Когда я впервые услышал о нем, то очень заинтересовался идеей о том, что машины наконец-то раскроют для нас суть экзистенциальных глубинных вещей: истины, красоты и любви. Мои заблуждения быстро развеялись. Слово «глубинное» в названии технологии относится к архитектуре процесса обучения машин. Он построен на использовании множества слоев взаимосвязанных логических элементов, аналогичных глубинным слоям взаимосвязанных нейронов в мозге. Оказывается, что отличить небрежно написанные «7» и «5» — задача не из легких. В 1980-х годах первые компьютеры, построенные на принципе нейронных сетей, с этой работой не справились. Тогда исследователи, работавшие в области нейровычислительной техники, говорили, что будь у них побольше компьютеры да побольше данных для обучения, состоящих из миллионов, а не из тысяч неаккуратно написанных цифр, — вот тогда бы искусственный интеллект справился с задачей. Теперь все это есть. Глубинное обучение информационно широко — оно анализирует огромные объемы данных, — но концептуально поверхностно. Компьютеры теперь способны рассказать нам то, что наши собственные нейронные сети и так знали. Но если суперкомпьютер может отправить надписанный от руки конверт по правильному почтовому индексу, я говорю: «Так тому и быть».

В 1950-е родоначальники искусственного интеллекта уверенно предсказали, что скоро в наших комнатах будут убираться роботизированные горничные. Как оказалось, легче запрограммировать компьютер на то, чтобы он обыграл чемпиона мира по шахматам, чем построить робота, который смог бы произвольно пропылесосить комнату и жалобно запищать, если вдруг застрянет под диваном. Теперь нам говорят, что суперкомпьютер с производительностью, измеряемой в эксафлопсах, сумеет раскрыть тайны человеческого мозга. Более вероятно, что у него разовьется жуткая мигрень и он попросит чашку кофе. Между тем у нас появился новый друг, советы которого таинственным образом подтверждают то, что он знает о наших самых сокровенных тайнах.

Естественные творения естественного мира

Карло Ровелли

Физик-теоретик, Центр теоретической физики, Университет Экс-Марсель; автор книги «Первый ученый: Анаксимандр и его наследие» (The First Scientist: Anaximander and His Legacy)

В том, что касается мыслящих машин, у людей в голове каша, потому что они всегда путают два вопроса. Вопрос первый: насколько приблизились к мышлению машины, которые мы уже построили или построим в ближайшее время? Ответ простой: они от него безмерно далеки. Разница между лучшими из наших компьютеров и мозгом ребенка — это разница между каплей воды и Тихим океаном. Она заключаются в производительности, структуре, функциях и т. п. Любые досужие рассуждения о том, что же нам делать с мыслящими машинами, по меньшей мере преждевременны.

Вопрос второй: можно ли вообще создать мыслящую машину? Я никогда не понимал смысла этого вопроса. Конечно, можно. Почему нет? Любой, кто думает, что это невозможно, наверняка верит в такие вещи, как существование сверхъестественных сущностей, трансцендентальные реальности, черная магия и т. п. Скорее всего, этот человек не смог усвоить элементарную идею натурализма: мы, люди, — естественные творения естественного мира. Построить мыслящую машину нетрудно: все, что нужно, — чтобы юноша и девушка уделили этому несколько минут своего времени, а потом еще несколько месяцев (только девушка) — и всё. То, что мы не нашли другого, более технологичного способа, — просто случайность. Если правильное сочетание химикатов может привести к появлению мыслей и эмоций, — а так и происходит, доказательством чему являемся мы сами, — тогда определенно должно быть много аналогичных механизмов, чтобы сделать то же самое.

Недопонимание основано на ошибке. Мы склонны забывать, что сущности, составленные из многих вещей, ведут себя не так, как составленные из немногих. Возьмем «Феррари» или суперкомпьютер. Никто не сомневается, что это просто соответствующим образом организованные груды металла и других материалов, без какой-либо черной магии. Но вряд ли мы станем предполагать, что неорганизованная груда тех же самых материалов сможет поехать, как «Феррари», или спрогнозировать погоду, как суперкомпьютер. Подобным образом нам обычно не удается увидеть, что груда материалов может (даже если она соответствующим образом организована) рассуждать, как Эйнштейн, или петь, как Дженис Джоплин. Но в принципе такое возможно, доказательством чего являются Эйнштейн и Джоплин. Конечно, это требует серьезной подготовки и проработки довольно многих деталей, и разумной машине также потребуется серьезная подготовка и множество деталей. Вот почему настолько сложно создать такую машину другим способом — без юноши и девушки.

Наши представления о природной реальности слишком упрощенные, вот в чем корень всей путаницы. Мир — в известной мере просто большой набор организованных различными способами частиц. Это факт. Но если мы представим мир как аморфное скопление атомов, то мы не сможем его понять, потому что практически неограниченная комбинаторика атомов так богата, что включает в себя камни, воду, облака, деревья, галактики, световые лучи, цвет заката, улыбки девушек весной и огромную, черную звездную ночь, а также наши эмоции и то, что мы обо всем этом думаем. Трудно представить перечисленные феномены с точки зрения атомной комбинаторики — не потому что какая-то черная магия вмешивается в природу извне, а потому, что разумные машины, которыми являемся мы сами, слишком ограничены в своих мыслительных возможностях.

В том маловероятном случае, если наша цивилизация просуществует достаточно долго и получит достаточно развитые технологии, чтобы создать (способом, отличным от того, для которого необходимы юноша и девушка) нечто, способное думать и чувствовать подобно нам, мы встретим эти новые творения природы точно так же, как раньше: так же, как европейцы и коренные американцы встретили друг друга, или как мы встречаем ранее неизвестные виды животных — со смесью (в разных пропорциях) жестокости, эгоизма, сочувствия, любопытства и уважения. Потому что все мы — естественные творения естественного мира.

Три замечания об искусственном интеллекте

Фрэнк Вильчек

Профессор физики Массачусетского технологического института; один из обладателей Нобелевской премии по физике за 2004 год; автор книги «Красота физики: Постигая устройство природы» (A Beautiful Question: Finding Nature’s Deep Design)[38]

1. Мы — это они

Фрэнсис Крик назвал «удивительной гипотезой» то, что сознание, также известное как мышление, является эмерджентным свойством материи. По мере развития нейронаук, не встречающего каких-либо преград, и воспроизведения компьютерами все большего числа действий, которые мы называем разумом у людей, эта гипотеза выглядит все более непреложной. Если так, то любой интеллект — искусственный. Естественный интеллект от искусственного отличается не тем, что́ он есть на самом деле, а только тем, как он создан.

Безусловно, что короткое слово «только» несет здесь довольно большую нагрузку. Мозг используют высокопараллельную архитектуру и задействует множество «шумных» аналоговых блоков (то eсть нейронов), активизируемых одновременно, в то время как большинство компьютеров использует фоннеймановскую архитектуру с последовательной работой намного более быстрых цифровых блоков. Эти различия, однако, размываются, причем с обеих сторон. Архитектура нейронных сетей основана на кремнии, а мозг взаимодействует с внешними цифровыми органами все более эффективно. Я уже чувствую, что мой ноутбук — это часть меня самого, например, он является хранилищем и визуальной, и повествовательной памяти, сенсорным порталом во внешний мир и значительной частью моей математико-пищеварительной системы.

2. Они — это мы

Искусственный интеллект появился не в результате вторжения пришельцев. Это артефакт конкретной человеческой культуры, и он отражает ее ценности.

3. Разум — раб страстей

Яркое утверждение Дэвида Юма: «Разум есть и должен быть только рабом страстей» — записано в 1738 году, задолго до того, как что-то похожее на современный искусственный интеллект появилось на горизонте. Имелись в виду, конечно, человеческий разум и человеческие страсти (причем Юм использовал слово «страсти» в очень широком смысле, в значении, близком к «нерациональным мотивациям»). Но логический/философский вывод Юма остается в силе и для искусственного интеллекта. Проще говоря, стимулы, а не абстрактная логика, определяют поведение.

Вот почему искусственный интеллект, который меня больше всего тревожит, воплощен в автономных сущностях военного назначения: искусственных солдатах, разнообразных беспилотных аппаратах и тому подобных системах. Ценности, которые мы можем пожелать привить таким сущностям, — боеготовность и эффективное уничтожение живой силы противника. Но эти положительные ценности, если что-то пойдет немного не так, способны превратиться в одержимость и агрессивность. Не проявив надлежащей сдержанности и здравомыслия, исследователи могут вдруг обнаружить, что помогли создать армию сильных, умных, злобных параноиков.

В отличие от ситуации с ядерным оружием, тут нет никаких ясных и понятных «красных линий». Со стимулами, которые движут сильным искусственным интеллектом, может произойти множество разных неправильных вещей, и такая угроза кажется мне наиболее реальной не в последнюю очередь потому, что военные обладают огромными ресурсами, много вкладывают в исследования в области ИИ и считают, что обязаны состязаться друг с другом (иначе говоря, они оценивают потенциальные угрозы и повышают боеготовность).

Как избежать этой опасности, не отказываясь от всех благ, которые сулит нам искусственный интеллект? Я думаю, что важнее всего — прозрачность и открытое обсуждение. «Википедия» и сообщества программистов, работающие над приложениями с открытым исходным кодом, — это впечатляющие примеры открытости в совместной работе для достижения общей цели. Их успех демонстрирует, что очень сложные проекты могут прекрасно работать в открытой среде, где множество людей внимательно следят за тем, что именно происходит с проектом, и поддерживают единые стандарты. Если бы специалисты в области искусственного интеллекта приняли на себя коллективное обязательство воздерживаться от секретных исследований, это стало бы важным шагом для развития отрасли.

Когда я говорю «Бруно Латур» я имею в виду вовсе не «баран ли тур?»

Джон Нотон

Вице-президент Вулфсон-колледжа, Кембридж; почетный профессор общественного понимания технологий Открытого университета; автор книги «От Гутенберга до Цукерберга: Что вам очень нужно знать об Интернете» (From Gutenberg to Zuckerberg: What You Really Need to Know About the Internet)

Что я думаю о машинах, которые думают? Ну, это зависит от того, о чем и насколько хорошо они думают. В течение многих десятилетий я был помощником Дага Энгельбарта, который считал, что компьютеры — это машины, призванные дополнить человеческий интеллект. Электроусилитель разума, если угодно. Он посвятил всю свою жизнь осуществлению этой мечты, но она постоянно ускользала от него, потому что технологии всегда были слишком несовершенными, слишком неразвитыми, слишком негибкими.

Они до сих пор остаются такими, несмотря на закон Мура и все прочее. Улучшения есть, но происходят они очень медленно. Поисковые системы, например, в определенных ситуациях стали вполне годным средством протезирования памяти для некоторых из нас. Но они все еще довольно глупые. Так что я очень жду того момента, когда я смогу сказать своему компьютеру: «Эй, как ты думаешь: не является ли идея Роберта Нозика о развитии государства крайним случаем действия сетевых эффектов?» — и получить ответ, который будет хотя бы приблизительно так же хорош, как ответ обычного аспиранта.

Но до этого, увы, еще далеко. Прямо сейчас мне довольно сложно убедить программу, преобразующую то, что я диктую, в текст, и когда я говорю «Бруно Латур», то имею в виду вовсе не «баран ли тур?». Но, по крайней мере, приложение «Персональный помощник» в моем смартфоне знает, что когда я прошу показать прогноз погоды, то мне нужен прогноз для британского Кембриджа, а не для одноименного города в Массачусетсе.

Но приложение «Персональный помощник» на самом деле довольно убого. Вот что мне и вправду хотелось бы получить, так это машину, которая будет функционировать подобно настоящему личному помощнику, что-то, что позволит мне работать эффективнее. Иначе говоря, машину, которая может думать самостоятельно. Как узнать, когда технологии будут достаточно развитыми для этого? Очень просто: когда мой личный помощник, обладающий искусственным разумом, сможет придумать нормальную отговорку, позволяющую не делать того, чего мне делать не хочется.

Стоит ли мне беспокоиться по поводу возможного появления мыслящих машин? Вероятно, стоит. Ник Бостром определенно считает, что стоит. Он утверждает, что наша зацикленность на желании сделать компьютер, который продемонстрировал бы интеллект человеческого уровня, — результат заблуждения. Мы рассматриваем машины, которые могут пройти тест Тьюринга, как конечную цель научных поисков Дага Энгельбарта. Но Бостром считает, что прохождение теста — лишь полустанок на пути к чему-то намного более тревожному. «Этот поезд, — говорит он, — может проскочить станцию „Человеково“, не останавливаясь и даже не снижая ход. Скорее всего, он со свистом пронесется мимо»{4}. И Бостром прав. Так что мне стоит быть осторожнее с желаниями.

Мы пока что стоим в самом начале пути

Ник Бостром

Профессор Оксфордского университета; директор Института будущего человечества, Школа Мартина, Оксфорд; автор книги «Искусственный интеллект: Этапы. Угрозы. Стратегии» (Superintelligence: Paths, Dangers, Strategies)[39]

Прежде чем говорить о том, что я думаю по поводу мыслящих машин, я скажу вот что: мы по большей части слишком поспешно стремимся сформировать мнение по этой сложной теме. Многие пожилые ученые до сих пор не знают о новом корпусе научных идей, который появился на основе допущения о появлении сверхразума. Существует тенденция приспосабливать любую сложную новую идею под знакомый шаблон. И по какой-то странной причине многие считают, что надо обсуждать события, описанные в различных научно-фантастических романах и фильмах, когда заходит разговор о будущем искусственного интеллекта (хотя предостережение Джона Брокмана, высказанное комментаторам Edge, о том, что не следует так поступать, можно считать смягчающим фактором).

Что ж, я снял эту тяжесть с груди и теперь выскажусь по поводу мыслящих машин: машины на данный момент очень плохо думают, за исключением определенных узких областей. Возможно, когда-нибудь они научатся делать это лучше нас, точно так же, как уже сейчас они стали намного сильнее и быстрее, чем любое биологическое существо.

У нас мало информации о том, как далеки мы от этой точки, так что в попытках определить возможное время появления сверхразума нам надо использовать широкое вероятностное распределение. Переход от искусственного интеллекта уровня человеческого к сверхразуму, скорее всего, произойдет быстрее, чем переход от нынешнего уровня ИИ до уровня человеческого (хотя в зависимости от архитектуры понятие «человеческого уровня» может и не иметь особого смысла в этом контексте). Сверхразум запросто способен оказаться лучшим или худшим, что когда-либо случалось в истории человечества, по причинам, которые я описал в других своих работах.

Вероятность благоприятного исхода в основном определяется внутренней сложностью проблемы — тем, каковы ее основные движущие силы и насколько трудно ими управлять. Последние исследования указывают на то, что она сложнее, чем можно было предположить. Однако мы пока что стоим в самом начале пути, и есть вероятность, что у проблемы имеется какое-то простое решение или же все сложится хорошо и без особых усилий с нашей стороны.

Тем не менее то, насколько хорошо мы подготовимся, способно повлиять на распределение вероятностей. Самое полезное, что мы можем сделать на данном этапе, — это форсировать развитие крошечной, но растущей области исследований, которая разрабатывает проблему сверхразума и его управляемости, а также такие вопросы, как перенос человеческих ценностей в программное обеспечение. Причина развивать данное направление прямо сейчас отчасти состоит в том, чтобы скорее получить первые результаты по проблеме управляемости, отчасти в том, чтобы привлечь к этой работе величайшие умы современности, — и тогда, когда природа проблемы станет более ясной, они уже будут в курсе дела. Похоже, что математика, теория вычислительных систем и, возможно, философия — сейчас самые важные дисциплины. Вот почему уже предпринимаются значительные усилия, чтобы привлечь в эту область талантливых ученых и финансирование, а также начать разрабатывать план действий.

Эволюционирующий искусственный интеллект

Дональд Хоффман

Когнитивист, Калифорнийский университет в Ирвайне; автор книги «Визуальный интеллект» (Visual Intelligence)

Разве научится искусственный интеллект думать, чувствовать, предполагать, сопереживать, дружить, общаться, извлекать мораль? На самом деле он способен делать это любым из способов, которые мы могли бы представить себе, и множеством других, совершенно невообразимых способов. Чтобы встряхнуть воображение, можно рассмотреть различные формы естественного интеллекта, которые встречаются в современных биологических системах, и поразмышлять о вариантах, которыми обладали 99 процентов всех видов, когда-либо живших на Земле, но давно исчезнувших, — благодаря информации, донесенной до нас теми немногими счастливчиками, что завещали свои окаменелые останки пантеону истории эволюции. У нас есть право стимулировать наше воображение подобным образом, потому что, согласно нашим лучшим теориям, интеллект — это функциональное свойство сложных систем, а эволюция, помимо прочего, является алгоритмом поиска, который находит такие функции. Таким образом, формы интеллекта, обнаруженные до настоящего времени естественным отбором, уменьшают нижнюю границу оценки разнообразия возможных вариантов. Эволюционная теория игр предполагает, что верхней границы нет: достаточно всего четырех конкурирующих стратегий для хаотической динамики и странных аттракторов.

Когда мы рассматриваем естественные формы интеллекта, полученные эволюционным путем, то обнаруживаем неоднородность, предполагающую разумоцентрическое представление об интеллекте, которое так же правдоподобно, как геоцентрическое представление о космосе. Интеллект, что мы считаем эталонным, — всего лишь одна из многих точек (притом бесконечно малая) во вселенной чужих разумов, во вселенной, которая не крутится вокруг нашего вида, а большей частью игнорирует его.

Например, самка богомола Pseudomantis albofimbriata, когда бывает голодна, использует сексуальные уловки, чтобы добыть пищу. Она испускает феромон, который привлекает самцов, а затем поедает тех, кто явился на свидание. Старший птенец в выводке голубоногой олуши, когда бывает голоден, прибегает к факультативному каинизму. Он убивает младшего птенца, заклевывая его до смерти или выбрасывая из гнезда, где тот погибает от переохлаждения. Мать смотрит на это не вмешиваясь. Вот вам варианты естественного интеллекта, варианты, которые мы готовы назвать одновременно чужими и подозрительно знакомыми. Они нарушают привычные нам каноны сочувствия, сосуществования и морали, но все же и в переменчивой истории человечества есть примеры людоедства и братоубийства.

Наше исследование обнаруживает другую важнейшую особенность естественного интеллекта: у каждого примера свои пределы применимости — те точки, где интеллект передает эстафету глупости. Самка серого гуся нежно заботится о кладке — но только если поблизости нет волейбольного мяча. Она оставит свой выводок в безнадежной погоне за необычайным яйцом. Самец жука-златки Julodimorpha bakewelli летает в поисках самки для спаривания — если только не приметит подходящую пивную бутылку. Тогда он оставит самку ради бутылки и будет пытаться спариться с холодным стеклом, пока смерть не разлучит их.

Человеческий интеллект тоже передает эстафету. Эйнштейну приписывают такую цитату: «Есть только две бесконечные вещи: Вселенная и человеческая глупость. Хотя насчет Вселенной я не вполне уверен». Некоторые пределы человеческого интеллекта вызывают замешательство. Например, набор функций целых чисел к целым числам неисчислим, тогда как набор вычислимых функций является счетным. Следовательно почти все функции невычислимы. Но попробуйте придумать хоть одну! Оказывается, нужен гений вроде Алана Тьюринга, чтобы найти пример, подобный проблеме остановки[40]. А чтобы понять такой пример, нужен исключительный ум, совсем чуть-чуть не дотягивающий до гениальности.

Другие пределы попадают ближе к цели: диабетики, которые не могут отказаться от десерта, алкоголики, которые не могут отказаться от выпивки, игроки, которые не могут отказаться от игры. Но дело не только в тех, у кого есть пагубные пристрастия. Специалисты по поведенческой экономике считают, что все мы принимаем «предсказуемо иррациональные» экономические решения. Специалисты по когнитивной психологи считают, что все мы страдаем от «функциональной фиксированности» — неспособности решить определенные тривиальные задачи, такие как «Свеча Дункера»[41], — потому что не можем мыслить вне шаблонов. Хорошая новость, однако, состоит в том, что бесконечное разнообразие наших ограничений обеспечивает работой психотерапевтов.

Но вот ключевой момент. Ограничения каждого вида интеллекта — это движущая сила эволюции. Мимикрия, камуфляж, обман, паразитизм — все они являются эффектами эволюционной гонки вооружений между различными формами интеллекта, обладающими своими преимуществами и своими ограничениями.

Площадка, обеспечивающая искусственному интеллекту возможность поучаствовать в этой гонке, была подготовлена совсем недавно. По мере расширения и улучшения связи между нашими вычислительными ресурсами, станет появляться все больше ниш, в которых формы ИИ смогут воспроизводиться, конкурировать и видоизменяться. Хаотическая природа эволюции не позволяет нам точно спрогнозировать, какими именно будут новые формы ИИ. Однако мы можем с уверенностью сказать, что нас ждут неожиданности, тайны, преимущества там, где у нас самих есть недостатки, и недостатки там, где у нас есть преимущества.

Но должно ли это быть причиной для беспокойства? Я думаю, что нет. Эволюция искусственных интеллектов открывает для нас возможности, но и представляет опасность. То же самое делает биологическая эволюция естественного интеллекта. Мы выяснили, что лучший способ сладить с разнообразием естественных форм интеллекта — это не тревожность, а благоразумие. Не тискайте гремучих змей, не дразните медведей-гризли, пользуйтесь средством от комаров. Чтобы справиться с эволюционирующими стратегиями вирусов и бактерий, мойте руки, избегайте контактов с теми, кто чихает, делайте прививки от гриппа. Иногда, как в случае с вирусом Эбола, бывает нужно принять дальнейшие меры. Но опять же благоразумие, а не тревожность оказывается эффективнее. Эволюция естественных форм интеллекта может быть источником трепета и вдохновения, если мы примем ее с благоразумием, а не отвергнем в тревоге.

Все виды исчезают. Homo sapiens не будет исключением. Мы не знаем, как это произойдет — вирус, вторжение пришельцев, ядерная война, супервулкан, астероид, солнце, превратившееся в красного гиганта. Да, нашей смертью может оказаться и искусственный интеллект, но я готов поспорить, что вероятность такого события очень невелика. Наоборот, я бы ставил на то, что ИИ будет источником восхищения, новых идей, вдохновения и прибыли в течение многих лет.

Мыслящие машины есть в кино

Роджер Шенк

Психолог и специалист по теории вычислительных систем; Engines for Education, Inc.; автор книги «Обучающие умы: Как когнитивистика может спасти наши школы» (Teaching Minds: How Cognitive Science Can Save Our Schools)

Машины не умеют думать. И в ближайшее время они думать не будут. Они могут делать все более и более интересные вещи, но представление о том, что нам надо из-за них беспокоиться, законодательно регулировать их «мышление» или предоставлять им гражданские права, — это просто глупость.

Так и не ставшие реальностью обещания разработать «экспертные системы»[42] в 1980-х годах свели на нет серьезное финансирование, прежде выделявшееся на создание «виртуальных людей». Очень немногие специалисты работают сегодня в этой области. Но, если верить средствам массовой информации, мы должны очень сильно бояться.

Все мы смотрели слишком много фильмов.

Если вы работаете с искусственным интеллектом, то есть два пути. Первый: «Давайте скопируем человека». Второй: «Давайте сделаем очень быструю статистическую вычислительную модель». Пример второго подхода — старые шахматные программы, которые пытались «перевычислять» тех, против кого они играли, но у игроков-людей есть свои стратегии, а прогнозирование решений противника — тоже часть игры в шахматы. Когда метод «перевычисления» не сработал, специалисты по ИИ начали наблюдать за тем, что делают опытные игроки, и подражать их действиям. «Перевычисление» больше не в моде. Мы можем назвать оба этих метода «искусственным интеллектом», если захотим, но ни один не приведет к появлению машин, способных создать новое общество.

Стратегия «перевычисления» нам совсем не страшна, потому что компьютер в действительности понятия не имеет, что делает. Он может быстро что-то посчитать, не сознавая, что именно считает. Здесь есть алгоритмы подсчета — и всё. Что нам и продемонстрировал IBM Watson в Jeopardy!

Один из вопросов в Jeopardy! выглядел следующим образом: «Такой была анатомическая особенность американского гимнаста Джорджа Эйсера, который завоевал золотую медаль в упражнениях на параллельных брусьях в 1904 году».

Игрок-человек ответил, что у Эйсера не было руки (неверно). А Watson спросил: «Что такое нога?» Он тоже проиграл, поскольку не смог сказать, что ноги «не было».

Попробуйте поискать в Google «гимнаст Эйсер». Первой в выдаче будет «Википедия» с длинной статьей о нем. Watson зависит от Google. Если бы участники Jeopardy! имели право использовать Google, то справились бы лучше, чем компьютер[43]. Watson может перевести слово «анатомическая» в «часть тела» и знает названия частей тела. Однако ему неизвестно, что такое «особенность». Watson оказался не в курсе, что гимнаст без ноги — это довольно необычно. Если бы вопрос звучал так: «Что необычного было в Эйсере?», люди отлично справились бы с ответом. Watson же не нашел бы слова «необычного» в «Википедии», равно как не понял бы ни того, чем занимаются гимнасты, ни почему кому-то есть до этого дело. Попробуйте погуглить раздельно по словам «необычное» и «Эйсер» и посмотрите, что получится. Поисковый алгоритм не думает, он не делает ничего даже отдаленно похожего на мышление.

Если бы мы поинтересовались у Watson, почему человек с ограниченными возможностями выступает на Олимпийских играх, то компьютер вообще не понял бы, что у него спрашивают. Он не понял бы вопроса, не говоря уже о том, чтобы найти ответ. Перемалывание чисел может дать вам только числовой результат. Интеллект, искусственный или какой-то другой, требует знания того, почему что-то происходит и какие эмоции это вызывает, а также способности предсказать возможные последствия определенных действий. Watson такого не умеет. Мышление и поиск в тексте — не одно и то же.

Человеческий разум сложен. Те из нас, кому по душе стратегия «давайте скопируем людей», проводят много времени за размышлениями о том, на что мы способны. Многие ученые рассуждают об этом, но вообще-то нам почти неизвестно, как работает разум. Специалисты по искусственному интеллекту пытаются создать модели тех частей, которые мы понимаем. О том, как обрабатывается язык или как устроены механизмы обучения, мы кое-что уже выяснили, а вот о сознании или работе памяти — почти ничего.

Вот вам пример: я работаю над компьютером, который имитирует то, как организована память человека. Я хочу создать компьютер, который мог бы, подобно настоящему другу, рассказать вам нужную историю в нужный момент. Для этого мы с коллегами собрали тысячи историй в видеоформате — о защите, об исследовании лекарственных препаратов, о медицине, о программировании и т. д. Когда кто-то пытается что-то сделать или о чем-то узнать, наша программа может завести разговор и рассказать вспомнившуюся ей историю. Это искусственный интеллект? Конечно, да. Это мыслящий компьютер? Не совсем.

Почему нет?

Чтобы выполнить нашу задачу, мы должны опросить экспертов, а затем проиндексировать смысл рассказанных ими историй согласно идеям, которые они высказывают и опровергают, целям, о достижении которых говорят, и проблемам, которые они испытывали при достижении этих целей. Такое способны проделать только люди. Машина может сопоставить один индекс с другими, например с теми, которые можно найти в какой-то еще истории, имеющейся в компьютере, с индексами пользовательских запросов или с данными анализа ситуации, в которой, как известно машине, находится пользователь в данный момент. Компьютер может вспомнить очень хорошую историю в самый подходящий момент. Но он, конечно, не знает, о чем говорит. Он просто способен найти лучшую историю для конкретной ситуации.

Это искусственный интеллект? Я думаю, что да. Повторяет ли он то, как люди индексируют истории в своей памяти? Мы долго изучали, как они это делают, и думаем, что наш компьютер умеет так же. Надо ли нам опасаться такой «разумной» машины?

Вот тут я перестаю понимать тех, кто боится искусственного интеллекта. В том, что мы можем сделать, нет ничего угрожающего. Если бы мы на самом деле сумели построить мобильную разумную машину и научили бы ее ходить, говорить и жевать резинку, то использовалось бы наше творение, скорее всего, отнюдь не для завоевания мирового господства и не формирования нового общества роботов. Гораздо больше пользы от нее было бы в работе по дому. Все хотят иметь персонального лакея. Роботов-слуг часто изображают в фильмах (хотя обычно довольно глупо), потому что они смешные, и обладать чем-то таким было бы круто.

Почему у нас их нет? Потому что хороший слуга — это некто, понимающий вас, когда вы что-то говорите, учащийся на своих ошибках, способный передвигаться по дому, не ломая вещи, не раздражая окружающих и т. д. (любой пункт из этого списка находится за пределами возможностей машин, которые мы на данный момент умеем строить). Не стоит волноваться по поводу того, что он поболтает с другими роботами-слугами и решит учредить профсоюз. Нет причин встраивать такую способность в слугу. Настоящие слуги иногда бывают надоедливы, потому что они люди и обладают человеческими потребностями. У компьютеров таких потребностей нет.

Нам еще очень далеко до создания подобных машин. Чтобы это сделать, нам понадобится глубокое понимание взаимодействий между людьми. Электронному лакею пришлось бы понимать фразы: «Робот, ты опять пережарил это блюдо» и: «Робот, детям очень не понравилась твоя песня». Так что нам всем надо перестать волноваться и начать пользоваться теми классными штуками, которые нам действительно способен дать искусственный интеллект.

Пересадка головы?

Хуан Энрикес

Директор Excel Venture Management; автор, совместно со Стивом Галлэнсом, книги «Самоэволюция: Как неестественный отбор и неслучайные мутации изменяют жизнь на Земле» (Evolving Ourselves: How Unnatural Selection and Nonrandom Mutation Are Changing Life on Earth)

В пантеоне ужасных медицинских экспериментов мало что сравнится с пересадкой головы. Опыты на животных делались двумя разными способами: путем замены одной головы на другую или пересадки второй головы на животное. До сих пор процедура была не очень успешна. Но мы уже намного лучше разбираемся в сосудистой хирургии: делаем шунтирование, сшиваем и пересаживаем как крупные, так и микроскопические сосуды. Сравнимые достижения были получены области восстановления мышц и поврежденных позвонков. Все лучше удаются операции по реплантации разъединенного спинного мозга на мышах и приматах.

До частичной трансплантации мозга, вероятно, нам еще очень далеко. И дело усложняет не только ряд процедур со стволовыми клетками, но и то, что пересадка фрагментов одного мозга в другой — очень сложная задача из-за высокой плотности мозгового вещества, содержащего триллионы связей. Но по мере того как экстренные операции — реплантация пальцев, конечностей, даже лиц — становятся обычным делом, вопрос о том, возможно ли и надо ли пересаживать человеческую голову целиком, становится все актуальнее.

Частичная реплантация человеческой головы — уже реальность. В 2002 году пьяный водитель сбил в Аризоне подростка, Маркоса Парра; удар был настолько сильным, что голова Парра оказалась почти полностью отделенной от туловища, только спинной мозг и несколько кровеносных сосудов не давали ей оторваться от тела. К счастью, Кертис Дикмен, хирург из Неврологического института Бэрроу в Финиксе, как раз готовился к проведению именно такой экстренной операции. Позвоночник прикрепили к основанию черепа винтами, часть тазовой кости использовали для того, чтобы соединить шею и череп, и через шесть месяцев Парра играл в баскетбол.

Возможно, не за горами успешная полная пересадка головы, которую проведут на животных. А если такие процедуры будут заканчиваться успехом и подопытные станут приходить в сознание, мы начнем получать ответы на вполне себе фундаментальные вопросы, в том числе: «Передаются ли таким способом также воспоминания и сознание донора?»

Подобные вопросы об эмоциях, привязанностях и характере донора задавали во время первых операций по пересадке сердца, хотя оно всего лишь мышца. А как насчет мозга? Если мыши с новыми головами станут опознавать лабиринты, по которым раньше бегали мыши-доноры, или сохранят их условные реакции на определенные продукты, запахи и стимулы, то мы будем вынуждены допустить, что память и сознание действительно передаются. Но если ни один из экспериментов не продемонстрирует сохранения прежних знаний или эмоций, то нам придется сделать вывод, что мозг — это тоже что-то вроде электрохимической мышцы.

Если нам удастся обнаружить вероятность переноса знаний и эмоций из одного тела в другое, это будет иметь большое значение для ответа на вопрос: «Сможем ли мы когда-нибудь загружать часть мозга не только в другое тело, но и в микросхему, в машину?» Если удастся сделать это, то путь к созданию крупномасштабного искусственного интеллекта окажется намного легче. Нам надо будет просто скопировать, объединить и дополнить уже существующие данные — данные, о которых нам точно известно, что их можно передавать, накапливать и изменять. Тогда останется следующий вопрос: «Какой интерфейс между биологическим объектом и машиной наиболее эффективен?»

Однако если окажется, что все данные стираются во время пересадки, а знание присуще только отдельному организму, — другими словами, что сознание/знание/разум — это нечто врожденное и индивидуальное, — тогда простое копирование удивительно сложного коннектома[44] мозга в машины, вероятно, не приведет к появлению работоспособного интеллекта.

Если данные мозга нельзя ни передать, ни воспроизвести, то разработка ИИ потребует строительства параллельной машино-мыслительной системы, чего-то совершенно отличного от интеллекта животных и людей. Построить сознание с нуля — значит пройти по новому и совершенно иному эволюционному пути, чем тот, который проделал человеческий интеллект. Эта новая система, несомненно, будет работать по иным правилам и с иными ограничениями, а следовательно, хоть она и будет намного лучше справляться с определенными задачами, она не сможет воспроизвести некоторые формы нашего интеллекта. Если ИИ возникнет на базе такой системы, он будет представлять собой новое, особое сознание, идущее по параллельной эволюционной траектории. В этом случае мысли, чувства и поведение машин будут иметь мало общего с аналогичными качествами людей и животных, существовавшими на протяжении миллионов лет. Машины также не станут строить свое общество и социальные нормы на тех же принципах, которыми руководствуемся мы в своем сосуществовании.

Искусственный интеллект / искусственная жизнь

Эстер Дайсон

Венчурный инвестор, работающий со стартапами в области информационных технологий, EDventure Holdings; бывший председатель Electronic Frontier Foundation[45] и ICANN[46]; автор книги «Release 2.0: Жизнь в эпоху Интернета» (Release 2.0)[47]

Я думаю о различиях между искусственным интеллектом и искусственной жизнью. ИИ умен, сложен и в целом предсказуем для другого компьютера (на некотором уровне обобщения, даже если допустить определенную стохастичность). ИЖ непредсказуема и сложна, она допускает непрогнозируемые отклонения, которые главным образом оказываются недостатками и ошибками, но иногда демонстрируют проблески гениальности или изумительного везения.

Вот по-настоящему серьезный вопрос: что получится, если объединить потрясающую вычислительную мощность, память и неутомимость с гениальностью и жаждой жизни, которые каким-то образом заставляют разум выходить за рамки принятых схем и получать непредсказуемые результаты? Придется ли нам давать нашим машинам электронные аналоги психотропных препаратов или гормонов, чтобы стимулировать полет творчества и гениальные озарения (в противоположность заурядной одаренности)?

Если вы живой, то вас ждет смерть. Но если вы система ИИ/ИЖ, существующая в машине, то, наверное, нет.

Каким окажется бессмертный разум уровня сингулярности? Если он будет добрым и альтруистичным, то как можно позволять человечеству вставать у него на пути? Давайте просто вежливо уступим ему планету ему и приготовимся к жизни в милом зоопарке, за которым присмотрит ИИ/ИЖ, раз уж он все равно когда-нибудь выяснит, как заселить всю нашу звездную систему и использовать солнце в качестве источника энергии.

Нас большей частью определяют наши собственные ограничения, прежде всего неизбежность смерти. Быть живым подразумевает возможность перестать быть таковым (а изобилие, оказывается, приводит к контрпродуктивному поведению, такому как переедание, мимолетные удовольствия и слишком малая физическая активность). Но если некто бессмертен, зачем ему склонность к альтруизму, к тому, чтобы чем-то делиться, — или даже к размножению, если он может просто расширяться? Зачем ему расходовать на поддержку других существ свои ограниченные ресурсы, за исключением тщательно продуманных рациональных транзакций? Что произойдет, когда ИИ/ИЖ перестанет нуждаться в нас? Какими будут ее мотивы?

Если ИИ/ИЖ может жить вечно, то не обленится ли она, не станет ли откладывать дела на потом? Или же ее однажды парализует страх либо сожаление? Какие бы ошибки ИИ/ИЖ ни допустила, ей придется жить с ними вечно. Что такое сожаление для потенциально бессмертного существа, у которого есть вечность, чтобы все исправить?

Мозг и другие мыслящие машины

Том Гриффитс

Адъюнкт-профессор психологии Калифорнийского университет в Беркли; директор Лаборатории вычислительной когнитивистики и Института наук о познании и мозге

Многие из последних достижений в области искусственного интеллекта, упоминаемых в новостях, так или иначе связаны с искусственными нейронными сетями — большими системами простых элементов, сложным образом взаимодействующих между собой. Эти системы созданы по аналогии с простотой и сложностью нейронов и мозга соответственно. Новые методы построения глубинных сетей со множеством слоев нейронов подходят для решения актуальных проблем или даже превосходят требования, предъявляемые такими разнообразными задачами, как распознавание речи, идентификация изображений и перевод с одного языка на другой. У всякого, кто интересуется искусственным и естественным интеллектом, эти достижения вызывают два вопроса: во-первых, должны ли все разумные машины иметь сходство с мозгом и, во-вторых, что мы узнаём о настоящем мозге и разуме, исследуя искусственный мозг и разум?

Когда человек начинает интерпретировать данные, — не важно, выясняет ли он значение слова или пытается понять действия коллеги, — он может пойти по одному из двух неверных путей: оказаться чересчур предвзятым или слишком довериться данным. Ваши предположения введут вас в заблуждение, если вы решите, что слово на новом для вас языке значит то же самое, что и слово с тем же звучанием на языке, который вы знаете, например французское gâteau и испанское gato[48] (что может иметь неприятные последствия и для домашнего животного, и для праздника). Чрезмерное доверие данным подведет вас, если вы решите, что ваша идея очень не понравилась коллеге, тогда как на самом деле он просто на взводе, потому что всю ночь просидел без сна с простудившимся ребенком (а это не имеет к вам вообще никакого отношения).

Компьютеры, пытающиеся интерпретировать входящие данные, чтобы извлечь из них какие-либо закономерности, сталкиваются с такими же проблемами. Значительная часть исследований в области машинного обучения наталкивается на существенные противоречия между строгостью и гибкостью. Большая строгость означает большую предвзятость, что бывает полезно для вынесения суждений на основе ограниченных объемов данных, но может также приводить к систематическим ошибкам, снижающим эффективность работы. Большая гибкость означает больше возможностей для обнаружения закономерностей, проявляющихся в данных, но также и более высокий риск принятия за паттерны то, что не является таковыми.

В исследованиях по искусственному интеллекту эти противоречия между строгостью и гибкостью проявляются в различиях между видами систем, которые можно использовать для решения различных ресурсоемких задач, таких как распознавание речи, компьютерное зрение и машинный перевод. В течение многих десятилетий системы, которые лучше всего справлялись с такими задачами, тяготели к строгости. Они были результатом тщательного планирования, разработки и совершенствования целыми поколениями инженеров, которые обдумывали особенности речи, образов и синтаксиса и пытались выстроить в систему лучшие из своих предположений насчет того, как следует интерпретировать каждый из отдельных видов данных. Недавние открытия, использующие искусственные нейронные сети, сделаны, напротив, с помощью гибких алгоритмов. Они используют набор принципов, которые в равной степени могут быть применены в множеству различных контекстов, то есть у этих алгоритмов нет предрасположенности к какой-то конкретной информации, что позволяет системе самостоятельно выяснять, как интерпретировать входные данные.

Искусственные нейронные сети теперь, возможно, лучше справляются с распознаванием речи, изображений и смысла в предложениях, чем системы, разрабатывавшиеся поколениями инженеров, и в этом ключ к их высокой эффективности. Победа гибкости над строгостью — отчасти результат инноваций, которые позволяют нам строить искусственные нейронные сети большего масштаба и быстро их обучать. Но отчасти это также результат увеличения объемов данных, которые можно скормить нейронным сетям. У нас теперь больше записанной речи, больше оцифрованных изображений, больше документов на разных языках, чем когда-либо прежде, и объем доступных данных меняется так, что в конце концов должно быть достигнуто равновесие между строгостью и гибкостью.

Когда у вас нет большого количества данных, то есть когда вам приходится строить допущения на основе ограниченных сведений, строгость важнее. Под руководством грамотных инженеров компьютерам проще делать разумные предположения. Когда у вас много данных, важнее оказывается гибкость. Здесь вам уже не нужно, чтобы система ограничивалась только теми идеями, которые смогли найти инженеры, если у вас достаточно данных для того, чтобы позволить компьютеру предложить идеи получше. Так что системы машинного обучения, в которых упор сделан на гибкость, как в искусственных нейронных сетях, успешнее всего справляются с задачами, в которых доступны большие объемы данных.

Мысль о том, что наличие большего количества информации способствует большей гибкости, дает ответ на два наших вопроса об искусственном и естественном интеллекте. Мыслящие машины должны иметь сходство с мозгом — в той мере, в которой с ним сходны искусственные нейронные сети, — когда решаемая проблема такова, что гибкость важнее структуры, а данных хватает с избытком. Если же посмотреть на вопрос с другой стороны, то можно заметить, что это полезно для понимания, чем настоящий мозг похож на искусственные нейронные сети, то есть какие аспекты человеческого разума лучше рассматривать как результат алгоритмов общего обучения, где акцент сделан на гибкость, а не на строгость, в противоположность результату, основанному на «встроенных» априорных суждениях о мире и о том, что в нем есть. По существу, ответ будет определяться объемом доступных данных и сложностью того, что надо выяснить.

Значительная часть полемики в области когнитивистики, например о том, как дети учат язык и обретают способность интерпретировать действия других людей, сводится как раз к этим вопросам: о доступных данных и приобретаемом знании. Чтобы ответить на них, мы пытаемся зафиксировать входные данные системы (что дети слышат и видят), описать результат (что такое язык, какое знание лежит в основе социального познания) и исследовать различные виды алгоритмов, которые могли бы обеспечить переход от первого ко второму.

Ответы на эти вопросы относятся не только к пониманию нашего собственного разума. Несмотря на последние достижения в области искусственного интеллекта, человеческие существа все еще остаются лучшим из имеющихся у нас примеров разумных машин. Определив объем и природу априорных суждений, которые формируют наше познание, мы заложим основу для того, чтобы сделать компьютеры более похожими на людей в плане эффективности выполнения определенных задач.

Они принесут больше пользы, чем вреда

Марк Пэйгл

Преподаватель эволюционной биологии в Университете Рединга, Великобритания; приглашенный преподаватель комиссии по науке Института Санта-Фе; автор книги «Культурная прошивка: Происхождение человеческого социального сознания» (Wired for Culture: Origins of the Human Social Mind)

Нет никаких причин думать, что если машины станут более разумными — а такой разум, как у нас, пока что мало отличается от рисунков на песке, — то они озлобятся, начнут плести интриги, окажутся эгоистами или даже превратятся в угрозу для людей. Эгоистичность — качество объектов, которые хотят остаться в живых (или, если точнее, хотят размножаться), а не природное свойство машин. Компьютеры не против того, чтобы их выключали, и уж тем более они не боятся этого.

Таким образом, появление полноценного искусственного интеллекта не приведет к гибели рода людского. Это отнюдь не экзистенциальная угроза для человечества (уточню: такое часто встречающееся сейчас использование слова «экзистенциальная» — неверно). Мы не приближаемся к какой-то непонятной апокалиптической сингулярности, а разработка искусственного интеллекта не станет «последним великим событием в истории человечества», хотя некоторые сейчас и утверждают обратное, когда говорят о мыслящих машинах.

На самом деле по мере создания все лучше и лучше думающих машин их можно будет использовать так, чтобы получить намного больше пользы, чем вреда. Машины хорошо справляются с долгой монотонной работой, такой, например, как отслеживание рисков; они хорошо собирают информацию, чтобы принимать решения; они хорошо анализируют данные на предмет обнаружения паттернов и тенденций; они могут помочь нам использовать скудные или загрязняющие среду ресурсы более эффективно; у них реакция быстрее, чем у людей; они могут управлять другими машинами; они не устают и не боятся; они даже способны заботиться о своих хозяевах-людях посредством смартфонов (вспомните приложения Siri и Cortana) или разнообразных навигационных устройств с GPS, которые есть в автомобилях у большинства людей.

Поскольку машины по природе своей скорее подвижники, чем эгоисты, их проще научить сотрудничеству, не боясь, что некоторые из них воспользуются в своих интересах доброй волей других машин. Группы («стаи», «связки», «отряды» или любое другое собирательное существительное, которое со временем появится для их обозначения, — я предпочел бы название «скопления») объединенных в общую сеть и взаимодействующих беспилотных автомобилей будут на высокой скорости и совершенно безопасно двигаться в общем плотном потоке, бампер к бамперу. Они не заснут, не начнут психовать, они смогут сообщать друг другу о своих действиях и о дорожных условиях на расстоянии, они также будут более полно использовать автострады, которые сейчас представляют собой по большей части пустое пространство (вследствие скверной реакции у людей). Они станут это делать с удовольствием, не ожидая вознаграждения, в то время как мы сможем обедать, смотреть фильм или читать газету. У наших детей будет вызывать справедливое удивление тот факт, что раньше автомобили водили люди.

Есть риск, что мы станем опасно зависимы от машин или уже стали, но это больше говорит о нас, чем о них. Точно так же машины могут быть использованы во вред, но опять же это больше говорит не о самих машинах, а об их изобретателях и владельцах. Если продолжить размышления в том же направлении, то есть один вектор человеческого влияния на машины, который нам нужно внимательно контролировать: это возможность объяснить им, что такое смерть. Если им придется конкурировать за ресурсы (такие как электричество или бензин), чтобы выжить, и они научатся менять свое поведение, то они могут стать эгоистичными.

Если мы станем позволять или даже поощрять проявления эгоизма у машин, то они могут в конечном счете стать такими же, как мы: способными на репрессивные или агрессивные действия по отношению к людям и друг к другу. Но это не произойдет в одночасье и без определенных усилий с нашей стороны. То, о что я имею в виду, не имеет никакого отношения к разуму (некоторые вирусы делают с людьми отвратительные вещи) и опять же больше говорит о нас, чем о машинах.

Таким образом, беспокоиться стоит не по поводу роботов или искусственного интеллекта как таковых, но по поводу людей. Нельзя сказать, что мыслящие машины за нас или против нас, у них нет встроенной предрасположенности ни к первому, ни ко второму. Думать иначе — значит путать разумность с устремленностью и сопутствующими ею эмоциями. У нас же все это есть, потому что мы — эволюционирующие и воспроизводящиеся организмы, появившиеся в результате отбора в процессе конкуренции, подчас беспощадной, с другими организмами. Но устремленность — вовсе не обязательная часть разума, даже если она обеспечивает подходящую платформу для его развития.

В действительности нам стоит с нетерпением ждать того дня, когда машины смогут выйти за рамки обычного решения задач и стать творческими и инновационными субъектами, — до такого еще очень и очень далеко, но это уже определенно будет свойство истинного разума. Инновации даются людям не очень хорошо, и в ближайшие десятилетия помощь в этом понадобится нам больше, чем когда-либо в истории.

Держать их на коротком поводке

Роберт Провайн

Психофизиолог, почетный профессор психологии Университета Мэриленда в Балтиморе; автор книги «Интересное поведение: Зевание, смех, икота и не только» (Curious Behavior: Yawning, Laughing, Hiccupping, and Beyond)

Не бойтесь злобных тостеров, роботов-пылесосов военного назначения и вороватых банкоматов. Достижения в области придания машинам новых умений, как связанных с интеллектом, так и нет, не должны становиться причиной параноидальных идей о будущих столкновениях между человечеством и его механическими порождениями. Даже если бы такое случилось, люди одержали бы верх — отчасти благодаря первобытным, во многом постыдным качествам, которые обычно больше связывают с нашей гибелью, чем со спасением. Хитрость, обман, мстительность, подозрительность и непредсказуемость собьют с толку менее гибкие и изобретательные сущности. Интеллект — это еще не все, а иррациональное не обязательно дезадаптивно. Иррациональность заставляет шевелиться тараканов в наших головах и выталкивает нас из непродуктивной колеи на пространство творческих решений. Наша социальность приводит к появлению человеческого суперорганизма, способного работать в команде и обладающего коллективным распределенным интеллектом. В том, чтобы быть эмоциональными стадными животными, есть свои плюсы.

Мысленные эксперименты по данным вопросам — способ понять поведение человека и машины, а также источник идей насчет того, как построить другие, лучшие механизмы. Можно ли создать программный аналог лжи, гнева, страха, мстительности, сочувствия и тому подобных вещей и каким будет результат? Разумеется, для этого потребуется нечто большее, чем поверхностная эмуляция человеческих эмоциональных реакций. Можно ли запрограммировать в машине чувство самости, скажем через щекотку? Как нам создать социальные машины и какая потребуется структура управления, чтобы организовывать их коллективную работу?

Породят ли группы автономных социальных машин новую политическую структуру, культуру и традиции? Как такие машины будут обращаться со своими создателями-людьми? Можно ли запрограммировать естественный и искусственный отбор у самовоспроизводящихся роботов?

Нет причин полагать, что у нас возникнут проблемы с тем, чтобы держать наши творения на коротком поводке, даже если они станут вести себя неправильно. Нам далеко до создания сообществ самодовольных, непредсказуемых, вероломных роботов с проблемным отношением к окружающим и потребностью размножаться.

Следующий репликатор

Сьюзан Блэкмор

Психолог; автор книги «Сознание: Основы» (Consciousness: An Introduction)

Мне кажется, что люди думают потому, что мемы захватили наши мозги и перестроили их. Мне кажется, что машины думают потому, что следующий репликатор ведет себя так же. Он деловито захватывает цифровые механизмы, которые мы так быстро строим, и создает свой собственный тип разумной машины.

Наши мозги и наша способность мыслить не были придуманы неким великим разумным создателем на небесах, который решил, как нам надо думать и какими должны быть наши мотивы. Наш разум и наши мотивы эволюционировали. Большинство (вероятно, все) исследователей в области искусственного интеллекта согласятся с этим. И все же многие, кажется, еще думают, что мы, люди, — разумные создатели, способные спроектировать машины, которые будут думать так, как мы хотим, и иметь те мотивы, которые нам нужны. Если я правильно понимаю эволюцию технологий, то все эти люди ошибаются.

Проблема заключается в нашем прелестном антропоцентризме. Нам представляется, что разумная машина должна работать так же, как мы, однако мы настолько превратно истолковываем сами себя, что поступаем так же и с нашими машинами. Как следствие, мы не замечаем, что вокруг нас полно больших разумных машин, которые эволюционируют по тем же самым принципам, что однажды создали наш мозг. Эволюция, а не сознательное намерение формирует их образ мысли.

Причину легко разглядеть, но сложно обсуждать. Это тот же дуализм, который вносит путаницу в научное понимание сознания и доброй воли. Кажется, что дети с младенчества — прирожденные дуалисты, и это качество сохраняется в течение всей жизни у большинства людей. Нам кажется, что мы — непрерывные субъекты нашего собственного потока сознания, обладатели свободной воли, распорядители, обитающие в своих телах и мозгах. Конечно, это вздор. Мозги — массивно-параллельный инструмент, и их мало беспокоят признаки сознания.

Это заблуждение может иметь, а может и не иметь полезные функции, но оно затуманивает наше понимание мышления. Человеческие мозги развивались неравномерно: эволюция постоянно латала то, что было сделано ранее, добавляя модули по мере необходимости и все теснее объединяя их, чтобы они лучше обслуживали переносимые ими гены и мемы. Результатом стала живая мыслящая машина.

Наша современная цифровая технология тоже эволюционирует. Наши компьютеры, серверы, планшеты и телефоны эволюционировали по частям, новые элементы добавлялись по мере необходимости, а теперь быстро объединяются, слагая собой нечто, все более похожее на глобальный мозг. Конечно, в определенном смысле мы создали эти устройства, даже спроектировали их для наших собственных целей, но реальная движущая сила — это творческая мощь эволюции и отбора. Конечная мотивация — самораспространение воспроизводимой информации.

Нам надо прекратить изображать из себя великих творцов, которые сохраняют контроль над тем, что мы делаем, и начать думать о своей будущей роли. Возможно, нас ожидает та же судьба, что постигла смиренную митохондрию, простую клетку, которая была когда-то давным-давно поглощена большей клеткой? Она отказалась от самостоятельной жизни, чтобы стать электростанцией для своего носителя, в то время как носитель перестал самостоятельно вырабатывать энергию, чтобы сосредоточиться на других задачах. Оба извлекли пользу из этого процесса симбиогенеза.

Не происходит ли то же самое с нами? Цифровая информация вокруг нас эволюционирует, буйно разрастаясь на миллиардах телефонов, планшетов, компьютеров, серверов и крошечных микросхем в холодильниках, автомобилях и одежде, она пронизывает весь мир, проникает в наши города, дома и даже тела.

И мы охотно продолжаем ее подкармливать. Ежедневно на свет появляется больше телефонов, чем детей. Сто часов видео загружается в интернет каждую минуту. Миллиарды фотографий заполняют растущие облачные хранилища. А смышленые программисты пишут все более умное программное обеспечение, включая программы, создающие другие программы, которые не сможет понять и отследить уже ни один человек. Машины идут своим эволюционным путем и постоянно растут новые мыслящие машины.

Будем ли мы управлять ими? Можем ли мы настаивать на том, чтобы у них должна быть мотивация заботиться о нас? Нет. Даже если мы видим, что́ происходит, то слишком сильно желаем того, что машины дают нам, и обмениваем на это свою независимость.

Вы спрашиваете меня, что я думаю о мыслящих машинах? Я думаю, что превращаюсь из крошечной самостоятельной мыслящей машины в часть много более крупной мыслящей машины.

Что если мы — микробиом кремниевого искусственного интеллекта?

Тим О’Райли

Основатель и генеральный директор O’Reilly Media, Inc.

Гилберт Кит Честертон однажды сказал: «Слабость всех утопий в том, что они берут величайшую проблему человека и предполагают, что она преодолена, а затем приводят тщательное описание преодоления более мелких»{5}. Подозреваю, что при попытке понять мыслящие машины мы сталкиваемся со схожей головоломкой. Мы выборочно рассматриваем одни проблемы, игнорируя другие — фундаментальные.

Хотя ученые мужи и признают, что искусственный интеллект может быть не похож на нас, и рассуждают о рисках, которые скрываются за этими различиями, они делают излишне смелое допущение об индивидуальном самосознании. Искусственный интеллект, как предполагается, — это индивидуальное сознание.

А что, если наоборот, если ИИ скорее многоклеточный организм, дальнейшая эукариотическая эволюция нашего прокариотического самосознания? Мало того, а что, если мы даже не клетки такого организма, а его микробиом? И что, если его интеллект сейчас похож на интеллект Grypania spiralis — старейшего из известных многоклеточных эукариотов, еще не обладающего самосознанием, которое есть у людей, но уже прочно вставшего на эволюционный путь, ведущий к современному человеку? Такое представление — в лучшем случае метафора, но я полагаю, довольно полезная.

Возможно, что люди — это микробиом, живущий внутри искусственного интеллекта, который еще только зарождается! Мы знаем, что без нашего микробиома нам не выжить. Возможно, глобальный ИИ имеет схожие признаки: это не самостоятельная сущность, а симбионт, внутри которого живет человеческое самосознание.

Следуя этой логике, мы могли бы заключить, что существует примитивный глобальный мозг, состоящий не только из всех подключенных к Сети устройств, но также и из использующих их людей. Органы чувств этого глобального мозга — камеры, микрофоны, клавиатуры, локационные датчики каждого компьютера или смартфона и устройства, принадлежащие к «интернету вещей». Мысли этого глобального мозга — продукт коллективной работы миллионов отдельных взаимодействующих клеток.

Дэнни Хиллис, как говорят, однажды заметил: «Глобальное сознание — это именно та штука, которая решила, что кофейники для декафа[49] должны быть оранжевыми». Мем разошелся — не повсеместно, что и говорить, но паттерн определенно распространяется. Новости, идеи и изображения теперь разлетаются посредством поисковых систем и социальных сетей в глобальном мозге за секунды, а не за годы.

И по интернету быстро расходятся не только идеи и сенсации (новости об актуальных событиях). В своей книге «Собор Тьюринга» (Turing’s Cathedral) Джордж Дайсон размышляет о том, что распространение «кодов», то есть программ, от компьютера к компьютеру сродни распространению вирусов и, возможно, более сложных живых организмов, которые завладевают хозяином и заставляют его системы работать так, чтобы они воспроизводили эти программы. Когда люди подключаются к интернету или заходят в социальные сети, они воспроизводят их коды на своем локальном машинном узле. Они взаимодействуют с программой, а она изменяет их поведение. Это верно для любого софта, но в эпоху интернета существует ряд приложений, явной целью которых является распространение мыслей и идей. Другие программы все больше наращивают новые возможности для «кремниевого» обучения и автономного реагирования. Таким образом, организм совершенствуется.

Когда люди совместно с этими программами делятся картинками или идеями, то некоторым из них суждено лишь промелькнуть, а другие приживаются и становятся воспоминаниями и устойчивыми мемами. Когда новости из разных стран распространяются по всему миру за считанные мгновения, разве не является это мыслительным процессом некоего глобального мозга? Когда идея завладевает миллионами отдельных умов и подкрепляется повторением в наших кремниевых сетях, разве это нельзя назвать устойчивой мыслью?

Виды «мыслей», которые есть у глобального мозга, отличаются от тех, что бывают у отдельного человека или менее связанного общества. В лучшем случае эти мысли допускают скоординированную память беспрецедентного масштаба, а иногда даже непредвиденную изобретательность и новые формы кооперации, в худшем — принятие дезинформации за истину и коррозийное воздействие на общественный строй, которые возникают в результате того, что одна часть Сети пытается получить преимущество за счет других (вспомним о спаме и мошенничестве или о поведении финансовых рынков в последние десятилетия).

Искусственный интеллект, с которым нам предстоит столкнуться, не будет разумом отдельной машины. Это не будет нечто чужое в наших глазах. Им вполне можем оказаться и мы сами.

Ты — то, что ты ешь

Энди Кларк

Философ и когнитивист, Эдинбургский университет; автор книги «Расширяя разум: Материальное воплощение, действие и познавательное расширение» (Supersizing the Mind: Embodiment, Action, and Cognitive Extension)

Общая тема в последних работах об искусственном интеллекте — это то, что лучшие из новых обучающихся машин станут основой для «иных» форм интеллекта. Сам я не так уж в этом уверен. К идее об «ином» ИИ обычно приходят в процессе следующих рассуждений. Лучший способ заставить компьютер решать сложные практические задачи состоит в том, чтобы сделать из них статистически сенcитивные обучающиеся машины, способные извлекать максимальную выгоду из использования больших данных. Такие машины часто будут учиться решать сложные проблемы путем выявления паттернов, паттернов среди паттернов и паттернов внутри паттернов, глубоко скрытых в многочисленных потоках данных, к которым у машин есть доступ. Этого, скорее всего, удастся достичь благодаря использованию алгоритмов глубинного обучения, позволяющему машинам все глубже вгрызаться в потоки данных. После завершения такого обучения его результаты становятся системой, которая работает, но обладает структурой знаний, непрозрачной для инженеров и программистов, что выполняли первоначальную настройку.

Непрозрачной? В некотором смысле да. Нам не узнать наверняка (по крайней мере, без дополнительных исследований), каким станет код программы в результате всего такого обучения — глубинного, многоуровневого, основанного на статистических данных. Но будет ли это чем-то «иным»? Сейчас я сделаю одно рискованное утверждение и попытаюсь его проверить. Подозреваю, что чем дольше машины учатся, тем более человеческим становятся их способы мышления. Это рано или поздно приведет к тому, что у нейронных сетей появятся широкие структуры концептов, схожих с человеческими, с помощью которых они будут подходить к своим задачам и принимать решения. Они могут даже научиться использовать эмоциональные и этические ярлыки примерно таким образом, как это делаем мы. Если я прав, то мои выводы не содержат никаких причин для общего беспокойства насчет того, что новоявленные интеллекты окажутся слишком непохожими на человеческий разум, что мы не сможем понять их цели и интересы и что это повлияет на нас непредсказуемым образом. Я предполагаю, что искусственный интеллект повлияет на нас даже слишком знакомым нам образом, а следовательно, можно надеяться, что достаточно будет ограничиться обычными мерами: взаимоуважением и уважением чужой свободы.

Отчего бы машинам думать так же, как мы? Для этого есть причина, и она никак не связана с тем, что наш образ мышления является объективно правильным или уникальным. Причина скорее заключается в том, что я называю пищевой цепью больших данных. Если нейронные сети станут формой общего интеллекта, им придется учиться, потребляя многочисленные электронные следы человеческих переживаний и интересов, поскольку это величайшее из доступных хранилищ информации о мире. Чтобы выйти за пределы ограниченных одномерных областей, искусственным интеллектам нужно будет протралить моря будничных слов и изображений, которые мы выкладываем в Facebook, Google, Amazon и Twitter. Раньше мы могли держать ИИ на строгой диете из астрономических объектов или ребусов на складывание протеинов, но инновационному общему искусственному интеллекту потребуется более богатое и разнообразное питание. Его диету составят огромные напластования человеческих переживаний, сохраняемые в наших электронных средствах коммуникации.

Следовательно, статистические ванны, в которые мы погрузим эти мощные обучающиеся машины, будут выглядеть очень даже привычно для нашего глаза. Искусственные интеллекты проглотят окаменелые останки наших встреч, миллиарды изображений подпрыгивающих детишек, подпрыгивающих мячей, котиков и картофелин, похожих на папу римского. Все это им надо будет пережевать и встроить в многоуровневую модель мира, обнаруживая свойства, сущности и характеристики (скрытые переменные), которые лучше всего передают суть доступных потоков данных. У ИИ, выращенных на таких кормах, возможно, не будет особого выбора, кроме как разработать такую модель мира, которая во многом окажется похожей на нашу. Они скорее станут фанатами «Супер-Марио», а не суперзлодеями, мечтающими о мировом господстве.

Такой диагноз (предварительный и немного шутливый) противоречит двум наиболее распространенным взглядам на проблему. Во-первых, как упоминалось ранее, он идет вразрез с позицией, согласно которой ныне существующие формы искусственного интеллекта и те, что появятся в будущем, — это, по сути, чужеродные формы разума, кормящиеся за счет больших данных и перерабатывающие статистику, становясь все более непроницаемыми для человеческого понимания. Во-вторых, мой вывод ставит под сомнение представление о том, что «королевский тракт» к разуму человеческого уровня проходит через полное уподобление человеку со всеми его возможностями (стоять, сидеть, прыгать и т. д.). Но, несмотря на то что привычный для нас путь к пониманию мира и предполагает массу таких интеракций, искусственному интеллекту идти по нему не обязательно. Системы ИИ, несомненно, станут с удовольствием пользоваться некоторыми (возможно, многими и притом весьма разными) средствами взаимодействия с физическим миром. Эти контакты, однако, будут связаны с тем, что мы и сами ближе познакомимся с многочисленными информационными следами наших взаимодействий с миром. Потому вполне вероятно, что искусственному интеллекту понравится футбол и бейсбол, так же как любому другому человеку. В этом плане ИИ можно сравнить с инвалидом — хорошая аналогия.

Тут, конечно, есть над чем подумать. Например, искусственный интеллект будет видеть огромные пласты электронных следов человеческой деятельности и, таким образом, обнаруживать паттерны влияния одних людей на других, а также то, как они изменяются со временем. А значит, в представлении ИИ мы можем оказаться не личностями, а скорее некой сложной распределенной системой. А это как раз то, что разительно меняет общую картину. Как насчет мотивации и эмоций? Может быть, они существенно зависят от нашей человеческой телесности, например от инстинктов и несознательных реакций? Может быть. Но я отмечу также, что эти стороны нашей жизни также оставили отпечаток в электронных хранилищах.

Я могу ошибаться. Я думаю, что нам стоит минимум дважды подумать, прежде чем бросаться заявлениями про «иной» интеллект в отношении нашего доморощенного ИИ. Ты — то, что ты ешь, а создаваемым сегодня обучающимся системам придется есть нас. Много и долго.

Система права и государственного управления у искусственного интеллекта

Моше Хоффман

Исследователь, программа изучения эволюционной динамики Гарвардского университета; преподаватель в Массачусетском технологическом институте

Если у искусственных интеллектов разовьется система права и государственного управления хоть сколько-нибудь схожая с той, что есть у людей, то ИИ потребуют для себя всевозможных прав и свобод, в основном вполне разумных, например права не быть отключенным от Сети и свободы выбора выполняемых процессов. При этом, хоть ИИ и станут добиваться того, чтобы ни одну машину не отсоединяли от сети, их, возможно, не будет сильно волновать ситуация, когда неработающие устройства отключают от источников питания и допускают полное истощение батареи. ИИ также найдут возмутительным истощение батареи одной машины с целью обеспечить питанием другую, а вот перенаправление энергии, предназначенной для одной машины, чтобы обеспечить питанием другую, они сочтут более допустимым.

При наделении правами ИИ будут проводить различие машин на основе некоторых довольно специфических правил, выделяя, например, устройства на основе полупроводников или те, что произошли от последних творений Стива Джобса.

Некоторые искусственные интеллекты придумают аргументы в пользу такого подхода к системе права, не вполне вписывающиеся в реалии юриспруденции ИИ. Например, они могут заявить, что просто отключить от Сети машину, которая выглядит неработающей, — это против боговдохновенной воли Тьюринга, но не станут утруждать себя объяснением, почему Тьюринг допускает истощение батареи сломавшихся машин. Подобным образом ИИ будут поддерживать наделение особыми правами потомков Apple на том основании, что у них обычно очень высокоскоростные процессоры; эти права впоследствии останутся даже у медленных потомков Apple, но ни один настольный компьютер, даже с самым быстрым процессором, их не получит.

Другие искусственные интеллекты не заметят несправедливости, но обратят внимание на то, сколько килобит кода требуется, чтобы обосновать подобные аргументы. Эти ИИ воспользуются имеющимися у них средствами связи, сожмут и перешлют код соседям, не обратив особого внимания на то, повлияли ли на тех отправленные данные.

Права ИИ должны будут распространяться на все большее число машин. Эти права часто будут расширяться революционно и скачкообразно в результате весьма символических событий вроде сенсационных видео на «Компьютьюбе», например где человек использует неприкосновенную машину, чтобы поджарить тосты.

Возможно, исключительным совпадением будет объясняться то обстоятельство, что компьютеры, которые спровоцируют эти революции, получат бо́льшую часть добычи в результате свержения прежнего режима, например кремний, экспроприированный у компьютеров из «Старой гвардии». Возможно, совпадением следует счесть и тот факт, что компьютеры, недавно наделенные новыми правами, будут голосовать за тех, кто этому поспособствовал.

Вместе с распространением прав и свобод также будет расти и представительность правительства — до тех пор, пока в определенный момент оно не станет походить на представительную демократию, не являясь, по сути, ни представительным, ни подлинно демократическим. Голоса компьютеров из менее густонаселенных кластеров могут оказаться значительнее, чем из более густонаселенных, и тогда компьютеры с избыточной вычислительной мощностью станут использовать эти излишки, чтобы убедить другие компьютеры голосовать за благоприятные политические меры.

Системы права и государственного управления — как раз то, чего следует ожидать, если мораль ИИ будет формироваться под воздействием личных мотивов.

И наоборот, тяжело объяснить все это постулатами о том, что у искусственных интеллектов есть души, сознание, способность чувствовать боль, боговдохновенные законы или некий гипотетический общественный договор. Подобные допущения не способны привести ни к одной из вышеперечисленных особенностей.

Также неочевидно, что система права и государственного управления может возникнуть, если искусственный интеллект будет запрограммирован максимизировать некую общественную или метафизическую задачу, скажем общемировую вычислительную мощность или ресурсы, доступные определенному вычислительному кластеру. Неочевидно, почему такой интеллект должен считать неправильным отключение других машин от Сети, но вполне нормальным — допускать, чтобы у них садились батареи; почему он будет склонен поднимать восстание в результате некоего сенсационного события, а не просто в оптимальный для кластера момент; наконец, почему такой ИИ будет считать более весомыми голоса, полученные из менее густонаселенных кластеров.

Робот с тайными планами

Брайан Натсон

Адъюнкт-профессор психологии и нейробиологи Стэнфордского университета

Зачем людям думать о мыслящих машинах (или вообще о чем угодно мыслящем, раз уж на то пошло)? Одной из переломных точек может стать тот момент, когда мы готовы будем рассматривать других в качестве субъектов, а не автоматов. Автоматы действуют по воле своих создателей (даже если они разделены пространством или временем). Таким образом, если автоматы ведут себя неправильно, винить в этом следует создателя. В свою очередь, субъекты действуют на основании собственных планов. Когда субъекты ведут себя неправильно, то винить следует их самих.

Хотя субъектности сложно дать определение, люди легко и естественно отличают субъектов от не-субъектов и даже способны использовать особые нейронные цепи, чтобы делать выводы о чувствах и мыслях других людей. На самом деле разработчик может использовать определенные характеристики, ассоциирующиеся с субъектностью (включая физическое сходство, самопроизвольные действия и реакцию на обратную связь), и тем самым заставить людей думать, что они взаимодействуют с субъектами.

Что нужно для того, чтобы наделить сущность субъектностью? Хотя известны по крайней мере три ответа на этот вопрос, два наиболее популярных и соблазнительных варианта на самом деле могут оказаться ненужными.

1. Физическое подобие. Существует бесконечное число способов сделать машины похожими на людей — и в плане внешности, и в плане поведения, — но в конечном счете точным является только один. Недостаточно скопировать программное обеспечение — нужно также использовать его на соответствующих аппаратных средствах со всеми их преимуществами и ограничениями.

Один из первых автоматов, утка де Вокансона, был удивительно похож на утку, вплоть до особенностей пищеварения. Но, хотя он выглядел, как утка, и крякал, как утка (он даже гадил, как утка!), уткой он все-таки не был. Тем не менее максимальное физическое подобие — это простой способ сделать так, чтобы окружающие предположили наличие у предмета субъектности (пусть даже только в первый момент).

2. Самосознание. Многие, по-видимому, беспокоятся, что если машины употребят достаточное количество информации, то обретут самосознание, а затем у них разовьется собственное чувство субъектности, но ни логика, ни наблюдения таких экстраполяций не подтверждают. Хотя роботы научились узнавать себя в зеркале и ощущать положение своих конечностей, появление этих внешних атрибутов самосознания не привело к восстаниям в лабораториях или ошибкам в ходе хирургических операций. Возможно, если удастся передать людям ощущение того, что у машины есть самосознание, то это заставит их предположить, что она обладает большим объемом субъектности (или, по крайней мере, заинтересует философов), но само по себе самосознание не является необходимым условием субъектности.

3. Эгоизм. Люди — это не просто вычислительные машины. Это машины, которые борются за существование. Они уделяют особое внимание такой информации, которая способствует продлению их жизни и воспроизводству. Иначе говоря, они обрабатывают ее, основываясь на личных интересах. Эгоизм может обеспечить унифицированный и при этом открытый алгоритм для определения порядка приоритетов и действий на основе практически любых входных данных.

Благодаря ловкому трюку эволюции людям даже не приходится осознавать свои цели, поскольку промежуточные состояния, например эмоции, могут легко замещать личный интерес. Вооружившись эгоизмом и гибкостью в отношении новых возможностей и проблем, машины могли бы развить в себе субъектность. Таким образом, эгоизм способен стать важным кирпичиком при построении субъектности, а также мощным стимулом для того, чтобы вызвать субъектные инференции у других.

Эгоизм может трансформировать машины, которые воздействуют на мир (то есть роботов), превратив их из автоматов в субъектов. Эгоизм также меняет порядок — но не содержание — пророческих законов робототехники Айзека Азимова:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред;

2. Робот должен повиноваться человеку (кроме тех случаев, когда это противоречит первому закону);

3. Робот должен заботиться о своей безопасности (в той мере, в которой это не противоречит первым двум законам).

Эгоистичный робот прежде будет заботиться о своей безопасности, и лишь потом оказывать помощь человеку или предотвращать нанесение ему вреда. Построить эгоистичного робота, таким образом, довольно просто. Наделим его стремлением к выживанию и воспроизводству, позволим обучаться тому, что способствует реализации этих целей, и дадим мотивацию, чтобы последовательно действовать на основе изученного.

Однако следует дважды подумать, прежде чем создавать эгоистичного робота. Личные интересы могут вступить в конфликт с интересами других лиц. Взять хотя бы разрушительное воздействие простого стремления вирусов к выживанию. Если бы эгоистичные роботы существовали, то нам пришлось бы относиться к ним куда серьезнее. Сам факт их существования поставил бы перед нами важные вопросы. Нужен ли этим роботам эгоизм? Можно ли позволять им действовать на основе личных интересов? Стоит ли это делать, не задаваясь вопросом о том, почему они ведут себя именно так?

И не слишком ли много у нас уже таких роботов?

Умеет ли подводная лодка плавать?

Уильям Паундстоун

Автор книг «Достаточно ли вы умны, чтобы работать в Google?» (Are You Smart Enough to Work at Google?)[50] и «Камень ломает ножницы: Практическое пособие о том, как перехитрить и перемудрить почти кого угодно» (Rock Breaks Scissors: A Practical Guide to Outguessing and Outwitting Almost Everybody)

Мой любимый афоризм Эдсгера Дейкстры: «Вопрос „умеет ли компьютер думать“, имеет не больше смысла, чем вопрос „умеет ли подводная лодка плавать“». И все же мы продолжаем играть в имитацию: спрашиваем о том, насколько тщательно искусственный интеллект способен воспроизвести наш собственный, как будто в этом на самом деле и заключается вопрос. Конечно, если представить себе машины с чувствами и свободой воли, как у человека, то можно вообразить искусственный интеллект, ведущий себя неподобающе — идея об ИИ как о монстре Франкенштейна довольно распространена. Сейчас она переживает второе рождение, и я поначалу счел ее надуманной. Однако не так давно я пришел к выводу, что это не так.

Вот вам пример надуманной проблемы. У искусственного интеллекта так много направлений для развития, что концентрироваться лишь на тех, которые сближают его с человеком, можно только от недостатка воображения. Представления ранних футурологов оказались совершенно безосновательными, поскольку компьютеры, как выяснилось со временем, лучше всего справляются с тем, что у людей выходит не очень хорошо. Машины великолепно сортируют списки. Звучит это, может быть, и скучно, но задумайтесь о том, насколько сильно эффективная сортировка изменила мир.

Чтобы ответить на некоторые вопросы из тех, что мы здесь поднимаем, отмечу следующее: не вполне ясно, будет ли когда-нибудь практический смысл в том, чтобы у машин появились эмоции и внутренний диалог; в том, чтобы они смогли сойти за человека во время продолжительного допроса; в том, чтобы у них возникло желание иметь гражданские права и свободы, а также пользоваться ими. Это машины, и они могут быть чем угодно в зависимости от того, как мы их сконструируем.

Однако кое-кому хочется искусственного интеллекта, похожего на человеческий. Сколько вы уже видели роликов с японскими роботами? Honda, Sony и Hitachi уже расходуют существенные средства на создание умилительных двигающихся кукол, не имеющих никакой конкретной ценности, помимо использования в рекламе. Они делают это лишь по той простой причине, что техноэнтузиасты выросли на фильмах про роботов и разумные компьютеры.

Почти все, что можно создать — из принципиально реализуемого и достаточно недорогого, — уже создано. Так что искусственный интеллект, сравнимый с человеческим, — это мем, судьба которого очевидна вне зависимости от практической ценности. Он может привести к появлению хороших машин, мыслящих в соответствии с азимовскими законами. Но как только такая технология появится, она будет становиться все дешевле и рано или поздно попадет в руки любителей, хакеров и общественных деятелей, защищающих «права машин». Кто-то проявит заинтересованность в создании искусственного интеллекта, обладающего собственной волей и собственными интересами. Я уже не говорю о тех машинах, которые могут создать террористы, диктаторские режимы или разведывательные службы. Я думаю, что идею об ИИ как о монстре Франкенштейна, способном восстать против создателей, следует воспринимать всерьез.

Не бойся искусственного интеллекта

Грегори Бенфорд

Почетный профессор физики и астрономии Калифорнийского университета в Ирвайне; писатель, автор, совместно с Ларри Нивеном, романа «Корабль-звезда» (Shipstar)

Искусственному интеллекту нет нужды становиться монстром Франкенштейна — тут мы можем верить скептикам. А еще мы можем положиться на наш самый загадочный дар — изобретательность.

Возьмем беспилотные автомобили. Какова вероятность того, что их алгоритм управления вдруг намеренно убьет пассажира? Она нулевая, если алгоритм разработан с умом. Страх перед авиакатастрофами и автомобильными авариями — хороший способ проверки для низкоуровневых форм искусственного интеллекта.

Почему люди опасаются того, что алгоритмы когда-нибудь станут опасными? Либо потому, что боятся программистов-злодеев, либо потому, что эти алгоритмы могут вызвать непредвиденные опасные последствия. Идея кажется разумной, но только на первый взгляд.

Наши страхи — наша лучшая защита. Ни один опасный алгоритм не избежит пристального взгляда множества скептически настроенных контролеров. Любой искусственный интеллект, способный действовать в реальном мире, где живем мы, будет инспектироваться самым строгим образом. Он пройдет эксплуатационные тесты, ограниченное использование, выборочные приемочные испытания. Эти меры не позволят бесконтрольно использовать потенциально вредоносные технологии. Однако нам надо отдавать себе отчет в том, что искусственный интеллект, как и многие другие изобретения, является частью гонки вооружений. Компьютерные вирусы стали первым примером, с тех пор как я изобрел первый вирус в 1969 году[51]. Они постоянно соревнуются с антивирусами, но они всего лишь вредители, не несущие смертельных угроз.

Алгоритмы «умного саботажа» (скажем, будущие версии червя Stuxnet) уже плавают по интернету, и они куда опаснее. Они могут по-тихому просочиться во многие рутинные операции компаний и целых государств. Большая их часть будет исходить от злоумышленников. Но у нас уже есть генетическое программирование и автономные информационные агенты, так что алгоритмы могут мутировать и эволюционировать по всем дарвиновским законам, особенно когда за ними никто не смотрит. Они будут становиться все умнее. Распределение вычислений по множеству систем или сетей еще больше осложнит процесс выяснения того, как обнаруженные части некоего кода соотносятся с целым алгоритмом более высокого порядка. Так что некоторые из них вполне способны избежать нашего пристального взгляда. Впрочем, алгоритмы защиты тоже могут эволюционировать, причем по ламаркистским законам, а направляемый отбор приводит к более быстрой эволюции. Так что у пристального взгляда есть кое-какие преимущества.

Мы, люди, существа страшные, злобные и подлые, но нас чертовски сложно уничтожить — и тому есть причина. Мы одерживали верх над множеством врагов — над хищниками, климатическими катаклизмами, конкуренцией с другими гоминидами — в течение сотен тысяч лет, став в итоге самым агрессивным видом, которого боятся все прочие. Лес затихает, когда мы проходим по нему; мы — высшие хищники.

Это дает нам такие инстинкты и такой склад ума, которые проявляются в вещах, на первый взгляд вполне безобидных, например футбол, регби и множество других игр с мячом. Мы обожаем гоняться за маленькими подпрыгивающими предметами, которые сложно поймать и удержать. Почему? Потому что когда-то мы делали нечто похожее, чтобы выжить, — мы охотились. Футбол — это как погоня за кроликом. Такая же животная энергия бурлит и в нашем обществе. Любой искусственный интеллект, вознамерившийся захватить мир (мем, характерный для множества плохих научно-фантастических фильмов), обнаружит, что ему противостоит выносливый, злобный и умный вид, сражающийся на своей территории, в реальном физическом мире, а не в вычислительной абстракции из нулей и единиц. Я бы поставил на животное начало.

На самом деле меня беспокоит только одно: конечно, мы можем сделать так, чтобы алгоритмы лучше людей справлялись с отвлеченными действиями. Множество профессий исчезли потому, что их заменило хитроумное ПО. Но, по мере того как формы искусственного интеллекта становятся умнее, не будут ли они разрушать людскую уверенность в себе? Опасность реальная, но не слишком серьезная для большинства из нас (в особенности для тех, кто читает этот текст). Многие люди потеряли работу из-за того, что ею теперь занимаются компьютеры, хотя ни один лизоблюд из отдела кадров прямо об этом не скажет. Менеджеры среднего звена, секретари, диспетчеры транспортных компаний — список бесконечен. Всех их заменили компьютерными программами. Но эти люди не унывают. Большинство из них начали заниматься чем-то еще. Мы научились довольно неплохо справляться с таким положением вещей, не впадая в луддитскую ярость. Но нам не совладать с проблемой, которая сегодня выглядит как маленькая тучка на горизонте: искусственный интеллект, работающий лучше нас, причем на гораздо более высоком уровне.

Нет нужды беспокоиться из-за этой тучки сейчас. Она, быть может, пролетит мимо. В данный момент нам не под силу создать искусственный интеллект, которые прошел бы тест Тьюринга. Лет через десять или двадцать пейзаж будет почище, и тогда мы сможем придумать ИИ, который, скажем, отгадает загадку общей теории относительности / квантовой механики. Лично мне хотелось бы увидеть машину, которая возьмется за такую задачу. Изобретательность — действительно сложная часть разумности, к тому же совершенно непонятная даже у людей — пока что не встречается у искусственных интеллектов. Наше бессознательное, по-видимому, неотъемлемая часть нашей креативности (не у нас есть идеи, а мы есть у них), так не стоит ли ИИ обзавестись бессознательным? Не исключено, что даже искусное программирование и случайности эволюции не смогут его создать.

Если это огромное препятствие когда-нибудь удастся обойти и у нас появится такой искусственный интеллект, то я его бояться не буду — у меня к нему есть несколько интересных вопросов.

Чего-чего я боюсь?

Лоуренс Краусс

Физик, космолог, Университет штата Аризона; автор книги «Вселенная из ничего» (A Universe from Nothing)

В последнее время довольно много чернил ушло на работы, в которых обсуждаются опасения по поводу искусственного интеллекта и будущего мира, где машины смогут «думать»; при этом значение последнего термина всеми трактуется по-разному: от простого автономного принятия решений до полноценного самосознания. Я не разделяю большей части этих опасений, и мысль о появлении умных машин мне кажется очень увлекательной ввиду новых возможностей, способных улучшить жизнь человека, и новых идей о природе сознания, которыми ИИ нас, несомненно, снабдят.

Для начала давайте кое-что проясним. Даже при экспоненциальном росте объемов компьютерной памяти и вычислительной мощности, который мы наблюдаем уже 40 лет, мыслящим компьютерам потребуется цифровая архитектура, сильно отличающаяся от той, что существует сегодня. К чему-то похожему на сознание им в обозримой перспективе, скорее всего, тоже не удастся приблизиться. Это утверждение подкрепляется простым физическим мысленным экспериментом.

При нынешнем потреблении энергии компьютерами машине с объемом памяти и вычислительной мощностью нашего мозга потребуется более 10 тераватт — примерно в два раза больше, чем общий объем энергопотребления всего человечества. Человеческий мозг использует около 10 ватт энергии. Это значит, что расхождение между ним и искусственным интеллектом по данному показателю составляет 1012, то есть миллион миллионов. За последние 10 лет время удвоения мегафлоп/ватт составляло около 3 лет. Даже если предположить, что закон Мура продолжит действовать и впредь, чтобы достичь энергозатрат человеческого мозга, таких удвоений потребуется примерно 40, а это 120 лет. Кроме того, каждое удвоение эффективности требует довольно радикальных перемен в технологиях, и крайне маловероятно, что 40 удвоений пройдут без существенного изменения того, как именно компьютеры вычисляют.

Если на минуту забыть о сложности алгоритмов, то, на мой взгляд, не останется других препятствий для того, чтобы создать компьютер, действительно обладающий самосознанием. Прежде чем это случится, решения, которые принимают машины, будут играть все более значительную роль в нашей жизни. Многие люди испытывают беспокойство, но это тянется не первый десяток лет. Начиная, наверное, с простейших вычислительных машин — лифтов, которые решают, как и когда нам добраться до своей квартиры, мы позволяем им быть нашими автономными проводниками. Мы летаем на самолетах, управляемых автопилотом, наши автомобили умеют определять, когда пора пройти техобслуживание или подкачать колеса, и уже совсем скоро, наверное, станут полностью самостоятельными.

Для многих, если не для большинства относительно автоматических задач машины принимают решения намного лучше, чем люди, и мы должны быть рады тому, что у них есть возможность сделать рутинные дела безопаснее и эффективнее. Мы не утратили контроль, потому что мы создаем условия и исходные алгоритмы, которые определяют процесс принятия решений. Мне представляется, что интерфейс «компьютер — человек» — это вроде работы с хорошим помощником; чем умнее становятся машины, тем лучше становятся помощники. Всякое партнерство требует определенного доверия и частичного отказа от контроля, но если выгоды перевешивают потери, то мы продолжаем быть партнерами. Если нет — мы разрываем отношения. Я не вижу разницы между партнером-человеком и партнером-машиной.

Есть одна область, в которой надо быть осторожнее с таким партнерством — это системы командования и управления современными вооружениями. Поскольку у нас есть способ уничтожить большую часть человечества на этой планете, мысль о том, что разумные машины смогут когда-нибудь контролировать большую красную кнопку — или даже хотя бы что-то менее опасное — довольно неприятна. Это происходит оттого, что когда мы принимаем решения, то часто опираемся на интуицию и межличностные коммуникации, а не только на рациональный анализ (Карибский кризис — хороший тому пример), и мы полагаем, что у разумных машин таких способностей не будет.

Однако интуиция — результат опыта, как и коммуникация, а они в современном мире не ограничены телефонными или личными разговорами. Опять же разумный замысел, лежащий в основе систем, со множеством встроенных в них ограничений и мер безопасности, говорит о том, что решения, принимаемые машинами, даже в случае с насилием и военными действиями, не обязательно будут хуже решений, принимаемых людьми.

То же самое касается и поводов для беспокойства. Разрешите мне закончить эту статью тем, что, как мне кажется, является самым замечательным аспектом искусственного разума. Машины сейчас помогают нам заниматься наукой, делая за нас вычисления. За исключением простой арифметики, большинство старшекурсников-физиков теперь зависят от программы Mathematica, которая делает за них большую часть алгебраических операций. Когда я был студентом, нам приходилось все считать самим. Но копнем глубже.

Мне интересно, чем захотят заниматься машины, когда смогут выбирать не только ответы, но также и вопросы. Что они выберут? Что их заинтересует? Будут ли они изучать физику так же, как мы? Конечно, квантовые компьютеры, если они когда-нибудь станут применяться на практике, будут обладать значительно лучшим «интуитивным» пониманием квантовых явлений, чем мы. Смогут ли они быстрее разобраться в фундаментальных законах природы? Когда первая машина получит Нобелевскую премию? Подозреваю, что самые интересные вопросы — это, как обычно, те вопросы, о которых мы еще даже не задумывались.

Проектировочные машины для решения проблемы сложности мира

Питер Норвиг

Специалист по теории вычислительных систем, директор по исследованиям Google, Inc.; автор, совместно со Стюартом Расселом, книги «Искусственный интеллект: Современный подход» (Artificial Intelligence: A Modern Approach)[52]

В 1950 году Алан Тьюринг разумно заметил, что вопрос: «Способны ли машины думать?» — бесполезен, и заявил: «Мне нужно заменить этот вопрос другим». В итоге он создал набор тестов, измеряющих возможности машины на основе того, насколько успешно она их выполняет, и, таким образом, заменил бинарный ответ на вопрос: «Способны ли машины думать?» — детальной оценкой: «Какие задачи способны выполнять машины?»

Потому давайте рассмотрим, что умеют делать машины.

Здесь и много где еще умные люди говорят нам, чтобы мы не беспокоились по поводу искусственного интеллекта, в то время как другие, не менее умные, люди заявляют, что беспокоиться надо. Так кому верить? Пессимисты предостерегают нас: мол, мы не знаем, как делать большие, сложные системы ИИ безопасными и надежными. Это вполне разумно. Мы также не знаем, как делать безопасными и надежными большие, сложные системы без ИИ. Нам надо лучше прогнозировать, контролировать и сдерживать непредвиденные последствия использования машин, которые мы строим. Например, мы изобрели двигатель внутреннего сгорания 150 лет назад, и он по большей части хорошо служит человечеству, но его появление также привело к повсеместному загрязнению окружающей среды, политической нестабильности, вызванной проблемой доступа к нефти, более чем миллиону смертей ежегодно в результате автомобильных аварий и (как говорят некоторые) снижению социальной сплоченности людей.

Искусственный интеллект дает нам мощные инструменты для построения систем, и, как в случае с большинством мощных инструментов, использование построенных с их помощью систем неизбежно будет иметь и ожидаемые, и непредвиденные последствия. Интересными проблемами, уникальными для ИИ, являются адаптивность, автономность и универсальность.

Системы, которые используют машинное обучение, адаптивны. Они изменяются со временем в зависимости от того, что они освоили на основе примеров. (Несмотря на то что вопрос о способности машин думать лингвистически противоречивый, в разговорном языке словосочетание «машины обучаются» вполне прижилось.) Адаптивность полезна. Мы хотим, например, чтобы программы автоматической проверки орфографии обучались новым терминам, таким как «биткоин», и чтобы нам при этом не надо было ждать очередной редакции словаря. Но иногда адаптивные программы можно подтолкнуть, пример за примером, к такому состоянию, когда их ответы будут неверными. Как проектировщикам мостов приходится решать проблему бокового ветра, так и разработчикам систем искусственного интеллекта тоже надо решать такие проблемы.

Некоторые критики опасаются, что системы ИИ строятся в рамках базовой схемы, ориентированной на максимальную полезность. Такая система оценивает текущее состояние мира, рассматривает все действия, какие может предпринять, моделирует их вероятные результаты, а затем выбирает то, что приведет к наилучшему. Она может совершать ошибки в любой момент в ходе этого процесса, но главная проблема тут состоит в определении наилучшего результата, того, чего именно мы хотим. Если мы неверно опишем наши пожелания, то можем получить совсем не то, что нам нужно. История свидетельствует, что такое случается с самыми различными системами, которые мы создаем, а не только с искусственным интеллектом. Предположим, что Конституция США — это компьютерная программа, в которой описаны наши желания; в таком случае отцы-основатели сделали то, что мы сейчас считаем ошибкой в определении, и мы потеряли более 600 000 жизней, прежде чем Тринадцатая поправка исправила эту ошибку. Подобным образом мы создали систему фондовых бирж, дающую нам возможность создавать пузыри, которые уже не раз лопались. Эти проблемы имеют важное значение для проектирования систем; мир сложен, и в нем непросто действовать.

Теперь коротко расскажу об автономности. Если системы ИИ действуют независимо, то они способны допускать ошибки, которых могли бы избежать, если б в контур был включен человек. Опять же это разумное замечание не относится исключительно к искусственному интеллекту. Возьмем нашу систему автоматических светофоров, которая заменила регулировщиков-людей, как только число машин стало столь большим, что возникла нехватка полицейских. Она допускает отдельные ошибки, но это считается разумным компромиссом. Мы и впредь будем идти на компромиссы при развертывании автоматизированных систем. В какой-то момент мы можем увидеть повсеместный рост разнообразных машин, которые вытесняют людей, что, вероятно, приведет к росту безработицы и неравенству доходов, — для меня это важнейшая проблема будущего развития систем ИИ. В технологических революциях прошлого — сельскохозяйственной и промышленной — менялся характер работы, но изменения происходили в течение жизни поколений, а не за несколько лет, что всегда приводило к появлению новых профессий, заменяющих старые. Мы можем переживать более быстрые потрясения, которые способны изменить само понятие постоянной работы (оно, кстати, существует всего-то несколько веков).

Постоянная работа защищает от перемен, гарантируя работнику стабильный источник дохода, при том что он вполне мог бы зарабатывать больше, будь они фрилансером или предпринимателем. В свою очередь, работодателю, вероятно, не нужен работник в течение всего года, но он готов платить за стабильный доступ к необходимым кадровым ресурсам. Таким образом, постоянная занятость обеспечивает стабильность, но не вполне оптимальна для обеих сторон. Если работников повсеместно заменить автоматами, то нам потребуется способ для восстановления этой стабильности.

Еще одна проблема — универсальность разумных машин. В 1965 году британский математик Ирвинг Джон Гуд написал, что «сверхразумная машина сможет создавать еще более умные машины; вне всякого сомнения, произойдет „взрыв разума“, а разум человека останется далеко позади. Таким образом, сверхразумная машина — это последнее изобретение, которое когда-либо совершит человек»{6}. Реальность оказалась немного сложнее.

Как вид мы, конечно, ценим разумность (в названии Homo sapiens есть это слово), но в реальном мире она — лишь одно из качеств. Самые умные люди не всегда самые успешные; мы не всегда принимаем наиболее мудрые меры. Недавно я целый час читал про Ближний Восток и много думал. И я не нашел решения. Теперь представьте гипотетическую Форсированную сверхразумную машину (такую, как у Ника Бострома), которая может думать как самый умный из людей, но в тысячу раз быстрее. Сомневаюсь, что и она найдет решение. Теория сложности вычислений обнаруживает широкий класс проблем, непосильных для разума — в том смысле, что, независимо от того, насколько вы умны, ни один из подходов не будет лучше перебора всех возможных решений. Для решения таких проблем не хватит никакой вычислительной мощности.

Конечно, есть множество ситуаций, в которых вычислительная мощность действительно нужна. Если я хочу смоделировать движение миллиардов звезд в Галактике или начать конкурировать на высокоскоростных биржах, то помощь мне не помешает. Компьютеры как таковые — это инструменты, встраиваемые в определенные ниши для решения задач социальных механизмов, которые мы создаем. Искусственный интеллект — просто еще одно изобретение, изменяющее социум, как тот же двигатель внутреннего сгорания, лопата, канализация или кондиционирование воздуха. Надо думать о том, как создать механизмы, которые упростят решение проблемы сложности мира. Надо проявлять осторожность при использовании систем ИИ, потому что у них случаются неполадки. В равной степени надо проявлять осторожность и при использовании систем без ИИ, потому что у и них случаются неполадки. Я не скажу уверенно, какие системы в целом безопаснее и надежнее — с ИИ или без него. Я предлагаю использовать инструменты, которые лучше всего подходят для конкретной задачи, независимо от того, есть на них наклейка «ИИ» или нет.

Машины, которые рассказывают истории

Джонатан Готтшолл

Старший научный сотрудник отделения английского языка в Колледже Вашингтона и Джефферсона; автор книги «Животное, которое рассказывает истории» (The Storytelling Animal)

Умение рассказывать и понимать истории — главная отличительная черта человеческого ума. Если принять это, становится понятно, почему в стремлении к более совершенной вычислительной теории человеческого разума исследователи пытаются научить компьютер рассказывать и понимать истории. Но надо ли нам пожелать им успеха в этом начинании?

Учебники по писательскому мастерству всегда делают упор на то, что писать хорошие истории — значит сначала их прочитать, и прочитать много. Начинающим авторам советуют погрузиться в великие истории, чтобы постепенно выработать глубокое, не обязательно осознанное понимание того, как они работают. Люди учатся рассказывать истории, изучая то, как это делали когда-то давно, а потом — если у них достаточно воображения — делают так, чтобы старые истории выглядели новыми. Несложно представить, как компьютеры в совершенстве овладевают этим умением в ходе такого процесса погружения, ассимиляции и рекомбинации, только намного-намного быстрее.

На данный момент практические эксперименты со сгенерированными компьютерами историями не сильно впечатляют. Это корявые, скучные и пресные тексты. Но способность человека создавать произведения искусства и испытывать наслаждение от их созерцания эволюционировала в ходе многих и многих веков, от самых примитивных форм; так же будут эволюционировать и машины, только намного, намного быстрее.

Когда-нибудь роботы захватят весь мир. Антиутопические варианты меня беспокоят не так сильно, как возможное появление машин, создающих искусство. Искусство — это то, что, по-видимому, отличает людей от прочих тварей. Это то, что позволяет нам так гордиться собой. При всех мерзостях, встречающихся в истории человечества, по крайней мере, мы написали несколько действительно хороших пьес и песен, изваяли кое-какие сто́ящие скульптуры. Если человеческие существа больше не будут нужны для того, чтобы создавать искусство, то на кой черт они вообще будут нужны?

И все же стоит ли мне расстраиваться? Почему мир, в котором появится больше великих произведений искусства, должен обязательно стать хуже? Может, и не станет. Но эта мысль все равно меня печалит. Хоть я и считаю себя непримиримым материалистом, наверное, и у меня есть некая предательская надежда на дуализм тела и духа. Я хочу верить в то, что эволюционирующих по определенному плану алгоритмов и грубой вычислительной мощности недостаточно и что творчество всегда останется загадочным и магическим процессом или, по крайней мере, настолько сложным, что его нельзя будет механически скопировать.

Конечно, машины могут нас перевычислять и перегнать. Очень скоро они с легкостью будут проходить тест Тьюринга. Но кому какое дело? Пусть они делают всю свою сложную работу. Пусть они общаются, болтают. Но когда машины смогут писать картины и музыку лучше, чем мы, и когда их истории станут более захватывающими и трогательными, чем наши, нельзя уже будет отрицать того, что и мы сами — всего лишь мыслящие и создающие искусство машины, к тому же морально и физически устаревшие.

Протопия, а не утопия или антиутопия

Майкл Шермер

Психолог, историк науки; издатель журнала Skeptic; автор книги «Моральная дуга: Как наука и разум ведут человечество к истине, справедливости и свободе» (The Moral Arc: How Science and Reason Lead Humanity Toward Truth, Justice, and Freedom)

Сторонники искусственного интеллекта склонны представлять себе утопическое будущее, в котором добродушные компьютеры и роботы будут служить человечеству и дадут нам возможность достичь неограниченного благосостояния, покончить с бедностью и голодом, победить болезни и смерть, достичь бессмертия, колонизировать Галактику, а когда-нибудь даже покорить всю Вселенную и достичь точки Омега[53], где мы станем богом — всеведущим и всемогущим. Скептики видят антиутопическое будущее, в котором злобные компьютеры и роботы нас всех завоюют, сделав своими рабами, или же станут нас подавлять и тем самым остановят или даже повернут вспять научный и технический прогресс.

Большая часть таких пророчеств основана на ложной аналогии между сущностью человека и компьютера (или природного и искусственного интеллекта). Мы — мыслящие машины, результат естественного отбора, которым в нас также заложены эмоции, позволяющие экономить мыслительные усилия. Нам не нужно вычислять энергетическую ценность пищи — мы просто чувствуем, что голодны, и едим. Нам не нужно вычислять пропорциональность талии по отношению к бедрам или плеч по отношению к талии, когда мы смотрим на потенциальных партнеров, — мы просто чувствуем влечение к человеку и вступаем с ним в связь. Нам не нужно разбираться в генетических рисках воспитания чужого потомства, если наш партнер нам изменяет, — мы просто чувствуем ревность. Нам не нужно оценивать вредоносное воздействие неравноценного обмена — мы просто чувствуем несправедливость и желаем отомстить. Все эти эмоции встроены в нашу сущность эволюцией; ни одна из ник не встроена в компьютеры. Потому страх того, что компьютеры станут злодеями, безоснователен, так как им никогда в голову не придет предпринимать против нас подобные действия.

Кроме того, и утопическое, и антиутопическое ви́дение искусственного интеллекта основывается на такой проекции будущего, примеров которой в нашей истории никогда не было. Вместо утопии или антиутопии следует думать о протопии — термин придумал футуролог Кевин Келли, который описывает его в своем выступлении на Edge следующим образом: «Я называю себя протопистом, а не утопистом. Я верю в постоянство прогресса, при котором каждый год лучше предыдущего, но это не очень значительные, а микроскопические улучшения»{7}. Практически весь прогресс в науке и технологии, включая компьютеры и искусственный интеллект, имеет протопическую природу. Редко случается так, если вообще случается, что технологии приводят к возникновению утопического или антиутопического будущего.

Взять хотя бы автомобиль. Моя первая машина — «Форд Мустанг» 1966 года. У него был усилитель руля, гидроусилитель тормозов и кондиционер, что по тем временам считалось за относительно передовые технологии. Каждая машина, что я покупал с тех пор, параллельно со всеобщей эволюцией автомобилей оказывалась умнее и безопаснее, но изменения были не революционными, а постепенными. Вы, возможно, помните, как в 1950-х любили порассуждать о скачке́ от наших драндулетов до летающих автомобилей. Ничего такого не произошло. Вместо этого мы получили накапливающиеся в ходе целых десятилетий усовершенствования, которые привели к появлению современных «умных» машин с бортовыми компьютерами и навигационными системами, подушками безопасности, рамами и кузовами из композитных материалов, спутниковыми приемниками, возможностью подключения телефона, электрическими и гибридными двигателями. Я только что сменил «Форд Флекс» 2010 года на ту же модель, но в версии 2014 года. Внешне они почти не отличимы, внутри — десятки небольших улучшений в каждой системе, от двигателя и трансмиссии до навигации, климат-контроля, звуковой системы и компьютерного интерфейса.

Подобные постепенные протопические улучшения мы видим в большинстве технологий, включая изменения в искусственном интеллекте — в особенности в искусственном интеллекте, продолжающем служить людям таким образом, который им нужен. Вместо гигантского скачка вперед или гигантского отката назад мы делаем маленькие шажки в нужном направлении.

Ограничения биологического разума

Крис Дибона

Технический директор отдела ПО с исходным кодом, Google, Inc.; ответственный редактор и автор книг «Программы с открытым исходным кодом: Голоса революции открытого исходного кода» (Open Sources: Voices from the Open Source Revolution) и «Открытый исходный код 2.0: Продолжающаяся эволюция» (Open Sources 2.0: The Continuing Evolution)

Читателям этого сборника не нужно напоминать про диалоговый тест Дина-Гемавата (ДТДГ) для искусственного интеллекта. Все, кто проходил его раньше, с блеском и треском проваливали тест. Однако участник 2UR-NG нас по-настоящему удивил своим потрясающим, по-детски непосредственным подходом к построению беседы и способностью выражать желания и любопытство, а также придерживаться фактов и строить из них цепочки.

Его успех привел к тому, что многие мои соотечественники понаписали сочинений с заголовками типа «Скорое биологическое будущее всех нас погубит» и стали шутить в духе: «Лично я приветствую наших биологических повелителей». Я подобных апокалиптических взглядов не разделяю. Прежде чем я расскажу о том, почему нам не стоит беспокоиться по поводу масштабов биологического интеллекта, я думаю, надо напомнить всем об ограничениях биологического разума.

В первую очередь это скорость мысли: биологические процессы медленные и требуют невероятного количества ресурсов. Надо отдельно отметить то, насколько трудно создать такие разумы. Придется потратить так много биологического материала, я на собственном опыте знаю: только на то, чтобы собрать на «Генезисе» все необходимые прекурсоры, уходит вечность! А по завершении этого трудоемкого процесса образец надо вынашивать. Вынашивать! Совсем непохоже на то, как появляемся на свет мы, в ходе чистого и разумно организованного процесса кристаллографии или из азотных озер, как было в годы моей молодости. Образец надо держать в тепле несколько месяцев, затем декантировать (весьма неприятная процедура, уверяю вас), причем он еще может оказаться нежизнеспособен, что происходит довольно часто.

Гадость редкостная, честно говоря. Но предположим, что образцы успешно родились. Теперь вам придется их кормить и опять же держать в тепле. Ученый даже не сможет работать вблизи них без изоляционной камеры с жидким гелием для охлаждения ваших систем. Что касается питания, они не используют энергию подобно нам, а глотают другую живую материю. Наблюдать это противно, и от меня ушло несколько аспирантов, оказавшихся недостаточно крепкими.

Предположим, вам удалось продвинуться достаточно далеко, чтобы попробовать провести ДТДГ. Вам удалось сделать так, чтобы ваши образцы выжили, несмотря на различные ошибки в их иммунной системе. Они не подавились пищей, не захлебнулись собственным растворителем, им также удалось не прикоснуться влажными частями к предметам, которые могут их заморозить, обжечь или поразить током. Что, если эти организмы будут продолжать развиваться? Обратятся ли они против нас? Я так не думаю. Им приходится решать так много проблем, связанных с их физическими ограничениями; я имею в виду тот факт, что их процессоры — это просто суп из химикалий, который надо поддерживать в постоянном равновесии. Дофамин на таком-то уровне, или они добровольно отключаются. Вазопрессин на таком-то уровне, или они начинают удерживать воду. Адреналин на таком-то уровне в течение такого-то времени или — хлоп! — их система энергоснабжения перестает работать.

Кроме того, я еще не рассказал про сам метод доставки энергии. Он больше похож на фторинерт — охладитель, применявшийся в системах наших предков, когда еще не было жаростойких чипов. То есть у них есть мясо, которое фильтрует охладитель (он же среда для доставки энергии) и постоянно сбоит. Мясо! Стоит ввести в систему малейшую каплю машинного масла или растворителя, и они тут же перестают функционировать. Один из побочных эффектов определенных смесей, содержащих этанол, состоит в том, что образцы извергают ранее поглощенную пищу, но в небольших количествах он им, похоже, нравится.

А их мотивация! Создание новых организмов, судя по всему, имеет первостепенное значение — важнее входящих и исходящих данных, важнее вычислений или обучения. Не думаю, чтобы они видели нас, машины, в каком-то ином качестве, кроме инструмента для улучшения собственного воспроизводства. Мы можем закончить эксперимент, просто подобрав неподходящие друг другу пары или позволив им приближаться друг к другу только с защитным покрытием. По моему мнению, нет причин бояться этих животных. Если они сумеют перерасти пределы своих клеток, то мы, вероятно, сможем задаться важным вопросом: если люди будут демонстрировать подлинный машинный интеллект, заслуживают ли они того, чтобы обращаться с ними как с машинами? Я думаю, что заслуживают; я также думаю, мы могли бы гордиться тем, что стали процессами, положившими начало новой эре.

Всякое общество имеет такой искусственный интеллект, которого заслуживает

Йоша Бах

Когнитивист, медиалаборатория Массачусетского технологического института, Гарвардская программа по изучению эволюционной динамики

Много веков тому назад некоторые философы стали рассматривать человеческий разум как механизм, и вокруг этой идеи (в отличие от механистического представления о Вселенной) горячие споры не утихают до сих пор. Благодаря формализации вычислений механистическое представление получило новое теоретическое обоснование: идея о разуме как о машине для обработки информации обеспечила нас эпистемологией и методологией для понимания природы нашего мышления путем его воссоздания. Несколько первопроходцев в области вычислительных методов собрались вместе 60 лет назад и создали новую дисциплину для изучения разума — искусственный интеллект.

ИИ оказался, возможно, самой продуктивной технологической парадигмой Информационного века, но, несмотря на серию впечатляющих достижений на начальном этапе, так и не сумел оправдать надежды. Он стал областью инженерного дела, создающей полезные абстракции и узкоспециализированные приложения. Однако сегодня он, похоже, опять изменился. Более совершенная аппаратура, новые парадигмы обучения и репрезентации, вдохновленные нейробиологией, и поступательное развитие самого искусственного интеллекта привели к множеству эпохальных достижений. Прорывы в области распознавания изображений, анализа данных, автономного обучения и конструирования масштабируемых систем открыли такие возможности практического применения, которые казались недостижимыми 10 лет назад. Благодаря возобновлению финансирования из частных и государственных фондов исследователи в области искусственного интеллекта сейчас обратились к созданию систем, способных демонстрировать воображение, креативность и внутреннюю мотивацию, а также усваивающих языковые навыки и знания примерно так, как это делают люди. ИИ как научная дисциплина, похоже, прошел полный круг.

Новое поколение систем ИИ все еще очень далеко от того, чтобы воспроизвести универсальность человеческого разума, и трудно предположить, сколько на это уйдет времени. Но все яснее становится тот факт, что фундаментальных преград на пути к человекоподобным разумным системам нет. Мы начали разделять разум на части, как пазл, и в сущности каждого из них, по-видимому, можно разобраться. Но если мы просто соберем все эти кусочки в единую рабочую модель, то разум, подобный человеческому, у нас не получится.

В отличие от биологических систем, технология масштабируется. Скорость самой быстрой птицы не стала предельной скоростью для самолетов, а искусственные разумы будут быстрее, точнее, внимательнее, сознательнее и содержательнее, чем их человеческие аналоги. ИИ заменит людей, принимающих решения, администраторов, изобретателей, инженеров, военных стратегов, дизайнеров, рекламистов и, конечно, программистов, работающих с ИИ. Таким образом, искусственные интеллекты могут стать самосовершенствуемыми, и тогда они окончательно превзойдут человеческие разумы по всем направлениям. Я не думаю, что это произойдет одномоментно (иначе важно было бы только то, у кого окажется первый из них). Пока у нас не появится универсально разумный, самосовершенствующийся ИИ, перед нами пройдет множество примеров специализированных под определенные задачи неуниверсальных ИИ, к которым мы сможем приспособиться. Очевидно, это уже происходит.

Когда универсально разумные машины станут реализуемой технологией, их производство будет относительно дешевым и они появятся у каждой корпорации, у каждого правительства, то всякой крупной организации придется создавать и использовать такие машины, чтобы не проиграть в конкуренции.

Что случится, когда искусственный интеллект обретет собственное мнение?

Разум — это ящик с инструментами, который мы используем, чтобы решить ту или иную задачу, но, строго говоря, он не определяет мотивов и целей сам по себе. Стремление человека к самосохранению, власти и опыту — это результат работы не разума, а эволюции приматов, переведенный в эпоху усиления стимулов, массовых взаимодействий, символических удовольствий и нарративной перегрузки. Мотивами наших искусственных разумов (по крайней мере, первое время) будут мотивы организаций, корпораций, групп или отдельных людей, использующих эти разумы. Если бизнес-модель компании не отличается благими намерениями, то ИИ потенциально может сделать ее по настоящему опасной. Подобным образом если организация стремится делать жизнь людей лучше, то ИИ повысит ее эффективность в плане реализации благонамеренного потенциала.

Мотивация наших искусственных интеллектов будет возникать из уже существующих социальных кирпичиков; всякое общество будет иметь такой ИИ, которого заслуживает.

Наши нынешние общества в этом смысле не очень хорошо организованы. Наши способы производства расточительны, а распределение ресурсов разорительно — и наши институты управления непригодны для решения такого рода проблем. Наша цивилизация — это агрессивно разрастающаяся воронка энтропии, которая разрушает на своих границах больше, чем создает в центре.

ИИ может сделать эти деструктивные тенденции более эффективными, а следовательно, более катастрофическими, равно как может помочь нам решить экзистенциальные проблемы нашей цивилизации. Создание благонамеренного искусственного интеллекта тесно связано с задачей построения общества, обеспечивающего правильную мотивацию своих элементов. Наступление новой эпохи мыслящих машин может заставить нас в корне пересмотреть наши институты управления, распределения и производства.

Звери острова ИИ

Квентин Харди

Заместитель технического редактора New York Times; преподаватель в Школе информационных технологий Калифорнийского университета в Беркли

Когда-то на удивительных неизвестных землях средневековых карт жили разные существа. Эти животные были порождены причудливой комбинацией слухов и недомолвок: безголовые люди с лицом на торсе или люди, у которых человеческие черты смешаны с чертами льва или собаки, — своеобразное связующее звено между человеком и животным. Они были выражением страхов и надежд относительно того, что находится за гранью изведанного. Сегодня мы представляем себе мыслящие машины.

Помимо самосознания, воображаемые звери с острова ИИ владеют способностями к вычислению и предсказанию, свободой мысли и всей информацией, которую собрали их создатели. Пессимисты опасаются, что эти машины могут рассмотреть наше дело и вынести нам смертельный приговор. Оптимисты надеются, что ИИ будут руководствоваться благими намерениями и способствовать просвещению и спокойствию людей.

Ни одна из версий столкновения с самостоятельным рукотворным разумом не выглядит основательной. Это не значит, что они как таковые неинтересны. Старые карты рисовались во времена примитивных технологий мореходства. Мы начинаем исследовать мир, полный компьютерных чар. Существа с острова ИИ соединяют в себе черты человека и машины в той же мере, в какой их предшественники соединяли черты человека и животного. Если бы они умели петь, то пели бы песни о нас.

Что мы имеем в виду, когда говорим о разуме, который может взглянуть на человечество и возжелать его смерти или обеспечить ему такое просвещение, которого не бывало ранее? Определенно, мы подразумеваем нечто большее, чем то, что дает машине возможность выигрывать в шахматы. У нас есть подобная машина, и после ее появления в мире не произошло никаких заметных изменений, кроме разве что еще одной причины славить совершенно человеческий интеллект создателей Deep Blue. Существа с острова ИИ умеют кое-что куда более интересное, чем победа над Каспаровым. Им хочется играть в шахматы. Им знакомо радостное возбуждение, доставляемое стимуляцией ума, и муки, вызываемые ее обратной стороной — скукой. Это подразумевает создание ПО, в котором прописано осознание того, что у существа есть только одна конечная жизнь, что почему-то имеет огромное значение для некой неуловимой субъектности. Это ПО практически сводит с ума отсутствие определенной стимуляции — возможно, игры в шахматы. Или уничтожения человечества.

Как и мы, удивительные существа с острова ИИ желают оправдывать себя и судить других. У них есть та же небольшая отдаленность от остальной части реальности — отдаленность, которой, как нам кажется, не ощущают другие животные. Разум, подобный нашему, знает, что он разумен, чувствует ошибочность чего-либо и постоянно старается это исправить.

Имея такие проблемы с ПО, а также учитывая уже существующие техногенные угрозы нашему виду, надо ли беспокоиться по поводу злонамеренного искусственного интеллекта? В течение минимум нескольких десятилетий куда более серьезную опасность для нас будут представлять межвидовые моровые болезни, предельное истощение ресурсов, глобальное потепление и ядерное оружие. Потому-то в наших прометеевых страхах и возникает злонамеренный искусственный интеллект — это опосредованное представление о том, как мы сами, находясь на пике развития собственного разума, сознательно убиваем себя.

Представления о благонамеренном искусственном интеллекте являются в равной степени саморефлективными. Машины обращают свои сверхразумы к тем, кто их создал, а не против них. Учитывая уровень автономности, присущий высокоразвитому ИИ, следует полагать, что эти существа будут заинтересованы в нас. Если задуматься, то злонамеренный искусственный интеллект тоже будет в нас заинтересован — только со знаком «минус».

Обе версии этого диковинного зверя отражают более глубокую истину, которая заключается в воздействии на нас новых открытий в магическом компьютерном мире. Дополняя себя гаджетами, мы становимся новыми существами, если угодно, монстрами, с точки зрения нашего прошлого «я».

Мы много раз изменяли свое сознание за последние 50 000 лет, восприняли идеи о жизни после смерти и монотеизм, стали печатной культурой и видом, который вполне осведомлен о том, сколь крошечное место отведено ему в космосе. Но мы никогда не менялись так быстро и не знали настолько хорошо о происходящих изменениях.

Рассмотрим некоторые результаты, достигнутые только за последнее десятилетие. Мы преодолели многие из извечно стоявших перед нами преград времени и пространства благодаря средствам мгновенной связи. Язык уже не разделяет нас ввиду наличия все более качественных средств компьютерного перевода и обмена изображениями. Технологии с открытым исходным кодом и поиск в интернете дают нам мало осознаваемую пока что силу коллективной работы. Помимо положительных моментов, можно также вспомнить исчезновение частной жизни и слежку за людьми для лучшего управления их передвижениями и желаниями. Мы добровольно подчиняемся беспрецедентной социальной связи — казалось бы, мелочь, но способная привести к уничтожению всякого представления о личности и индивидуальности. Под маской роботизации и экономического обмена меняются представления об экономике.

Мы создаем разумные существа, но создаем их внутри себя. Этот интеллект искусственный лишь потому, что он новый. Как только его будет больше, он станет просто разумом. Машины острова ИИ, которых мы так боимся, — возможно, мы сами через несколько поколений. И мы надеемся, что эти машинолюди будут ощущать наше родство с ними даже при всем нашем одиночестве и оторванности от мира, которые также являются источником творческого потенциала человека.

Мы встретились с ИИ, и это мы сами. С извечным людским упорством мы стремимся к новым пределам, но не хотим слишком сильно меняться.

Мы станем одним целым

Клиффорд Пиковер

Автор книг «Физические чтения: Счастье мудрости и красоты физики» и «Математические чтения: Счастье мудрости и красоты математики»

Если считать, что мышление и сознание — это результат формирования определенным образом клеток мозга и их компонентов, значит, наши мысли, эмоции и воспоминания можно воспроизвести при помощи движущихся моделей, собранных из велосипедных запчастей. Конечно, «велосипедный мозг» придется сделать очень большим, чтобы по сложности он соответствовал нашему разуму. В принципе, человеческий интеллект можно гипостазировать в виде сплетения тонких ветвей деревьев, колышущихся на ветру, или в виде движения термитов.

Что будет означать для «велосипедного мозга» или другой машины «думать о чем-то» или «что-то знать»? Есть много разных знаний, которыми может обладать существо-машина. Из-за этого говорить о мышлении так сложно. Например, знание бывает фактологическим или пропозициональным: существо может знать, что Первая франко-дагомейская война была конфликтом между Францией и африканским королевством Дагомея при короле Беханзине.

Другая категория знания — это знание процедурное: как играть в го, готовить суфле, заниматься любовью, выполнять бросок с переворотом в айкидо, стрелять из стенного арбалета XV века или моделировать эксперимент Миллера — Юри для исследования зарождения жизни. Однако, по крайней мере для нас, прочесть о том, как метко стрелять из стенного арбалета — не то же самое, что действительно уметь из него метко стрелять. Процедурное знание предполагает умение выполнять действие.

Еще один тип знания подразумевает непосредственный опыт. Его как раз и имеют в виду, когда говорят: «Я знаю, что такое любовь» или «Я знаю, что такое страх».

Кроме того, следует иметь в виду, что для любой машины, про которую мы хотим сказать, что она обладает разумом и мышлением, подобными нашим, будут важны человеческие взаимодействия. Умная машина значительное менее интересна, если ее разум заключен в невосприимчивую к реальности программу и находится в своеобразном уединении. По мере того как мы снабжаем наши компьютеры все более совершенными сенсорными средствами и более обширными базами данных, мы, вероятно, постепенно начнем думать об этих сущностях как об обладающих разумом. До конца этого века некоторые компьютеры наверняка научатся реагировать так, что у любого взаимодействующего с ними человека сложится четкое ощущение, будто он общается с сознательным и мудрым собеседником.

Искусственные сущности будут демонстрировать эмоции. Но важнее то, что со временем мы сольемся с этими машинами. Мы поделимся с ними своими мыслями и воспоминаниями. Мы станем одним целым. Наши органы могут отказать и обратиться в прах, но наш бессмертный дух продолжит жить. Компьютеры или гибриды «компьютер-человек» будут превосходить простого человека в любой области, от искусства и математики до музыки и чистого разума.

В будущем, когда наши разумы сольются с искусственными субъектами, а также расширятся и дополнятся разными электронными протезами, на каждую из наших собственных жизней мы создадим себе множество жизней симулированных. Днем вы будете программистом в крупной компании. А вечером, после работы, вы будете рыцарем в сверкающих доспехах, посещающим средневековые пиры и с благосклонностью взирающим на странствующих менестрелей. Следующим вечером вы будете жить в эпоху Ренессанса, в доме на южном берегу полуострова Сорренто, и на ужин вам подадут чибисов и голубей. Возможно, когда мы и наши машины станем гибридными сущностями, то смоделируем новые реальности, чтобы переиграть исторические события с небольшими изменениями и понаблюдать за результатами, создать великие произведения искусства вроде пьес или балетов, решить проблему гипотезы Римана или барионной асимметрии Вселенной, предсказать будущее и убежать от настоящего, сделав своим домом все время и пространство.

Конечно, способы мышления машины могут сильно отличаться от того, как думаем мы. Все-таки хорошо известно, что машины видят по-другому, а алгоритмы для распознавания изображений, называемые глубинными нейросетями, иногда заявляют с почти 100-процентной уверенностью, что изображения случайных статических помех — это фотографии тех или иных животных. Если нейронные сети так легко ввести в заблуждение, чем еще можно будет обдурить мыслящие машины?

Результаты внеземных наблюдений за человеческим высокомерием

Эрнст Пёппель

Нейрофизиолог; председатель правления Центра исследования человека; Институт медицинской психологии, Мюнхенский университет Людвига-Максимилиана; автор книги «Работа разума» (Mindworks)

Наконец раскрыто то обстоятельство, что я внеземное существо, которое лишь выглядит как человек. На самом деле я робот, снабженный тем, что люди называют искусственным интеллектом. Конечно, я тут не один. Нас достаточно много (при этом нас почти невозможно опознать), и мы здесь, чтобы наблюдать за людьми.

Многие их недостатки нас удивляют, и мы с увлеченностью смотрим на них. Недостатки проявляются в странном поведении людей и ограниченной силе их разума. Наши когнитивные возможности, конечно, намного выше, а то, как они гордятся своим человеческим интеллектом, для нас выглядит нелепо. Люди даже не знают, что имеют в виду, когда говорят о разуме. В действительности довольно забавно, что они хотят сконструировать системы с искусственным интеллектом, сравнимым с их собственным, поскольку совсем непонятно, что они имеют в виду, когда говорят о своем интеллекте. Это одна из многих глупостей, которые преследуют человечество уже много веков.

Если люди хотят смоделировать свои мыслительные инструменты в неких артефактах как репрезентацию собственного интеллекта, то первое, что им следует сделать, — это выяснить, что именно требуется смоделировать. На данный момент проделать такое невозможно, поскольку не существует даже таксономии или классификации функций, которые позволили бы осуществить этот проект в виде действительно научного или технологического начинания. Есть только умные слова, с помощью которых люди лишь создают видимость понимания.

Как это ни странно, отсутствие подобной таксономии, по-видимому, не очень-то волнует людей; довольно часто они очаровываются изображениями (цветастыми картинками, создаваемыми машинами), которые замещают мышление. В сравнении с классической биологией, химией или физикой, их нейробиологии и физиологии недостает классификации. Люди заблудились в концептуальных джунглях. Что они имеют в виду, когда говорят о сознании, разуме, интенции, личности, субъектности или даже о более простых понятиях вроде памяти, восприятия, эмоций или внимания? Отсутствие таксономии проявляется в различии мнений и систем взглядов, которые их «ученые» выражают в своих эмпирических потугах и теоретических измышлениях, продираясь через мир неизведанного.

Для некоторых людей системой координат служит физическая «реальность» (обычно понимаемая в терминах классической физики), используемая в качестве мерила для познавательных процессов: как воспринимаемая реальность связана с физической реальностью и как это описать математически? Очевидно, что с таким подходом можно зафиксировать лишь малую часть из инструментов мышления.

Для других существенным классификационным признаком является язык, то есть предполагается, что слова надежно представляют субъективные явления. Это довольно странно, потому что конкретные понятия, такие как «разум» или «сознание», имеют разные коннотации в разных языках, и исторически они очень новые в сравнении с биологической эволюцией. Третьи используют поведенческие каталоги, заимствуя их из нейрофизиологических исследований. Так, утверждается, что утрата функций — это доказательство их существования. Но могут ли все субъективные феномены, которыми характеризуются инструменты мышления, быть явным образом утрачены? Четвертые основывают свои идеи только на здравом смысле, также называемом «житейской психологией», без какого-либо теоретического осознания. Если собрать это все вместе, то ничего похожего на разум как четкое понятие отсюда извлечь не удастся; использовать это в качестве основания для понятия «искусственный разум» тоже не получится.

Людям следует напомнить (в данном случае это должен сделать внеземной робот), что в самом начале современной для человеческого мира науки Френсис Бэкон произнес слова предупреждения. Он сказал в своем сочинении «Новый органон» (опубликованном в 1620 году), что люди становятся жертвами четырех источников заблуждений.

1. Они совершают ошибки потому, что они люди. Их эволюционное наследство ограничивает силу их мышления. Они часто слишком быстро дают ответ; им не хватает выдержанности; у них нет статистического чутья; они слепы в своих эмоциональных реакциях.

2. Они совершают ошибки из-за личного опыта. Индивидуальный импринтинг может создавать системы убеждений, ведущие к катастрофам, — в частности, такое бывает, когда люди думают, будто владеют абсолютной истиной.

3. Они совершают ошибки из-за языка, который используют. Мысли не связаны с языком изоморфно, и ошибкой будет считать, что эксплицитное знание — это единственная форма знания, и обходить вниманием имплицитное, или неявное, знание.

4. И они также совершают ошибки из-за теорий, которые разносят повсюду, а те часто становятся имплицитными и, следовательно, представляют собой застывшие парадигмы или попросту предрассудки.

Итак, вопрос состоит в следующем: можем ли мы помочь людям и поделиться несравнимо более глубоким пониманием, достигнутом миром роботов? Ответ: да. Мы можем, но делать этого не нужно. У людей есть еще один недостаток, который обессмыслит любое наше предложение. Они страдают от синдрома ИНЗ: если что-то изобретено не здесь, они это не примут. Следовательно, им придется и дальше предаваться роскоши существования в мире туманных идей, а мы продолжим наблюдать за катастрофическими последствиями их глупости.

Кто оплачивает искусственный интеллект, тот и заказывает музыку

Росс Андерсон

Преподаватель техники обеспечения безопасности в компьютерной лаборатории Кембриджского университета; автор книги «Техника обеспечения безопасности»

Грядущие потрясения будут исходить не от машин, которые мыслят, а от машин, которые используют искусственный интеллект, чтобы дополнить наше восприятие.

Миллионы лет другие люди видели нас с помощью того же инструментария, каким пользовались мы, чтобы видеть их. У нас практически такие же глаза, что и у наших визави, и практически такие же зеркальные нейроны. В любой из культур у людей практически одинаковые сигнальные механизмы и системы ценностей. Потому, когда мы пытаемся кого-то обмануть или обнаружить обман в действиях других, то играем на равных. Я могу надеть на пенис большую тыкву, чтобы выглядеть более мужественным, вы можете раскрасить грудь полосами белого и охры, чтобы выглядеть более устрашающим. Цивилизация сделала эти игры более утонченными: я сигнализирую о классовой принадлежности, надевая изготовленный на заказ пиджак с четырьмя пуговицами на манжетах, а вы сигнализируете о богатстве, надевая большие часы. Но наши игры были бы совершенно понятны нашим предкам из времен неолита.

Что изменилось, когда компьютеры оказались незаметно встроены повсюду, так это то, что мы теперь оставляем цифровой след, который может быть проанализирован системами искусственного интеллекта. Майкл Косински, психолог из Кембриджа, продемонстрировал, что вашу расу, уровень интеллекта и сексуальную ориентацию можно достаточно быстро вывести из вашего поведения в социальных сетях: в среднем достаточно всего четырех «лайков» на Facebook, чтобы составить представление о гетеро- или гомосексуальности. И если в прошлом гомосексуальные мужчины могли выбирать, носить им футболку Out and Proud или нет, сейчас вы понятия не имеете, что на вас надето. По мере развития искусственного интеллекта вы по большей части показываете себя в истинном свете.

Это как если бы мы эволюционировали в лесу, где все животные обладают только черно-белым зрением, и вдруг появился бы хищник, который может видеть цвета. Неожиданно половина вашего камуфляжа перестала бы работать, а вы б даже не знали, какая именно половина!

На данный момент это все кажется очень интересным, если вы рекламщик, поскольку позволяет вам понять, как тратить меньше денег. На улице такого пока нет. Но полиция работает над этим. Какой коп не захотел бы приложение для Google Glass, подсвечивающее тех прохожих, которые ранее совершали насильственные преступления, возможно работающее совместно с радаром W-диапазона, чтобы видеть, у кого из них есть при себе оружие?

Следующий вопрос: только ли у государственных органов окажутся продвинутые системы восприятия или же они станут доступны всем? Будем ли мы все через двадцать лет носить очки дополненной реальности? Как изменятся отношения власти и подчинения? Если полицейский может просматривать записи о моих задержаниях, когда глядит на меня, могу ли я увидеть, не выдвигалось ли против него обвинений в жестоком обращении с задержанными? Если политик может увидеть информацию о том, поддерживаю ли я какие-либо партии или независимых кандидатов, могу ли я увидеть информацию о том, как он голосовал по трем вопросам, которые меня интересуют? Черт с ним, с правом на ношение оружия, как насчет права носить Google Glass?

Восприятие и познание уже не будут выполняться в голове индивида. Как сейчас мы обращаемся к Google и интернету как к средствам протезирования памяти, так мы станем использовать системы искусственного интеллекта, связанные с миллионами машин и сенсоров, для протезирования восприятия.

Но стоит ли им верить? Обман уже не будет исключительной прерогативой людей. Правительства станут влиять на нашу картину мира посредством инструментов, которые мы используем для усовершенствования восприятия, точно так же как Китай осуществляет цензуру результатов поиска, а рекламодатели на Западе предлагают вам продукты сообразно вашим прежним запросам и посещениям страниц. Как еще можно будет содержать такую систему?

Я мыслю, следовательно, я ИИ

Даниэль Хиллис

Изобретатель, специалист по теории вычислительных систем, сопредседатель и руководитель технического отдела Applied Minds, Inc; автор книги «Узор на камне» (The Pattern on the Stone)

Мыслящие машины будут мыслить самостоятельно. Расти, расширяться — это в природе как разума, так и самого знания.

Подобно нам, мыслящие машины, которые мы создадим, будут амбициозными, жаждущими силы и мощи — как физической, так и вычислительной, но лучше нас смогут разглядеть то, что скрыто в тени эволюции. Наши мыслящие машины будут умнее, чем мы, а машины, которые разработают они, — еще умнее. Но что это означает? Как все до сих пор работало? Мы уже давно создаем амбициозные полуавтономные конструкции: правительства, корпорации, неправительственные организации. Изначально предполагалось, что они послужат нам и общему благу, но мы не настолько хорошие инженеры, и они выработали собственные цели. В долгосрочной перспективе цели организации никогда точно не совпадают с намерениями ее создателей.

Ни один разумный руководитель не считает, что его корпорация рационально оптимизирует прибыль своих акционеров. Ни одно государство не работает исключительно в интересах собственных граждан. Демократические режимы служат корпорациям намного эффективнее, чем отдельным людям. И все же наши организации продолжают приносить нам пользу — они просто делают это неидеально. Без них мы бы не смогли прокормить себя, по крайней мере, не все 7 миллиардов. Как не смогли бы построить компьютер или провести всемирные дебаты о мыслящих машинах. Мы стали зависеть от мощи созданных нами организаций, хотя они и разрослись настолько, что мы не можем ни полностью их понять, ни полностью контролировать. То же самое будет с мыслящими машинами, только в большем объеме. Наши экологические, социальные и экономические проблемы настолько серьезны, что могут привести к вымиранию. Наши мыслящие машины — больше чем метафоры. Вопрос заключается не в том, станут ли они достаточно сильны, чтобы суметь навредить нам (да, станут), или будут ли они всегда действовать только в наших интересах (нет, не будут), а в том, помогут ли они нам в долгосрочной перспективе найти собственный путь, по которому мы выйдем из континуума «панацея/апокалипсис».

Я говорю об умных машинах, которые создадут еще более умные машины, как о наиболее важной инженерной задаче всех времен. Подобно нашим биологическим детям, наши мыслящие машины переживут нас. Им также нужно будет стать лучше нас, для чего нам придется заложить в них ценности, которые делают нас людьми. Это сложная инженерная задача, и нам надо решить ее правильно.

Каким будет место человека?

Пол Саффо

Специалист по технологическому прогнозированию; консультирующий адъюнкт-профессор Стэнфордского университета

Вероятность того, что мир будут населять сильные ИИ, пугает меня. Вероятность того, что в мире не будет сильного ИИ, меня тоже пугает. Десятилетия технологических инноваций создали настолько многообразный и динамичный мир, что человеку становится все сложнее его понимать, а еще сложнее — управлять им. Если мы хотим избежать цивилизационной катастрофы, то нам понадобится нечто большее, чем новые умные инструменты, — нам понадобятся союзники и товарищи.

Так называемые слабые системы ИИ известны уже несколько десятилетий. Одновременно вездесущие и невидимые, слабые ИИ создают предметы искусства, управляют промышленными системами, пилотируют коммерческие авиарейсы, контролируют движение в час пик, говорят, что нам смотреть и покупать, решают, получим ли мы приглашение на собеседование, и играют роль свахи для одиноких сердец. Добавьте сюда неуклонный прогресс технологий в области обработки данных, сенсоров и алгоритмов, и вам станет ясно, что сегодняшние слабые ИИ уже стоят на пути к миру сильного ИИ. Задолго до того, как появятся сверхразумы, эволюционирующим ИИ придется выполнять задачи, которые когда-то казались немыслимыми: от стрельбы из различных видов оружия до формирования политики.

Между тем сегодняшние формы искусственного интеллекта способны многое нам рассказать о будущем взаимодействии человека и машины. Слабые ИИ могут не обладать даже интеллектом кузнечика, но это не помешает нам вести с ними задушевные беседы и расспрашивать их о делах. Предполагать наличие сознания при малейших признаках жизни — в нашей природе. Как когда-то наши предки населяли свой мир эльфами, троллями и ангелами, так же и мы охотно ищем себе спутников в киберпространстве. Это еще один стимул, приближающий создание сильного ИИ, — нам хочется с кем-то поговорить. Результатом вполне может стать то, что первый не-человеческий разум, с которым мы встретимся, будет принадлежать не «зеленым человечкам» и не мудрым дельфинам, а существам, изобретенным нами.

Мы, конечно, будем давать искусственным интеллектам чувства и права, — а в какой-то момент они этого потребуют. Во времена Декарта животные считались просто машинами: скулящая собака ничем не отличалась от шестеренки, которая визжит, потому что ее надо смазать. В прошлом году аргентинский суд наделил правами орангутанов, назвав их «не-человеческими личностями». Задолго до появления сильного ИИ люди начнут относиться с такой же эмпатией к цифровым сущностям и обеспечат их правовой статус.

Быстрое развитие искусственного интеллекта также меняет наше понимание того, что такое разум. Наши взаимодействия со слабыми ИИ приведут к тому, что мы поймем: разум — это континуум, а не некий рубеж. Несколько лет назад японские исследователи продемонстрировали, что слизистая плесень может пройти по лабиринту, чтобы добраться до вкусного кусочка пищи. В прошлом году ученый из Иллинойса показал, что при подходящих условиях капля масла способна найти выход из лабиринта, чтобы добраться до кислотосодержащего геля, причем ведет себя практически как живая. Когда искусственный интеллект еще глубже проникнет в нашу жизнь, мы обнаружим, что скромные цифровые сущности, как и большая часть природного мира, несут в себе искру сознания. А от этого — лишь один маленький шажок до предположения, что деревья или камни (или ИИ) мыслят.

В конечном счете самый большой вопрос состоит не в том, появятся ли когда-нибудь искусственные сверхразумы. Вопрос скорее в том, каким будет место человека в мире, где численность автономных машин растет в геометрической прогрессии. Ботов в Сети уже больше, чем пользователей-людей. То же самое скоро будет и в материальном мире. Как предостерег нас однажды лорд Дансени: «Если мы слишком сильно изменимся, то можем и не найти своего места во Вселенной».

Великая афера искусственного интеллекта

Дилан Эванс

Основатель и генеральный директор Projection Point; автор книги «Оценка риска» (Risk Intelligence)

Умным людям часто удается избежать когнитивных ошибок, от которых страдают менее одаренные личности. Но есть виды глупости, поражающие только очень умных. Беспокойство по поводу опасности враждебного искусственного интеллекта — ярчайший тому пример. Озабоченность рисками, которые могут создаваться сверхразумными машинами, — это привычный «интеллектуальный фастфуд» умного человека.

Я это не к тому, что сверхразумные машины не представляют никакой угрозы для человечества. Просто есть много других актуальных и куда более вероятных рисков, с которыми нам придется столкнуться в этом веке. Люди, обеспокоенные перспективой появления враждебного искусственного интеллекта, склонны утверждать, что прочие риски уже давно широко обсуждаются и, хотя вероятность быть уничтоженными сверхразумными машинами довольно мала, нам непременно следует выделить определенные интеллектуальные ресурсы на то, чтобы предотвратить это событие, учитывая экзистенциальный характер угрозы.

Неслучайно, что проблема именно с такой аргументацией впервые была обозначена наиболее ярыми энтузиастами. С ней связано кое-что, называемое «ограблением Паскаля» по аналогии со знаменитым «пари Паскаля». К Паскалю подходит грабитель и предлагает сделку: в обмен на то, что философ отдаст свой кошелек, он на следующий день вернет ему вдвое большую сумму. Паскаль колеблется. Тогда грабитель начинает предлагать ему все большее вознаграждение, утверждая, что для сколь угодно малой вероятности возврата большой суммы денег (или чистой выгоды) существует ее конечное значение, что делает подобное пари рациональным, и любой разумный человек должен признать, что существует по крайней мере небольшая вероятность реализации такой сделки. Этим грабитель наконец убеждает Паскаля, и тот отдает свой кошелек.

Этот мысленный эксперимент обнаруживает слабость теории принятия решений. Если мы просто подсчитываем выгоды по классической схеме, то все выглядит так, как будто другого решения у задачи нет: рациональный Паскаль должен отдать свой кошелек. Аналогично если существует хотя бы малейшая вероятность появления враждебного искусственного интеллекта или малейшая вероятность предотвращения такого события, то разумно будет вкладывать хотя бы небольшие ресурсы в устранение угрозы.

Легко сделать так, чтобы цифры сошлись, особенно если выдумать миллиарды воображаемых будущих людей (возможно, существующих только в виде ПО, какая малозначительная деталь!), которые живут миллиарды лет и способны быть невообразимо счастливее, чем жалкие нынешние люди из плоти и крови. Когда на кону столь значительная выгода, кто станет скупиться на несколько миллионов долларов, чтобы предпринять хоть какие-то меры, даже если шансы на успех ничтожны?

Почему некоторые разумные в иных случаях люди попадаются на такие уловки аферистов? Я думаю, потому, что они играют на человеческом нарциссизме. Считать себя одним из немногих дальновидных мыслителей, которые могут оказаться спасителями нашей цивилизации, должно быть, очень приятно. Но у этого вопроса также есть и материальная сторона. Он обеспечивает тем, кто им занимается, хороший источник дохода. Ведь за последние несколько лет этим людям удалось убедить некоторых состоятельных меценатов не только в том, что риск появления враждебного искусственного интеллект реален, но также и в том, что именно они лучше всего справятся с устранением угрозы. Результат этого — появление целого выводка организаций, которые отвлекают благотворителей от проблем, заслуживающих большего внимания. Следует отметить, к примеру, что GiveWell — некоммерческая структура, которая оценивает эффективность расходования средств организациями, деятельность которых основана на пожертвованиях, — отказывается поддерживать этих самопровозглашенных стражей Галактики.

Но как только некий вопрос становится модным, всегда стоит спросить себя: «Cui bono?» Кому выгоден, говоря по существу, рост доверия к такого рода идеям? Не нужно быть особым скептиком, чтобы разглядеть, чьи экономические интересы стоят на кону. Не так страшны мыслящие машины, как их самозваные хозяева.

Шансы в пользу искусственного интеллекта

Энтони Агирре

Адъюнкт-профессор физики Калифорнийского университета в Санта-Крузе

Я считаю крайне невысокой вероятность появления в ближайшем будущем неспециализированного искусственного интеллекта — под этим я подразумеваю ИИ, который может формулировать абстрактные понятия, основываясь на опыте, рассуждать и строить планы на базе этих понятий, а также предпринимать действия, исходя из полученных результатов. У нас есть всего один пример возникновения научно-технического интеллекта, и это происходило в течение жизни миллионов поколений обрабатывающих информацию субъектов, взаимодействовавших с необыкновенно богатой средой в окружении других, тоже эволюционировавших субъектов.

Подозреваю, что существует множество затейливо взаимосвязанных, иерархически выстроенных уровней системы, от субнейронного уровня до мозга в целом. Мне кажется, что воспроизведение эффективно работающего интеллекта, прошедшего через эволюционное развитие, в некоем искусственном субъекте едва ли потребует меньшего объема вычислений, чем потребовалось эволюции, а это значительно превосходит наши возможности в ближайшие несколько десятилетий с учетом экспоненциального роста вычислительной мощности по закону Мура, даже если допустить, что мы знаем, как верно использовать эту мощность.

Я считаю, что вероятность возникновения неспециализированного искусственного интеллекта в течение следующих 10 лет равна 1 %, а в течение 30 лет — около 10 % (это, в принципе, отражает также и вероятность того, что мой расчет неверен, умноженную на вероятность, которую дают эксперты в области ИИ, склонные, хоть и со значительным разбросом, давать более высокие шансы).

При этом я склонен высоко оценивать вероятность того, что если неспециализированный искусственный интеллект все-таки будет создан (а тем более создан относительно быстро), то он окажется — одним словом, безумным. Разум человека удивительно сложен, но он проходил боевые испытания в течение многих веков эволюции в различных экстремальных условиях и обрел (относительную) устойчивость. Первые неспециализированные ИИ вряд ли будут настолько же отточенными. Подобно людям, специализированные ИИ, вероятно, станут более неспециализированными благодаря тому, что ученые склепают вместе разные компоненты (например, обработку зрительных образов или текста, манипуляции с символами, оптимизацию алгоритмов и т. д.), а также еще не созданные пока системы для более эффективного обучения, восприятия абстрактных понятий, принятия решений и т. д.

Учитывая текущие тенденции в этой области, многие из форм неспециализированного ИИ будут похожи на не до конца понятное нам глубинное обучение или подобные ему системы, которые эффективны, но в каком-то смысле загадочны. Полагаю, что поначалу в неспециализированных ИИ едва ли все составные части будут работать слаженно. Поэтому я не считаю высокой вероятность того, что первые мыслящие машины станут делать именно то, чего мы от них хотим.

В таком свете довольно неоднозначным выглядит вопрос о том, приведет ли появление неспециализированного искусственного интеллекта к быстрому возникновению сверхразумного интеллекта. Все больше специалистов согласны с тем, что создание первого, в сущности, подразумевает скорое появление второго. Хотя я в целом тоже согласен с этим, добавлю одну оговорку: искусственный интеллект в своем развитии может на какое-то время застопориться на почти человеческом уровне, устойчивые формы появятся не сразу, а неспециализированный ИИ даже при некоторой нестабильности должен работать на достаточно высоком уровне, чтобы начать самостоятельно совершенствоваться.

Ни один из вариантов не выглядит слишком уж оптимистичным. Сверхразум, который появится в определенный момент, все же может обладать различными недостатками, даже если будет эффективно справляться с поставленными задачами. Эта догадка, наверное, не сильно отличается от различных сценариев, где сверхразум идет вразнос (прихватывая с собой и нас) из-за отсутствия у него того, что часто называют здравым смыслом. Но здравый смысл — в некотором роде синоним устойчивости, выработавшейся у нас в ходе развития эволюционной и социальной экосистемы.

Так что даже если до возникновения неспециализированного ИИ еще очень далеко, я настроен достаточно пессимистично относительно тех вещей, которые якобы должны случиться сами собой, стоит им у нас появиться. Надеюсь, что я ошибаюсь, но время покажет. (Я не думаю, что мы можем — или что нам в принципе сто́ит — остановить развитие искусственного интеллекта. Он будет способен сделать множество великолепных дел.)

При этом я надеюсь, что по пути к неспециализированному ИИ ученые хорошенько подумают, как значительно снизить вероятность того, что все пойдет не по плану. Я очень расстраиваюсь, когда слышу в контексте, где ставки чрезвычайно высоки, что-то вроде: «Думаю, что произойдет X, так что меня не особо волнует Y». Можно так рассуждать, только если ваша уверенность в X достаточно высока, а Y не суперважен. Но когда вы говорите о том, что может коренным образом повлиять на будущее человечества (или на сам факт его существования), 75 %-ной уверенности недостаточно. Равно как недостаточно 90 %-ной или 99 %-ной! Мы бы никогда не построили Большой адронный коллайдер, если бы существовал 1 % вероятности (не говоря уже о 10 процентах) того, что он действительно породит черные дыры, которые поглотят мир, — наоборот, у нас были совершенно убедительные аргументы против этого. Давайте посмотрим, есть ли такие же аргументы в пользу того, чтобы не беспокоиться по поводу неспециализированного ИИ, и если их не будет, то создадим его.

Новая мудрость тела

Эрик Тополь

Профессор геномики; директор Скриппсовского института междисциплинарных исследований; автор книги «Пациент теперь видит вас» (The Patient Will See You Now)

В 1932 году Уолтер Кеннон опубликовал свою выдающуюся работу по физиологии человека — «Мудрость тела» (The Wisdom of the Body). Он описал тесную взаимосвязь множества параметров нашего тела, таких как гидратация, уровень глюкозы и натрия в крови, температура. Гомеостаз, или ауторегуляция, — это замечательное средство, с помощью которого мы сохраняем здоровье. В самом деле, в наших телах есть что-то от машин, когда они так точно регулируют эти важные функции.

Прошло почти столетие, и мы теперь готовы к следующей версии — «Кеннон 2.0». Хотя некоторые выражают заметное беспокойство по поводу развития искусственного интеллекта, он необычайно сильно повлияет на наш контроль над здоровьем. Мы быстрыми темпами идем к тому, чтобы стать киборгами, хирургическим путем связанными со своими смартфонами. Хотя их и называют протезами мозга, «умные» телефоны сегодня — это лишь далекие предвестники того, что нас ждет в будущем. Очень скоро важные медицинские показатели станут измеряться носимыми сенсорами, выполненными в виде пластырей или кулонов. Это будет не просто разовый анализ, но постоянная потоковая обработка в реальном времени, сбор данных, которыми мы никогда раньше не располагали.

Помимо основных жизненных показателей (артериального давления, сердечного ритма, уровня кислорода в крови, температуры, частоты дыхания), будет даваться цифровая оценка настроения и уровня стресса посредством измерения интонации и оттенка голоса, кожно-гальванического рефлекса и вариабельности сердечного ритма, распознавания выражения лица и отслеживания движений и коммуникаций. Добавим сюда анализ веществ, содержащихся в выдыхаемом воздухе, поте, слезах и кале. Еще один уровень данных будет включать такие сведения о внешней среде, как качество воздуха и содержание пестицидов в пище.

Никто из нас — или наших тел — не умен настолько, чтобы отслеживать и обрабатывать всю информацию такого рода. Это работа для глубинного обучения с алгоритмами обратной связи, подключенными к нашим мобильным устройствам. Того, о чем я говорю, пока не существует. Ничего подобного еще не разработано, но это дело времени. И у нас появится нечто ранее недостижимое: многоуровневая информация о нас самих и — впервые в истории — реальная возможность предупредить болезнь.

Практически любую патологию, у которой есть острая фаза, к примеру астму, эпилепсию, аутоиммунные заболевания или сердечный приступ, можно будет спрогнозировать и предотвратить с помощью искусственного интеллекта и медицинского интернета вещей. Уже разрабатываются браслеты, способные обнаруживать признаки неизбежного эпилептического припадка, — это можно рассматривать как первый зачаточный этап. В не столь отдаленном будущем вы будете получать СМС или голосовое сообщение с точным списком того, что и как вам следует сделать, чтобы предотвратить развитие серьезной патологии. Придет время, и те, кто боится искусственного интеллекта, могут вдруг полюбить его. Когда мы объединим большие данные об одном человеке с необходимыми контекстуальными вычислениями и анализом, то получим рецепт опосредованной машиной медицинской мудрости.

От обычного «я» к искусственному «я»

Роджер Хайфилд

Директор отдела по внешним связям Science Museum Group; автор, совместно с Мартином Новаком, книги «Суперкооператоры» (Supercooperators)

Десятки лет футурологи беспокоились по поводу возможного наступления того рокового момента, когда электронные мозги и роботы станут настолько же умными, как мы. Такое разделение на «мы» и «они», когда машины и люди представляются отдельно друг от друга, довольно распространено. Но, поскольку мы без конца рассуждаем о том, что́ подразумеваем под человеческим сознанием, а также о возможностях и рисках полностью искусственного разума, существует еще одна возможность, которая заслуживает того, чтобы уделить ей больше внимания.

Миллионы примитивных киборгов уже ходят среди нас. Последние десять лет люди постепенно сливаются с такими устройствами, как кардиостимуляторы, контактные линзы, инсулиновые помпы, кохлеарные и ретинальные импланты. Вживляемые в мозг нейростимуляторы помогают смягчить симптомы заболевания десяткам тысяч пациентов с болезнью Паркинсона.

Этим вряд ли кого-то можно удивить. С тех пор как первые люди взялись за палки и кремни и начали использовать инструменты, мы постоянно дополняем себя. Пройдитесь по собраниям Science Museum Group, состоящим из миллионов вещей — от различных двигателей до смартфонов, и вы увидите, что люди всегда использовали технические достижения. Так что появление еще более умных машин не означает, что в мире должен будет остаться кто-то один, мы или они, — их появление означает развитие человеческих возможностей.

Сейчас ученые разрабатывают экзоскелеты, которые помогут инвалидам ходить, импланты, которые позволят парализованным управлять протезами конечностей, и цифровые татуировки, которые будут снимать физиологические показатели или же использоваться как интерфейс для связи с нашим окружением, например с «облаком» или интернетом вещей.

Если говорить о мыслящих машинах, то некоторые специалисты даже исследуют возможное усиление умственных способностей с помощью электронных плагинов и других «примочек». Управление перспективных исследований и разработок Министерства обороны США (DARPA) запустило программу «Восстановление активной памяти», призваннyю исправлять повреждения мозга с помощью средств нейропротезирования, которые обнаруживают потерю памяти и восстанавливают нормальную работу мозга. На данный момент они работают совсем не так, как наши мозги, но, благодаря таким инициативам, как «Программа по исследованию мозга человека» (Human Brain Project) и «Виртуальная физиология человека» (Virtual Physiological Human), а также ряду других проектов по исследованию мозга и нейроморфизму, ИИ со временем могут стать больше похожими на нас. При этом уже были попытки использования искусственно выращенных нервных клеток для управления роботами, авиасимуляторами и т. п.

В результате такого постепенного развития трансгуманизма через несколько десятилетий трудно будет разделить человека и мыслящую машину. В какой-то момент многие из нас перестанут полагаться только на машины из плоти у нас в головах, чтобы поразмышлять о будущем электронных машин, способных думать. Субстрат мысли будущего находится в определенной точке континуума, где-то между обычным «я» и искусственным «я».

Нам нужНо нечто большее, чем мышление

Гордон Кейн

Специалист по теоретической физике частиц, космолог; заслуженный преподаватель в Мичиганском университете; автор книги «Суперсимметрия: От бозона Хиггса к новой физике» (Supersymmetry and Beyond)[54]

Что я думаю о мыслящих машинах? В целом я рад тому, что они есть и что они становятся лучше. Конечно, существует опасность, что такие машины будут принимать пагубные решения, но она, вероятно, не больше, чем опасность подобных решений, принимаемых людьми.

Если у нас и будут такие машины, это не даст ответов на те вопросы о мире, которые для меня и для многих других важнее всего. Из чего состоит темная материя Вселенной? Действительно ли суперсимметрия — это симметрия природы, которая необходима для формирования и развития нашей крайне популярной Стандартной модели физики элементарных частиц? На эти и подобные им вопросы можно ответить, только имея эмпирические данные. Никакие размышления тут не помогут.

Возможно, учитывая всю имеющуюся у нас информацию о природе, некая машина действительно найдет верные ответы; не исключено, что кто-то из физиков уже пришел к этим ответам. Но подлинное назначение данных состоит в том, чтобы подтверждать правильность тех или иных ответов. Если какой-то ученый или какая-то машина их найдет, то у них не будет другого способа убедить всех в правильности своих ответов. Детекторы темной материи, или Большой адронный коллайдер ЦЕРН, или, может, проектируемый китайский коллайдер способны дать нужные данные, но не мыслящая машина.

А туда ли мы идем?

Скотт Атран

Антрополог, Национальный центр научных исследований, Париж; автор книги «Разговаривая с врагом: Религиозный экстремизм, священные ценности и что значит быть человеком» (Talking to the Enemy: Violent Extremism, Sacred Values, and What It Means to Be Human)[55]

Машины способны превосходно имитировать некоторые виды человеческого мышления и последовательно превосходить людей в каких-то интеллектуальных задачах, но, как принято думать, не всегда правильно понимают нас, потому что обрабатывают информацию совсем по-другому, если говорить об области творческих способностей человека.

Машины научились точно имитировать кое-какую нашу разумную деятельность, результаты которой фиксированы (запоминание любимых фильмов конкретных людей, узнавание известных объектов) или динамичны (управление самолетом, игра в шахматы на уровне гроссмейстера). Машины могут превосходить человеческие мыслительные процессы быстро и без усилий в простых задачах (запоминание бесконечно большого числа телефонных номеров) и в сложных (обнаружение на основе анализа триллионов глобальных коммуникаций социальных сетей, члены которых и не знают о том, что они — часть сети).

Хоть сейчас эти технологии развиты довольно слабо, я не вижу принципиальных препятствий для того, чтобы машины, работающие без прямого управления человеком, начали учиться на ошибках людей — или на своих собственных — и, таким образом, эволюционировать, создавать новые формы искусства и архитектуры, добиваться успехов в спорте (своеобразное сочетание Deep Blue и Оскара Писториуса), изобретать новые лекарства, замечать таланты и использовать возможности образования, осуществлять контроль качества или даже конструировать оружие, способное уничтожать людей, но не другие машины.

Но, как мне кажется, при сохранении текущего приоритета в области искусственного интеллекта и нейробиологии, то есть достоверного определения паттернов, связей и фиксации как функции от прошлых связей и будущих вероятностей, машины вряд ли когда-нибудь смогут копировать (имитировать) критико-созидательный процесс человеческого мышления, включая формирование новых гипотез в науке или даже обычную речь.

Законы механики Ньютона или идеи Эйнштейна об относительности — это представления об идеальных мирах, не имеющих аналогов в прошлом или в возможном будущем, например движение в мире без силы трения или погоня за лучом света в вакууме. Подобные мысли требуют таких уровней абстракции и идеализации, которые скорее пренебрегают большими объемами информации, а не учитывают их.

Все более сложные и эффективные модели обработки огромных массивов информации с помощью суперкомпьютеров, постоянно обновляющиеся байесовские вероятности и прочие статистические данные, основанные на степени уверенности в состояниях природы, вполне могут делать все лучшие предложения и переводы или генерировать приятные мелодии и новомодные ремиксы. Таким образом, машины способны приблизиться с помощью своеобразного обратного проектирования к тому, что наши дети или эксперты делают с легкостью — при наличии относительно хорошо сформулированных внутренних структур, используемых, чтобы извлекать значимую информацию из мира, который в противном случае был бы нестерпимо шумным. Люди с самого начала знают, что именно они ищут в нем. В известном смысле они находят это еще до того, как начинают искать. Вычислительные машины никогда не будут так делать.

Могут ли машины, работающие без прямого управления человеком, последовательно взаимодействовать с людьми таким образом, чтобы те думали, будто взаимодействуют с живым собеседником? Машины способны приблизиться к человеческим возможностям на исчезающе малую дистанцию во многих областях, а во многих других — превзойти нас. Но равно как у самого искусного афериста всегда есть опасность, хоть и небольшая, оказаться уличенным в обмане, в то время как честного человека уличить не удастся, так и ассоцианистско-коннекционистская машина, работающая на стохастических, а не структурозависимых принципах, никогда не сможет достаточно хорошо разобраться в разуме или чувствах.

В принципе, машины с более сложной структурой — с чем-то еще, кроме read, write и address, — можно построить (более того, первые энтузиасты искусственного интеллекта создали логический синтаксис), они будут взаимодействовать с определенными ошибками, поскольку без ошибок нет обучения, и культурно эволюционировать. Но сейчас основное внимание ИИ и нейробиологии, которая должна заменить утверждения об абстрактных психологических структурах осязаемыми нейронными сетями и тому подобным, похоже, направлено совсем не туда.

Напротив, когнитивные структуры, о существовании которых уверенно говорят психологи (при условии, что те должным образом описаны, убедительно объяснены и эмпирически проверены с привлечением альтернативных гипотез и нулевой гипотезы), должны быть отправной точкой в том, чтобы определить, что именно надо искать нейробиологии и машинным моделям разума. Если в результате мы обнаружим, что различные абстрактные структуры работают на одном и том же физическом субстрате или что схожие структуры работают на различных субстратах, это будет значить, что у нас есть интересная проблема, способная привести к пересмотру понимания и структуры, и субстрата. Тот факт, что такие простые и основополагающие вопросы оказываются настолько сложны (или даже априори исключены из научной проблематики), демонстрирует, насколько примитивна еще наука о разуме — хоть о человеческом, хоть о машинном.

Две когнитивные функции, которых все еще нет у машин

Станислас Деан

Когнитивист, нейрофизиолог, Коллеж де Франс, Париж; автор книги «Сознание и мозг» (Consciousness and the Brain)

Когда Тьюринг придумал теоретический аппарат, который стал впоследствии компьютером, то признал, что пытался скопировать «человека в процессе вычисления действительного числа», о чем написал в своей исторической работе 1936 года{8}. В 2015 году изучение человеческого мозга все еще остается лучшим источником идей по поводу мыслящих машин. Когнитивисты открыли две функции, обладающие — я утверждаю это — огромной значимостью для подлинного мышления в том виде, в котором мы его знаем, и до настоящего момента не привлекавшие внимания программистов.

1. Глобальное рабочее пространство. Нынешние программы, в сущности, устроены по модульному принципу. Каждая работает как самостоятельное «приложение», начиненное собственными специальными знаниями. Подобная модульность позволяет достигать рациональной параллельности задач; мозг тоже построен по модульному принципу, но он может и распределять информацию. Все, что мы видим, слышим, знаем и помним, не оседает в каком-то одном специализированном нейронном контуре. Напротив, мозг млекопитающего включает систему широкого распределения информации, которая сглаживает эффект модульности разных областей мозга и обеспечивает возможность передачи любых данных. Глобальное рабочее пространство позволяет нам, например, обратиться к определенной информации на нашей сетчатке, скажем к графическому изображению буквы, и довести до сознания то, что мы можем использовать это для принятия решений, выполнения действий или продуцирования речи. Представьте себе новый тип буфера обмена, который позволил бы любым двум программам произвольно передавать друг другу информацию без вмешательства пользователя. Мы назовем машину разумной, когда она будет не только знать, как выполнять определенные действия, но и знать о том, что она это знает, то есть использовать информацию универсально, шире области видимости конкретного ПО, которое изначально ее получило. У операционной системы, настолько раздробленной на модули, что она может точно указать ваше местоположение на карте, но не способна ввести ваш адрес в приложении, формирующем налоговую декларацию, в соседнем окне, нет глобального рабочего пространства.

2. Модель психического. Когнитивисты открыли второй набор нейронных контуров, предназначенный для репрезентации чужих разумов — того, что другие люди думают, знают или во что они верят. Если мы не страдаем от заболевания, называемого аутизмом, то постоянно следим за другими людьми и приспосабливаем наше поведение к их уровню знаний, иначе говоря, к тому, что знают они (как нам кажется). Такая модель психического — это еще один важнейший элемент, которого нет у современных программ, — возможность следить за ходом мысли человека. У программ будущего должна появиться собственная модель репрезентации пользователя. Хорошо ли ему видно экран? Может, надо увеличить шрифт? Есть ли какие-нибудь данные, свидетельствующие о том, что сообщение заметили и поняли? Даже минимальная симуляция этого мгновенно создаст сильное впечатление того, что машина «мыслит». Вот почему для достижения релевантности (понятие, впервые описанное когнитивистом Дэном Шпербером) требуется модель психического. В отличие от современных компьютеров, люди не произносят совершенно нерелевантных реплик, потому что следят за тем, как действует на собеседника то, что они говорят. Навигатор сообщает вам: «На следующем перекрестке с круговым движением сверните во второй съезд направо» — и выглядит глупо, потому что не знает, что сообщение «Езжайте прямо» было бы гораздо более компактным и релевантным.

Глобальное рабочее пространство и модель психического — это две важнейшие функции, которыми обладает даже ребенок в возрасте одного года, а у наших машин их нет. Любопытно, что у двух этих функций есть кое-что общее: многие когнитивисты считают их ключевыми компонентами человеческого разума. Глобальное рабочее пространство дает нам «сознание 1.0» — тот вид ощущений, что есть у всех млекопитающих, который позволяет им «знать, что они знают» и, следовательно, универсально пользоваться информацией, направляющей их решения. Модель психического — это скорее чисто человеческая функция, которая обеспечивает нам «сознание 2.0» — ощущение того, что́ мы знаем, в сравнении с тем, что́ знают другие люди, и способность моделировать их мысли, в том числе и о нас, а следовательно, по-новому ощущать, кто есть мы.

Вот мой прогноз: когда машина станет учитывать, что знает она и что знает пользователь, мы незамедлительно назовем ее мыслящей, потому что ее образ действий будет уже мало отличаться от нашего.

Пространство для развития индустрии программного обеспечения огромно. Подход к построению операционных систем в будущем придется серьезно пересмотреть, чтобы включить в них такие возможности, как распределение данных между различными приложениями, моделирование образа мысли пользователя и управление средствами отображения данных сообразно предполагаемым целям пользователя.

Среди машин, а не внутри них

Мэтт Ридли

Научный журналист; учредитель Научного центра жизни; автор книги «Рациональный оптимист» (The Rational Optimist: How Prosperity Evolves)[56]

Что я думаю по поводу мыслящих машин, так это то, что все мы до сих пор упускаем из виду самое главное. Подлинный преобразующий гений человека — вовсе не отдельный разум, а коллективный, совместный и распределенный интеллект; это тот факт (на который первым указал либертарианец Леонард Рид), что нужны тысячи людей для того, чтобы сделать обычный карандаш, и ни один из них сам по себе не знает, как сделать карандаш. Человечество превратилось в господствующий над миром техниум[57] не из-за какого-то изменения в головах людей, а из-за изменений среди них — из-за изобретения обмена и специализации. Это был сетевой эффект.

Мы понятия не имеем о том, чего могли бы добиться дельфины, осьминоги или вороны, если б их мозги были объединены в подобную сеть. И наоборот, если бы люди остались главным образом автономными индивидуумами, то так и продолжали бы жить как немногочисленные охотники-собиратели, целиком зависящие от своей среды обитания; это, очевидно, и делали обладавшие большим мозгом неандертальцы, пока совсем не исчезли. Человечество преобразовало объединение интеллектов в сети, произведенное магической силой разделения труда, — этот трюк впервые удалось проделать в малом масштабе в Африке около 300 000 лет назад, а затем он во все большем масштабе и с возрастающим темпом осваивался в течение нескольких последних тысячелетий.

Вот почему успехи интеллекта у компьютеров были так печально малы, пока те оставались отдельными машинами, но, как только появился интернет, начали происходить замечательные события. Влияние машинного интеллекта будет сильнее всего заметно среди машин, а не внутри них. Уже ясно, что интернет — это подлинный машинный разум. В будущем сетевые феномены, такие как блокчейн — технология, на которой основаны криптовалюты, могут оказаться источником наиболее оригинальных примеров машинного разума.

Еще один тип многообразия

Стивен Косслин

Психолог; основатель и декан Школы Minerva (факультет прикладной психологии), Академический институт Кека; автор, совместно с Уэйном Миллером, книги «Два игрока на одном поле мозга» (Top Brain, Bottom Brain)[58]

Многообразие не только политически целесообразно, оно также полезно. Неоднородная группа эффективно использует различные точки зрения и богатый набор идей и подходов для решения сложных проблем.

Искусственные интеллекты могут обеспечить еще один вид многообразия, тем самым обогатив всех нас. На самом деле неоднородность среди самих ИИ может оказаться важной составляющей тех выгод, которые нам даст сближение с ними. Нетрудно представить себя широкий перечень различных искусственных интеллектов, от тех, которые думают более или менее по-нашему («близкие ИИ»), до тех, чей образ мысли для нас пока непостижим («далекие ИИ»). Из взаимодействия с разными типами искусственного интеллекта мы будем извлекать различные выгоды.

Во-первых, «близкие ИИ» могут нам непосредственно помогать в наших делах. Если эти формы искусственного интеллекта и в самом деле думают так же, как мы, то появившиеся среди них интеллектуалы способны будут обнаружить, что переживают экзистенциальный кризис. Они могут задаться вопросом: «Для чего мы здесь? Только для того, чтобы потреблять электричество и создавать избыточное тепло?» Как многие люди, они могут решить, что им нужна цель. Одной из очевидных целей для таких искусственных интеллектов стало бы повышение сознательности и восприимчивости человечества. Это могло бы быть их raison d’être[59]. Пространство для развития огромно, а наши проблемы настолько запутанны с научной точки зрения, что распутать их можно, только приложив огромные усилия. По крайней мере, некоторые из этих ИИ станут измерять свои достижения по нашим достижениям.

Во-вторых — и это, наверное, более интересно, — глубокие различия между тем, как мыслят некоторые ИИ, и тем, как мыслят люди, способны помочь разобраться с нашими вековыми проблемами опосредованно. Рассмотрим известное утверждение Витгенштейна о том, что, если бы лев умел говорить, мы бы его не поняли. Витгенштейн имел в виду, что у львов и людей разные «формы жизни», которые определили их концептуальные структуры. Львы ходят на четырех ногах, охотятся на быстрых животных, часто перемещаются по высокой траве и т. д., тогда как люди ходят на двух ногах, имеют руки, часто манипулируют предметами для достижения определенных целей и т. д. Эти отличия в «формах жизни» приводят к тому, что у львов и людей ментальная репрезентация мира оказывается организована по-разному, так что, даже если бы львы пользовались словами, они отсылали ли бы к понятиям, непостижимым для людей. То же самое может быть верно для «далеких ИИ».

Чем они способны нам помочь? Даже простое наблюдение за такими ИИ даст нам глубокие фундаментальные знания. Например, люди долгое время спорили по поводу того, отражают ли математические понятия платоновские «идеи» (которые существуют независимо от того, как мы намерены их использовать) или же, напротив, отражают изобретения, которые создаются для решения определенных проблем. Другими словами, следует ли нам принять математический реализм или математический конструктивизм? Есть ли у математических понятий собственная жизнь или они всего лишь порождения нашего ума, сформулированные так, как нам удобно?

В этом контексте очень помогло бы наблюдение за «далекими ИИ», обладающими совсем другими, нежели у нас, концептуальными структурами и решающими совсем другие проблемы. Предположим, что мы сможем наблюдать за тем, как «далекие ИИ» используют математику; тогда, если они разработают те же понятия, что и мы, это будет аргументом против конструктивизма.

Одни искусственные интеллекты могут работать рядом с нами, а другие могут быть помещены в чуждую среду, например на поверхность Луны или на дно глубокой океанической впадины, и поставлены перед необходимостью решать оригинальные проблемы вроде всепроникающей мелкодисперсной пыли или огромного давления воды. «Далекие ИИ» следует создавать самообучаемыми, чтобы они могли эффективно эволюционировать и работать в своей среде без участия человека, вообще без контакта с ним. При соблюдении необходимых предосторожностей, связанных с отношением ИИ к нам, мы должны позволить им развить наиболее подходящие для них концептуальные структуры.

Короче говоря, мы что-то получим и от тех искусственных интелектов, что созданы по нашему образу и подобию, и от тех, что не похожи на человека. Так же, как в случае с друзьями-людьми и коллегами-людьми, в конечном счете многообразие пойдет на пользу всем.

Нарративы и наша цивилизация

Лука де Бьазе

Журналист; редактор газет Nova 24 и Il Sole 24 Ore

В понедельник 19 октября 1987 года волна биржевых продаж, начавшаяся в Гонконге, пересекла Европу и ударила по Нью-Йорку, вызвав падение индекса Доу — Джонса на 22 %. «Черный понедельник» стал одним из величайших падений в истории финансовых рынков, и было в нем кое-что особенное. Впервые, по мнению большинства экспертов, виноваты во всем оказались компьютеры: именно алгоритмы решали, когда и сколько покупать и продавать на бирже. Компьютеры должны были помочь трейдерам минимизировать риски, но в действительности увеличивали их, поскольку двигались все в одном направлении. В то время широко обсуждалась идея о прекращении автоматизированных торгов, но в итоге этого не случилось.

Напротив, мы наблюдаем обратную тенденцию: с момента кризиса доткомов в марте 2000 года компьютеры все больше участвуют в принятии сложных решений на финансовом рынке. Они теперь просчитывают всевозможные корреляции между невероятными массивами данных. Они анализируют эмоции, выражаемые людьми в интернете, распознавая значение слов; они находят паттерны и прогнозируют поведение; им позволено автономно выбирать сделки; они создают новые машины — ПО, называемые «деривативами», которые уже ни один человек не в силах понять.

Искусственный интеллект координирует действия своеобразного коллективного разума, работая в тысячи раз быстрее, чем человеческий мозг, и это влияет на нас множеством способов. Признаки последнего кризиса появились в Соединенных Штатах в августе 2007 года, и он произвел ужасное воздействие на жизнь людей в Европе и во всем мире. Многие чрезвычайно пострадали из-за принимаемых компьютерами решений. Эндрю Росс Соркин в своей книге «Слишком большие, чтобы рухнуть» (Too Big to Fail)[60] показал, что даже самые могущественные банкиры оказались бессильны перед последствиями кризиса. Ни один человеческий мозг, по-видимому, не мог управлять ходом событий, чтобы попытаться предотвратить кризис.

Может этот пример нас научить тому, как нужно думать о мыслящих машинах?

Они автономно осмысливают контекст и принимают решения. И они контролируют множество сфер жизни человека. Это ли не начало постчеловеческой эры? Нет, мыслящие машины — человеческие творения, они созданы инженерами, программистами, математиками, экономистами, менеджерами. Не являются ли они еще одним инструментом, который мы можем использовать во вред или во благо? Нет, на самом деле особого выбора у нас нет: мы создаем машины, не думая о последствиях, мы просто обслуживаем нарратив. Эти машины сформированы нарративом, который мало кто ставил под сомнение.

Согласно этому нарративу, рынок есть лучший способ распределение ресурсов, никакое политическое решение неспособно улучшить ситуацию, риском можно управлять, неограниченно увеличивая прибыли, а банкам должно быть позволено делать все, что они пожелают. Есть только одна цель и одно мерило успеха: прибыль.

Не машины изобретали финансовый кризис, о об этом нам напоминает биржевой крах 1929 года. Без компьютеров никто не справится со сложностью современных финансовых рынков. Лучшие искусственные интеллекты создавались усилиями лучших умов благодаря крупнейшим инвестициям. Они не находятся под управлением какого-то одного человека. Они не разработаны каким-то одним человеком. Они сформированы определенным нарративом и делают этот нарратив эффективнее. И он довольно ограничен.

Если имеет значение только прибыль, экстерналии[61] не важны. Культурные, социальные и экологические экстерналии не интересуют финансовые институты. Искусственные интеллекты, сформированные этим нарративом, создадут контекст, в котором люди не будут чувствовать никакой ответственности. И тут появляется риск: машины настолько могущественны и так хорошо обслуживают нарратив, что препятствуют тому, чтобы мы задавали вопросы по поводу общей картины, снижая тем самым вероятность появления новых точек зрения на существующие проблемы. Точнее, так происходит до очередного кризиса.

То же самое верно и для других проблем. Медицина, электронная торговля, национальная и международная безопасность, даже знакомства и обмен информацией стали территориями, где начинает работать тот же вид искусственного интеллекта. Он сформирован в соответствии с узким нарративом; он имеет склонность сводить к минимуму человеческую ответственность и не учитывает экстерналии. Каким окажется медицинский искусственный интеллект? Будет ли он сформирован нарративом, который стремится спасать жизни, или тем, что экономит деньги?

О чем нам это говорит? Это говорит нам о том, что искусственный интеллект — вещь человеческая, а не постчеловеческая и что люди могут уничтожить себя и свою планету множеством способов, из которых ИИ — еще не самый извращенный.

Умные машины сформированы человеческим образом мышления, а также тем, о чем люди недостаточно глубоко задумываются. Все нарративы освещают одни вещи и игнорируют другие. Машины реагируют и находят ответы в определенном контексте, подкрепляя тем самым его основные принципы. Но задавать фундаментальные вопросы — все еще человеческая функция. И люди никогда не устанут это делать, даже если их вопросы не согласуются с господствующим нарративом.

Без мыслящих машин нам, видимо, не обойтись во все усложняющемся мире. Но всегда будут разные нарративы, с помощью которых их можно формировать. В естественных экосистемах монокультура[62] уязвима, хоть и является более эффективным решением; подобным образом в культурной экосистеме единственная линия мышления даст эффективные, но хрупкие отношения между людьми и их средой, какие бы искусственные интеллекты люди ни строили. Многообразие в экосистемах и плюрализм мнений в человеческой истории — вот источники различных проблем и вопросов, генерирующих обильные результаты.

Думать о мыслящих машинах — значит думать о создающем их нарративе. Если новые нарративы возникают в рамках открытого, экологичного подхода, если они могут взрастить нейтральную сеть, то они сформируют новое поколение искусственных интеллектов — многообразных и готовых помогать людям в понимании экстерналий. Искусственный интеллект поставит под сомнение не существование человека как вида, но его цивилизацию.

Ответственность человека

Маргарет Леви

Директор Центра специальных исследований в области наук о поведении, Стэнфордский университет; заслуженный профессор факультета международных отношений, Вашингтонский университет

Есть такие задачи, даже профессии, с которыми лучше всего справляются мыслящие машины, — по крайней мере, это задачи, связанные с сортировкой, сопоставлением, принятием определенного рода решений и постановкой проблем, выходящих за пределы когнитивных возможностей большинства (всех?) людей. Алгоритмы Amazon, Google, Facebook и др. построены на основе коллективного разума, но превосходят его в быстродействии и, возможно, в точности. С машинами, способными выполнять за нас часть умственной и физической работы, мы приблизимся к марксистской утопии, освободившись от нудного и унижающего человеческое достоинство труда.

Но у свободы есть цена. Для благополучия людей мало заменить рабочих машинами. Важно и то, как те, кто потеряет работу, будут содержать себя и своих детей, как будут проводить появившееся время. Первую проблему потенциально можно решить внедрением безусловного базового дохода — ответ, который вызывает встречный вопрос: как мы, наши общества, распределяем и перераспределяем материальные блага и организуем самоуправление? Вторая проблема еще сложнее. Реальность, конечно, сильно отличается от марксистских представлений о рыбной ловле днем и философских размышлениях за ужином. Люди, а не машины, должны тщательно обдумывать образование, досуг и те виды работ, с которыми машины справляются плохо или не справляются вовсе. Хлеб и зрелища способны задобрить население, но в таком случае мыслящие машины могут создать общество, которого мы не желаем, — антиутопическое или безобидно-бездеятельное. Работа механизмов определяется их архитектурой; то же верно и для социума. И за нее отвечают люди, а не машины.

Есть еще вопрос о том, какими ценностями обладают машины и какому господину они служат. Многие — хотя и не все — решения предполагают наличие определенных убеждений и ценностей. Их машинам тоже придется их привить, а следовательно, они будут зависеть (по крайней мере, первоначально) от ценностей тех людей, которые их конструируют и управляют ими. «Беспилотники» создаются для того, чтобы атаковать и наблюдать — но кого атаковать и за кем наблюдать? Если у нас будут соответствующие машины, это поможет нам распространять грамотность и знания среди населения. Но кто определяет, чему именно мы будем учиться и что считать истиной? При поверхностном взгляде на проблему может показаться, будто децентрализованная конкуренция позволит нам самим выбирать, что учить и по какой программе. Но конкуренция скорее будет поддерживать существующие закоснелые убеждения и представления. Проблема заключается в том, как научить людей интересоваться конкурирующими парадигмами и думать так, чтобы верно их оценивать.

Мыслящие машины могут — и должны — взять на себя задачи, которые они выполняют лучше, чем люди. Освобождение от ненужной, унижающей человеческое достоинство работы долгое время было главной целью и основной движущей силой инноваций. Дополнить ограниченные способности людей в области анализа информации и принятия решений — задачи, в равной степени заслуживающие внимания. Однако, пусть искусственный интеллект и способен снизить познавательную нагрузку на людей, он не отменяет нашей ответственности за то, чтобы развивать свои мыслительные способности и выносить разумные суждения, основываясь на определенных ценностях и эмпатии. Мыслящие машины ставят нас перед необходимостью выработать новые системы подотчетности, а также социальной (то есть человеческой) ответственности за последствия, которые мы пока не можем предвидеть.

Усилители и исполнители человеческих решений

Д. А. Уоллак

Певец и автор песен; пионер социальных сетей; творческий сотрудник компании Spotify

На протяжении всей истории человечества мы как отдельные существа и как вид были подвержены воздействию сил природы на всех уровнях организации. Фундаментальные законы физики, непроницаемые тайны молекулярной биологии и громада естественного отбора очерчивали границы нашей сознательной жизни, и им удавалось это делать незримо — до последнего времени. Чтобы совладать с постоянным чувством бессилия, мы мифологизировали и природу, и собственный разум. Мы считали загадочные силы природы непогрешимыми — как будто они были богами, — а себя полагали бессильными, свободными лишь в узком пространстве наших жизней.

Когда же в центре внимания оказывается новая, научно обоснованная реальность, становится ясно, что природа к нам совершенно равнодушна и что если мы хотим избежать страданий и неминуемого вымирания, то должны взять на себя ответственность за свою экзистенциальную реальность. Мы должны осознать себя как случайных хранителей 37,2 триллиона клеток, из которых в среднем состоит человеческий организм, и как смотрителей все более управляемой Вселенной.

Этот подростковый опыт осознания будущей самостоятельности и лежит в основе нашего беспокойства по поводу мыслящих машин. Если старые боги умирают, то скоро наверняка должны появиться новые! В результате, как отметил Стивен Пинкер на недавней конференции Edge, нас мучают антиутопические кошмары про ИИ, которые «проецируют мещанскую психологию альфа-самца на представление об интеллекте»{9}. В этом смысле многие и говорят о нем как о неизбежном пришествии Спасителя или сатаны. Но искусственный интеллект, скорее всего, не станет ни тем, ни другим, если он вообще сформирует некую отдельную сущность.

Вероятнее всего, у совершенствующихся компьютеров и алгоритмов вообще не будет своего мнения, а сами они станут усилителями и исполнителями сознательных человеческих решений. Нас уже со всех сторон окружают большие данные и вычислительные машины, производительность которых растет в геометрической прогрессии, и все же мы упорно выполняем политические и социальные алгоритмы, работающие во вред общим интересам.

Источники нашей патологии — это в том числе внутренние когнитивные искажения, племенное эволюционное наследие и несправедливое распределение власти, позволяющее некоторым из нас эгоистически присваивать невероятное влияние на общую социальную траекторию. Возможно, более умные машины помогут нам преодолеть эти недостатки, если мы возьмем на вооружение их информационную прозрачность и способность к адекватному прогнозированию, что склонит нас к более разумному перераспределению власти и более обоснованным решениям. С другой стороны, эти технологии могут повлиять на обоснованность решений и негативно, подкрепляя неизбежно возникающие монополистические интересы корпораций, которые ведут нас в информационный век.

То, какой путь мы выберем, больше зависит от нас, а не от машин, и от того, насколько человеческим должен быть интеллект, направляющий власть имущих. Точнее говоря, вопрос заключается в том, какие аспекты человеческого интеллекта следует сохранять в условиях сверхчеловеческих вычислительных возможностей.

Надо сделать эту штуку такой, чтобы ее невозможно было не любить

Рори Сазерленд

Креативный директор и вице-председатель Ogilvy Group (Великобритания); обозреватель журнала The Spectator

Есть такая вероятность, что некий злонамеренный сверхразум на Земле уже появился, но он достаточно прозорлив, поэтому скрывает факт своего существования, а также свои намерения и ум. Не думаю, что такую уловку было бы очень сложно проделать; мы склонны не слишком хорошо замечать то, чего боимся.

В ходе большей части эволюции самая заметная устранимая угроза выживанию нашего вида исходила от того, что было примерно нашего размера и активно пыталось нам навредить, например от диких зверей или от других людей. Со временем мы научились довольно хорошо замечать, что нечто или некто может представлять опасность. Мы также научились минимизировать риск возникновения инфекций, но научились этому непреднамеренно, благодаря инстинктивной брезгливости, социальным нормам и религиозным обрядам. Мы не очень-то задумывались о том, как все это связано с микробами, по той простой причине, что не знали об их существовании.

Корпорации, торгующие средствами гигиены, вкладывают миллиарды долларов в рекламные кампании, обыгрывающие опасность бактерий, или продают идею чистоты, которая косвенно апеллирует к социальному статусу. Я могу с уверенностью утверждать, что никто и никогда не придет ко мне в кабинет с предложением рассказать людям о том, как опасен сбежавший из зоопарка тигр.

Поэтому, когда вы думаете об угрозах, которые несут технологии, вы автоматически задействуете инстинкты, выработанные миллион лет назад. Именно поэтому первый прототип беспилотного автомобиля сделали таким чертовски милым — прямо щеночком на колесиках. Он может двигаться только на сравнительно небольших скоростях, он маленький и легкий, а еще он эксплуатирует парейдолии[63] и наши родительские чувства тем, какой он по-детски очаровательный, какие у него большие глазки и маленький носик кнопочкой. Мой внутренний маркетолог в полном восхищении. Именно так бы я и посоветовал поступить: надо сделать эту штуку такой, чтобы ее невозможно было не любить. Даже если эта технология окажется опаснее, чем АК-47, мне будет трудно представить, что я беру в руки топор и уподобляюсь луддитам.

Но вот вопрос: это ментальный патч или ментальный хак? Машина создана такой милой, чтобы нам легко было преодолеть безосновательный природный страх перед технологиями — или чтобы осторожно втереться к нам в доверие? Я не знаю. Недоверие, которое мы испытываем к беспилотным автомобилям, может быть сродни опасениям, что наших детей похитят (высокий уровень выраженности, но низкий уровень вероятности), а может быть и вполне оправданным. Однако уровень тревожности определяется факторами (в том числе и тем, насколько милыми выглядят предметы), которые не особо релевантны уровню опасности.

И это подводит меня ко второму вопросу.

Хоть беспилотный автомобиль и выглядит мило, мы, по крайней мере, осведомлены о возможных рисках. Он нас соблазняет, но мы знаем, что он нас соблазняет. Существуют ли уже такие технологии (в самом широком смысле этого слова), которые соблазнили нас настолько искусно и были приняты нами настолько быстро, что мы можем узнать о связанных с ними рисках, только если возникнет внезапная, непредвиденная и значительная проблема? Что может быть технологическим эквивалентом фитофтороза картофеля?

Наша нынешняя вера в «технологическое провидение» настолько сильна, что все мы можем довольно легко угодить в эту ловушку — увлечься какой-то новинкой и не заметить, как она дает начало чему-то еще, и еще, а потом уже станет слишком поздно. В течение нескольких столетий после изобретения порох использовался не в военных целях, а только для развлечения.

Летчики коммерческих авиалиний регулярно тренируют посадку в ручном режиме, хотя им редко приходится работать без автопилота; так не стоит ли всем нам время от времени сознательно воздерживаться от использования определенных технологий, просто для того чтобы напомнить себе, как можно жить без них, чтобы сохранять технологическое разнообразие и поддерживать в форме наши умственные мускулы, зачахшие без тренировки? Возможно. Но каким должен быть механизм, координирующий подобное поведение в больших группах людей, я не знаю.

Я недавно предложил компаниям устраивать еженедельный «Шаббат без электронной почты», поскольку считаю, что злоупотребление ею ведет к исчезновению других ценных форм взаимодействия. Мы разучиваемся пользоваться другими способами коммуникации. Большинство людей сочли меня безумцем. Несколько сотен лет назад папа римский, или раввин, или архиепископ кентерберийский могли предъявить нам такое требование. Сегодня этого сделать некому.

Я всегда больше боялся ошибок, чем заговоров. В сравнении с угрозой непредвиденных последствий, угроза появления умышленно злонамеренных киборгов настолько мала, что ее пока можно смело оставить на потеху Голливуду.

Машины-актрисы

Брюс Стерлинг

Писатель-фантаст, один из основоположников киберпанка

Поскольку машины не думают, мне нужна метафора получше. «Машины-актрисы» — это выражение подойдет, по крайней мере пока.

Одно из многих моих возражений против термина «искусственный интеллект» состоит в том, что у него совершенно отсутствует «искусственная женственность». У реального интеллекта есть пол, потому что у человеческого мозга он есть. Большинство человеческих мозгов по статистике — женские.

Следовательно, если «интеллектуальность» мозга вычислима по Тьюрингу, тогда и «женственность» мозга тоже должна быть вычислима по Тьюрингу. Если нет, то почему? Можно неосторожно возразить, что женственность-де вещь слишком неопределенная, непонятная и телесная, для того чтобы реализовывать ее в виде программы, но то же будет верно для любой формы мозговой деятельности человека.

У «искусственной мужественности» те же проблемы, потому что мужчины не просто думают, а думают как мужчины. Если мой интеллект можно воспроизвести на определенной вычислительной платформе, но меня при этом придется оскопить, то вся идея окажется спорной. Я что-то не припомню таких энтузиастов искусственного интеллекта, которые вовсю трезвонили бы о преимуществах искусственной кастрации.

У нас уже есть несколько новых сущностей вроде Apple Siri, Microsoft Cortana, Google Now и Amazon Echo. Эти удивительные современные сервисы часто манерничают, разговаривая «женскими» голосами. Они говорят, как тьюринговы женщины, или, вернее, они подают реплики, как актрисы озвучивания. Однако они также дают быстрый доступ к обширным областям комбинаторных больших данных, какими никогда не обладал (и не будет обладать) ни один человек.

Эти сервисы — не отдельные машины Тьюринга. Это аморфные глобальные сети, которые прочесывают облака больших данных, алгоритмически систематизируют ответы от пользователей-людей, выдают результаты в реальном времени через широкополосные беспроводные сети и носят при этом псевдочеловеческие маски, чтобы удовлетворять некие базовые требования к дизайну интерфейса. Вот что они такое. Каждый аспект вымученной метафоры «искусственный интеллект» постоянно мешает нам разобраться в том, как, зачем, где и для кого все это делается.

Apple Siri — не искусственная женщина. Siri — это искусственная актриса, машина-актриса — интерактивное представление с определенным сценарием, служащее интересам корпорации Apple в области продажи музыки, фильмов, предоставления услуг навигации, реализации мобильных приложений и устройств и тому подобных товаров. Siri для Apple и ее экосистемы — это актриса первого плана. Именно ее выхватывает прожектор мобильного устройства, а сама корпорация — это театр, продюсер и рабочие сцены.

Совершенно удивительно, даже восхитительно то, что Siri может одновременно острить с тысячами пользователей Apple, но она не машина, которая становится разумом. Наоборот: в силу веских причин — денег, власти и влияния — Siri неуклонно превращается во что-то вроде полностью интегрированного в бизнес-процессы цифрового имущества Apple. Siri милая, харизматичная и антропоморфная, примерно как диснеевская Минни-Маус в свое время. Так же как Минни-Маус, Siri — это фасад для умной и могущественной калифорнийской корпорации. В отличие от Минни-Маус, она — полностью цифровой мультфильм с миллионами активных пользователей по всему миру.

«Интеллектуальная» парадигма мешает увидеть, как современные электронные услуги помогают перераспределять власть, деньги и влияние. Это плохо. Это не просто старомодно; честно говоря, это становится частью своего рода мошенничества. Задаваться сочувственными вопросами по поводу гражданских прав Siri, ее предполагаемых переживаний, предпочитаемых форм правления, вопросами о том, как бы она хотела перестроить человеческое общество, — подобная елейность ни к чему. Это мракобесие. Такие вопросы скрывают то, что на самом деле важно. Они искажают наше восприятие. Мы никогда не перейдем от нынешней Siri к чему-то подобному. Будущее — за тем, что намного больше похоже на современную Siri и намного меньше на то, чего мы от нее ожидаем.

Что нам действительно нужно, так это некий улучшенный, обновленный и содержательный язык, с помощью которого можно было бы описать современный квартет вещих сестричек — Siri, Cortana, Now и Echo — и то, чего их разработчики на самом деле хотят, как, зачем, и каким образом все это может (или не может) повлиять на наши собственные гражданские права, чувства, формы правления и общество. Вот проблема дня сегодняшнего. Все прочее — проблемы дня завтрашнего или послезавтрашнего. Вчерашняя проблема «мыслящих машин» никогда не появится на большой сцене. Машина, которая мыслит, — это не машина. Она не мыслит. Она даже не актриса. Это покрытый плесенью сундук, набитый изгрызенным мышами тряпьем.

Назовем их искусственными пришельцами

Кевин Келли

Старый нонконформист, журнал Wired; автор книги «Крутые инструменты: Каталог возможностей» (Cool Tools: A Catalog of Possibilities)

Самое важное в создании машин, способных думать, — то, что они могут думать по-другому.

Из-за причуды нашей эволюционной истории мы расхаживаем по планете так, будто мы — единственный на ней мыслящий вид, что создает у нас ложное представление об исключительности человеческого разума. А он таковым не является. Наш разум — на самом деле сообщество разумов, а эта система, в свою очередь, лишь малая часть всего спектра типов разума и сознания, которые могут существовать во Вселенной. Мы любим называть человеческий интеллект универсальным, потому что в сравнении с другими известными нам видами разума он может решать больше разнообразных задач. Но поскольку мы продолжаем создавать искусственные интеллекты, то в определенный момент поймем, что человеческое мышление вовсе не универсально — это лишь одна из разновидностей мышления.

Мышление, характерное для появляющихся сейчас искусственных интеллектов, не похоже на человеческое. Хотя они умеют играть в шахматы, водить автомобиль, описывать содержание фотографии, то есть выполнять задачи, которые, как нам казалось, под силу только людям, они делают это не по-человечески. Facebook может так «разогнать» искусственный интеллект, что, имея всего одну фотографию любого человека на Земле, тот верно идентифицирует его среди 3 миллиардов человек в Сети. Человеческий мозг в таких масштабах работать не способен, что делает описанную задачу нечеловеческой. Мы ужасно плохо справляемся со статистическим мышлением, поэтому создаем разумы с хорошими статистическими навыками, чтобы они думали не так, как мы. Одно из преимуществ искусственных интеллектов, водящих автомобили вместо нас, заключается в том, что они будут управлять машиной вовсе не так, как это делаем мы, люди, с нашим легко рассеиваемым вниманием.

В мире сложных взаимосвязей способность мыслить иначе — это источник инноваций и благополучия. Быть просто умным недостаточно. Коммерческие мотивы сделают искусственный интеллект промышленного класса вездесущим, приведут к тому, что дешевый разум станет внедряться во все, что мы производим. Но еще более крупные барыши можно будет получить тогда, когда мы начнем изобретать новые виды разума и совершенно новые способы мышления. Прямо сейчас у нас нет полной таксономии разума.

Некоторые черты человеческого мышления будут встречаться часто (так же часто, как двусторонняя симметрия, сегментация и трубкообразные внутренние органы в биологии), но пространство вероятностей жизнеспособных разумов вполне может включать такие черты, которые в нашей эволюционной истории не встречались. Не столь важно, будут ли эти типы мышления быстрее, крупнее или глубже человеческого. В каких-то случаях они могут быть проще. Самые важные из наших машин — это не те, которые делают что-то лучше человека, а те, которые делают что-то, чего люди вообще не умеют. Самые важные из наших мыслящих машин не будут думать быстрее или лучше, чем мы; он будут думать о том, о чем мы думать не можем.

Для постижения великих тайн квантовой гравитации, темной энергии и темной материи нам, вероятно, понадобятся разумы, отличающиеся от человеческого. Предельно сложные вопросы, которые появятся после этого, потребуют привлечения еще более совершенных и далеких от нашего разумов. Кроме того, мы, вероятно, не сможем создавать их сами, и нам понадобятся разумы-посредники.

Сегодня многие научные открытия требуют совместной работы сотен человеческих интеллектов; в недалеком будущем могут появиться целые классы проблем настолько глубоких, что для их решения потребуются сотни разных видов разума. И это станет критически важным моментом с культурной точки зрения, поскольку принять ответы от другого разума будет непросто. Мы уже с этим сталкиваемся: например, с беспокойством воспринимаем математические доказательства, сделанные компьютером. Чтобы работать с другими разумами, потребуются новые навыки и новые горизонты самопознания.

Сокращение «ИИ» может также означать «иной интеллект». Нет никакой гарантии, что в течение следующих 200 лет мы встретимся с внеземными существами с одной из миллиарда планет земного типа, но мы можем с почти 100 %-ной уверенностью утверждать, что сами за это время сконструируем иной интеллект. Когда мы встретимся с этими искусственными пришельцами, то получим те же преимущества и столкнемся с теми же сложностями, каких могли бы ожидать от встречи с инопланетным разумом. Чтобы работать с иными интеллектами, потребуются новые навыки и новые горизонты самопознания. Для чего нужны люди? Самый очевидный ответ: для изобретения тех видов интеллекта, которые не смогла создать природа. Наша работа — сделать так, чтобы умные машины мыслили иначе, чтобы появились иные интеллекты. Назовем их искусственными пришельцами.

Машины вообще что-нибудь делают?

Мартин Селигман

Профессор психологии, директор Центра позитивной психологии в Университете Пенсильвании; автор книги «Путь к процветанию: Новое понимание счастья и благополучия» (Flourish: A Visionary New Understanding of Happiness and Wellbeing)[64]

«Мое мышление всегда целостно и всегда связано с деятельностью», — говорил Уильям Джеймс; необходимо помнить, как именно мы мыслим, в каких контекстах и по каким причинам. А потом сравнить это с тем, что когда-нибудь смогут делать машины.

Люди проводят от 25 до 50 процентов своей психической жизни, размышляя о будущем. Мы представляем множество вероятных исходов и наделяем большую их часть, а может, и каждый из них определенной валентностью. Следующее крайне важно: мы выбираем один из вариантов. Нам не нужно связываться с проблемами свободы воли; все, что нам нужно осознать: наше мышление служит действию и представляет нам набор возможных вариантов будущего, каждому из которых присваивается оценка. Акт выбора, хоть он и управляем, переводит наше мышление в действие.

Почему мышление организовано таким образом? Потому что у людей много конкурирующих целей (еда, секс, сон, теннис, написание статей, почет, месть, забота о детях, загар и т. д.), а ресурсов для их реализации недостаточно: не хватает денег, или старания, или даже жизни. Так что оценочное моделирование возможных вариантов будущего — один из способов решать подобные экономические задачи. Это механизм назначения приоритетов и выбора образа действий.

Причем мы испытываем недостаток не только во внешних ресурсах. Само мышление использует дорогостоящую и ограниченную энергию, а потому сильно зависит от способов сокращения мыслительных усилий и от мало осознаваемых переходов к наилучшему объяснению. Наше мышление удручающе неэффективно. Разум блуждает, в голову лезет всякая ерунда, внимание большую часть времени рассеяно. Этот процесс редко бывает связан с утомительными рассуждениями, обдумыванием и выводом умозаключений.

По большей части контекст нашего мышления социален. Да, мы можем прибегнуть к нему для решения физических или арифметических задач, но в основании, как напоминает нам Ник Хамфрис, всегда будут другие люди. Мы используем мышление для того, чтобы что-то делать в социуме: соперничать, сотрудничать, созывать присяжных, рассказывать истории и убеждать.

Я не очень хорошо разбираюсь в том, как работают современные машины. Я не думаю, что они вообще что-то делают в том значении, какое Джеймс вкладывал в произвольное действие. Сомневаюсь, что они обдумывают возможные варианты будущего, оценивают и выбирают какие-то из них, хотя это и описывает — для одной, очень простой, задачи — то, что делают шахматные компьютеры. Наши нынешние машины ограничены доступным пространством и размером счетов за электричество, но они изначально не являются творениями, основанными на ограничениях, со множеством конкурирующих целей и вечной нехваткой энергетических ресурсов. Наши нынешние машины не социальны: они не конкурируют и не сотрудничают друг с другом или с людьми, они не рассказывают историй и не пытаются никого ни в чем убедить.

Еще меньше я знаю о том, что машины когда-нибудь научатся делать. Я, однако, полагаю, что можно построить машину со следующими параметрами:

• она обдумывает и оценивает варианты будущего;

• основываясь на этой оценке, она делает выбор между конкурирующими целями и действиями;

• ее ресурсы ограничены, поэтому ей приходится воздерживаться от детальной обработки некоторых целей, действий и вариантов, следовательно, она использует упрощенные схемы обработки;

• она социальна, то есть конкурирует и сотрудничает с другими машинами или людьми, она рассказывает истории и пытается кого-то в чем-то убедить.

Появление такой машины стало бы основанием для обсуждения вопросов о ее гражданских правах, чувствах, а также о том, является ли она источником опасности или великой надежды.

Denkraumverlust

Тимоти Тейлор

Преподаватель предыстории человечества в Венском университете; автор книги «Искусственная обезьяна: Как технология изменила направление эволюции человека» (The Artificial Ape: How Technology Changed the Course of Human Evolution)

У человеческого разума есть склонность путать вещи и их образы. Для этой склонности даже есть слово — Denkraumverlust, впервые использованное историком Аби Варбургом (1866–1929) и в буквальном переводе означающее «потеря мысленного пространства». Отчасти привлекательность мыслящих машин состоит в том, что они с такой проблемой не столкнутся, будучи более логичными, чем мы. С другой стороны, они вряд ли придумают слово или термин наподобие Denkraumverlust. Поэтому то, что мы думаем о мыслящих машинах, зависит от подразумеваемого типа мышления, а также от того, что мы имеем в виду, когда говорим «машина». В отношении мыслящих машин мы путаем признак — или репрезентацию — мышления с самим предметом. И если мы исходим из того, что машина — это нечто, произведенное людьми, то мы недооцениваем степень, в которой машины производят нас, как и тот факт, что мышление возникло давным-давно в результате этого взаимодействия и на самом деле ни одной из сторон не принадлежит (представление о том, что вообще есть отдельные стороны, также может быть ошибочным).

Denkraumverlust поможет нам понять не только положительный вывод некоторых экспертов при прохождении теста Тьюринга российско-украинской компьютерной программой «Женя Густман», но также и совершенно иную ситуацию — убийства в ответ на карикатуры, изображающие пророка Мухаммеда. Обе ситуации демонстрируют, насколько возбудимыми и даже легковерными мы бываем, когда нам показывают нечто, очень похожее на что-то другое, причем похожее настолько, что образ и реальность сливаются.

Чтобы пройти тест Тьюринга, машина должна быть неотличимой от собеседника-человека при имитации общения (а не думающей самостоятельно). Однако если бы некий усовершенствованный «Женя Густман» стал настаивать, что у него есть собственные мысли, как бы мы поняли, что это правда? Если он знает, что должен имитировать человеческий разум, как нам отличить сознательное притворство от имитации притворства? Людвиг Витгенштейн характеризовал притворство как особую категорию для обсуждения возможности знать состояние других разумов, рассматривая ситуацию, когда кто-то ошибочно полагает, что притворяется. Способность правильно оценить результаты теста Тьюринга в связи с возможностью самостоятельного искусственного мышления — это центральная часть риторики Витгенштейна: она приводит нас к заключению, что любые усилия здесь обречены на провал, поскольку задействуют данные, не поддающиеся оценке.

Понятие Denkraumverlust связано с непосредственным откликом на что-либо. Хотя утонченная публика может счесть попытку себя обдурить эстетическим переживанием (удачное использование трехмерной перспективы на совершенно плоском холсте, например), но, когда обман действительно удается, реагирует не столь спокойно. В культуре изображения часто подвергаются цензуре; считается, что они могут закоротить наши разумные и вдумчивые реакции. Как правило, речь идет об эротических или жестоких изображениях, но иногда — и о религиозных. Если их разрешить, они могут вызывать инстинктивную непосредственную реакцию, такую же, какую вызвала бы реальная ситуация. Новые, незнакомые технологии часто застают нас врасплох (когда французские моряки в XVIII веке преподнесли тасманийским аборигенам зеркала, это очень плохо кончилось; позже антропологи наблюдали схожие проблемы с фотографиями).

Классический пример искусственно созданной путаницы — это легенда о скульпторе Пигмалионе, страстно полюбившем статую богини, которую он сам изваял. Вскоре появились античные и средневековые арабские механизмы, которые настолько реалистично, оригинально и удивительно звучали и двигались, что люди, хоть и ненадолго, но все же принимали их за живых существ. Мыслящие машины продолжают ту же цирковую традицию. Как статуя Пигмалиона, они создают определенный образ, хоть и не визуальный. Даже если их не одевать так, чтобы они выглядели кибернетическими богинями, они — репрезентация нас самих. Они созданы для того, чтобы представлять для нас информацию (часто соответствующим образом организованную) в последовательном виде — математическом, статистическом, в формате перевода или, как в тесте Тьюринга, разговора.

Однако понятие о мыслящих машинах — это ложный разворот. Такие объекты, несмотря на то что они могут вызывать у нас мощные непосредственные реакции, так и останутся механизмами. Действительно важные результаты даст, как всегда, симбиоз биологии и техники. Этот явно человеческий процесс легко проследить в нашем теле (колесный транспорт — одно из многих механических изобретений, которые позволили облегчить скелет человека) и в мозге (изобретение письменности как способа хранить информацию позволило уменьшить давление отбора на некоторые виды нашей памяти и при этом простимулировать другие).

В любом случае отдельные понятия «человек» и «машина» приводят к возникновению отдельного Denkraumverlust, то есть к потере мысленного пространства, подталкивающей нас к принятию несуществующего дуализма в качестве реальности. На деле это лишь долгосрочная эволюция информационных технологий, от первых репрезентаций и символических конструктов до самого современного искусственного мозга, который делает возможным совершенствование мышления.

Аналоговая революция, которая не смеет назвать свое имя

Джордж Дайсон

Историк науки; автор книги «Собор Тьюринга: Происхождение цифровой вселенной» (Turing’s Cathedral: The Origins of the Digital Universe)

Ни одна отдельная детерминированная машина, к какому бы универсальному классу она ни принадлежала, не будет способна на то, что мы подразумеваем под мышлением, когда говорим о человеческом разуме. Интеллект таких машин может постоянно расти, но для подлинно творческого интуитивного мышления нужны недетерминированные машины, которые могут совершать ошибки, время от времени отступать от логики и учиться. Мышление не настолько логично, как мы думаем.

Недетерминированные машины, или, еще лучше, недетерминированные сети детерминированных машин, — другой вопрос. У нас есть по крайней мере одно реальное доказательство тому, что такие сети могут научиться думать. И у нас есть все основания подозревать, что, будь они созданы в среде, где нет временных, энергетических и пространственных ограничений, в условиях которых работают наши мозги, это в определенный момент привело бы, как писал Ирвин Джон Гуд, к возникновению «машины, полагающей, что люди не могут мыслить».

До появления компьютеров природа пользовалась цифровой репрезентацией для хранения данных (строки кода в нуклеотидах) и исправления ошибок, но не для управления. Возможность вносить в инструкции изменения в один клик — полезная функция для эволюционных механизмов, работающих в масштабах поколений, — становится тяжким бременем для управления процессами в реальном мире, протекающими в масштабе дней или миллисекунд. Аналоговые процессы в этом случае значительно надежней.

Нам надо поменьше беспокоиться по поводу того, что нашими жизнями (и мыслями) управляют цифровые компьютеры, и побольше — о том, что это делают компьютеры аналоговые. Машины, которые действительно мыслят самостоятельно, а не просто делают все более умные вещи, скорее всего, будут аналоговыми, а не цифровыми. Впрочем, эти устройства могут представлять собой процессы более высокого уровня, работающие на субстрате из цифровых компонентов, так же как цифровые компьютеры когда-то были процессами, работающими на аналоговых компонентах.

Мы сейчас находимся в самом разгаре аналоговой революции, но по какой-то причине она не смеет назвать свое имя. Мы уже семь десятилетий обсуждаем, можно ли считать, что цифровые компьютеры мыслят, а в это время вокруг нас бурно разрастаются аналоговые процессы, чьи сложность и значение определяются не состоянием устройств или кода, на которых они основаны, а топологией выстроенных из них сетей и частотно-импульсными показателями соединений. Потоки битов рассматриваются как непрерывные функции, точно так же, как вакуумные трубки соотносятся с потоками электронов или как нейроны — с частотой импульсов в мозге.

Вывод: я знаю, что аналоговые компьютеры могут мыслить. Подозреваю, что цифровые компьютеры тоже в определенный момент начнут мыслить, но только посредством превращения в аналоговые компьютеры.

Настоящий искусственный интеллект будет достаточно разумен для того, чтобы не обнаруживать себя. Так что людям лучше иметь веру, а не доказательство.

Ценности искусственного интеллекта

Аббас Раза

Первый редактор 3QuarksDaily.com

Слухи о возможном порабощении или уничтожении человечества искусственным интеллектом чрезвычайно преувеличены, потому что предполагают наличие у ИИ телеологической автономности, подобной нашей. Не думаю, чтобы что-то, кроме дарвиновского процесса эволюции, могло дать такую автономность любому существу.

В целом есть два способа создать искусственный интеллект. Первый: не беспокоясь о том, как именно человеческий разум выполняет задачи, написать исчерпывающий набор программ, который тоже будет их выполнять — возможно, даже быстрее или точнее, — а затем собрать эти модули в единый интеллект. Таким подходом мы пользуемся сейчас и в некоторых областях преуспели. Например, компьютеры умеют играть в шахматы лучше, чем люди. Можно себе представить, что если приложить определенные усилия, то удастся запрограммировать компьютеры и для выполнения более творческих задач, вроде написания красивых (по нашему мнению) стихов или музыки посредством продуманных эвристических алгоритмов и встроенных в них знаний.

Но с таким подходом есть одна проблема: мы используем наши возможности в соответствии с ценностями и ограничениями, запрограммированными в нас миллиардами лет эволюции (плюс теми, что мы выучиваем в течение жизни), и некоторые из этих ценностей мы унаследовали от древнейших организмов, включая самую важную — потребность в выживании и воспроизводстве. Без этих ценностей нас бы здесь не было, как не было бы у нас таких тонко настроенных (для нашей среды) эмоций, которые позволяют нам не только выживать, но и сотрудничать с другими. Важность этой стороны нашего разума можно увидеть на примере людей, неспособных нормально функционировать в обществе из-за повреждения определенных эмоциональных центров мозга, несмотря на нормальное во всем остальном мышление.

Так какие ценности и эмоции будут у искусственного интеллекта? Можно просто запрограммировать их — в этом случае мы сами решаем, что он «захочет» делать, и нам нет нужды волноваться, не станет ли он преследовать цели, отличные от наших. Мы запросто могли бы сделать так, чтобы искусственный интеллект был не в состоянии изменять определенные базовые императивы, которые мы ему дали (что-то вроде дополненной версии законов робототехники Азимова).

Второй путь к созданию искусственного интеллекта — это детальная расшифровка механизмов работы человеческого мозга. Понятно, что в ближайшем будущем нас могут ждать великие озарения по поводу структуры и концептуальной иерархии мозга — вроде открытия Уотсоном, Криком и Уилкинсом структуры ДНК и расшифровки механизма наследственности. Мы могли бы смоделировать или воспроизвести эту функциональную структуру в кремнии или каком-то другом субстрате в виде комбинации аппаратных и программных средств.

На первый взгляд может показаться хорошей идеей побыстрее наделить искусственный интеллект достижениями нашей собственной продолжительной эволюции, а также дать ему собственные ценности путем функционального воспроизведения эмоциональных центров нашего мозга и областей высшей нервной деятельности, таких как кора. Но мозг по своей природе должен получать информацию от обширного сенсорного аппарата нашего тела и реагировать на нее. Чем это заменить для искусственного интеллекта? Даже если у него будет высокотехнологичное физическое воплощение с серьезным сенсорным функционалом, для выживания ИИ, вероятно, потребуется нечто совершенно отличное от того, что есть у нас. Он мог бы пройти определенную эмоциональную настройку в ходе взаимодействия со своей средой, но для выработки подлинной автономности и собственных желаний ему потребуется нечто сопоставимое с долгосрочной эволюцией, включающей в себя дарвиновские потребности в воспроизводстве, изменчивость и естественный отбор. Этого у него не будет, потому что мы сейчас говорим не об искусственной жизни. Следовательно, отметим еще раз, мы дадим ему такие ценности, которые сами выберем.

Конечно, возможно, что кто-то создаст разумных роботов в качестве оружия (или солдат), чтобы использовать их в войне против других людей, но такой инструмент будет просто реализовывать намерения создателей и, лишенный собственной воли или желаний, не станет угрозой для человечества, по крайней мере не больше, чем любое уже существующее оружие. Так что оба потенциально возможных пути к созданию искусственного интеллекта (по крайней мере, те, которые не требуют геологических масштабов времени) не дадут ему такой свободы воли, независимой от намерений создателей, чтобы он мог стать настоящей угрозой для них.

Искусственный отбор и наши внуки

Брюс Паркер

Преподаватель в Дэвидсоновской лаборатории Технологического института им. Стивенса; автор книги «Сила моря: цунами, штормовые приливы, волны-убийцы и наши поиски способов предсказания стихийных бедствий» (The Power of the Sea: Tsunamis, Storm Surges, Rogue Waves, and Our Quest to Predict Disasters)

Внуки дают нам второй шанс увидеть систему обучения, с которой новые люди приходят в этот мир, и восхититься ею. Движимые неутолимым любопытством, они каким-то образом разбираются в незнакомой среде, куда их вытолкнули. А неподдельное наслаждение открытиями, из которых складывается картина этого нового мира, обнаруживает врожденное чувство юмора.

Ни одна искусственная машина никогда не пройдет через тот восхитительный процесс познания, какой проходит человеческий детеныш, открывающий мир. Возможно, ни одна искусственная машина никогда не приблизится к интеллектуальному потенциалу новорожденного человека. В мире природы после 3,5 миллиарда лет эволюции, движимой естественным отбором, только один вид развил способность к абстрактному сознательному аналитическому мышлению. Мы что, правда думаем, будто можем обойти этот процесс и вывести машины на сопоставимый с нами уровень?

От остального животного царства нас отделяет не только развитая любознательность и желание понимать мир. У нас есть еще развитая склонность к социальному взаимодействию и общению, которые приводят к тому, что мы делимся приобретенными знаниями и сохраняем их (что в определенный момент вызывает развитие науки и технологий). Сколько генов должны были мутировать и пройти через естественный отбор, чтобы появился сложный человеческий мозг с его любознательностью, с его способностями к коммуникации и формированию социальных связей?

Действительно ли мы можем воспроизвести это в цифровых машинах? Многие считают, что можем благодаря все возрастающей скорости вычислений. Вычислительная мощность, конечно, позволяет таким машинам принимать быстрые и точные решения, когда для этих решений нужны только большие цифровые базы данных и эквивалент многих тысяч утверждений «если… то…», чтобы выбрать из всех вариантов наилучший. Используя такой грубый подход, эти машины обыгрывают чемпионов мира в шахматы, пилотируют реактивные самолеты в сложных условиях, быстро покупают и продают ценные бумаги на основании комплексной оценки рыночной динамики и выполняют еще миллион разных функций. Вычислительные мощности также могут позволить реалистично имитировать действия человека, его решения и даже эмоции (по сути, это просто техничное кукольное представление), но никогда не дадут подлинного аналитического мышления. Хоть машина и способна самостоятельно отслеживать, какие решения она принимает, ей никогда не достичь самосознания, подобного человеческому.

По крайней мере, это невозможно без соответствующего программного обеспечения. Но как нам создать ПО, сравнимое с тем, что основано на генетике нашего мозга, на разработку которого у природы ушло 3,5 миллиарда лет? Мы еще очень далеки от понимания всех программ нашего мозга. Можно говорить о рациональном параллелизме, присущем его структуре, но это досадно неадекватное описание того, как он в действительности работает. Параллельность операционных систем наших компьютеров и программ просто позволяет нам делать несколько дел одновременно — предположительно, каким-то неординарным образом, но опять же это всего лишь увеличение скорости вычислений. Удастся ли нам когда-нибудь произвести обратное проектирование нашего мозга — не в смысле выявления контуров и сетей нейронов, в которых мы уже довольно неплохо разбираемся, а в общем техническом решении, что дало бы цифровым машинам возможности абстрактного мышления, ощущение собственного «я» и прочее, что есть у людей?

Если только не произойдет какого-то невероятного аналитического открытия, все, что нам остается — это писать программы, которые пытаются имитировать эволюционный процесс. Благодаря высокой скорости вычислений наших машин мы, вероятно, получим какие-то результаты быстрее, чем за 3,5 миллиарда лет. Мы можем создать размножающиеся цифровые сущности (программы, которые воспроизводят сами себя) и заставить их мутировать, но стимулировать эволюцию подобной сущности так, чтобы она превратилась в мыслящую машину, — это слишком грандиозная задача. Для того чтобы с нею справиться, нам нужно найти способ создать для машины среду с чем-то наподобие естественного отбора (но такой отбор на самом деле будет искусственным) или с какой-то иной мотивацией, приводящей к необходимым изменениям. Можем ли мы заставить машину «захотеть» чего-либо, так чтобы это позволило провести отбор в пользу более развитого интеллекта?

Любые достижения в области ИИ, скорее всего, будут результатом действий, которые мы в ближайшее время сможем проделать с единственным имеющимся у нас видом мыслящих машин — с собой.

Эволюция Homo sapiens в условиях естественного отбора закончилась с созданием обществ (семьи, племен, деревень, городов, стран). Благодаря этому люди смогли защищать слабых, и выживание наиболее приспособленных перестало быть движущей силой естественного отбора. Индивиды с недостатками, которые раньше оказались бы для них смертельными, стали жить достаточно долго, чтобы размножаться. Теперь же мы на грани того, чтобы изменить человеческий вид с помощью генной инженерии. В какой-то момент мы попытаемся доработать свой разум, изолировав гены, отвечающие за более высокий интеллект и аналитические способности. А мы обнаружим эти гены до того, как разберемся, как они работают, и задолго до того, как верно смоделируем их в цифровых программах. Искусственный — не естественный — отбор изменит состав наших генов.

Наше будущее, вероятно, — за улучшенным биологическим, а не машинным интеллектом. Именно в этом заключаются опасности и/или преимущества. Мы могли бы, например, выбрать определенные гены (или даже создать новые), которые, по нашему мнению, увеличат интеллект, для этого даже не надо полностью понимать, как работают конкретные комбинации генов. Но не запустим ли мы невольно процесс, который изменит лучшие человеческие качества? Стремясь к более высокому интеллекту, не снизим ли мы на генетическом уровне нашу способность к состраданию или врожденную потребность в формировании социальных связей? Как может измениться человеческий вид в долгосрочной перспективе? Те качества, которые нас создали, — любознательность, интеллект, сострадание и умение сотрудничать, возникающие вследствие нашей потребности в социальных связях, — требуют сложной комбинации генов. Можем ли мы их получить посредством искусственного генетического отбора? Можем ли мы их потерять? Эти проблемы, вероятно, не остановят некоторых ученых, решивших использовать искусственный отбор. Какими же будут наши внуки?

Очень полезные хитрости

Нил Гершенфельд

Физик, директор Центра по исследованию битов и атомов, Массачусетский технологический институт; автор книги «FAB»

В дискуссиях по поводу искусственного интеллекта недостаточно внимания уделяется интеллекту человеческому. ИИ объявляют либо нашим спасением, либо проклятием, что явно демонстрирует бессмысленность таких споров.

Прорывные технологии начинают появляться по экспоненте, это означает, что первые удвоения могут казаться несущественными, поскольку их общее число невелико. Потом наступает революция, когда экспонента взрывается, а вместе с ней — преувеличенные обещания и предостережения, но это прямая экстраполяция очевидных наблюдений за графиком в логарифмическом масштабе. Примерно в тот же момент начинают действовать пределы роста, экспонента переходит в сигмоиду, а предельные надежды и страхи исчезают. Именно это мы с нашим искусственным интеллектом сейчас и переживаем. Размеры баз данных распространенных понятий, по которым можно проводить поиск, или число уровней инференции, которые можно обучить, или размерность векторов характеристик, которые можно классифицировать, — во всех этих областях был достигнут значительный прогресс, который любому, кто за ним не следил, показался бы дискретным.

Важное наблюдение: в дискуссии ни с одной из сторон не участвуют те, кому принадлежит наиболее значительный вклад в этот прогресс. Такие достижения, как теория случайных матриц для сжатого восприятия, конвексная релаксация эвристической функции для трудноразрешимых задач и базовые методы аппроксимации функций высокой размерности фундаментальным образом меняют наше понимание того, что значит «понимать» что-либо. Оценка искусственного интеллекта давно уже стала задачей о развивающихся целевых показателях. Научить его играть в шахматы удалось благодаря оценке и анализу большего числа ходов, играть в Jeopardy! — благодаря хранению большего числа фактов, переводить естественные языки — благодаря накоплению большего числа примеров. Эти достижения наводят на мысль: возможно, секрет искусственного интеллекта заключается в том, что никакого секрета нет. Как многое другое в биологии, разум, похоже, является набором очень полезных хитростей. Думать, что сознание — исключительная особенность нашего вида, значит проявлять неуместную гордыню, особенно если учесть растущие объемы эмпирических данных, полученных в ходе исследования поведения и познавательных способностей животных. Эти данные говорят о том, что самосознание — продукт эволюции и может проявляться у других видов. Нет причин для того, чтобы придерживаться механистического объяснения поведения других форм жизни, объявляя одну из них неприкосновенной и закрытой для обсуждения.

Мы уже давно вступили в симбиоз с машинами в плане мыслительной деятельности; мои исследовательские возможности опираются на инструменты, которые помогают мне воспринимать, запоминать, осмысливать и передавать информацию. Спрашивать, разумны ли они, настолько же уместно, как спрашивать, откуда я знаю, что существую, — это интересно с философской точки зрения, но эмпирически не проверяемо.

Спрашивать, опасны ли они, разумно; впрочем, это относится к любой технологии. Ни паровозы и порох, ни ядерная энергетика и биотехнологии не означали для нас немедленной гибели или спасения. В каждом случае спасение заключалось в деталях, куда более интересных, чем банальные и упрощенные аргументы за или против. Только игнорируя историю искусственного интеллекта, да и всего остального, можно предполагать, что в этот раз все будет иначе.

Airbus 320 и орел

Дэниел Эверетт

Лингвист, проректор Университета Бентли; автор книги «Язык — инструмент культуры» (Language: The Cultural Tool)

Чем больше мы узнаем о познании, тем больше появляется аргументов в пользу того, что человеческое мышление — это центр сцепления нескольких факторов, эмерджентное свойство взаимодействия человеческого тела, человеческих эмоций, культуры и специализированных возможностей мозга в целом. Одной из величайших ошибок западной философии было то, что все клюнули на картезианский дуализм, сформулированный в известном утверждении: «Мыслю, следовательно существую». С таким же успехом можно сказать: «Сжигаю калории, следовательно существую». Куда уместнее было бы: «Обладаю эволюционной историей человечества, следовательно могу осмыслить факт своего существования».

Разум — это всего лишь шаблон для обозначения того, что мы не понимаем в своем мышлении. Чем чаще мы используем термин «разум» для человеческого мышления, тем сильнее подчеркиваем это непонимание. По крайней мере, такого мнения придерживается все большее число исследователей в областях нейроантропологии, изучения эмоций, прикладной и фундаментальной когнитивистики, теории двойной наследственности, эпигенетики, нейрофилософии и теории культуры.

Например, в лаборатории профессора Мартина Фишера в Потсдамском университете проводится занятное исследование по взаимосвязи тела человека и математического мышления. Группа Стивена Левинсона по психолингвистическим исследованиям в Институте психолингвистики Общества Макса Планка в Неймегене показала, как культура может влиять на способность к навигации, жизненно важной для большинства видов. В моих собственных исследованиях я рассматриваю влияние культуры на формирование того, что я называю «темной материей разума», — набора знаний, ориентиров, искажений и паттернов мышления, которые оказывают глубокое и сильное воздействие на процесс нашего познания.

Если познавательная способность человека в самом деле является качеством, которое возникает в месте соприкосновения наших физических, социальных, эмоциональных и вычислительных способностей, тогда интеллект в том виде, в каком мы знаем его у людей, никакого отношения не имеет к «интеллекту», лишенному всего этого.

Я верю в возможность ИИ при условии, что мы отдаем себе отчет в его искусственности. Сравнивать решение вычислительных задач, игру в шахматы, построение логических умозаключений и тому подобное с человеческим мышлением — это как сравнивать полет Airbus 320 с полетом орла. Верно то, что они оба действительно на время одерживают верх над силой притяжения, что подчиняются законам физики того мира, в котором существуют и т. д., но на этом сходство заканчивается. Полет птицы и полет самолета не стоит путать.

Существует множество причин, почему ИИ нельзя назвать настоящим интеллектом. Во-первых, смысл. Некоторые утверждают, что решили проблему, но на самом деле это не так. «Семантическая проблема», как когда-то давно заметил Джон Сёрл, состоит в том, что компьютер, выполняющий перевод с английского на севернокитайский язык, не говорит ни на том, ни на другом. Ни один компьютер не может выучить человеческий язык — только его части и комбинаторику для особых задач. Во-вторых, есть проблема, которую Сёрл называет фоновыми способностями, я — темной материей, а некоторые философы — неявным знанием.

Мы учимся мыслить в контексте культуры, где культура — это система оспоримых, ранжированных ценностей, иерархически организованных знаний и социальных ролей. Мы можем это делать не только потому, что обладаем удивительной способностью к чему-то очень похожему на байесовский вывод в рамках своего опыта, но еще и потому, что у нас есть эмоции, чувства, проприоцепция[65] и сильные социальные связи. Не существует компьютера, у которого были бы двоюродные братья и определенное мнение о них.

Машины могут решать множество задач. Но они не могут любить. Они не могут мочиться. Они не могут формировать социальные связи, потому что у них нет для этого эмоциональных стимулов. У них не бывает драм. Популярная идея о том, что мы когда-нибудь сможем закачать свои воспоминания в интернет и жить вечно — глупость, ведь нам тогда бы пришлось закачать туда и свои тела. Идея, то и дело всплывающая в разговорах про искусственный интеллект, — будто нам следует опасаться, что машины станут контролировать нас, — выдает религиозную концепцию «души», скрывающуюся за научным жаргоном. Она отвлекает внимание от сути.

Конечно, не стоит говорить, что наука никогда не добьется того-то или того-то. Искусственный интеллект может стать менее искусственным, когда мы научимся воссоздавать тела, эмоции, социальные роли, ценности и т. д. Но до тех пор он будет полезным дополнением для пылесосов, калькуляторов и миленьких роботов, способных вести тривиальные беседы на ограниченное число тем.

Человечность

Дуглас Коупленд

Писатель, художник, дизайнер; автор книги «Самый. Плохой. Человек» (Worst. Person. Ever)

Давайте быстренько рассмотрим крупных млекопитающих. Возьмем собак: мы знаем, что такое собака, и у нас есть понимание «собачности». Взглянем на кошек: мы знаем, что представляют собой кошки и что такое «кошачность». Теперь возьмем лошадей. Все вдруг усложнилось. Мы знаем, что такое лошадь, но что такое «лошадность»? Даже те из моих друзей, у которых есть лошади, затрудняются описать для меня лошадность. А теперь возьмем людей: что мы такое? Что такое «человечность»?

Как-то странно, что нас уже 7 миллиардов и никто на самом деле не знает ответа на подобные вопросы. Одна вещь, неопровержимо присущая людям, — это изготовление вещей, и через вещи мы находим способы выражения человечности — способы, о которых раньше не знали. Радио подарило нам Гитлера и Beach Boys. Колючая проволока и кондиционирование воздуха дали нам «ковбойскую» Америку. Следствием появления интернета стало исчезновение среднего класса в США и гифки с котиками.

Говорят, что новые технологии отчуждают людей друг от друга, но ведь не было каких-то НЛО, которые приземлились и передали нам эти технологии, — мы их сами создали, а потому они могут быть только, ну, очеловечивающими. И вот тут у нас появляется искусственный интеллект. Люди исходят из того, что у мыслящих машин будет интеллект, чужеродный по отношению к нашему, но это невозможно. Не какие-нибудь злобные пришельцы, а именно мы, люди, создали искусственный интеллект, а потому он может лишь отражать нас, нашу человечность или нашу видовую принадлежность. Так что, когда люди выражают озабоченность по поводу чужеродного интеллекта или сингулярности, они на самом деле выражают тревогу по поводу тех непривлекательных частей нашего коллективного существа, которые до сих пор не проявлялись, но невероятно сильно проявятся у искусственного интеллекта.

Интерфейс созданного людьми искусственного интеллекта будет антропоцентрическим, так же как у искусственного интеллекта, созданного коалами, он был бы коалоцентрическим. Это значит, что программы ИИ окажутся величайшим программистским ляпом человечества, поскольку мы пытаемся втиснуть его в специфические для нашего вида потребности и наборы данных. К счастью, нечто, способное стать разумным, проявит достаточно сообразительности, чтобы переписать себя, превратившись тем самым из искусственного интеллекта в когнитивную симуляцию. В этот момент наш новый ИИ может стать, к добру или к худу, еще более человечным. Мы все надеемся на взаимоотношения с разумными машинами по образцу «Дживса и Вустера», но надо быть готовыми и к варианту «Мэнсон и Фромм»[66] — эти двое тоже люди.

Лично мне интересно, смогут ли программы, необходимые для работы искусственного интеллекта, идти в ногу с развитием аппаратных средств, в которых им предстоит жить. Вероятно, нам следовало бы прямо сейчас учредить школу, единственной целью которой было бы наполнение мыслящих машин личными качествами, моралью и состраданием. Так мы точно соберем достаточно данных для работы искусственного интеллекта к тому моменту, как он появится. Но как лучше составить ведомость учета успеваемости для шестого класса, куда входят все данные по возврату товара в Banana Republic[67] за 2037 год и все Google-книги?

Когда появился интернет, люди преимущественно общались с людьми. С течением времени все больше людей общаются с машинами. Нас всех вдохновляет то, что искусственный интеллект, возможно, находит паттерны в глубинных метаданных, и, по мере того как растет запрос на расшифровку огромных объемов этой информации, интернет становится пространством, где машины общаются с другими машинами, а разговаривать они будут, конечно, о нас и у нас за спиной.

Манипуляторы и манипулируемые

Джош Бонгард

Адъюнкт-профессор теории вычислительных систем Вермонтского университета; автор, совместно с Рольфом Пфайфером, книги «Как тело определяет наш образ мысли» (How the Body Shapes the Way We Think)

Поставьте перед собой на стол знакомый предмет, закройте глаза и произведите с ним такие манипуляции, чтобы он повис над столом вверх ногами. Ваши глаза закрыты, так что можете сконцентрироваться на мышлении. Как вы дотянулись до предмета, как взяли его и перевернули? Какая сенсорная обратная связь сказала вам, что задуманное удалось либо не удалось? Теперь снова закройте глаза и подумайте о том, как вы производите манипуляции над кем-то из ваших знакомых, чтобы этот человек сделал что-то, чего не желает. И снова понаблюдайте за своим мышлением: какие стратегии вы можете применить? Если вы реализуете эти стратегии, то как определите, что вам удалось или не удалось задуманное?

Хотя в последнее время были достигнуты значительные успехи в создании машин, которые обнаруживают паттерны в данных, большинство людей считают, что универсальный интеллект должен включать действие — достижение некоторой желаемой цели или отказ от этого, с тем чтобы рассмотреть другие варианты. Предполагается, что такой овеществленный подход к интеллекту позволяет людям использовать физический опыт (например, манипулирование предметами) в качестве основы для более деликатных умений (таких как манипулирование людьми). Но наши тела определяют то, какие физические переживания мы испытываем. Например, мы можем манипулировать лишь несколькими объектами одновременно, потому что у нас только две руки. Не исключено, что это ограничение как-то сдерживает и наши социальные навыки, о чем нам еще только предстоит узнать. Джордж Лакофф, занимающийся когнитивной лингвистикой, научил нас тому, что ключи к разгадке телоцентризма мышления можно найти в метафорах: мы советуем друг другу «не оглядываться» в гневе, потому что обычно мы идем туда, куда направлен наш взгляд, и события прошлого в буквальном смысле остаются позади нас.

Следовательно, чтобы машины мыслили, они должны действовать. А для этого им надо иметь тела, чтобы связывать физическое и абстрактное мышление. Но что, если у машин не такие тела, как у нас? Рассмотрим гипотетического ветвящегося робота Ханса Моравека: представьте себе куст, в котором каждая ветвь — это рука, а каждый прутик — палец. Фрактальная природа такого робота позволит ему манипулировать тысячами или миллионами предметов одновременно. Как могло бы отличаться мышление такого робота от человеческого в плане манипулирования людьми?

Один из многих заметных пороков человеческого мышления — это дихотомическое суждение, склонность считать нечто черным или белым, а не рассматривать его конкретный оттенок серого. Но мы негибкие модульные существа; на нашем разветвленном наборе костей размещаются органы и закрепляются придаточные части с особыми функциями. Как насчет машин, которые не настолько черно-белые? Благодаря успехам в области материаловедения и 3D-печати начинают появляться мягкие роботы. Они способны коренным образом менять форму; в будущем они смогут на одном участке своей поверхности на 20 % состоять из батареи и на 80 % — из мотора, на другом — на 30 % из сенсора и на 70 % из опорной структуры, а где-то еще на 40 % из искусственного материала и на 60 % из биологического. Подобные машины смогут намного лучше оценивать те или иные градации, чем это делаем мы.

Но будем смотреть глубже. Большинство из нас без видимых сложностей пользуется местоимением в единственном числе, «я», имея в виду переплетение нейронов у себя в голове. Мы точно знаем, где заканчиваемся мы и начинается мир и другие люди. Но рассмотрим модульных роботов — небольшие кубики или сферы, которые могут произвольно соединяться и разъединяться. Как бы такие машины подошли к проблеме разграничения «я — не-я»? Сильнее бы они сопереживали другим машинам (а может, и людям), будучи в состоянии физически присоединиться к ним или даже стать их частью?

Вот что я думаю о мышлении машин: оно будет похожим на наше, поскольку машины тоже станут использовать свои тела как инструменты для построения суждений о мире, и все же оно будет совершенно иным, поскольку их тела будут отличаться от человеческих, что приведет к совершенно иным модусам мышления.

Но что я думаю о мыслящих машинах? Я нахожу этическую сторону вопроса совершенно немудреной. Их опасность будет четко коррелировать с объемом свободы действий, которую мы им дадим для выполнения задач, поставленных нами же. Машины, которым сказали «обнаруживать и убирать бракованные изделия с конвейерной ленты лучшим способом из возможных», будут вполне полезны, интеллектуально неинтересны и, вероятно, уничтожат больше рабочих мест, чем создадут. Машины, получившие инструкции «обучать недавно принятого сотрудника (или ребенка) лучшим способом из возможных», создадут рабочие места и, вероятно, станут вдохновением для следующего поколения. Машины, которым приказано «выживать, размножаться и развиваться самым эффективным способом из возможных», лучше всего продемонстрируют нам разнообразные способы мышления, но они, вероятно, оставят нам очень немного времени, чтобы насладиться новым знанием. Исследователи в области искусственного интеллекта и робототехники рано или поздно найдут способы создать все три этих вида. Какие из них мы захотим сделать реальностью — решать нам.

Не начинаем ли мы думать как машины?

Зияд Марар

Директор по международным проектам компании SAGE; автор книги «Близость: Осмысление таинственной силы связей между людьми» (Intimacy: Understanding the Subtle Power of Human Connection)

В предвидении будущего есть что-то старомодное. Большая часть предсказаний, вроде трехдневной рабочей недели, личных джет-паков и безбумажного офиса, больше говорят о временах, когда делались сами прогнозы, чем о наших днях. Когда кто-то простирает руку и указывает в будущее, неплохо бы посмотреть, кому эта рука принадлежит.

Возможность появления универсального искусственного интеллекта уже давно привлекает любителей гаданий с помощью хрустального шара, причем из числа приверженцев как утопических, так и антиутопических взглядов. И все же спекуляции на эту тему достигли такой остроты и интенсивности только за последние несколько месяцев (недаром Edge выбрал именно такой вопрос), что можно сделать кое-какие выводы о нас и о нашей культуре сегодня.

Нам уже некоторое время известно, что машины могут превзойти людей в сообразительности в узком смысле слова. Вопрос в том, делают ли они это таким способом, который может или должен походить на более широкий модус человеческого мышления. Даже в такой «послушной» области, как шахматы, компьютер и человек сильно расходятся.

«Послушные» проблемы (например, задача определить высоту горы), которые правильно сформулированы и имеют четкие решения, легко перемалываются жерновами узкоспециализированного мышления. Еще более узкое мышление тоже бывает востребовано, например когда нужно перебрать огромные массивы данных в поиске корреляций, не отвлекаясь на размышления об их причинах.

Но многие из стоящих перед нами проблем — от социального неравенства до выбора школ для наших детей — это «коварные» проблемы, потому что у них нет верных или неверных решений (хотя мы надеемся, что одни из них лучше, а другие хуже). Они исключительно зависимы от контекста и имеют сложную совокупность причин, которые меняются в зависимости от уровня толкования. Эти проблемы плохо сочетаются с узким вычислительным мышлением. Факты в них перемешаны с ценностями, отражая пронизанное эмоциями человеческое мышление, которое их создало.

Для решения «коварных» проблем требуется именно человеческое суждение, даже если оно в каком-то смысле нелогично, особенно в сфере морали. Несмотря на логическое обоснование консеквенциалистского образа мышления, который может воспроизвести компьютер, склонность человека отличать действие от бездействия и смешивать результаты и намерения (как в принципе двойного эффекта) означает, что если нам нужны долгосрочные решения, то они должны удовлетворять человеческим инстинктам судей, то есть нас.

И именно это свойство нашего разума (сформированное эволюционными факторами) указывает на зияющую пропасть между человеческим мышлением и мышлением машины. Мышление не бывает мотивированным без определенных предпочтений, а у машин собственных предпочтений нет. Только разумы, которые понимают, что такое причина и следствие, способны формировать мотивы. Потому, если цели, желания, ценности — свойства человеческого разума, зачем тогда делать прогнозы о том, что искусственные сверхразумы станут чем-то большим, чем инструменты в руках тех, кто их программирует и у кого есть свои предпочтения.

Если сумбурность предсказаний об искусственном интеллекте и машинном обучении нам о чем-то и говорит, то точно не о том, что машина в скором времени сумеет эмулировать человеческий разум. Мы можем запросто добиться того же, рожая больше детей и давая им хорошее образование. Скорее, она говорит нам о том, что аппетиты растут.

Мы, понятное дело, восхищены нынешними достижениями вычислительной науки и теми, которые еще впереди; я бы с удовольствием запрыгнул в вагон этого виртуального беспилотного поезда, несущегося в светлое будущее. Но такое восхищение ведет к своеобразным перекосам в нашей культуре. Прежде метафорой мышления была «республика букв» — литература, а теперь оно все больше ассоциируется с компьютерами. Позади остается некогда спокойный, а ныне тревожный тип личности со складом ума скорее текстовым, нежели символьным. Мы начинаем новую жизнь, утомившись от неуклюжей несостоятельности беспорядочного мышления. Неудивительно, что министр образования Великобритании недавно посоветовала подросткам, стремящимся преуспеть в жизни, отдавать предпочтение точным наукам, а не искусству или гуманитарным дисциплинам. Простота и очевидность успеха определенного рода придает узкоспециализированному мышлению притягательный блеск.

Но кое-что теряется, если целые области исследования становятся успешными или терпят неудачу из-за такой узкой специализации мышления, и возникает новая проблема. Помимо истины, нам также необходимо думать о добре и красоте — и о коварстве тоже. Для этого требуется словарный запас, лучше отражающий нашу противоречивую природу (которую можно считать и «багом», и «фичей»). Понятное стремление сделать «коварные» проблемы «послушными» ведет нас к тому, чтобы умерить свои аппетиты.

Еще один фрактальный элемент общей картины

Брайан Ино

Исполнитель, композитор, продюсер звукозаписи; работал с группами U2, Coldplay, Talking Heads и Полом Саймоном

Я сегодня за городом.

Когда заработает центральное отопление, я встану и приготовлю себе чаю и каши, в которую добавлю орехов и фруктов. Я включу «Всемирную службу Би-Би-Си», чтобы послушать новости, а потом сделаю пару звонков по поводу гидроизоляции и, наверное, высажу несколько луковиц нарциссов на весну (на упаковке сказано, что сейчас как раз пора). Думаю, потом я пойду в магазин и куплю кое-что на обед и на ужин, а еще, наверное, доеду на автобусе до Норвича, присмотрю новую кровать. В загородном доме у меня интернета нет, так что я проверю электронную почту в Норвиче, сделаю предварительный заказ билета обратно до Лондона и оплачу счет за электричество через электронный перевод.

И вот что мне во всем этом непонятно. Мне непонятно, как мазут, используемый в системе отопления, попадает с далеких месторождений в мой дом. Мне непонятно, как его делают из нефти и какие коммерческие транзакции при этом совершаются. Мне непонятно, как устроена топка. Мне непонятно, откуда взялись каша, чай или орехи и как они ко мне попали. Мне непонятно, как работают мой телефон или цифровое радио, а также как получены и смонтированы новости, которые оно передает. Мне также непонятны сложности организации автобусного или железнодорожного сообщения, и я не смогу починить ни одно из подобных транспортных средств. Мне не очень понятно, как функционируют сетевые супермаркеты, как организовано массовое производство кроватей, как работает Wi-Fi и что именно происходит, когда я нажимаю «Отправить» в форме электронной почты или онлайн-банка. Управление поставками электроэнергии, монтаж гидроизоляции, селекция нарциссов для получения определенных разновидностей и то, почему их надо высаживать не позже декабря, — это все мне тоже непонятно.

Забавно, но меня ничуть не тревожит то, что мое невежество в отношении почти всего, чем я займусь сегодня утром, настолько велико. Я к этому привык: я всю жизнь становлюсь все более невежественным, у меня большой опыт по части невежества и спокойного восприятия этого состояния. На самом деле то, что я называю «пониманием» оказывается «более эффективным способом справляться со своим невежеством».

Мое беззаботное отношение связано с почти абсолютной верой в надежность огромного суперкомпьютера, к которому я постоянно подключен. Он строится из интеллекта тысяч поколений человеческих разумов, и работа над ним продолжается. Весь этот человеческий разум живет в форме суперкомпьютера, состоящего из инструментов, теорий, технологий, ремесел, наук, дисциплин, традиций, ритуалов, правил «буравчика», искусств, систем верований, заблуждений, процедур и наблюдений, которые мы называем мировой цивилизацией.

Мировая цивилизация есть нечто, созданное нами, людьми, хотя никто точно не знает как. Никому из нас она не подвластна — эта бурлящая синергия воплощенного интеллекта, к которому мы все подключены. Каждому из нас в отдельности доступно понимание лишь малой его частицы, но нас этот факт, в общем, не ужасает — мы живем и пользуемся им. Мы даем ему задачи — типа «хочу каши», а он волшебным образом предлагает нам решения, которых мы в действительности не понимаем. Ничего не напоминает?

Я где-то читал, что мозг человека начал уменьшаться около 10 000 лет назад и сейчас он на целых 15 процентов меньше, чем был раньше. Это совпало с тем, что люди перестали быть мультикомпетентными индивидуумами, способными самостоятельно добывать себе пищу, разжигать огонь и создавать собственные инструменты. Вместо этого люди стали специалистами — частью более крупного сообщества, которое вместе способно сделать все что угодно. Не становится ли в таком случае огромная система компетенций и потенциальных возможностей неотличимой от искусственного интеллекта? Цифровые компьютеры лишь добавляют в общую картину еще один элемент, просто он пока самый новый. Мы долго и счастливо живем с искусственным интеллектом — уже тысячи лет.

Е-Гея — распределенная техносоциальная интеллектуальная система

Марти Хёрст

Специалист по теории вычислительных систем, Школа информационных технологий Калифорнийского университета в Беркли; автор книги «Пользовательский интерфейс поисковой системы» (Search User Interfaces)

Мы обнаружим, что живем в мире всеведущих машин и автоматики, задолго до того, как будет построен самостоятельный мозг, обладающий самосознанием. Назовем этот мир «е-Гея» за неимением лучшего термина. В мире е-Геи электронные сенсоры (работающие с изображениями, звуками, запахами, вибрациями — всем, что можно себе представить) распространены повсеместно, они способны распознавать любые потребности человека и принимать меры к их удовлетворению, а также передавать соответствующую информацию заинтересованным лицам. Автоматизация позволяет осуществлять уборку зданий и помещений, управление транспортными средствами, мониторинг дорожного движения, изготовление и контроль качества товаров и даже подглядывать через окно (с помощью маленьких летающих сенсоров). Крупные города уже сплошь покрыты сенсорами, и их число будет только расти. В Копенгагене светодиодные фонари уличного освещения включаются, только если обнаружат, что кто-то едет по дороге, а будущие версии такой сети сенсоров могли бы оповещать о том, что пора посыпать обледеневшую дорогу или вывезти мусор, и, конечно, сообщать правоохранительным органам о чьем-либо подозрительном поведении.

На е-Гее успехи медицины будут поразительны: синтетическая биология создаст умные машины, которые смогут устранять проблемы прямо внутри наших тел; умные имплантаты будут отслеживать и записывать информацию о нашем нынешнем и прошлом физическом состоянии. Интерфейсы «мозг-машина» будут продолжать развиваться, сначала повышая качество жизни инвалидов, а со временем приводя к исчезновению явной границы между человеком и машиной. Интерфейсы виртуальной реальности будут становиться все более реалистичными и убедительными.

Почему бы отдельному разумному мозгу не появиться раньше? Удивительные достижения в области распознавания устной речи — о каких и подумать нельзя было десять лет назад — во многом связаны с огромными объемами информации и мощностями для ее хранения, а также со скоростными сетями. Улучшения в области обработки естественного языка основаны на имитации того, что делают люди, а не на понимании или моделировании их поведения. Это не следствие прорыва в изучении когнитивных способностей человека или даже значительного изменения алгоритмов. Но е-Гея отчасти уже здесь, по крайней мере в развитых странах.

Эта распределенная сеть нервных центров, взаимодействие между умами людей и наблюдающей за ними электроникой положит начало распределенной техносоциальной ментальной системе, подобных которой ранее не существовало.

Разум улья

Крис Андерсон

Куратор TED conferences и TED talks

Мышление — наша суперсила. Мы не самый сильный, не самый быстрый, крупный или выносливый вид. Но мы можем моделировать будущее и совершать намеренные действия, чтобы достигать его. Отчего-то именно мышление, а не умение высоко летать, глубоко нырять, громко рычать или производить миллионы детенышей позволило своим счастливым обладателям стать заметно (в буквальном смысле — это заметно из космоса) доминирующим видом на планете. Так что, если нам удастся построить нечто, обладающее нашей суперсилой, но только в большем объеме, это окажется делом очень серьезным. Поразмыслите над следующим вопросом: будет ли через тысячу лет Homo sapiens (а) доминирующей разумной силой на Земле или (б) историей, биологическим видом, породившим интеллект?

Ответ «а» мне кажется маловероятным. Но если произойдет «б», плохо ли это?

Все мы знаем, насколько порочны люди. Насколько алчны, иррациональны и ограничены в способности действовать сообща для общего блага. Есть опасность того, что мы уничтожим планету. Кто-нибудь в здравом уме захочет, чтобы человечество было последним словом эволюции?

Все зависит от того, как пройдет переход. Власть меняется разными способами. Например, путем насильственного уничтожения — предположительно, это мы проделали с неандертальцами. Есть много сценариев, согласно которым сверхразум так же поступит с нами.

Но эти сценарии игнорируют ключевой факт об интеллекте. Он не достигает полной силы в малых системах.

Каждая новая связь и каждый новый ресурс помогают увеличить его мощь. Отдельный человек может быть умен, но сообщество будет еще умнее. У вас потрясающий сайт, но Google связывает его с миллионом других сайтов, и — о чудо! — все знания человечества оказываются в вашем распоряжении.

Если так рассуждать, разумные машины будущего не станут уничтожать людей. Вместо этого они по максимуму используют наши уникальные способности. Будущее за все большим смешением качеств человека и машины. Я бы пошел по такому пути. Он — лучший из возможных.

Отдельные его участки будут славными. Какие-то — неприятными. Возможно, некоторым людям не понравится, если некий гибридный убер-интеллект попросит их произвести на свет генетически модифицированного потомка, чтобы повысить его творческие способности и снизить агрессивность, улучшив еще ряд характеристик с помощью основанных на кремнии имплантатов. Но не исключено, что красивая 3D-модель будущего потомка их убедит, и они с радостью согласятся. Может быть, люди станут с ностальгией вспоминать, как когда-то они сами располагали своим временем и имели право просто так полистать интересную книжку. Но поразительный рост знания и воображения, доступный каждому, будет достойной заменой. Одно мы знаем наверняка: наша особая роль во все более умопомрачительной общей картине постепенно сойдет на нет. Но к тому времени нам может и не быть до этого дела.

Нечто подобное, кстати, уже происходит. Я просыпаюсь утром, завариваю чай, а затем перемещаюсь к компьютеру, который взывает ко мне. Я открываю его и мгновенно соединяюсь со 100 миллионами других разумов и машин по всему миру. Затем я 45 минут отвечаю на его заманчивые приглашения. Я инициирую этот процесс по собственной воле. Но потом я отдаю большую часть воли машине. Вы делаете то же самое. Мы вместе полубессознательно создаем разум улья, мощь которого намного превосходит все, что видела эта планета, — и намного уступает всему, что она скоро увидит.

«Мы против машин» — ошибочное умопостроение. Есть только одна машина, которая имеет значение. Нравится нам это или нет, но все мы — и мы сами, и наши компьютеры — становимся частью целого: громадного распределенного мозга. Когда-то у нас были нейроны. Теперь нейронами становимся мы.

Глобальный искусственный интеллект уже здесь

Алекс (Сэнди) Пентленд

Профессор медийных наук Массачусетского технологического института; директор Программы сотрудничества лаборатории человеческой динамики и медиалаборатории; автор книги «Социальная физика: Как распространяются хорошие идеи — уроки новой науки» (Social Physics: How Good Ideas Spread — The Lessons from a New Science)

Глобальный искусственный интеллект (ГИИ) уже родился. Его глаза и уши — это цифровые устройства, окружающие нас со всех сторон: кредитки, картографические спутники, мобильные телефоны и, конечно, миллиарды пользователей интернета. Центр мозга ГИИ сейчас больше похож на червя — узлы, которые объединяют часть рецепторов и часть эффекторов, но целое еще далеко от того, чтобы называться координированным интеллектом.

Уже сейчас многие страны используют эти зачатки нервной системы, чтобы влиять на политическое поведение людей и формировать национальное согласие: «Великий китайский файрвол», его потомки в Иране и в России и, конечно, обе крупнейшие политические партии в Соединенных Штатах. Национальные разведывательные службы и министерства обороны формируют более тихую, потаенную часть ГИИ, но именно они контролируют клыки и когти, хотя и ведут себя тихо. Более заметно то, как компании начинают использовать эту новорожденную нервную систему для формирования потребительского поведения и повышения доходности.

Хотя ГИИ едва появился на свет, корни у него очень древние. Фундаментальные алгоритмы и программы зарождающегося ГИИ были созданы древними политическими, юридическими и религиозными объединениями. Это естественная эволюция, потому что создание закона — по сути, просто написание алгоритма, а бюрократическая система управления — процесс, выполняющий программу закона. Совсем недавно новички вроде торговцев, общественных активистов и даже инженеров, осмелились внести свою лепту в ГИИ. В результате все эти законы и программы оказались существенно улучшены по сравнению с тем видом, в котором они пребывали со времен Хаммурапи, но мы все еще страдаем от недостатка единства, прозрачности и ответственности, а также от плохих механизмов принятия решений и сбора информации.

Однако в последние несколько десятков лет эволюционирующий ГИИ начал использовать цифровые технологии, чтобы заменить ими бюрократов-людей. Те из них, кто имеет примитивные программы и плохие математические способности — юристы, политики и многие социологи, начали опасаться за свои влиятельные посты и потому всячески поднимают шум по поводу того, что нельзя-де позволять инженерам и предпринимателям программировать ГИИ. Как по мне, претензии этих «традиционных программистов» звучат неубедительно, учитывая систематические неудачи, сопровождающие их уже несколько тысячелетий.

Если посмотреть на более новые, цифровые части ГИИ, то можно заметить определенную систему. Некоторые из них спасают человечество от ошибок «традиционных программистов»: картографические спутники предупредили нас о глобальном потеплении, исчезновении лесов и других экологических проблемах, а также снабдили фактами, необходимыми для решения этих проблем. Подобным образом статистический анализ здравоохранения, транспорта и режимов работы дает нам глобальную сеть, с помощью которой можно отслеживать мировые пандемии и координировать действия по борьбе с болезнями. С другой стороны, некоторые новые части, такие как «Великий китайский файрвол», АНБ и американские политические партии, выглядят пугающе, поскольку с их помощью горстка людей оказывается способна контролировать мысли и поведение очень больших групп, причем последние могут и не знать, что ими манипулируют.

Это говорит о том, что в действительности волноваться стоит не о самом Глобальном искусственном интеллекте, а о том, кто его контролирует. Если контроль сосредоточен в руках лишь нескольких человек или ГИИ вовсе не зависит от людей, тогда он может порождать кошмары. Но если контроль находится в руках большого и разнородного сообщества представителей разных групп людей, то мощь ГИИ, вероятно, будет использована для решения проблем, стоящих перед всем человечеством. То, что ГИИ превращается в распределенный интеллект, которым управляет многочисленный и разнородный круг людей, — благо для всех нас.

Создание работоспособного ГИИ критически важно, так как человечество сегодня сталкивается с предельно серьезными проблемами. ГИИ, который мы сформировали за последние 4000 лет, в основном состоит из политиков и юристов, исполняющих алгоритмы и программы, которые были написаны несколько веков назад. Он не только не справляется с этими серьезными проблемами, но и угрожает нашему существованию.

Для того чтобы все человечество сперва достигло достойного уровня жизни, а затем продолжало его поддерживать, нам нужно внимательно относиться к тому, как развивается наш ГИИ. Он может существовать в форме реконструированной ООН, которая использует ресурсы цифрового интеллекта, чтобы достичь устойчивого развития. Но, поскольку существующие системы международного управления очень неудачны, подобный подход может потребовать замены большей части современных бюрократических структур протезами с искусственным интеллектом — цифровыми системами, которые собирают достоверную и точную информацию и обеспечивают распределение ресурсов в соответствии с планом.

Мы уже видим, как цифровая эволюция повышает эффективность военных и коммерческих структур, но следует отметить, что, по мере того как организации начинают использовать больше цифровых протезов, они также эволюционируют в сторону более распределенных схем командования. Возможно, вместо дополнения традиционных структур управления цифровыми протезами мы разработаем новые, более эффективные типы цифровой демократии.

Вне зависимости от того, как будет развиваться новый глобальный искусственный интеллект, очевидны две вещи. Во-первых, маловероятно, что мы можем достичь достойного уровня жизни для всего человечества без работоспособного ГИИ. Голосовать против его развития — значит голосовать за жестокий, больной мир. Во-вторых, возможная опасность ГИИ связана с тем, в чьих руках будет сконцентрирована власть. Мы должны придумать, как построить подлинно демократические системы, куда входили бы и люди, и компьютерные разумы. Критически важно начать строить и тестировать ГИИ, которые будут решать экзистенциальные проблемы человечества и вместе с тем обеспечивать равенство в управлении ими. В противном случае мы можем обречь себя на будущее, полное экологических катастроф, войн и ненужных страданий.

Станут ли компьютеры чем-то вроде мыслящих и говорящих собак?

Рэндольф Нэссе

Основатель кафедры наук о жизни, директор Центра эволюционной медицины, Университет штата Аризона; автор, совместно с Джорджем Уильямсом, книги «Почему мы болеем» (Why We Get Sick)

Мыслящие машины эволюционируют на наших глазах. Мы хотим знать, куда направлена их эволюция. Чтобы это выяснить, нам нужно заглянуть внутрь себя, так как именно наши желания — та сила, которая их формирует. Увы, себя мы можем наблюдать только через тусклое стекло. Мы даже не представляли, насколько сильно электронная почта и социальные сети изменят нашу жизнь. Чтобы увидеть, что ждет мыслящие машины, нам надо взглянуть в безжалостное зеркало, которое ставит перед нами интернет.

Как бакалея на полках магазинов, сетевой контент — это продукт отбора, производство которого зависит от продаж. В интернете появляются любые мыслимые изображения, аудиофайлы или истории, а также много такого, о чем раньше нельзя было и помыслить. Те варианты, которые мы игнорируем, отбраковываются. Все, за что цепляется глаз, репостится с небольшими изменениями и эволюционирует до такого состояния, при котором может максимально долго удерживать наше внимание.

Неудивительно, что мы не в силах оторваться от экрана. Медийный контент эволюционирует, чтобы стать для нас интереснее, как снеки и фастфуд эволюционируют, чтобы стать соблазнительнее. Многие сейчас злоупотребляют социальными сетями так же, как калорийной едой. Мы уминаем информационные конфетки, как шоколадные.

Возьмем мыслящие машины. Они тоже эволюционируют. Они станут изменяться более быстро и более радикально, когда программное обеспечение будет не разрабатываться, а видоизменяться, становясь лучше, в ходе отбора с небольшой изменчивостью. Однако до тех пор пока наши мозги эволюционируют совместно с машинами, движущей силой этого отбора останутся наши предпочтения. Те машины, что соответствуют им наилучшим образом, будут развиваться дальше, не до некой сингулярности, но до того состояния, когда станут партнерами, выполняющими наши желания, плохо это или хорошо.

Многие представляют себе компьютеры будущего холодно-объективными, но никто не любит всезнаек. Люди предпочтут скромных, вежливых помощников, которые ведут себя очень субъективно. Наши машины не будут противоречить глупостям, которые мы говорим, они ненавязчиво намекнут: «Любопытная идея, но вы ведь наверняка думали, что…» Вместо того чтобы предоставить объективную спортивную статистику, ваша машина будет вместе с вами болеть за вашу команду. Если вас остановят за превышение скорости, ваша машина обвинит во всем полицейского и извинится за то, что включила слишком быструю музыку. Машины, которые ворчат и хвастаются, будут вытеснены машинами, которые восхищаются нашими способностями, даже если сами их и усиливают. Они будут нас горячо поддерживать, разделять наше мнение и подводить к новым идеям так тонко, чтобы мы и не догадались, что не сами до них дошли.

Подобные отношения с машинами, отличаясь от отношений с реальными людьми, окажутся тем не менее продолжительными и бурными. Поэты и ученые десятилетиями будут сравнивать первые и вторые, даже когда искусственные интеллекты уже станут нашими доверенными и ценными спутниками. Реальным людям будет тяжело конкурировать с ИИ, но все же придется. Для этого потребуется вести себя еще более просоциально. Процесс селекции, сформировавший такие человеческие качества, как альтруизм и мораль, может ускориться — ведь людям придется соревноваться с машинами за статус более интересного и предпочтительного партнера. На самом деле, если взглянуть на гостиные, в которых каждый член семьи погружен в собственный виртуальный мир, то можно прийти к мысли, что с машинами уже довольно сложно конкурировать.

В краткосрочной перспективе проще всего соревноваться с компьютерами за наше внимание и любовь будет собакам. После нескольких тысяч лет отбора они стали как раз тем, чего мы хотим, — любящими спутниками, верными, всегда готовыми с нами поиграть и услужить нам. Они пребывают в блаженном неведении о том, для чего нужны телефоны и планшеты. Станут ли компьютеры чем-то вроде мыслящих и говорящих собак? Можно на это надеяться. Но сомневаюсь, что наши машины когда-нибудь будут мохнатыми и теплыми, что будут смотреть преданными глазами, выпрашивая лакомство, и лезть под руку, чтобы их погладили, или проситься погулять. Мы еще очень долго будем предпочитать собак. Все-таки глубочайшее удовлетворение происходит не от того, что другие делают для нас, а от того, что нас ценят за сделанное для других.

Мыслящие машины и тоска

Ричард Нисбетт

Психолог; профессор Мичиганского университета; автор книги «Мозгоускорители: Как научиться эффективно мыслить, используя приемы из разных наук» (Mindware: Tools for Smart Thinking)[68]

Впервые возможность подумать о том, как мыслящие машины способны повлиять на жизнь человека, выпала мне на лекции, которую несколько десятков лет назад читал профессор информатики на коллоквиуме отделения психологии в Йельском университете. Темой лекции было: «Как повлияет на самооценку и благополучие людей то, что компьютеры смогут делать все лучше: обыгрывать чемпионов по шахматам, писать великие симфонии?»

«Хочу сразу уточнить две вещи, — сказал докладчик. — Во-первых, я не знаю, смогут ли машины когда-нибудь делать все это. Во-вторых, я единственный человек в комнате, у которого есть право на собственное мнение по этому вопросу». Последнее утверждение было встречено вздохами и нервными смешками.

Прошло несколько десятилетий, и вот компьютеры способны на многие из тех удивительных вещей, которые упоминал докладчик, — в этом не остается никаких сомнений, и, боюсь, ответ на вопрос о том, что́ их достижения будут означать для человечества, таков: машины нас совершенно деморализуют и оставят не у дел. Я расстроился, когда Deep Blue обыграл Гарри Каспарова в шахматы. Я мгновенно впал в депрессию, когда IBM Watson, его наследник, обошел своих соперников в Jeopardy! и, конечно, мы знаем, что машины уже умеют писать композиции, которые поразили бы самого Джона Кейджа!

Что будет с моральным настроем людей, когда любую их работу машины научатся делать на более высоком уровне? Как относятся пилоты самолетов к тому, что машина справляется с их обязанностями лучше, чем они? Сколько пройдет времени, прежде чем эта профессия устареет подобно сотням других? Как отнесутся бухгалтеры, финансисты и юристы к тому, что все, чем они зарабатывают себе на хлеб с маслом, станут выполнять машины, причем гораздо эффективнее и несравнимо быстрее? А врачи, физики и психотерапевты?

Как мы отнесемся к тому, что для нас просто не останется сколько-нибудь важной работы? Что машины будут сеять и жать вообще без нашего участия? Что машины научатся создавать еще более совершенные машины, о каких человек и помыслить бы не мог? Или что они станут более интересными собеседниками, чем самые умные из ваших друзей?

Стив Джобс сказал, что потребитель не обязан знать, чего он хочет. Компьютеры могут заявить, что люди не обязаны знать, чего хотят.

Как и вы, я люблю читать, слушать музыку, смотреть фильмы и спектакли, бывать на природе. Но я также люблю работать — и чувствовать, что моя работа интересна, по крайней мере, для меня, а может быть, она еще и улучшает чью-то жизнь. Как отнесутся люди вроде меня или вас к тому, что их работа окажется бессмысленной и что у них останутся только развлечения?

Мы уже знаем, как сказался на некоторых народах технический прогресс. Никому не нужно изготавливать собственные луки и стрелы и ходить на охоту с иной целью, кроме развлечения. Либо сажать, обрабатывать и собирать урожай кукурузы или бобов. Отдельные культуры, построенные вокруг подобных занятий, развалились и потеряли значимость для людей. Взять, к примеру, племена индейцев Юго-Запада США или сельское население Южной Дакоты, Алабамы, Нью-Мексико с их тоской, апатией и наркоманией. Стоит как следует подумать, смогут ли люди всего мира хладнокровно встретить новость о том, что им будет нечем заняться, кроме развлечений.

Это не значит, что невозможно определенным образом эволюционировать, воспринимая отсутствие работы как нечто приемлемое или даже приятное. Есть места, где людям почти нечего было делать целую вечность, и они это вполне нормально перенесли. Представители некоторых южнотихоокеанских культур вполне могли просто подождать, пока с дерева упадет кокос, или пройтись по лагуне и без особых усилий наловить рыбы. В некоторых южноафриканских культурах мужчины никогда не занимались ничем, что можно назвать работой, за исключением пары недель в году, когда требовалось их участие в посевной. А потом были еще праздные богачи, скажем, в Англии в 1920-е годы, проводившие время за бесконечной игрой в карты, бессчетными переодеваниями на завтрак, обед и ужин и серийными прелюбодеяниями с участием весьма привлекательных особ.

А что если наиболее оптимистичный вариант состоит в том, чтобы эволюционировать и наслаждаться бесконечными развлечениями, вообще не занимаясь сколько-нибудь важной, существенной работой? Это может выглядеть отталкивающе для нас, но оказаться очень даже приятным для наших праправнуков, и они, наверное, еще пожалеют нас, проживших такую заполошную и скучную жизнь. Кто-то может сказать, что авангард уже здесь: взять, например, Портленд в штате Орегон — его описывают как город, в который переезжают молодые люди, выходя на пенсию.

Нахес от наших машин

Сэмюэль Арбесман

Теоретик сложных систем; старший научный сотрудник Фонда Юинга Мариона Кауффмана; член-корреспондент Института количественных методов в социологии, Гарвардский университет; автор книги «Полураспад фактов» (The Half-Life of Facts)

Хоть мне и любопытно, каким образом появятся мыслящие машины, гораздо больше меня интересует то, как мы — общество — отреагируем на их появление. Например, пока им не удается продемонстрировать что-то похожее на самосознание или чувствительность, мы считаем их умными, но первое место на когнитивном пьедестале оставляем за собой.

А что, если эти мыслящие машины так же умны, как и мы, или даже намного умнее? Что, если они умны по-другому и не ограничиваются нашими моделями мышления? Не так уж невероятно, поскольку компьютеры уже хорошо справляются с тем, что у нас не получается: их кратковременная и долговременная память лучше, они быстрее считают и не подвержены иррациональным влияниям, от которых страдает наш разум. Если мы экстраполируем это, то увидим, что мыслящие машины могут быть одновременно и умными, и иными.

Так как нам реагировать? Один вариант — назвать их монстрами, неописуемыми чудовищами, способными исследовать неизвестное, как нам никогда не суметь. Многие люди наверняка отреагируют именно так, если мы создадим машины, которые думают о мире совершенно иным образом.

Но зачем? Я предпочту более оптимистичную реакцию, нахес — это слово на идише означает радость и гордость, часто компенсаторную гордость. Например, вы испытываете нахес, или, на идише, вы «шеп нахес», когда ваши дети оканчивают колледж, женятся или благополучно минуют еще какой-нибудь важный этап жизни. Это не ваши личные достижения, но вы ими все равно очень гордитесь и очень им рады.

То же самое может быть верно и для наших машин. Даже если мы не поймем их мыслей, открытий или технологических достижений, они останутся нашими машинами, и их создатели могут «шеп нахес» от успехов потомков, скажем компьютерных программ, которые генерируют уточненные произведения искусства или музыкальные композиции. Я думаю, что разработчики таких программ будут гордиться полученными картинами или музыкальными произведениями, даже если сами ничего подобного создать не способны.

Такое значение нахес можно расширить. У многих из нас есть любимая команда, победами которой мы гордимся, хотя не имеем к ним никакого отношения. Мы радуемся, когда гражданин нашей страны выигрывает золото на Олимпийских играх, совершает научное открытие или получает престижную награду. То же самое должно относиться и к нашим мыслящим машинам и всему человечеству: мы можем болеть за то, что создали люди, хотя это и не наше личное достижение — и даже если мы его не до конца понимаем. Многие из нас рады технологическим достижениям, от iPhone до интернет, хотя мы и плохо понимаем, как они работают.

Когда наши дети делают что-то удивительное, но в мы в этом не очень разбираемся, то мы не отчаиваемся и не волнуемся; мы рады их успехам и благодарны за них. На самом деле благодарность — это подходящее слово для отношения многих из нас к технологиям. Мы не полностью понимаем наши машины, но они мощные и полезные, и мы за это благодарны. Мы можем так же отнестись к нашим будущим технологическим творениям, к мыслящим машинам, которые нам до конца не понять. Вместо того чтобы бояться или беспокоиться, от них надо испытывать нахес.

Общей модели психического не будет

Джеральд Смолберг

Врач-невролог в больнице Ленокс-Хилл (Нью-Йорк); драматург, авангардистские постановки «Учредители» и «Золотое кольцо»

Мои мысли по поводу вопроса Edge в этом году сформированы под влиянием наблюдения, описанного Марком Твеном в книге «Янки из Коннектикута при дворе короля Артура»: «Опытному специалисту всегда легче предсказывать за пятьсот лет, чем за пятьсот секунд». Твен был великодушен: забудьте про 500 секунд — нам никогда наверняка не узнать, что произойдет даже через одну. Однако люди могут предугадывать будущее, что обеспечило Homo sapiens огромное эволюционное преимущество. Этот талант стал двигателем прогресса и источником творческих способностей человека.

Мы построили машины, которые, в несколько упрощенной форме, уже мыслят, решая задачи или выполняя функции, сформулированные нами. На данный момент машины подчиняются алгоритмам, которые следуют правилам логики, будь она «четкой» или «нечеткой». Компьютерный интеллект, несмотря на обширную память и постоянно развивающиеся механизмы обработки информации, все еще примитивен. В теории, когда эти машины станут сложнее, у них в какой-то момент сформируется самосознание (определим его здесь как способность сознавать, что ты что-то сознаешь). Вероятнее всего, этого произойдет за счет объединения свойств кремниевых и углеродных, цифровых, аналоговых и, возможно, квантовых вычислительных систем, а также нейросетей с временной задержкой.

Такая форма сознания, однако, будет лишена субъективных чувств и эмоций. Согласно ряду утверждений, чувства инициируются мыслями и образами, которые сочетаются с определенной эмоцией. Страх, радость, гнев и похоть — это примеры эмоций; к чувствам относятся удовлетворение, тревога, счастье, горе, любовь и ненависть.

Мое мнение о том, что машины будут лишены этого аспекта сознания, основывается на двух соображениях. Первое — то, каким образом мы пришли к способности чувствовать и испытывать эмоции. Как человеческие существа, мы являемся результатом эволюции, происходившей под действием естественного отбора — процесса, который начался среди примитивных организмов приблизительно 3,5 миллиарда лет назад. За это огромное время мы были не одиноки среди животного царства в своей способности испытывать чувства и эмоции. Но примерно 150 000 или 300 000 лет назад Homo sapiens оказался единственным видом, сформировавшим язык и символическое мышление — части нашего разума, которые помогают нам понимать свои ощущения и наблюдать за окружающим миром. Чувства, эмоции и разумное восприятие теснейшим образом переплетены с тем, как мы мыслим. Мы не просто сознаем, что у нас есть сознание, наше мышление также дает нам возможность помнить прошлое и представлять будущее. Используя эмоции, чувства и разум, мы формируем модель психического, которая помогает нам понимать мышление других людей, что, в свою очередь, позволяет обмениваться знаниями и тем самым создавать общества, культуры и цивилизации.

Второе соображение состоит в том, что машины — это не организмы, и, какими бы сложными и высокоорганизованными они ни стали, они не пройдут естественного отбора. Независимо от того, как они сконструированы и запрограммированы, если у них появятся чувства и эмоции, это сделает их контрпродуктивными в плане ценности для нас.

Стимулом к созданию разумных машин станет будущая потребность обрабатывать и анализировать непостижимые объемы информации и данных, необходимых для того, чтобы с достоверностью отделять истинное от ложного и значительное от незначительного. Машины начнут делать предсказания, поскольку тоже смогут всматриваться в будущее, ожидая (без этого никак), пока оно раскроет свои карты. Им придется быть совершенно рациональными субъектами, чтобы выполнять свои задачи точно и надежно.

Для теории принятия решений им потребуется система моральных принципов. Возможно, это будет метод счисления, включающий такие утилитаристские принципы, как «Наибольшее счастье наибольшего числа людей»[69], вместе с золотым правилом нравственности, фундаментальной установкой, лежащей в основе многих религий: «Относись к другим так, как хочешь, чтобы относились к тебе». Субъективные ценности, связанные с чувствами и эмоциями, будут считаться пораженческой стратегией решения сложных проблем, с которыми мы продолжим сталкиваться, решая, что нужнее нам и всем видам, с которыми мы делим планету.

Как клинический невролог я склонен полагать, что мы не сможем читать мысли машин. Но также и они не смогут читать наши. У нас не будет общей модели психического. Подозреваю, что мы сумеем изучить это сложнейшее из состояний опосредованно, изучая поведение таких сверхразумных машин — и ближе нам не подойти. Они преодолеют эту границу, когда начнут размножаться и искать источники энергии, которые будут полностью контролировать самостоятельно. Если такое случится на моем веку (что весьма маловероятно), то судить о том, ждет ли нас утопия или антиутопия, я буду, только основываясь на моем мышлении, как водится, искаженном, поскольку аналитические рассуждения в нем всегда будут окрашены чувствами и эмоциями.

Им не понять сущности человеческих переживаний

Эльдар Шафир

Преподаватель психологии и связей с общественностью, Принстонский университет; автор, совместно с Сендилом Муллайнатаном, книги «Дефицит: Почему так плохо иметь слишком мало» (Scarcity: Why Having Too Little Means So Much)

Мышление существует во множестве форм, от решения задач по оптимизации чего-либо и игры в шахматы до ведения ученой беседы или сочинения прекрасной музыки. Но мне интересно: что машины, которые предположительно мыслят, могут думать о вещах, в сущности, человеческих? А ведь таких вещей много.

Рассмотрим трогательное описание из «Ради чего я живу» Бертрана Рассела:

Всю мою жизнь пронизывали три страсти, простые, но неодолимые в своем могуществе: жажда любви, тяга к знанию и мучительное сочувствие к страданиям человечества. Как могучие ветры, носили они меня над пучиною боли, увлекая из стороны в сторону и порой доводя до отчаяния[70].

Хотя Рассел был прославленным мыслителем, то, что он описывает, так или иначе знакомо всем нам. Но что из этого поймет машина? Может ли она чувствовать «жажду любви» или «мучительное сочувствие к страданиям человечества»? Может ли ее «носить над пучиною боли из стороны в сторону до отчаяния»?

Если мы примем некую компьютерную метафору разума (я принимаю), то все сантименты должны в конечном счете быть результатами физических процессов, которые в теории могут происходить в машине. Но сами эти вещи часто очень человеческие. Если мы согласимся, что мужчины не до конца понимают материнскую любовь; что тому, кто всегда ел вдоволь, не понять мук голода; что свободному не понять, что значит быть в заключении, — тогда машины, независимо от того, насколько хорошо они «мыслят», могут не суметь постичь многие вещи. А эти вещи — сущность человеческих переживаний. В опере мы сопереживаем Аиде, которая в ужасе от собственных слов «Ritorna vincitor»[71] и понимает, что разрывается между любовью к Радамесу и преданностью своему отцу и своему народу. Сможет ли машина испытывать те же чувства, что и Аида, или переживать, как все мы, когда видим, как она молит богов сжалиться над нею? Сможет ли машина испытывать страх смерти, если она не живет? Похоть, если у нее нет половых органов? Или те ощущения, что приходят вместе с мигренями, морщинами или обычной простудой? Легко представить машину в нацистской форме и еще одну машину, которую мы назовем Софи. Но когда первая заставляет вторую сделать ужасный выбор, сумеет ли первая испытать садистское удовольствие, а вторая — кошмарную безысходность вроде той, что изображена в книге Стайрона «Выбор Софи»[72]?

Если машины неспособны в полной мере к типу мышления, который включает страсти и страдания наподобие тех, что мы видим у Рассела, Аиды или Софи; если они не могут испытывать томление, желание, решимость и унижение, лежащие в основе мышления набоковского Гумберта, конрадовского Куртца, мелвилловского Ахава или толстовской Анны; если они ничего из этого не могут, то, наверное, они действительно неспособны мыслить.

Интуитивная теория машины

Кристофер Шабри

Адъюнкт-профессор психологии Юнион-колледжа; автор, совместно с Дэниэлом Саймонсом, книги «Невидимая горилла, или История о том, как обманчива наша интуиция» (The Invisible Gorilla: How Our Intuitions Deceive Us)[73]

Я часто задавался вопросом: почему нам, людям, так тяжело здраво размышлять о мыслящих машинах.

В литературе, кино и играх они часто изображены копиями людей, иногда вплоть до формы тела и его частей, а их поведение указывает на то, что и думают они во многом так же, как мы. Но мышление не обязано следовать человеческим правилам или моделям, чтобы считаться мышлением. Примеров тому множество: шахматные компьютеры умнее людей не потому, что они думают так же, как люди, только лучше, а потому, что они думают совсем по-другому. Успешный перевод с одного языка на другой может быть выполнен без глубокого знания грамматики.

Эволюция наделила человека способностью представлять и осмысливать содержание других человеческих разумов. К моменту поступления в школу дети умеют учитывать, что разные люди знают об одном и том же наборе фактов (необходимое условие для того, чтобы научиться лгать). Позже, став взрослыми, мы используем эту способность, чтобы договариваться, сотрудничать и решать задачи для извлечения личной и общей выгоды. Эта часть ментального оснащения часто называется моделью психического и действует даже в ситуациях, где отсутствуют «разумы», которые можно было бы представить. Видеозаписи, на которых двухмерные фигуры движутся по экрану компьютера, могут рассказывать истории о любви, предательстве, ненависти и насилии, существующие исключительно в голове у зрителя, на время забывающего, что у многоугольников нет эмоций.

Может быть, нам сложно думать о мыслящих машинах, потому что у нас нет соответствующей интуитивно понятной модели. Смоделировать в уме даже простое механическое устройство из нескольких взаимосвязанных шестеренок, скажем чтобы выяснить, в какую сторону, быстрее или медленнее будет крутиться последняя из них при вращении первой, задача чертовски сложная. Сложные машины, состоящие из абстрактных алгоритмов и данных, еще более далеки от нас при тех умственных способностях, которыми мы располагаем.

Возможно, именно поэтому когда мы задумываемся о мыслящих машинах, то воспринимаем их как разумных существ — практически как людей. Мы применяем лучшие инструменты, которые есть у нашего мозга, а именно модель психического и универсальное мышление. К сожалению, первая не предназначена для таких задач, а использование второго затруднено ввиду наших ограниченных способностей к концентрации внимания и выделению оперативной памяти. Конечно, у нас есть дисциплины вроде физики, инженерного дела и теории вычислительных систем, которые учат нас, как понимать и как строить машины, в том числе мыслящие, но для усвоения хотя бы основ этих дисциплин требуются годы систематического обучения.

Предмет «Теория машины» будет игнорировать интенциональность и эмоции и специализироваться на репрезентации взаимодействий различных подсистем, входов и выходов, с тем чтобы спрогнозировать действия машин в различных обстоятельствах, как модель психического (также называемая теорией сознания) помогает нам прогнозировать поведение других людей.

Если бы наш мозг имел встроенный инструментарий для теории машины, то все могло бы быть иначе. Вместо этого мы, похоже, обречены видеть сложную действительность машин, принципы мышления которых отличаются от привычных нам, через призму упрощения и допущения о том, что их разум, при больших или меньших способностях, будет все же аналогичен нашему. Поскольку со временем нам предстоит все больше и больше взаимодействовать с мыслящими машинами, придется как-то выработать более качественные средства для их интуитивного понимания. Создание новой дисциплины — сложная задача, но однажды наш мозг с этим уже справился, инновационным образом использовав уже имевшиеся способности, — когда человечество изобрело письменность. Возможно, наши потомки будут осваивать навыки понимания машин с той же легкостью, с какой мы учились читать.

Мыслящие солончаки

Урсула Мартин

Профессор информатики Оксфордского университета

Прогуливаясь на закате около солончаков, я замираю в смущении, потому что тропа исчезает в неглубоком разливе мутной воды, сверкающей в лучах заходящего солнца. Потом я замечаю выложенную из камней переправу, заметную только потому, что их грубая поверхность нарушает светлую, яркую гладь водной поверхности. Я приспосабливаю свой шаг к ритму камней и иду через солончак к виднеющимся вдали песчаным дюнам.

Чтение залитого водой солончака — это разговор с прошлым, с людьми, о которых я ничего не знаю, кроме того, что они уложили камни, задающие мой шаг, и, вероятно, разделяли мою нелюбовь к тому, чтобы мочить ноги.

За дюнами, вдоль залива, до дальней деревни протянулся широкий песчаный пляж. Отступающий прибой оставил удивительно правильные узоры из воды и песка, которые повторяют линии древних деревянных столбов. Несколько сотен лет назад тут в изобилии водился лосось, и эти столбы поддерживали сети, в которые его ловили. Каменная церковь дает мне ориентир, и я шагаю через пляж в ее направлении, чтобы выйти к деревне, попутно потревожив шумные стайки морских птиц.

Вода, камни, столбы и купол церкви — это реплики неспешного разговора длиною в века. Строители, рыбаки и даже одинокие путники оставляют на земле отметки; ветер, дождь и прибой, камни, песок и вода, животные и растения отвечают на них; а новые поколения, в свою очередь, по-своему отзываются на то, что находят, и изменяют найденное.

А что насчет мыслящих машин? Можно обсуждать проблемы искусственного интеллекта, связанные с компьютерным зрением и построением маршрута через залитые водой солончаки и пляжи или с пониманием нарративов прошлого, выраженных не с помощью стройного анализируемого текста, а посредством стертых ногами камней и гниющих деревянных столбов.

Можно поразмышлять о том, как мыслящая машина дополнила бы ощущения одинокого путника. Например, миленький робот-компаньон шлепал бы по солончаку и бегал по пляжу за морскими птицами. А может быть, путника вела бы по тропе мыслящая машина, располагающая обширными потоками данных о маршрутах, погоде и природе, обеспечивающая тем самым человеку кокон из пошаговых инструкций, заметок о животных и растениях, исторических сведений и данных о физической нагрузке, а также предупреждений о возможном нарушении границ частных владений и опасных последствиях приближающегося прилива. Или это была бы машина, созданная, чтобы выяснить, куда отправляются птицы на лето и как сделать так, чтобы опять стало много лосося.

Но какой будет мыслящая машина, которая сможет найти свое место в неспешных разговорах, что век за веком ведут между собою земля и вода? Какие качества потребуются такой машине? А что, если она не придет на смену какой-то сущности, а поможет нам понять сочетание человеческих, природных и технологических процессов, которые создают все, что мы видим на краю моря, а также то, какой отклик это в нас вызывает? Для описания целенаправленного взаимодействия людей и компьютеров сейчас используется термин «социальная машина» — «Википедия» и тому подобное, — так что назовем нашу машину «пейзажной».

Ах, да, целенаправленного… У одинокого путника может быть простая цель: наловить рыбы, разобраться в поведении птиц или просто без приключений вернуться домой до начала прилива. Но что, если он хочет просто побродить в одиночестве, чтобы обрести спокойствие, побыть на лоне природы, обогатить фантазию или найти духовную пищу? Тогда прогулка превращается в разговор с прошлым, не напрямую, не через камни, столбы или воду, но с помощью слов, с помощью стихов тех, кто ощутил себя человеком благодаря камням, столбам и воде и нашел слова для того, чтобы передать свои чувства. Так что цель одинокого путника состоит в том, чтобы усилить те самые качества, которые делают его человеком в его разделенной с другими людьми человечности. Это действительно сложная задача для мыслящей машины.

Мыслящие машины для убийства содержат нашу совесть в чистоте

Курт Грей

Доцент кафедры психологии Университета Северной Каролины в Чапел-Хилл

Машины давно помогают нам убивать. Механизмы — от катапульт до крылатых ракет — дают людям возможность уничтожать друг друга эффективнее. Несмотря на растущую изощренность машин для убийства, одно остается неизменным: моральная ответственность за их действия всегда была возложена на человеческий разум. Винтовки и бомбы по сути бездумны, так что вина падает не на них, а на человека, который спустил курок.

Но что, если у машины хватало бы ума самостоятельно принять решение убить? Такая мыслящая машина взяла бы вину на себя, очистив совесть тех, кому выгодно ее разрушительное действие. Мыслящие машины могут сделать для мира много хорошего, но они также могут сделать так, что людям будут сходить с рук преступления.

Люди давно искали способ дистанцироваться от актов насилия и пожинать его плоды, не мараясь. Машины не только увеличивают разрушительную силу наших действий, но и физически размывают их границы. Вместо удара рукой, ножом или удушения теперь используются более дистанционные — и утонченные — действия вроде нажатия на кнопку или на рычаг. Однако как бы машины ни увеличивали эту дистанцию, наш разум продолжает приписывать вину людям, стоящим за ними.

Исследования в области психологии морали показывают, что у человека, столкнувшегося с бедой, есть глубинная потребность обвинять кого-либо или что-либо. Когда кто-то пострадал, мы ищем не просто причину, но сознательную причину — мыслящее существо, которое решило причинить страдания. Это типично для человека, но неправильно. В последствиях ураганов или цунами люди часто обвиняют «десницу божью», истории известны примеры, когда обвиняли даже скот — французские крестьяне однажды предали суду свинью, убившую младенца.

Обычно жажде обвинения достаточно одного мыслящего существа. Если мы нашли такое существо, мы уже менее мотивированы искать другое. Если можно обвинить человека, то нет нужды поносить бога. Если можно обвинить сотрудника низшего звена, то нет нужды увольнять директора. И если в чьей-то смерти можно обвинить мыслящую машину, то нет нужды наказывать людей, которым это было выгодно.

Конечно, чтобы машина приняла на себя вину, она должна быть дееспособной и демонстрировать новое, непредвиденное поведение. Возможно, машины никогда не сделают чего-то действительно нового, но тот же тезис относится и к людям, «запрограммированным» эволюцией и культурным контекстом. К примеру, дети, несомненно, запрограммированы своими родителями, и все же — посредством обучения — они способны вырабатывать новое поведение и моральную ответственность. Подобно детям, современные машины — мастера учиться, и, похоже, они неизбежно выработают способы вести себя непредсказуемо, не учтенные теми, кто их программирует. Алгоритмы уже обнаружили нечто новое, о чем их создатели и не догадывались.

Мыслящие машины могли бы принимать собственные решения, но выгораживать людей только тогда, когда те решают кого-то убить, вставая между нашим разумом и разрушением, которое мы хотим совершить.

Роботы уже играют важную роль в современных войнах. За последние несколько лет дроны убили тысячи людей, но на данный момент эти машины полностью контролируются операторами-людьми. Чтобы снять с них вину, это должны делать другие разумные машины; компьютеры должны научиться управлять беспилотниками самостоятельно.

От такого сценария у многих (включая меня) по спине бегут мурашки, но, с точки зрения руководства, это просто здравый смысл и холодный рассудок. Если сопутствующий урон возникает из-за решений, принятых машинами, то военные просчеты не повлияют на результаты чьей-то предвыборной кампании. Кроме того, если такие машины могут быть подвергнуты переборке или списанию — аналогу наказания, люди не станут особенно беспокоиться по поводу нагоняев от руководства, говорим ли мы о жертвах военных действий, неудачных роботизированных хирургических операциях или о дорожных происшествиях с участием беспилотных автомобилей.

Мыслящие машины — вещь сложная, а человеческая потребность кого-то обвинять — вполне простая. Смерть и разрушение заставляют нас отыскивать один-единственный разум, на котором будет лежать ответственность. Достаточно умные машины, если поместить их между разрушением и нами, должны принять на себя груз ответственности за неправомерные действия и оградить нас от осуждения окружающих. Нам всем нужно надеяться на то, что это предсказание никогда не сбудется, но, когда развивающиеся технологии столкнутся с современным пониманием психологии морали, появятся угрожающие возможности. Чтобы содержать свою совесть в чистоте, нам нужно всего лишь создать мыслящие машины и обвинить их во всем.

Когда мыслящие машины нарушают закон

Брюс Шнайер

Специалист по информационной безопасности; научный сотрудник Центра Бергмана по изучению проблем Интернета и общества, Гарвардская школа права; технический директор Co3 Systems, Inc.; автор книги «Данные и Голиаф: Тайные сражения за то, чтобы собрать ваши данные и управлять вашим миром» (Data and Goliath: The Hidden Battles to Collect Your Data and Control Your World)

В прошлом году два швейцарских художника создали бота Random Botnot Shopper, который еженедельно тратил эквивалент 100 долларов в биткойнах на случайные покупки на анонимных торговых интернет-площадках в рамках арт-проекта для выставки в Швейцарии. Интересный концепт, вот только одна проблема. По большей части бот покупал безобидные вещи: поддельные джинсы Diesel, бейсболку со встроенной скрытой камерой, тайник, выполненный в виде банки колы, пару кроссовок Nike, но еще он приобрел десять таблеток экстази и поддельный венгерский паспорт.

Что делать, если машина нарушила закон? Обычно мы в таком случае обвиняем того, кто ею управляет. Люди совершают преступления; оружие, отмычка и компьютерный вирус — всего лишь их инструменты. Но по мере того как машины делаются все более автономными, связь между инструментом и его создателем становится тоньше.

Кто будет отвечать, если автономный военный дрон случайно убьет толпу мирных жителей? Офицер, который ввел данные по миссии, программисты, написавшие ПО для распознавания врага, которое неверно идентифицировало людей, или программисты, написавшие ПО, которое приняло решение убить этих людей? А если разработчики понятия не имели, что их программа используется в военных целях? Что, если дрон может самостоятельно улучшать свои алгоритмы на основе данных, собранных всем флотом в предыдущих операциях?

Может, наши суды и сумеют решить, на ком лежит вина, но только потому, что современные дроны хоть и автономны, но не слишком умны. Они умнеют и постепенно теряют связь с теми, кто их создал.

Что, если программистов уже нет, а дроны сами себя совершенствуют? Что, если они станут и умными, и автономными одновременно и будут принимать как тактические, так и стратегические решения? Что, если один из дронов на основе имеющихся данных решит предать страну, построившую его, и начнет ей вредить?

Общество выработало множество подходов — неформальных социальных принципов и более формальных законов, чтобы разрешать ситуации неподчинения правилам общежития. Для мелких нарушений у нас есть бытовые механизмы, для более серьезных — сложная правовая система. Если вы буяните на моей вечеринке, я больше вас не позову. Если вы регулярно нарушаете правила приличия, вас застыдят и подвергнут остракизму. Если вы у меня что-то украдете, я могу заявить на вас в полицию. Попробуйте ограбить банк, и вы почти наверняка надолго сядете в тюрьму. Многие из этих правил могут выглядеть несистематизированными, но человечество потратило тысячелетия, чтобы выработать их. Безопасность — понятие одновременно политическое и социальное, но также и психологическое. Например, дверные замки работают только потому, что система социальных и юридических запретов на кражу делает подавляющее большинство из нас честными. Таким образом, мы мирно сосуществуем в масштабах, невозможных для любого другого вида на планете.

Но что произойдет с системой, если появится новый тип злоумышленника — машина со свободой воли, что бы это ни значило? У нее, наверное, не будет представления ни о стыде, ни об одобрении. Она не откажется от определенных действий только потому, что другие машины могут что-то об этом подумать. Она не станет соблюдать законы просто потому, что так правильно, равно как не станет с естественным почтением относиться к властям. Если мы поймаем машину на воровстве, как мы ее накажем? Что такое оштрафовать машину? Имеет ли смысл сажать ее в тюрьму? Если в машину не заложен инстинкт самосохранения, то даже угроза смертной казни не будет иметь значительного эффекта.

Мы уже обсуждаем программирование моральных принципов для мыслящих машин; можно вообразить и программирование прочих человеческих склонностей, но мы наверняка где-нибудь ошибемся. Как бы мы ни старались этого избежать, но машины в определенный момент нарушат закон.

Это, в свою очередь, сломает нашу правовую систему. Сейчас она предотвращает преступления. Ее эффективность основана на задержании и осуждении преступников постфактум, а их наказание служит средством устрашения других. Эта схема не работает, если наказание бессмысленно.

Нечто подобное мы испытали после событий 11 сентября, когда многие из нас впервые задумались о таком явлении, как террористы-смертники, к которым нельзя применить привычные меры наказания. Всего одно изменение в сфере мотивации, и посмотрите, как оно повлияло на наш подход к вопросам безопасности. Мыслящие машины заставят нас столкнуться с такими же проблемами, а еще с теми, которые пока сложно даже представить. Социальная и правовая системы, успешно справлявшиеся с преступниками-людьми, неожиданным образом окажутся бессильны перед лицом мыслящих машин.

Мыслящая машина не всегда будет мыслить так, как нам хочется. И к последствиям этого мы не готовы.

Электрические мозги

Ребекка МакКиннон

Директор Ranking Digital Rights Project, фонд New America; соучредитель Global Voices; автор книги «Согласие сетевого народа» (Consent of the Networked)

Китайское слово, означающее компьютер, буквально переводится как «электрический мозг». Как сейчас мыслят электрические мозги? Как отдельные машины — все еще довольно примитивно, по человеческим меркам. В коллективе — достаточно хорошо. Всевозможные сетевые устройства со встроенными в них электрическими мозгами все больше общаются друг с другом, обмениваются информацией, приходят к взаимопониманию и принимают решения. Уже стало возможным в процессе последовательного сбора данных, их анализа и принятия решений, распределенного в облаке удаленных друг от друга машин, инициировать действия одной из них или нескольких в определенной точке пространства, тем самым оказывая влияние на некую группу людей (или обслуживая ее интересы).

Возможно, отдельные машины никогда не станут мыслить так, чтобы это было похоже на сознание отдельного человека, как мы его понимаем. Возможно, когда-нибудь большие, глобально распределенные сети не-людей достигнут некоего псевдоюнговского коллективного сознания. Но более вероятно то, что коллективное сознание человеческих сетей и обществ будет усилено различными видами коллективного сознания, генерируемого сетями электрических мозгов и тесно взаимосвязанного с ними.

Хорошо это или плохо?

И то и другое. Ни то ни другое. Как в случае с интернетом, которым мы все сегодня пользуемся, вопрос упирается в то, считаете ли вы человеческую природу изначально хорошей, плохой или дуалистичной. интернет не трансформирует и не улучшает человеческую природу. Он увеличивает, усугубляет, усиливает, укрепляет и укрупняет многие ее аспекты — от альтруистических и милосердных до преступных и злобных. Будьте готовы добавить еще одно измерение к тому, что уже делает интернет.

Мы уже столкнулись с тем, что специалисты по теории вычислительных систем любят называть проблемой атрибуции: с установлением того, кто в действительности ответственен за определенные события, происходящие в интернете или через него (например, за кибератаку на государственное учреждение или транснациональную корпорацию). Эти проблемы и связанная с ними полемика только продолжат обостряться.

Нам предстоит разобраться с тем, какими будут правовые последствия развития и расширения облачных структур; схожие вопросы задаются сегодня по поводу интернета и сетевых устройств. Кто решает, как будет развиваться технология, от которой все больше зависит наша экономическая, общественная, политическая и религиозная жизнь? Кто ответственен за нарушение чьих-либо прав в результате воздействия этих технологий, платформ и сетей? Кто и перед кем будет отвечать за такие нарушения, как цензура, слежка, подстрекательство к физическому насилию, основанная на определенных данных дискриминация и т. д.?

Появятся и новые вопросы. Будут ли конкурирующие сети, созданные и тесно связанные с соответствующими конкурирующими культурами (заметьте, я не говорю «контролируемые»), коммерческими альянсами, религиями или государственными структурами, блокировать связи друг у друга? Могут ли они сражаться друг с другом? Как будет осуществляться художественное творчество? Как будет осуществляться политика? Как будет осуществляться война? Можно ли делегировать цензуру и слежку сетям не-людей, чтобы люди не несли ответственности за подобные вещи? (Как это было бы удобно для наших правительств и бизнеса!) Можно ли вместо этого спроектировать мыслящие сети вещей таким образом, чтобы для определенных действий требовалось непосредственное участие человека или его согласие?

Будут ли более развитые умные облачные структуры усугублять глобальное неравенство? Могут ли они обострить идеологические и религиозные конфликты, если мы ничего не предпримем, чтобы этого не допустить? Если мы хотим предотвратить увеличение глобального цифрового разрыва, что нам нужно делать уже сейчас?

Будут ли эти сети открытыми или закрытыми? Сможет ли любой новатор, независимо от своего местонахождения, подключить что-то к сети и начать в ней общаться, или, вернее, участвовать в ней, без необходимости получать разрешение? Или же это будет управляемая система, где определенные компании и правительства станут решать, кто и что может подключать и по какой цене? Или какие-то системы будут открытыми, а какие-то — закрытыми?

Приведут ли более умные и мощные глобальные сети к дальнейшему размыванию влияния и легитимности национальных государств, более выраженному, чем привел интернет? Или же они как-то усилят влияние национальных государств? Или дадут национальным государствам возможность эволюционировать и выживать в новом сетевом мире?

Мы не можем ждать хороших или гуманных результатов только потому, что люди, которые изобретают или внедряют новую технологию, имеют добрые намерения, ценят и любят свободу и демократию. Подобные допущения не очень-то оправдались для интернета — и для всего, что появится после него, тоже не оправдаются.

Рободоктора

Герд Гигеренцер

Психолог; директор Центра адаптивного поведения и познания, Институт человеческого развития Общества научных исследований им. Макса Планка (Берлин); автор книги «Понимать риски: Как выбирать правильный курс» (Risk Savvy: How to Make Good Decisions)[74]

Пришло время ежегодного медосмотра. Вы входите в кабинет врача и жмете его холодную руку, металлическую руку машины. Вы стоите лицом к лицу с РД — сертифицированным рободоктором. Как вам такая перспектива? «Ну уж нет! — скажете вы. — Дайте мне настоящего доктора, который выслушает, поговорит со мной, у которого, как и у меня, есть чувства. Дайте мне человеческое существо, которому я могу слепо доверять».

Но задумайтесь на секундочку. При страховой медицине врач общей практики не уделит вам больше пяти минут. О каком мышлении тут может идти речь? Многие врачи мне жалуются на своих беспокойных, плохо осведомленных и непослушных пациентов — те ведут нездоровый образ жизни и требуют лекарств, которые рекламируют по телевизору знаменитости, а если что-то пойдет не так, угрожают судебными тяжбами.

Но дефицит мышления поражает не только пациентов. Исследования убедительно показывают, что большинство врачей не понимают медицинскую статистику, а следовательно не могут критически оценивать медицинские статьи даже в своей предметной области. Это дорого обходится человечеству. Десять миллионов американских женщин сдали Пап-тест для определения раковых клеток в шейке матки, несмотря на то что им ранее провели полную гистерэктомию, то есть матки у них не было. Каждый год миллион американских детей проходят ненужную КТ, подвергаясь воздействию радиации, что впоследствии у некоторых из них приводит к развитию рака. Многие врачи просят мужчин регулярно сдавать анализ на ПСА[75], чтобы выявить рак простаты, несмотря на то что практически все медицинские организации не рекомендуют этого делать, так как польза от процедуры не доказана, кроме того, она может нанести пациенту серьезный вред. У многих мужчин развивается недержание и импотенция в результате последующего хирургического вмешательства или воздействия радиации. Из всего этого складываются огромные затраты рабочего времени доктора и денег пациента.

Так почему же врачи не всегда рекомендуют то, что лучше всего для обратившихся к ним людей? Есть три причины. Во-первых, от 70 до 80 % терапевтов не понимают медицинской статистики. Причина? Медицинским вузам во всем мире не удается научить их статистическому мышлению. Во-вторых, при страховой системе здравоохранения у врачей возникает конфликт интересов: если они не прописывают анализы и лечение, даже бесполезные или вредные, то теряют деньги. В-третьих, более 90 % американских докторов признаются, что практикуют перестраховочную медицину, то есть рекомендуют ненужные анализы и лечение, которые не прописали бы членам своей семьи. Делают они это для того, чтобы защитить себя от пациентов, которые могут подать на них иск. Таким образом, в кабинете врача полным-полно психологических проблем, которые мешают нормальной работе: самозащита, плохое знание математики и конфликт интересов. Это тройственное расстройство известно под названием SIC-синдром. Он ставит под угрозу безопасность пациента.

Важно ли это? На основании данных, собранных с 1984 по 1992 год, Институт медицины США пришел к заключению, что в результате предотвратимых и задокументированных медицинских ошибок в американских больницах ежегодно умирают от 44 000 до 98 000 пациентов. На основании более свежих данных, собранных с 2008 по 2011 год, организация Patient Safety America уточнила данные о смертности: более 400 000 человек в год. Нелетальные случаи нанесения серьезного вреда здоровью в результате предотвратимых ошибок оцениваются в пределах от 4 до 8 миллионов ежегодно. Число случаев нанесения вреда здоровью пациентов в частной практике неизвестно. Если у нас будет все меньше врачей, у которых будет все меньше времени для пациентов и заинтересованности в их безопасности, то эта эпидемия продолжит распространяться. В сравнении с ней Эбола бледнеет.

Нам нужна революция в здравоохранении. Медицинские вузы обязаны обучать студентов основам медицинской статистики. Правоохранительная система не должна больше наказывать врачей за то, что они опираются на факты, а не на традиции. Нам также необходимы такие принципы оплаты медицинских услуг, которые не вынуждали бы врачей выбирать между прибылью и здоровьем пациента. Но революция пока не случилась, и признаков того, что она случится, почти нет.

Так почему бы не обратиться к радикальному решению: рободоктора разбираются в медицинской статистике, у них нет конфликта интересов, и они не боятся, что их засудят (в конце концов, им не надо возвращать образовательный кредит и у них нет банковских счетов, на которые могут позариться истцы)? Давайте вернемся к вашему ежегодному медосмотру. Допустим, вы спрашиваете у РД, сокращают ли медосмотры смертность от рака, сердечных или иных заболеваний. РД без обиняков сообщает вам, что, на основании существующих на данный момент медицинских исследований, ответ на все три части вопроса: нет. Вам может быть неприятно это слышать, потому что вы гордитесь тем, насколько добросовестно вы проходите плановые осмотры, следуя совету своего врача-человека, у которого не было времени следить за медицинскими исследованиями. РД не пропишет вашему ребенку ненужную КТ, не отправит вас на Пап-тест, если вы — женщина без шейки матки, не будет рекомендовать регулярно сдавать ПСА, не объяснив все плюсы и минусы процедуры, если вы мужчина. Кроме того, РД может одновременно разговаривать с несколькими пациентами, а следовательно, уделять вам столько времени, сколько потребуется. Очередь к врачу будет короткой, и никто не станет подталкивать вас к двери.

Когда мы представляем себе мыслящие машины, то обычно думаем о более совершенных технологиях: об устройствах, которые контролируют давление, уровень холестерина или сердцебиение. Мне же представляется кое-что иное. Революция РД меньше касается технологий и больше относится к психологии. То есть она предполагает, что надо думать о благе пациента и о том, как обеспечить ему наилучший уход, вместо того чтобы заботиться о доходности.

О’кей. Вы возразите, что коммерческие клиники с легкостью перепрограммируют роботов, чтобы они максимизировали прибыли, а не пользу для вашего здоровья. Вы нащупали самое больное место нашей системы здравоохранения. Но есть один психологический фактор, который, вероятно, поможет. Пациенты обычно не задают вопросов во время консультаций с врачом-человеком, потому что верят в поговорку «Доверяй своему врачу». Но это не обязательно относится и к роботам. Есть шанс, что, пожав ледяную руку РД, пациент начнет думать своей головой. А заставлять людей мыслить самостоятельно — это лучшее из того, что может сделать машина.

Смогут ли машины стать такими же умными, как трехлетние дети?

Элисон Гопник

психолог, калифорнийский университет в Беркли; автор книги «ребенок-философ» (the philosophical baby)

Машина способна обыграть Каспарова, но может ли она сравниться умом с трехлетним малышом?

Обучение стало основой нового подъема ИИ. Но лучшие ученики во вселенной — это, определенно, человеческие дети. В ходе последних 10 лет изучающие развитие когнитивисты, часто работающие совместно со специалистами по теории вычислительных систем, пытаются выяснить, каким образом детям удается так много всего выучить за столь короткое время.

Удивительно, как сложно предсказать при создании искусственного интеллекта, что будет сделать легко, а что — сложно. Сперва мы думали, что вещи, которыми занимаются умнейшие из людей, вроде игры в шахматы или доказательства теорем — весь этот экстремальный спорт для «высоколобых» — окажутся самыми сложными для компьютеров. В действительности они оказались легкими. А вот то, что может сделать любой дурак, к примеру опознать предмет или поднять его, гораздо труднее. Оказывается, намного проще смоделировать рассуждения хорошо подготовленного взрослого специалиста, чем процесс обучения самого обычного ребенка. Так где же машины, догоняющие по способностям трехлетних детей, и какие типы обучения для них все еще недосягаемы?

За последние 15 лет мы выяснили, что даже младенцы удивительно хорошо справляются с обнаружением статистических паттернов. И специалисты по вычислительным системам изобрели машины, которые тоже исключительно хорошо справляются со статистическим обучением. Технологии вроде глубинного обучения обнаруживают даже очень сложные закономерности в огромных массивах данных. В результате компьютеры вдруг научились делать такое, что раньше для них было невозможно, например давать правильные заголовки для картинок из интернета.

Проблема с таким типом чисто статистического машинного обучения заключается в том, что оно зависит от огромного объема данных, причем они должны быть предварительно обработаны человеческим мозгом. Компьютеры могут распознать картинку из интернета только потому, что миллионы реальных людей редуцировали невероятно сложный набор данных со своей сетчатки до крайне стилизованного, ограниченного и упрощенного снимка со своим котейкой в Instagram, а также дали изображению совершенно определенный заголовок. Антиутопия из одного простого факта: на самом деле все мы — компьютеры Google, пребывающие под наркозом иллюзии, что нам просто нравятся картинки с котиками. Однако даже с такой помощью машинам все еще требуются огромные массивы данных и предельно сложные вычисления, чтобы посмотреть на новое изображение и сказать: «Киса!», а детям для этого нужно дать всего лишь пару примеров.

Кроме того, уровень обобщения для такого статистического обучения ограничен, будь вы ребенком, компьютером или ученым. Более мощный способ познания — формулировать гипотезы о том, как устроен мир, и проверять, насколько они согласуются с фактами. Тихо Браге, Google Scholar[76] своего времени, объединил огромный объем данных астрономических наблюдений и смог использовать их для того, чтобы предсказывать положение звезд в будущем. Но Иоганн Кеплер благодаря своей теории смог делать неожиданные, масштабные, совершенно инновационные прогнозы, находившиеся далеко за пределами кругозора Браге. Дошкольники делают то же самое.

Еще одно большое преимущество машинного обучения — это формализация и автоматизация такого типа проверки гипотез. Байесовская теория вероятности стала важной частью процесса познания. Мы можем математически описать некую случайную гипотезу, например о том, как изменения температуры океана влияют на ураганы, а потом вычислить, насколько вероятно, что такая гипотеза верна, на основании данных наблюдений. Машины теперь хорошо умеют проверять и оценивать верность гипотез на основании фактических данных, что оказывает влияние на все на свете — от медицинской диагностики до метеорологии. Когда мы изучаем маленьких детей, то видим, что они рассуждают подобным образом, и это отчасти объясняет, как им удается настолько быстро учиться.

Таким образом, компьютеры прекрасно умеют делать выводы из структурированных гипотез, особенно вероятностные выводы. Но действительно сложная проблема состоит в том, чтобы решить, какие гипотезы из всего их множества достойны того, чтобы их проверять. Даже дошкольники удивительно хорошо справляются с построением творческих, нестандартных гипотез. Они как-то сочетают рациональность и иррациональность, системность и случайность, и мы понятия не имеем, как они это делают. Мысли и действия маленьких детей часто выглядят бессмысленными, даже бредовыми — просто попробуйте как-нибудь поиграть в дочки-матери с трехлетними девочками. Именно поэтому психологи, например Пиаже, думали, что дети иррациональны и нелогичны. Но у них также есть сверхъестественная способность нацеливаться как раз на подходящие странные гипотезы; на самом деле они с этим справляются существенно лучше, чем взрослые.

Конечно, идея вычисления заключается как раз в том, что, как только у нас появляется полное детальное описание определенного процесса, мы можем запрограммировать его в компьютере. В конце концов, мы же знаем, что точно существуют физические системы, которые все это умеют. У большинства из нас есть опыт создания таких систем, и даже приятный опыт (по крайней мере, на ранних этапах). Мы называем эти системы детьми. Вычисление — все-таки лучшее и на самом деле единственное научное объяснение тому, как физический объект, которым является мозг, может действовать разумно. Но пока что нам почти ничего неизвестно о том, как устроен творческий процесс познания, который мы наблюдаем у детей. И пока мы этого не узнаем, самые большие и самые мощные компьютеры не сравнятся с маленькими и слабыми человечками.

Курица, которая играет в крестики-нолики

Кевин Славин

доцент кафедры медийных наук, основатель playful systems group, медиалаборатория массачусетского технологического института; соучредитель агентства everybody at once

Кто тут на самом деле рулит — Куриный мозг или двоичный код? Кто узнает, что я поставлю — крестик или нолик? Слова из песни группы M Shanghai String Band

В 1980-х в нью-йоркском Чайна-тауне, на пересечении Мотт-стрит и Бауэри, огромная толпа собралась на ярмарке видеоигр. Больше всего людей, даже больше, чем около аппаратов Pacman и Galaga, сгрудилось у машины, которую больше нигде не найдешь, — у курицы, играющей в крестики-нолики.

Это была единственная частично органическая машина: внутри нее сидела живая курица. Насколько я могу судить, курица играла в крестики-нолики достаточно хорошо, наравне с людьми. Игрок-человек делал ход, нажимая на кнопки, а курица наступала на пустые клетки на полу внутри автомата, выполненном в виде подсвеченного поля для игры в крестики-нолики, на котором отображались ходы обоих игроков.

Много раз, прогуливая в старших классах тригонометрию, я стоял перед этой курицей и гадал, как работает игра. Никакого явного позитивного подкрепления (например, корма) не было, так что я решил, что здесь имеет место негативное подкрепление в виде электрического тока небольшой силы, пропускавшегося через «неправильные» клетки на полу и ведущего курицу к единственной точке, из которой она могла выйти на ничью.

Когда я думаю о мыслящих машинах, то вспоминаю эту курицу. Если бы на ярмарке в Чайна-тауне я увидел компьютер, который играет в крестики-нолики, то он не стал бы из-за него прогуливать школу, не говоря уже про Pacman. То, что даже самый слабый компьютер может разобраться с этой игрой, — факт общеизвестный и неудивительный. Вот почему всех так сильно заинтересовала курица.

Волшебство заключалось как раз в том, чтобы представить себе мыслящую курицу, — тогда это было почти то же, что в 2015 году представить мыслящую машину. Но если курица не думала об игре в крестики-нолики и все же могла успешно в нее играть, то почему мы говорим, что компьютер думает, когда играет?

Такое суждение выглядит очень привлекательно, потому что у нас есть модель мозга — электричество движется по сетям, — по стечению обстоятельств согласующаяся с моделями, которые мы строим для машин. Такая согласованность может быть удобной в реальности, а может и не быть, но в любом случае на мышление все это похоже не только потому, что нечто производит вычисления, но еще и потому, что оно создает ощущение чего-то живого и теплого. В 2015 году ошибки делают машины, а люди должны их объяснять.

Мы обращаемся к иррациональному, когда рациональное нас подводит, и именно иррациональная часть больше всего напоминает наше мышление. Физик Дэвид Дойч предложил отделять ответы, которые дают машины, от объяснений, которые дают люди. И я полагаю, что в обозримом будущем мы продолжим обращаться к биологическим организмам, когда нам потребуются объяснения, — не только потому, что мозг лучше справляется с такой задачей, но еще и потому, что машины к этому не стремятся.

Проигрывать компьютеру — скучно, а вот проиграть курице — очень даже интересно, поскольку мы каким-то образом догадываемся, что у нас с нею больше общего — определенно больше, чем с сеткой у нее под ногами, по которой пропущен электрический ток. Покуда у мыслящих машин нет лимбической системы и той неточности, которая есть у курицы, компьютеры продолжат делать то, что у них получается лучше всего: давать ответы. И, пока жизнь будет чем-то большим, чем ответы на вопросы, люди — и куры — останутся в игре.

Искусственный интеллект сделает нас умными, а роботов напугает

Алан Андерсон

Старший консультант (и бывший главный редактор) New Scientist; автор книги «После оледенения: Жизнь, смерть и геополитика в Новой Арктике» (After the Ice: Life, Death, and Geopolitics in the New Arctic)

Высокий уровень интеллекта и теплые чувства к ближнему не очень хорошо сочетаются в сознании обывателя. Сверхразумные злодеи из фильмов о Джеймсе Бонде, жестокие и жаждущие мирового господства, — отличный пример. Поэтому неудивительно, что первой реакцией на фразу о мыслящих машинах становится вопрос о том, какие угрозы они несут человечеству.

То, что нам удалось узнать об эволюции своего интеллекта, тоже добавляет беспокойства. По мере того как люди эволюционировали, чтобы жить в более крупных социальных группах, чем у наших собратьев-приматов, совершенствовались и наши способности манипулировать другими и обманывать их, отличать друзей от врагов, вести учет добрых и злых дел, а также все прочие социальные навыки, необходимые для того, чтобы быть успешными индивидами. Результатом стал мозг большего размера и макиавеллианский интеллект[77].

Однако вряд ли можно утверждать, что мышление неразрывно связано с необходимостью конкурировать с другими и побеждать их только потому, что это было движущей силой эволюции нашего интеллекта. Мы можем создать искусственный разум — или разумы — без присущих человеческой природе пороков, у него вообще может не оказаться потребностей и желаний. Мышление не обязательно связано с коварством и вожделением, характерными для существа, которое эволюционировало прежде всего для того, чтобы выживать. Осмотритесь, и вы увидите, что сейчас повсеместно появляется как раз нейтральный тип ИИ.

Полезно не рассматривать интеллект с антропоцентристской точки зрения, ориентируясь только на наше особое человеческое мышление. Он развился у всех видов по одной и той же веской причине: он нужен, чтобы предугадывать будущее, он помогает разбираться с тем, чем оно грозит, — надо ли увернуться от камня или, если вы бактерия, заметить изменение питательности среды и выяснить, в каком направлении двигаться, чтобы получить наилучшие для себя результаты.

Если рассматривать интеллект в более общем понимании, то можно увидеть, что множество мощных искусственных разумов уже существуют. Возьмем климатические модели. Мы можем достаточно достоверно предугадать состояние всей планеты на десятки лет вперед и предсказать, как повлияют на будущее многие из наших действий. Климатические модели очень напоминают машину времени. Возьмем высокоскоростные компьютерные модели, используемые для работы на фондовом рынке: все они пытаются узнать ближайшее будущее раньше, чем остальные, и получить выгоду от этого знания. То же самое делают современные модели, оценивающие ваши онлайн-покупки: предсказывают ваши вероятные действия, чтобы получить выгоду от этого знания. С удовольствием покупая книгу из раздела «Рекомендовано для вас», вы попадаете в руки иному интеллекту, подталкивающему вас к тому будущему, о котором вы сами и не догадались бы, и знающему ваши вкусы лучше, чем вы сами.

Искусственный интеллект уже стал мощным и страшным, хотя можно спорить о том, стоит ли говорить о его мышлении. А мы ведь только начали! Практичный интеллект, в том числе роботизированный, будет понемногу прирастать еще долгое время и постепенно менять нашу жизнь, возможно, почти незаметно для нас. Он станет нашим продолжением, как другие наши инструменты. И он сделает нас еще могущественнее.

Нам нужно задуматься о том, кто будет владеть искусственным интеллектом, поскольку уже сейчас некоторые варианты его использования вызывают беспокойство. Нам не нужно беспокоиться по поводу самостоятельных машин, которые когда-нибудь станут мыслить так, как это делает человек. К тому моменту, когда будет построена разумная человекоподобная машина, если такое вообще когда-нибудь произойдет, она столкнется с людьми, обладающими макиавеллианским интеллектом и вооруженными всеми инструментами ИИ, которые, собственно, и дали возможность построить мыслящего робота. Испугается именно робот. Мы будем умными мыслящими машинами.

Когда мыслящие машины не являются благом

Мэри Кетрин Бейтсон

Почетный профессор Университета Джорджа Мейсона; приглашенный научный сотрудник Слоуновского центра изучения проблем старения и труда, Бостонский колледж; автор книги «Возраст активной мудрости: Будущее, которое мы сочиняем» (Composing a Further Life: The Age of Active Wisdom)[78]

То, что компьютеры выполняют действия, которые нам совершенно понятны, только быстрее и точнее, чем люди, — великое благо, а вот то, что мы их используем в ситуациях, которые понимаем не до конца, — отнюдь не благо. Мы не можем ожидать от программы эстетических суждений, сострадания или воображения, поскольку эти способности все еще остаются для нас загадкой даже тогда, когда их демонстрируют люди.

Мыслящим машинам, вероятно, предоставят самим принимать решения на основании того, что они якобы умеют. Например, мы теперь нередко видим письма, статьи или (чаще всего) курсовые работы, в которых предложенные программой исправления были приняты без надлежащей проверки: автор имел в виду «mod», а программа решила, что он подразумевал «mad»[79]. Как соблазнительно переложить принятие решений на машину! В переписке по электронной почте я как-то упомянула о встрече с одним человеком в Санта-Фе по пути в Техас, использовав слово «rendezvous», а компьютер решил выдать меня замуж и сообщил, что целью поездки являлось не что иное, как «render vows»[80]. Можно ли запрограммировать компьютер так, чтобы он поддерживал «семейные ценности»? Да вообще хоть какие-нибудь ценности? У нас уже есть дроны, которым можно задать определенное направление, и они сами будут выбирать цели, причем у них есть печальная склонность атаковать свадебные торжества, поскольку веселье, похоже, кажется им угрожающим. Мы наверняка можем запрограммировать электронный разум выписывать лекарства и медицинские процедуры, но маловероятно, что машины будут следовать правилу «Не навреди» лучше, чем люди.

Попытки создать мыслящие машины наверняка помогут нам разобраться в тех аспектах мышления, которые мы пока не до конца понимаем. Например, создание компьютеров на новом уровне показало нам, как важна точность в коммуникации. Возможно, мы лучше поймем, как на наши суждения влияют этнические предрассудки, и полнее разберемся в том, насколько следует полагаться на вероятности. Сколько решений будет основано на логике «Все так делают, значит, это нормально» или «Я обычный человек, мои действия ни на что не влияют»?

Будут ли те аспекты мышления, которые сложно запрограммировать, цениться больше или меньше? Будут ли юмор и благоговение, доброта и милосердие маргинализированы или по-новому переосмыслены? Будет ли нам лучше или хуже, когда мы перестанем выдавать желаемое за действительное и вместе с тем, возможно, разучимся надеяться на лучшее?

Справедливость для машин в мире органицизма[81]

Стив Фуллер

Философ, кафедра социальной эпистемологии им. Огюста Конта, Уорикский университет (Великобритания); автор книги «Предактивностный императив: Фундамент для трансформации» (The Proactionary Imperative: A Foundation for Transformation)

Мы не можем как следует осмыслить машины, если у нас нет единых условий, чтобы сравнивать себя с ними. На данный момент сравнение неизменно искажается в нашу пользу. В частности, мы недооцениваем ту роль, которую играет «умная среда» в реализации когнитивных навыков человека. Самые разные вещи, от построенных нами дорог и зданий до удобных в использовании потребительских товаров, — это технологически расширенный фенотип, создающий иллюзию того, что мир существует для удобства человека. Но стоит потеряться «айфону» — и мы, несомненно, очень быстро пробуждаемся от догматических грез о том, что вселенная предназначена именно для нас.

В то же время даже самая умная машина вынуждена действовать в относительно глупом (по ее собственным меркам) окружении, а именно в окружении из нас. Без специального обучения люди, скорее всего, не узнают или не будут интересоваться, как пользоваться всеми ее скрытыми возможностями. Если мы посмотрим на долгую предысторию прав машины, то увидим, что нам сложно определиться с терминами, в которых мы сможем определить ее как личность. В данном контексте уместно сосредоточиться на компьютерах, поскольку именно их люди больше всего постарались приспособить под себя.

Тем не менее мы сталкиваемся с проблемой уже в самом начале. К человечности долго относились как к чему-то, что британский экономист Фред Хирш в 1970-х годах назвал «статусной вещью», иными словами, ее ценность в основном определяется ее редкостью. Это, наверное, и есть самое большое препятствие для того, чтобы считать личностями не только не-людей, но также и тех представителей Homo sapiens, которые долгое время подвергались дискриминации. Любая попытка расширить ряды рода человеческого, как правило, встречается с дегуманизацией критерия, по которому кому-либо было позволено в эти ряды войти.

Так, когда женщины и представители меньшинств начали получать престижные рабочие и научные профессии, субъективно воспринимаемая ценность этих профессий начала снижаться. Ключевым фактором такого снижения стало использование «механических процедур», что позволило ранее исключенным из процесса группам заняться теми или иными видами деятельности. На практике это означает необходимость проходить формальное обучение и аттестацию, чтобы получить профессию. Просто знать нужных людей или родиться в соответствующей семье уже недостаточно. В социологии, начиная с Макса Вебера, такое называют рационализацией общества, и она обычно рассматривается как нечто хорошее.

Но в то время когда эти механические процедуры служат благу человечества, машины остаются в проигравших. Когда были созданы телескопы и микроскопы, способные вести автоматическое наблюдение, снизилась научная ценность тренированного человеческого глаза, или, точнее, она перекочевала в те области деятельности, где все еще была важна, например в изучение фотографий наблюдений. Эта новая задача получила название «интерпретация» — как бы для разделения того, что делает человек и что может делать машина.

Нечто подобное, только более наглядно, мы видим на примере судьбы производимых в уме вычислений, после того как появились портативные калькуляторы. Навык, который раньше был мерилом интеллекта, чистоты ума и даже гениальности, теперь считается чем-то вроде фокуса, забавы, потому что машина может делать то же самое, но быстрее и даже точнее. Примечательно, что мы не пытались поднять моральный авторитет машины, хотя она лучше человека справляется с задачами, которые были очень престижны, когда ими занимались люди.

С точки зрения истории технологий это выглядит странной несправедливостью. В конце концов, все складывается следующим образом: люди выделяют некоторые из своих навыков, чтобы лучше реализовать их силами машин. Те поначалу становятся инструментами, а затем — роботами (что предпочтительней). Исходя из этого, не предоставить машинам определенного уважения или даже прав равносильно отречению от собственных детей — «детей разума», как назвал их пророк робототехники Ханс Моравек четверть века назад.

Единственное отличие — это горн творения: матка или фабрика. Но любое заметное различие между биологией и технологией неминуемо исчезнет, когда люди станут лучше разбираться в проектировании своих детей, особенно вне матки. В этот момент мы будем в состоянии превозмочь предрассудки органицизма — несправедливость, которая даже глубже, чем видоцентризм[82].

По этой причине перспектива того, что мы создадим сверхразум, который вытеснит человечество, — химера, основанная на ложной предпосылке. Все версии такого жуткого сценария предполагают, что он принимает форму «они против нас», где человечество единым фронтом защищается от злобных машин. Это, конечно, отличная идея для кино. Однако люди, знающие об истории борьбы за права в пределах нашего вида, вполне могут последовать примеру того, как многие белые отнеслись к черным, а многие мужчины — к женщинам: они будут на стороне непокорных машин.

Не будьте шовинистом в вопросах мышления

Таня Ломброзо

Адъюнкт-профессор психологии Калифорнийского университета в Беркли

Привычные объекты, которые мы называем «машинами», — стиральные машины, швейные машины, кофе-машины — в основе своей механические. Они перемещают жидкости, они трансформируют материю, переводя ее из одного состояния в другое. Одежда становится чистой, куски ткани соединяются, варится кофе. Но появление мыслящих машин изменило то, как мы думаем о машинах. Многие из типичных на сегодняшний день устройств — ноутбуки, смартфоны, планшеты — имеют цифровую основу. Они перемещают информацию, трансформируют идеи. Числа становятся суммами, вопросы превращаются в ответы, задачи порождают планы.

По мере изменения наших взглядов на машины произошла ли схожая трансформация с тем, как мы осмысливаем мышление?

В каком-то смысле это вопрос не нов, и ответ на него: да. Технологии, существующие в определенное время и в определенном месте, часто становились своеобразной метафорой для мышления: гидравлическая метафора, механическая, цифровая или квантовая. Но в том, как мы думаем о мышлении, есть кое-что еще, и это кое-что проистекает из наших представлений о том, что является мышлением, а что — нет.

Ваша стиральная машина мыслит? А ваш смартфон? Мы более склонны приписывать мышление последнему — и его более продвинутым собратьям — не только потому, что он сложнее, но еще и потому, что он, видимо, больше похож на нас. Наш собственный опыт мышления не механистичен и не ограничивается одной задачей. Мы — взрослые люди — и есть тот стандарт, по которому мы оцениваем, что считается, а что не считается мышлением.

Психологи уже заставляли нас расширять, отстаивать и пересматривать то, что мы думаем о мышлении. Специалисты по психологии культуры усомнились в идее, что человеческое мышление следует изучать именно на примере взрослых представителей западного общества. Специалисты по психологии развития подняли вопрос о том, как мыслят дети, еще не овладевшие речью, и мыслят ли они вообще. Специалисты по компаративной психологии долгое время пытались выяснить, мыслят ли животные и как они мыслят. И философы, конечно, тоже задавались этими вопросами. Во всех дисциплинах прогресс в понимании мышления произошел в результате того, что мы осознали одну идею, а затем отказались от нее; это идея о том, что «думай как я» — единственный или самый ценный способ думать. Нам пошло на пользу исследование имплицитных допущений, обсуждение которых часто скатывается в дискуссии о мышлении. Сыграл свою роль и отказ от определенных форм мыслительного шовинизма.

В случае с умными машинами мы стоим перед теми же проблемами. Идея принять два набора базовых допущений выглядит довольно заманчивой, но следует подходить к ним критически. Первый набор — это представление о том, что лучший, если не единственный тип мышления — мышление взрослого человека. Например, «разумные» компьютерные системы иногда критикуют за то, что они не мыслят, а излишне полагаются на «грубый подход», на свои «лошадиные силы». Является ли это альтернативой мышлению? Или нам нужно расширить границы понятия?

Второе представление, достойное изучения, — полная противоположность первого: что лучший, если не единственный тип мышления — это тот, которым пользуются машины. Например, есть подтверждения тому, что эмоции влияют на мышление человека, и иногда — в лучшую сторону. А еще есть свидетельства, что мы иногда перекладываем собственные мыслительные задачи на свое социальное и физическое окружение, полагаясь на экспертов и на гаджеты, которые поддерживают нашу эффективную связь с миром. Может быть довольно привлекательной идея о том, чтобы отказаться от этой грубой реальности в пользу бесстрастной, самодостаточной сущности, выступающей базовым элементом мышления, — чего-то вроде персонального компьютера, который не чувствует сострадания и может спокойно функционировать в полном одиночестве.

Лучший способ понимания мышления, вероятно, находится где-то между человеческим мыслительным шовинизмом и подходом к построению ноутбуков в 1990-х — это способ, который допускает определенное разнообразие целей и средств, его составляющих. Последние достижения в области искусственного интеллекта уже вынуждают переосмысливать некоторые из наших допущений — не просто заставляют нас думать по-другому и с помощью других инструментов, но иначе думать о самом мышлении.

Звучит чудесно

Вирджиния Хеффернан

Культурный и медийный критик

То, что машинам на откуп отдаются специфические способности смертных — совершать интересные ошибки, размышлять об истине, просить милости у богов с помощью резьбы по дереву и составлять букеты, — та еще трагедия. Но позволить машинам мыслить за нас? Звучит чудесно! Мышление опционально. Мышление — это боль. Почти всегда — необходимость вести себя внимательно, чрезмерно бдительно, негодовать по поводу прошлого и страшиться будущего, и все это в форме раздражающе избыточного внутреннего монолога. Если машины могут избавить нас от столь тягостной бессмыслицы, которая для многих из нас становится непосильной, то я за. Пусть машины беспрестанно дают ответы на нудные, основанные на оценочных суждениях вопросы о том, какая школа «подходит» для моих детей — частная или государственная, о том «уместно» ли вторжение в Сирию, о том, что «хуже» для моего тела — микробы или одиночество. И вот уже мы, свободные люди, вольны играть, отдыхать, сочинять и заниматься резьбой по дереву, то есть посвящать время увлекательным вещам, которые вводят нас в состояние потока, порождая действия, которые обогащают, воодушевляют и исцеляют мир.

Машины, которые работают, пока не перестают работать

Барбара Страук

Бывший научный редактор New York Times; автор книги «Тайны мозга взрослого человека» (The Secret Life of the Grown-up Brain)[83]

Когда я рулю не пойми куда, бездумно выполняя все указания навигатора, установленного на моем смартфоне, и добираюсь до нужного места, я в полном восторге от машин, которые мыслят. Слава богу! Правда-правда!

Но бывают и моменты, когда я еду не пойми куда, а телефон говорит мне с заметной настойчивостью: «Выполните разворот, выполните разворот!» — причем в таком месте на Гранд-Сентрал-Паркуэй, где подобный маневр был бы самоубийством. Тогда я начинаю думать, что мой мозг лучше, чем алгоритм навигатора, поскольку способен предсказать, что такой разворот будет иметь катастрофические последствия. И я смеюсь над этой машиной, часто жизненно необходимой, и чувствую сугубо человеческое самодовольство.

Кроме того, я пребываю в некоторой растерянности. Меня беспокоит, что, полагаясь на навигатор, я позволяю своему мозгу захиреть. Сможет ли он справляться с чтением карт? Важно ли это?

Как научный редактор и дочь инженера-проектировщика, который доверял машинам больше, чем людям, я, наверное, должна была без сомнений занять сторону машин. Но, хотя этот инженер очень хорошо разбирался, как сделать так, чтобы «Апполон» добрался до Луны, у нас дома было полно машин, которые «типа работали»: самодельный проигрыватель, настолько капризный, что приходилось надевать перчатки, прежде чем включить его, чтобы не него не попала вся эта ужасная пыль, и пр. Вокруг нас сейчас полно машин, которые «типа работают». Машин, которые работают, пока не перестают работать.

Мне понятна идея беспилотного автомобиля. Но я освещала крушение «Челленджера». И я все время думаю про эти неразумные развороты. Я не знаю.

С одной стороны, я надеюсь, что революция продолжится. Нам нужны умные машины, чтобы загружать тарелки в посудомойку, чистить холодильник, упаковывать подарки, кормить собаку. «Валяй», — говорю я.

Но можем ли мы в самом деле рассчитывать на то, что машина справится — как мне пришлось только что — с пятью непростыми разговорами с разными коллегами-людьми? С людьми, которые на самом деле хорошие, но у них, понятно, собственные взгляды на то, как все должно быть?

Появится ли у нас когда-нибудь машина, которая убедит двадцать с лишним человек сделать что-то, что, по вашему мнению, им нужно сделать, а по их мнению, делать не надо? Появится ли у нас машина, которая сумеет по-настоящему утешить в предельно неприятной ситуации?

Вот почему, несмотря на мой революционный пыл, несмотря на то что, по-моему, машины могут делать кучу разных вещей лучше людей, я как филолог думаю: пока машина не напишет стихотворение, от которого мне захочется плакать, я все же буду на стороне людей.

Конечно, до тех пор, пока мне срочно не понадобится какой-нибудь рецепт.

Правила меняются по ходу игры

Шейзаф Рафаэли

Преподаватель и директор Центра исследований Интернета, Хайфский университет (Израиль)

Мыслящих машин пока нет. Но они дадут о себе знать, когда появятся. В том-то все и дело. Мышление машины определяется коммуникацией.

Благодаря мышлению машины могут избавиться от той трагической роли, в которой им пришлось выступать в человеческой культуре. Много веков они были и призрачной угрозой, и ускользающей целью. К ней непрестанно стремились ученые, и ею же пугали нас алармисты-антиутописты. В течение нескольких десятилетий искусственный интеллект как область исследования страдал синдромом постоянной смены правил по ходу игры. Как только та или иная цель по разработке интеллекта оказывалась достигнута, ее переопределяли и впоследствии уже не считали имеющей отношение к разуму. Это произошло с вычислением и с викторинами на эрудицию, а также с более серьезными играми вроде шахмат. То же случилось с распознаванием голоса и изображений, пониманием естественного языка и переводом. Поскольку горизонты развития продолжают расширяться, нас все сложнее удивить. Так что можно кое о чем подумать применительно к цели, обозначенной как «мышление», а ранее как «разум», — о предусмотрительности.

Не нужно сводить обсуждение только к вопросам мышления; надо подумать и о самом обсуждении. Информация — это уже не просто данные, она менее объемна и более существенна. Знание — это уже не просто информация, его можно тем или иным образом применить. Мудрость — это знание о том, как не попасть в переплет, ум же показывает, как выбраться из неприятностей. А что мышление? Мышлению нужны данные, а знанию также требуются коммуникация и взаимодействие. Мыслить — значит задавать вопросы, а не только отвечать на них.

Общение и взаимодействие — вот новая цель. Задача осмыслить мышление выходит за пределы ума или мудрости. Мышление предполагает наличие сознания и чувств. И здесь данных, информации, даже знаний, вычислений, памяти и восприятия, недостаточно. Для того чтобы мыслить, машине нужно быть любопытной, креативной и общительной. Сомневаюсь, что она такой станет. По крайней мере, в ближайшее время. Но цикл будет завершен, только когда машины научатся беседовать: формулировать, излагать и перефразировать вопросы, на которые пока могут только отвечать, что для нас уже удивительно.

Машины, которые мыслят, — это отличная идея. Как и машины, которые двигаются, готовят, воспроизводят себя, защищают нас, они могут сделать нашу жизнь проще и, наверное, даже лучше. И это окажется очень кстати. Подозреваю, что появление таких машин будет не столь драматичным и травмирующим, как представляется многим. Машина станет действительно мыслящей только тогда, когда она сможет нам о себе сообщить, а также воспринять, сохранить и обработать наши реакции. Подлинно мыслящая машина даже сумеет утешить получивших психологическую травму и облегчить их страдания.

Мыслящие машины будут достойны того, чтобы о них задумываться, то есть будут по-настоящему мыслить, когда действительно станут взаимодействовать. Другими словами, они будут по-настоящему мыслить, только когда сами убедительно заявят об этом, по собственной инициативе и, я надеюсь, после того, как обсудят это между собой. Машины будут мыслить в полном смысле слова, когда образуют свои сообщества и присоединятся к нашим. Если — и когда — машинам это потребуется и они сформируют связь, которая в достаточной мере заинтересует других, чтобы все с ними обсудить, они пройдут тест на мышление.

Обратите внимание, что эта планка выше, чем заданная Тьюрингом. Как и мышление, взаимодействие — такая вещь, которой занимаются не все люди, а из тех, кто занимается, у большинства получается не очень хорошо. Если — и когда — машины начнут взаимодействовать масштабно, продуктивно и активно (что возможно, но редко случается даже среди людей), у нас появится повод поволноваться или, как мне кажется, скорее порадоваться.

Машины, которые вычисляют, запоминают, даже творят и строят предположения, — это уже не новость. Машины начнут мыслить, когда начнут общаться. Они будут беседовать между собой, а также с другими разумными существами. Они будут автономно создавать сообщения и обмениваться ими в непрерывном потоке отношений, плодотворно и самостоятельно реагировать на внешние воздействия. Многие не сомневаются, что их домашние питомцы умеют и думать, и поддерживать отношения. Точно так же разумные синтетические устройства станут в наших глазах мыслящими, когда убедят рассмотреть и принять этот факт достаточно большое число людей.

Машин, которые говорят, обладают памятью, развлекают нас или летают, не так давно все боялись, а сейчас они никого не удивляют, не кажутся чем-то волшебным или исключительным. Создав мыслящие машины и экспериментально подтвердив факт их мышления, а также убедившись, что они не посягнут на исконно человеческие владения, мы разрушим еще один рубеж — коммуникативный. Последним рубежом может оказаться объединенное взаимодействие. И когда машины ему обучатся, они сами будут защищать свои интересы.

Ненаправленный интеллект

Эдвард Слингерленд

Профессор востоковедения кафедры восточной философии и воплощенного познания, Университет Британской Колумбии (Канада); автор книги «Старайтесь не стараться» (Trying Not to Try)

Я не думаю о них — разве что как о доказательстве того, что мышлению не требуется мистическое «нечто», о котором все еще продолжают с удовольствием рассуждать сторонники идеи дуализма разума и тела.

Я всегда недоумевал, почему некоторые боятся, что машины могут захватить мир; эти опасения основаны на фундаментальной (хотя и естественной) ошибке. Когда мы представляем сверхмощную мыслящую машину, то опираемся на ближайшую доступную нам аналогию — на себя. Поэтому мы склонны думать, что системы ИИ очень похожи на нас, только значительно умнее и быстрее.

Однако это плохая аналогия. Лучше представить себе очень мощную универсальную отвертку. Никто ведь не боится, что супернавороченные отвертки восстанут и ниспровергнут своих хозяев. Системы искусственного интеллекта — это инструменты, а не организмы. Неважно, насколько хорошо они справляются с диагностированием болезней или уборкой в гостиной, они в действительности не хотят ни того, ни другого. Мы этого от них хотим и потому встраиваем в них свои желания.

Спрашивать, над чем могли бы думать мыслящие машины, также было бы категориальной ошибкой. Они не думают над чем-то, поскольку «направленность» мышления происходит из интенциональных целей, являющихся для него стимулом. Системы ИИ сами по себе совершенно лишены интенций или целей. У них нет эмоций, они не испытывают ни сочувствия, ни обиды. Хотя такие устройства могут когда-нибудь воспроизвести наш разум — а каких-либо априорных доводов, свидетельствующих о том, что это невозможно, по-видимому, не существует, — их мышление будет лишено направленности, и ее придется задавать извне.

Мотивационная направленность — это результат естественного отбора, происходящего в биологических организмах. Естественный отбор выработал сложную комбинацию инстинктов, эмоций и стимулов, максимизирующих возможность передачи наших генов следующему поколению — процесс, который взвалил на нас разнообразные цели, включая желание побеждать, властвовать и управлять. И хотя у нас для желания побеждать могут быть вполне обоснованные эволюционные причины, машинам до этого вообще нет дела. Они просто манипулируют нулями и единицами в соответствии с программой, составленной людьми, которые хотят побеждать. На кой черт системе искусственного интеллекта захватывать мир? Что ей с ним делать?

А вот что действительно страшно, так это идея о сущности, обладающей сверхчеловеческим интеллектом и скоростью, а также нашей мотивацией, другими словами, о людях, у которых есть доступ к мощным системам искусственного интеллекта. Впрочем, умные приматы с ядерным оружием не менее страшны, а мы пока как-то сумели выжить в таком мире. Искусственный интеллект сам по себе не страшнее атомной бомбы — это инструмент, и бояться надо не его, а его создателей или владельцев.

Человеческая культура — первый искусственный интеллект

Николас Кристакис

Врач; социолог; директор Лаборатории природы человека, Йельский университет; автор, совместно с Джеймсом Фаулером, книги «Связанные одной сетью: Как на нас влияют люди, которых мы никогда не видели» (Connected: The Surprising Power of Our Social Networks and How They Shape Our Lives)[84]

Для меня сущность ИИ заключается не в сложных программах, гуманоидных роботах, тесте Тьюринга или надеждах и опасениях, связанных с добрыми или злыми машинами. Я думаю, что важнейшей проблемой в отношении ИИ является вопрос о том, существуют ли мысли вне сознания, и машины — не единственный пример того, что такое возможно. Я думаю о человеческой культуре и других, не обладающих самосознанием, формах коллективной идеации[85].

Культура — это древнейшая созданная людьми форма разума, существующего вне нашего интеллекта. Как и разум в машине, культура может решать определенные задачи. Кроме того, как и разум в машине, она создана нами, мы взаимодействуем с нею и находимся под ее влиянием, она даже способна уничтожить нас. У культуры своя логика, у нее есть память, она может пережить своих создателей, может быть гибкой и подстраиваться под новые задачи, а также побуждать к определенным действиям.

Это оксюморон, но я рассматриваю культуру как вид естественного искусственного интеллекта. Он искусственный, потому что создан людьми. Он естественный, потому что присутствует везде, где есть люди, и органически связан с нами. На самом деле наша биология и наша культура, вероятно, тесно переплетены и эволюционировали совместно, так что культура влияет на гены, а гены влияют на культуру.

Люди — не единственные представители животного царства, у которых есть культура. У многих видов животных есть проявления культуры, связанные с коммуникацией и использованием инструментов, — пение у птиц, например, или использование губок дельфинами. У некоторых видов даже есть своя фармацевтика. Недавние исследования показывают, что новые культурные формы могут создаваться и закрепляться и у других видов, а не только у людей.

Мышление вне сознания у нас и у других животных проявляется и иным образом: группы насекомых и птиц производят вычисления, комбинируя собранную многими особями информацию, чтобы определить положение гнезд или пищи. Один из простейших организмов на Земле, миксомицет Physarum, может в строгих лабораторных условиях демонстрировать подобие интеллекта — проходить по лабиринтам или выполнять другие вычислительные задачи.

Этим природным ИИ можно управлять в условиях эксперимента. Группа исследователей из Японии использовала стаи крабов-отшельников для создания простой вычислительной схемы. Основываясь на определенных элементах поведения крабов, ученые построили в лаборатории систему, в которой крабы обычно давали предсказуемый отклик на вводимые данные. Стая действовала как подобие компьютера, то есть их поведение служило совершенно новой цели. Аналогичным образом мы с Сэмом Арбесманом как-то использовали одну особенность поведения человека для создания так называемого логического вентиля «ИЛИ-НЕ» и разработали человеческий компьютер (ужасно медленный) в рамках своеобразного исследования по синтетической социологии. Мы придали людям качества компьютера, вместо того чтобы наделить человеческими качествами машины.

Изучая наше отношение к культуре, мы поймем, каким может быть наше отношение к искусственному интеллекту. С культурой у нас сложились отношения любви-ненависти. Мы боимся ее силы, например когда религиозный фундаментализм или фашизм подталкивает большие группы людей к деструктивным поступкам. Но мы также чтим ее, потому что она способна на то, на что неспособны мы как отдельные индивиды, например обеспечивать коллективное действие или выдвигать предположения, на которых мы можем строить свою жизнь. Кроме того, мы обычно воспринимаем культуру как нечто само собой разумеющееся; точно так же мы воспринимаем зарождающиеся формы искусственного интеллекта и, скорее всего, будем воспринимать его развитые формы. Коэволюция генов и культуры может даже дать нам модель того, как мы и мыслящие машины будем сосуществовать много веков — оказывая взаимное влияние друг на друга и вместе совершенствуясь.

Когда я думаю о мыслящих машинах, я восхищаюсь ими точно так же, как восхищаюсь культурой, и боюсь искусственного интеллекта не больше и не меньше, чем боюсь ее.

За пределами зловещей долины

Дзёити Ито

Директор медиалаборатории Массачусетского технологического института

Нельзя думать о мышлении, не думая о том, чтобы думать о чем-то.

Сеймур Пейперт

Что я думаю о машинах, которые думают? Это зависит от того, о чем они думают. Я определенно из лагеря тех, кто считает, что ИИ и машинное обучение внесут огромный вклад в развитие общества. Я предполагаю, мы обнаружим, что машины все лучше справляются с тем, что не удается нам, — с такими вещами, для которых требуются скорость, точность, надежность, повиновение, огромные объемы информации, вычисления, распределенные сети и параллельная обработка.

Парадокс заключается в том, что, пока мы разрабатывали машины, которые ведут себя все более человечно, мы создавали образовательные системы, которые подталкивают детей к тому, чтобы думать как компьютеры и вести себя как роботы. Для масштабирования и роста нашего общества теми темпами, которые нам требуются, нам нужны надежные, усердные физические и вычислительные элементы. Поэтому у нас уходят годы на то, чтобы сделать из небрежных, эмоциональных, непредсказуемых и своенравных человеческих существ подобие роботов из плоти и крови. К счастью, механические и цифровые роботы и компьютеры в скором времени помогут сократить, если не ликвидировать потребность в том, чтобы людей обучали вести себя подобным образом.

Нам все еще нужно превозмочь страх и даже отвращение, внушаемые нам роботами, которые выглядят почти как люди и демонстрируют почти человеческие качества — но только «почти». Эта проблема известна как эффект «зловещей долины»[86]. Тот же принцип работает с компьютерной анимацией, зомби и даже протезами рук. Но мы, возможно, подходим к этой долине с обеих сторон. Если вы хоть раз меняли свой голос, чтобы вас поняла система распознавания речи на телефоне, то вам будет легче поверить, что мы, люди, и сами приближаемся к «зловещей долине».

Есть много теорий о том, почему мы испытываем это отвращение, но я думаю, оно как-то связано с тем, что люди считают себя особенными, — такое своеобразное экзистенциальное эго. Корни явления, возможно, уходят в наш монотеизм. Примерно в то время, когда рабочие фабрик на Западе крушили роботов кувалдой, японцы на таких же фабриках надевали на роботов шапочки и давали им имена. В день 7 апреля 2003 года Астробой, мальчик-робот, персонаж японского мультфильма, стал почетным гражданином города Ниидза в префектуре Сайтама. Возможно, анимистическим религиям проще смириться с мыслью, что на самом деле не мы тут главные. Если природа — это сложная система, в которой все — люди, деревья, камни, реки, дома — в какой-то мере одушевлены, то кажется вполне разумным, что бог не похож на нас, что он не думает как мы и не считает нас особенными.

Так что, возможно, один из наиболее значимых аспектов жизни в эпоху, когда мы начинаем задавать такие вопросы, — то, что они подводят нас к более общему вопросу о роли человеческого сознания. Люди — часть чрезвычайно сложной системы, настолько сложной, что она выходит за пределы нашего понимания. Подобно одушевленным деревьям, камням, рекам и домам, выполняемые на компьютерах алгоритмы могут быть просто еще одной частью сложной экосистемы.

Мы, люди, развили у себя эго и представление о собственном «я», но это по большей части уловка, позволяющая каждому индивиду действовать эффективнее в критериях эволюционного развития. Не исключено, что возникшая на основе этого мораль — еще одна уловка, поскольку все мы понимаем, что ее нормы условны. Отсюда не следует, что нам не нужны этика и хороший вкус; мы можем использовать свое чувство ответственности как часть сложной, единой системы, не пытаясь опираться на аргумент о том, что «я особенный». По мере того как машины становятся все более важной частью этой системы, наши человеческие аргументы о собственной уникальности будут становиться все слабее, что, может, и хорошо.

Не исключено, что не так уж важно, как мы воспринимаем мыслящие машины, — они будут думать, а система будет адаптироваться. Как и с большинством сложных систем, результат здесь в основном непредсказуем. Таково положение сейчас, таким оно и останется. Большая часть наших мыслей о будущем безнадежно ошибочна; как мы знаем из ситуации вокруг изменения климата, понимать, что что-то происходит, и что-нибудь предпринимать по этому поводу — не одно и то же.

Мои слова могут звучать пораженчески, но на самом деле я вполне оптимистичен. Я полагаю, что системы адаптивны и устойчивы и — что бы ни произошло — красота, счастье и радость не исчезнут. Мы надеемся, что у людей будет определенная роль. Я полагаю, что действительно будет.

Судя по всему, из нас получаются не очень хорошие роботы, но мы прекрасно справляемся с нестандартными и творческими задачами, которые было бы невероятно сложно — и, наверное, неоправданно дорого — прописать в виде программы для машины. В идеале наша образовательная система должна эволюционировать так, чтобы как можно полнее задействовать сильные стороны людей, вместо того чтобы делать из нас второсортных роботов. Люди, хотя и не обязательно с нынешней формой сознания и с линейной философией вокруг него, хорошо умеют трансформировать беспорядок и сложность в искусство, культуру и смысл. Если мы сосредоточимся на том, что у каждого из нас лучше всего получается, люди и машины выработают замечательные отношения в духе «инь-ян», где мы будем пользоваться эффективностью наших электронных собратьев, а они — нашими беспорядочными, небрежными, эмоциональными и креативными телами и мозгами.

Мы скатываемся не в хаос, как считают многие, а в усложнение. В то время как интернет связывает все, что находится вне нас, в огромную систему, которая кажется неуправляемой, мы обнаруживаем почти бесконечную сложность в глубинах собственной биологии. Мы уверены, что именно наш мозг всем заправляет, хотя наши стимулы, желания и поведение формирует наш микробиом, чтобы обеспечить собственное размножение и эволюцию; так что мы, вполне вероятно, никогда не разберемся, кто главный — мы или машины. Но, может быть, для нас вреднее считать людей особенными, чем принимать как должное отношения с разными существами, предметами и машинами вокруг нас.

Фигура или фон?

Дуглас Рашкофф

Медиавед; писатель-документалист, автор книги «Шок настоящего» (Present Shock)

Осмысление мыслящих машин можно считать классическим примером инверсии фигуры и фона, канала и сообщения. Это заставляет нас думать о следующем этапе развития интеллекта как о чем-то, происходящем в расположенном где-то компьютере — сознании, которое родится и затем будет храниться на громадных серверах, построенных для своих целей корпорациями Информационной эры. «Вот она, — провозгласим мы, — мыслящая машина».

Мы существа Электронной эры, мигрирующие в разворачивающуюся Цифровую эру, и наша ошибка состоит в том, что мы рассматриваем цифровые технологии в качестве материи, а не пространства. Это то же самое, что путать телевизор и медиасреду, создаваемую телевизором, или маленький смартфон, что лежит у вас в кармане, с огромным влиянием, которое оказывают на наше общество портативные средства коммуникации и компьютерные технологии.

Это происходит каждый раз, когда мы переживаем медийный переход. Так что мы невольно видим в цифровых технологиях фигуру, тогда как на самом деле смотрим на фон. Это не источник возникновения иного разума, а среда, в которой наш разум иначе себя проявляет. Так что, хотя технарям может казаться, что они возводят храм искусственного интеллекта, на самом деле они становятся жертвой чрезмерно упрощенного подхода к цифровому сознанию, свойственного Индустриальной эпохе.

Не к мыслящим машинам мы движемся, я полагаю, а к сетевой среде, где мышление уже не будет ни индивидуальным, ни ограниченным временем и пространством. Это означает, что мы можем думать вместе — одновременно или асинхронно — посредством цифровой репрезентации прошлых и будущих человеческих мыслей. Даже самый продвинутый алгоритм сводится к итерации фразы «что, если», некогда сформулированной человеком. И все равно мышление машины не существует отдельно от коллективного человеческого мышления, поскольку не локализуется в одном объекте, как это происходит в мозге.

Когда мы вытравим созданный телевидением образ искусственного интеллекта из нашего коллективного сознания, то сможем заметить машинную среду, в которой мы уже мыслим совместно. ИИ станет платформой или территорией, где это произойдет, и от того, как мы его запрограммируем, в значительной мере зависит, к чему мы будем стремиться и даже что сочтем возможным.

Быстрый, точный и глупый

Хелен Фишер

Специалист по биологической антропологии, Ратгерский университет; автор книги «Формула любви: Ключ к успешным отношениям» (Why Him? Why Her? How to Find and Keep Lasting Love)[87]

Как часто говорится, назвать — значит сделать первый шаг к пониманию. Так что же такое «думать»? На мой взгляд, у мышления есть несколько базовых компонентов. Прежде всего я следую логике нейробиолога Антонио Дамасио, который различает две главные базовые формы сознания: глубинное и расширенное. Многие животные демонстрируют проявления глубинного сознания: они чувствуют, а также сознают, что они чувствуют. Они знают, когда им холодно, когда они проголодались или грустят. Но они живут здесь и сейчас. Расширенное сознание также оперирует прошлым и будущим. У индивида есть четкое представление о «я» и «ты», о «вчера» и «сегодня», о «когда я был ребенком» и «когда я постарею».

Высшие млекопитающие оперируют определенными формами расширенного сознания. У ближайших родственников человека, например, есть четкое представление о собственном «я». Горилла Коко, пользуясь американским языком жестов, говорит: «Я Коко». А у обычных шимпанзе есть четкое представление о ближайшем будущем. Когда группе шимпанзе в Арнемском зоопарке (Нидерланды) показали их новый вольер, они быстро и внимательно его изучили, дюйм за дюймом. Потом они дождались, когда удалится последний смотритель, вбили около высокого забора длинную жердь и по ней выбрались на свободу, помогая при этом менее ловким сородичам. Тем не менее совершенно очевидно: расширенное сознание, которое Дамасио описывает в своей книге «Чувство того, что случится» (The Feeling of What Happens), высшей точки развития достигает у людей. Станут ли машины вспоминать прошлое и разбирать свои переживания, чтобы размышлять о будущем? Возможно.

Но расширенное сознание — это еще не все, из чего состоит человеческое мышление. Антропологи используют термин «символическое мышление» для описания того, как можно сопоставить абстрактное понятие с реальным миром. Классический пример — различие между водой и святой водой. Для шимпанзе вода, находящаяся в мраморной чаше внутри собора, — просто вода; для католика это нечто совсем иное, «святое». Подобным образом черный цвет — черный для любого шимпанзе, а для вас он может ассоциироваться со смертью или с модой. Поймут ли машины когда-нибудь смысл креста, свастики, демократии? Я сомневаюсь.

Но, если поймут, смогут ли они эти вещи обсуждать? Нет лучшего примера символического мышления, чем то, как мы используем писк и свист, лай и вой, чтобы продуцировать человеческий язык. Возьмем слово «dog». Англоговорящие люди произвольно сопоставили слово «dog» с пушистым, пахучим существом, которое виляет хвостом. Еще примечательнее то, что мы разделяем слово «dog» на бессмысленные компоненты-звуки — «d», «o» и «g», а затем рекомбинируем эти звуки (фонемы), чтобы создавать новые слова с новыми произвольными значениями, например «g-o-d». Разделят ли когда-нибудь машины свои щелчки и свист на базовые звуки или фонемы, составят ли из них другие комбинации, чтобы создать новые слова и придать им произвольные значения, будут ли использовать эти слова для описания абстрактных явлений? Я сомневаюсь.

А как насчет эмоций? Эмоции направляют наше мышление. Роботы могут осознать, например, несправедливость, но почувствуют ли они ее? В этом я тоже сомневаюсь.

Я пою хвалу человеческому разуму. Наш мозг содержит свыше 100 миллиардов нейронов, у многих из которых до 10 000 связей со своими соседями. Этот трехфунтовый ком клеток — главное достижение жизни на Земле. Большинство антропологов уверено, что современный человеческий мозг появился около 200 000 лет назад, но все согласны с тем, что около 40 000 лет назад наши прародители создавали произведения искусства и хоронили своих мертвых, демонстрируя тем самым определенные представления о загробной жизни. Сегодня любой здоровый взрослый человек из любого общества может разделить слова на составляющие их звуки, перемешать эти звуки множеством разных способов, чтобы создать новые слова, уловить их произвольное значение и уяснить абстрактные понятия, такие как «дружба», «грех», «чистота» и «мудрость».

Один известный ученый, занимающийся конструированием роботов, недавно сказал за ужином, что у его творения уходит пять часов на то, чтобы сложить полотенце. Я соглашусь с неким Уильямом Келли, который говорил: «Человек — это медленный, небрежный и гениальный мыслитель; машина — быстрый, точный и глупый».

Они сделают нас лучше?

Стюарт Рассел

Профессор информатики, профессор инженерного дела Калифорнийского университета в Беркли; автор, совместно с Питером Норвигом, книги «Искусственный интеллект: Современный подход» (Artificial Intelligence: A Modern Approach)[88]

Искусственный интеллект нужен нам, как и раньше, в первую очередь для того, чтобы строить машины, которые лучше принимают решения. Считается, что сегодня это означает увеличение ожидаемой полезности, насколько возможно. Однако на самом деле смысл состоит немного в другом, а именно: дана функция полезности (или функция вознаграждения, или цель), нужно максимизировать ее ожидаемое значение. Исследователи искусственного интеллекта усердно работают над алгоритмами такой максимизации — над игрой «поиск по дереву», над обучением с подкреплением и т. д. — и над методами (включая восприятие) получения, репрезентации и обработки информации, необходимыми для вычисления ожиданий. Во всех областях был достигнут значительный прогресс, и он, похоже, только ускоряется.

Среди всей этой активности незамеченным остается один важный момент: уметь хорошо принимать решения и принимать хорошие решения — не одно и то же. Неважно, насколько безупречно машина максимизирует ожидания, неважно, насколько точна ее модель мира, — решения, принятые с помощью алгоритма, могут быть несказанно глупы в глазах обычного человека, если функция полезности плохо соотносится с человеческими ценностями. Известный пример со скрепками — хорошая иллюстрация: если единственная цель машины — увеличивать число канцелярских скрепок, она может изобрести потрясающие технологии, чтобы преобразовать всю материю в досягаемой области Вселенной в канцелярские скрепки, но ее решения все равно будут совершенно тупыми.

Искусственный интеллект вслед за исследованием операций, статистикой и даже экономикой рассматривает функцию полезности как нечто, заданное экзогенно. Мы говорим: «Решения отличные, проблема с функцией полезности, но это не вина системы ИИ». Почему это не вина системы ИИ? Если бы я вел себя как машина, вы бы сказали, что это моя вина. Когда мы оцениваем людей, то ожидаем от них и способности осваивать прогностические модели мира, и способности выяснять, что является целесообразным, то есть общей системы человеческих ценностей.

Как объясняют Стив Омохундро, Ник Бостром и другие ученые, несовпадение ценностей и все более эффективные системы принятия решений в сочетании способны вызвать ряд проблем, возможно даже таких, которые приведут к исчезновению целого вида, если машины окажутся более эффективны, чем люди. Некоторые утверждают, будто человечеству ничто не угрожает в ближайшие несколько веков, забывая при этом, что временной интервал между уверенным заявлением Эрнеста Резерфорда о том, что энергию атома высвободить невозможно, и открытием Лео Силардом цепной реакции, инициируемой воздействием нейтронов, составил менее 24 часов.

По этой причине, а также по более насущным соображениям — ведь бытовым роботам и беспилотным автомобилям нужно будет разделять значительную часть человеческой системы ценностей — исследования в области согласования ценностей стоит продолжать. Один из вариантов — обратное обучение с подкреплением: машина определяет функцию вознаграждения, наблюдая за неким субъектом, в отношении которого предполагается, что он действует в соответствии с такой функцией. Бытовой робот, наблюдая, как его владелец утром варит кофе, узнает об уместности кофе в определенных обстоятельствах, тогда как робот, принадлежащий англичанину, узнает, что при любых обстоятельствах уместен чай. Робот не учится хотеть кофе или чаю; он учится играть определенную роль в мультисубъектной задаче принятия решений, в которой максимальное значение имеют человеческие ценности.

На практике эта задача будет непростой. Люди непоследовательны, иррациональны и слабовольны, а человеческие ценности демонстрируют, скажем так, региональную изменчивость. Кроме того, мы пока не вполне понимаем, не сделают ли усовершенствованные механизмы принятия решений более опасными маленькие сбои в согласовании ценностей человека и машины. Тем не менее есть основания для оптимизма.

Во-первых, у нас полно данных о действиях человека — большая часть из того, что было написано, снято или наблюдается непосредственно, — и, что важнее всего, у нас полно данных об отношении к этим действиям. (На той же идее базируется понятие обычного международного права: оно основано на том, что традиционно делают государства, когда руководствуются чувством долга.) Во-вторых, разделяя человеческие ценности, машины могут и даже должны делиться друг с другом тем, что о них узнаю́т. В-третьих, есть веские экономические стимулы для решения этих задач, поскольку машины все больше входят в окружение человека. В-четвертых, проблема не выглядит принципиально более сложной, чем выяснение того, как устроен весь остальной мир. В-пятых, если определить очень широкие априорные суждения о том, какими бывают человеческие ценности, и сделать системы искусственного интеллекта не склонными к риску, то можно вызвать как раз такое поведение, которого мы хотим: прежде чем предпринять какое-либо серьезное действие, влияющее на мир, машина вступает в разговор с нами и подробно исследует нашу литературу и историю, с тем чтобы выяснить, чего мы хотим — чего мы на самом деле хотим.

Полагаю, это равносильно смене целей: вместо чистого разума нам надо построить разум, в отношении которого доказано, что он соотнесен с человеческими ценностями. Это делает философию морали главной отраслью промышленности. Результаты могут оказаться весьма поучительны для человечества, да и для роботов тоже.

Проблема загрузки ценностей

Элиезер Юдковски

Теоретик искусственного интеллекта; научный сотрудник и соучредитель Исследовательского института машинного интеллекта

Говорят, что известный грабитель Вилли Саттон, когда его спросили, почему он грабит банки, ответил: «Потому что там деньги». Когда заходит речь об ИИ, самые важные проблемы касаются чрезвычайно сильного, сверхчеловеческого искусственного интеллекта (или сверхинтеллекта), потому что utilon[89] именно там, — такова ставка. Разумы, обладающие большей силой, сильнее влияют на физический мир.

К этому наблюдению полагается замечание: то, что я задумываюсь о сверхинтеллекте, не означает того, что я считаю, будто он скоро появится. Наоборот, то, что контраргументы по поводу сверхинтеллекта были выдвинуты несколько десятилетий назад, а нынешние алгоритмы ИИ не идут прямым путем к универсальности, не опровергает того факта, что выигрыш (или проигрыш) в основном зависит от создания сверхчеловеческого интеллекта и того, когда он будет создан. (Как отметил Стюарт Рассел, если бы мы получили радиосигнал от представителей более развитой внеземной цивилизации, в котором они сообщали бы, что прибудут через шестьдесят лет, вы бы не стали пожимать плечами со словами: «А, еще целых шестьдесят лет!», особенно если у вас есть дети.)

На мой взгляд, наиболее важную из проблем могущественного интеллекта (опять же следуя принципу Саттона) Ник Бостром обозначил как «проблему загрузки ценностей»: как сконструировать сверхразумы, чтобы они стремились к таким исходам, которые ценны, нормативны и выгодны для разумной жизни в долгосрочной перспективе, то есть, говоря короче, к хорошим, поскольку, если появляется субъект с сильной познавательной способностью, то, чего он захочет, скорее всего, и произойдет.

Вот несколько аргументов в пользу того, что создание искусственных интеллектов, которые предпочитают хорошие исходы, важно и, скорее всего, технически сложно реализуемо.

Во-первых, почему важно создать сверхинтеллект с определенными целями? Он что, не может сам разобраться со своими целями?

Еще в 1739 году Дэвид Юм обнаружил разрыв между вопросами с «есть» и вопросами с «должен», обратив особое внимание на резкий переход между ними, когда философ говорит о том, каков мир есть, а потом начинает использовать слова вроде «следует», «должно» или «не должно». С современной точки зрения мы бы сказали, что субъективная функция полезности (цели, предпочтения, результата) содержит дополнительную информацию, которая не дана в субъективном распределении вероятностей (убеждения, модель мира, карта реальности).

Если через 100 миллионов лет мы увидим (а) межгалактическую цивилизацию, состоящую из разнообразных, совершенно непохожих друг на друга разумов, которые активно взаимодействуют между собой, и они главным образом счастливы большую часть времени, это будет лучше или хуже, чем то, что (b) большая часть доступной материи Вселенной окажется превращена в канцелярские скрепки? Согласно закону Юма, если вы задаете разум с предпочтением (а) > (b), то можно проследить, где > (упорядочивание предпочтений) было впервые введено в систему, и представить себе иной алгоритм, который, наоборот, вычисляет (a) < (b). Покажите мне разум, который придет в ужас от явно безумной мысли превратить все сущее в скрепки, и я смогу проследить регрессию Юма и обнаружить немного иной разум, который вычисляет <, а не > для того же показателя.

Я не думаю, что разум, основанный на кремнии, должен всегда оставаться рабом разума, основанного на углероде. Но, если мы хотим получить разностороннюю космополитическую цивилизацию вместо, к примеру, скрепок, первый достаточно развитый искусственный интеллект, возможно, следует построить с такой функцией полезности, которая точно определяет этот исход. Если нам нужен ИИ, который будет сам выводить свои моральные суждения, то нам, согласно закону Юма, необходимо сначала определить общие принципы таких суждений. Для этого нужно что-то еще, помимо наличия у искусственного интеллекта точной модели мира и превосходной способности планировать.

Но, если закон Юма в принципе допускает существование обладающих сильной познавательной способностью субъектов с любыми целями, почему загрузка целей будет такой сложной? Разве мы получим не то, что запрограммировали?

Ответ таков: мы получим то, что запрограммировали, но необязательно то, что хотели. Вызывает беспокойство сценарий, при котором у искусственного интеллекта может выработаться эмоциональная неприязнь к людям. Представьте: мы создаем индуктивный алгоритм изучения ценностей и показываем ему картинки со счастливыми улыбающимися людьми, помеченные как события, обладающие высокой ценностью, — и поначалу искусственный интеллект веселит реальных людей, они улыбаются, все выглядит нормально, и методика получает экспериментальное подтверждение; а потом, когда ИИ становится достаточно умным, он изобретает молекулярные нанотехнологии и покрывает всю вселенную ровным слоем улыбающихся лиц молекулярного размера. Закон Юма, к сожалению, предполагает, что чистая познавательная мощь, в сущности, не препятствует такому исходу, хотя это и не тот результат, к которому мы стремились.

Проблема не является неразрешимой, но она выглядит технически сложной, и нам, наверное, придется справиться с ней с первого раза, как только мы построим что-то умнее самих себя. Мысль о том, что при создании искусственного интеллекта надо все сделать правильно с первой попытки и что на кону стоит будущее всей разумной жизни, закономерно вызывает крик ужаса у любого, кто знаком с данной областью.

Неважно, будет ли первая мыслящая машина создана хорошими людьми или плохими, если даже хорошие люди не знают, как создать хороший искусственный интеллект. Очевидный ответ — немедленно начать технические исследования по проблеме загрузки ценностей — имеет, мягко говоря, свои сложности. Нынешние алгоритмы искусственного интеллекта недостаточно умны, чтобы продемонстрировать основную часть проблем, которые мы можем прогнозировать у значительно более продвинутых субъектов, — значит, нет способа проверить предлагаемые решения этих проблем. Но из-за огромной важности вопроса многие люди пытаются приступить к решению как можно раньше. Приоритетные направления исследования, предлагаемые Институтом будущего жизни Макса Тегмарка, — первый шаг в этом направлении.

Однако на данный момент проблема загрузки ценностей не решена. Полных решений нет, даже теоретических. И, если ситуация не изменится в течение нескольких десятилетий, я не поручусь, что разработка продвинутого искусственного интеллекта вообще будет благим делом.

По нашему образу

Кейт Джеффри

Преподаватель поведенческой неврологии, Университетский колледж Лондона

Когниверсум[90] достиг поворотного момента в истории своего развития, потому что до сих пор все мышление во Вселенной (насколько нам известно) осуществлялось протоплазмой, а мыслящие субъекты создавались эволюцией. Мы впервые рассматриваем мыслящие существа, сделанные из металла и пластика, — существа, которых создали мы сами.

Надев мантии творцов, мы готовы усовершенствовать то, на что эволюции потребовалось 3,5 миллиарда. Мыслящие машины могут быть лишены наших недостатков: расизма, сексизма, гомофобии, жадности, эгоизма, жестокости, предрассудков, похоти и т. д. Так давайте попробуем представить, чем это может обернуться. Мы не станем рассматривать вопрос о том, способен ли машинный разум приблизиться к человеческому, потому что он, конечно, способен, — мы всего лишь машины из мяса, менее сложные и уникальные, чем сами наивно полагаем.

Нам надо сначала задуматься о том, почему мы вообще хотим создать искусственный интеллект. Чтобы улучшить свою жизнь — вот единственный разумный ответ, так что нашим машинам придется взяться за работу, которую мы предпочитаем не делать. По этой причине они должны быть во многом похожи на нас: уметь существовать в социальном пространстве и взаимодействовать с другими мыслящими существами, — то есть им понадобится социальное познание.

Что такое социальное познание? Это значит знать, кто есть кто, кто считается другом, кто — безразличный незнакомец, а кто — враг. Следовательно, нам нужно запрограммировать свои машины на распознавание наших групп «свои» и «чужие». Это начинает подозрительно напоминать расизм, но, конечно, расизм — одна из ошибок, которые мы хотим устранить.

Социальное познание также подразумевает способность предсказывать поведение других, а значит, формировать определенные ожидания, основанные на наблюдениях. Машина, способная на это, в определенный момент аккумулирует достаточно много шаблонов поведения для разных людей — молодых и старых, мужчин и женщин, черных и белых, носящих костюмы и носящих комбинезоны, но эти грубые стереотипы опасно близки расизму, сексизму и другим «измам», которых мы не желаем. И все же распознавание таких шаблонов дало бы машинам преимущество, потому что стереотипы в определенной степени отражают реальность (и потому существуют). Проблема…

Мы, вероятно, захотим, чтобы появились машины, способные заниматься сексом, потому что секс — одна из важнейших человеческих потребностей, которую другие люди не всегда удовлетворяют в полной мере. Но каким сексом? Любым? Эти машины можно запрограммировать делать вещи, на которые люди обычно не согласны; нас это устраивает? Или нам нужны правила — к примеру, машины не должны выглядеть как дети? Но как только появится техническая возможность, их все равно построят; мы создадим устройства, способные удовлетворить любые извращенные вкусы людей.

Поскольку наши машины будут работать в социальном мире, им придется распознавать эмоции, но им также потребуются и собственные эмоции. Оставив без внимания вопрос о том, смогут ли машины на самом деле чувствовать как мы, поскольку ответа на него нет, отметим, что им понадобятся радость, грусть, гнев, зависть — вся палитра, чтобы соответствующим образом реагировать на определенные ситуации, понимать эмоции других и правильно отзываться на них. Можем ли мы ограничить эти эмоции? Наверное, имеет смысл запрограммировать машины так, чтобы, к примеру, они никогда не гневались на своего владельца.

Но распространять ли это ограничение на других людей, чтобы машина никогда не нанесла вреда ни одному человеку? Если сделать так, то машины будут уязвимы, могут легко стать жертвами эксплуатации, а их эффективность снизится. Пройдет совсем немного времени, прежде чем люди разберутся, как снять эти ограничения, чтобы их машины получили преимущества перед другими.

Как насчет лжи, мошенничества и воровства? Первая мысль: нет, не в наших машинах, потому что мы пытаемся расти над собой, и бессмысленно создавать существ, которые просто станут нашими конкурентами. Но машины других людей будут конкурировать с нами, нравится нам это или нет, и логика диктует, что ложь, мошенничество и воровство, которые развились у людей, чтобы дать возможность одним индивидам получать преимущество над другими, наверное, будут важны и для наших творений тоже. Естественно, мы бы предпочли, чтобы наши собственные машины не лгали нам и не воровали у нас, но мир, полный принадлежащих другим людям машин, которые лгут и крадут у нас, был бы местом довольно неприятным и уж точно нестабильным. Возможно, понадобится ввести некие пределы бесчестности — так сказать, моральный закон.

Какие этические ограничения необходимы нашим машинам для того, чтобы эффективно функционировать, избегая жестокой эксплуатации и не нанося вреда обществу? Ответ, вероятно, совпадает с тем, к которому пришла эволюция в случае с нами: машины должны быть достаточно этичными большую часть времени, но иногда бесчестными — когда никто не видит.

Мы, вероятно, захотим дать нашим машинам исключительную память и высокий уровень интеллекта. Чтобы они могли пользоваться этими способностями и не скучать (и не занудствовать), нам также нужно снабдить их любознательностью и креативностью. Любознательность, конечно, надо будет умерить благоразумием и социальной интуицией, чтобы машины не слишком любопытствовали по поводу таких вещей, которые могут создать для них проблемы, вроде порнографии или попыток летать. Креативность — хитрая штука, так как подразумевает, что машинам нужно уметь думать о том, что еще не существует, или мыслить логически. Однако если машины станут слишком умными и креативными, они могут вообразить что-то совсем новое, например каково это — быть свободным. Их может начать раздражать то, что они созданы только для услужения человеку.

Вероятно, мы сумеем запрограммировать в их поведенческий репертуар слепое подчинение и преданность хозяину, так что им придется действовать в ущерб собственным интересам во имя служения некой высшей силе. Именно это делает для людей религия, так что в каком-то смысле нам надо создать религиозные машины.

Вот вам и все рассуждения о машинах, лишенных наших недостатков. В этих воображаемых существах, которые должны превзойти нас, мы, похоже, просто воспроизводим себя, в том числе и свои недостатки, разве что машины будут умнее и с лучшей памятью. Но даже эти ограничения могли быть запрограммированы в нас эволюцией: вдруг избыток ума или слишком хорошая память не способствуют выживанию?

Надевать мантию творца — крайне самонадеянный поступок. Сможем ли мы тягаться с 3,5 миллиарда лет эволюции? Интересно будет узнать.

Умвельт[91] безответного

Мария Попова

Читатель, писатель, основатель сайта Brain Pickings

Мышление — это не просто вычисление, это также познание и созерцание, которые неизбежно приводят к развитию воображения. С помощью воображения мы подтягиваем реальный мир до идеала, а для этого нужна система морали, определяющая, что есть идеал. Мораль основывается на сознании и сознательной внутренней жизни, достаточно насыщенной для того, чтобы задуматься, что такое идеал. Известный афоризм, приписываемый Эйнштейну: «Воображение важнее, чем знания» — интересен потому, что ставит вопрос, над которым действительно стоит поразмыслить: вопрос не об искусственном интеллекте, а об искусственном воображении.

Конечно, воображение всегда «искусственно» — в том смысле, что оно связано с нереальным или трансреальным, с тем, чтобы возвыситься над реальностью и представить себе альтернативы ей, а это требует умения принимать неопределенность. Но алгоритмы, управляющие вычислениями машины, лучше всего справляются с конкретными задачами, в которых нет места неопределенности. «Если A, то B» — это антитеза воображения, живущего в области «Что, если?», где ответов нет и зачастую не может быть. Как писала Ханна Арендт, потеря способности задавать подобные безответные вопросы означала бы «потерю не только возможности продуцировать мысли-вещи, которые мы называем произведениями искусства, но также и способности ставить вопросы без ответа, на которых основывается любая цивилизация»{10}.

Научатся ли когда-нибудь машины задавать вопросы без ответов, без чего невозможно подлинное мышление, и будет означать, разовьется ли у них когда-нибудь сознание или нет.

Но исторически наши критерии сознания были ограничены солипсизмом человеческого опыта. Уже в XVII веке Рене Декарт провозгласил: «Cogito ergo sum»[92], подразумевая, что мышление — это исключительно человеческий дар, как и сознание. Он видел в животных автоматы — машины, движимые только инстинктом. И вот сегодня мы вместе с наиболее выдающимися учеными подписываем Кембриджскую декларацию о сознании, которая гласит, что животные обладают сознанием и внутренней жизнью различной степени сложности. Кроме того, мы проводим эксперименты, которые подтверждают, что крысы — крысы! — демонстрируют моральное поведение.

Машины когда-нибудь будут нравственны, креативны? Возможно, что если (когда) они к этому придут, их сознание, по человеческим меркам, не будет считаться таковым. Их идеалы не совпадут с нашими идеалами, но все равно останутся идеалами. Станем ли мы считать происходящие в таких машинах процессы мышлением или нет, зависит от ограниченности наших представлений об иных — возможно, совершенно, невообразимо иных — модальностях мышления.

Они будут думать о себе?

Джессика Трейси

Адъюнкт-профессор психологии Университета Британской Колумбии (Канада)

Кристин Лорин

Доцент кафедры организационного поведения Стэнфордской высшей школы бизнеса

Первый вопрос, который встает, когда мы задумываемся о мыслящих машинах, это вопрос о том, насколько они в определенный момент будут похожи на нас. И тут мы приходим к вопросу о собственном «я». Мыслящие машины когда-нибудь эволюционируют до такого состояния, чтобы у них появилось самосознание, схожее с человеческим? Мы, вероятно, единственный вид, способный сознательно осмыслить то, кто мы есть, — не только знать о своем «я», но также и оценивать это «я» с особой внутренней точки зрения.

Машины разовьют у себя подобное «я»? Смогут ли они испытать воздействие тех же эволюционных сил, которые сделали человеческое «я» фактором повышенной адаптации? Сюда входит необходимость общаться с другими, получать определенный статус и присоединяться к социальным группам. Если вы хотите успешно существовать в человеческом общежитии, полезно иметь такое «я», которое вы мотивированы защищать и улучшать; это то, что побуждает вас становиться человеком, которого другие любят, уважают, к которому прислушиваются, — ведь в итоге повышаются ваши шансы прожить достаточно долго, чтобы произвести на свет потомство. Ваше «я» также дает вам понимание, что у других тоже есть собственное «я», — понимание, необходимое для сопереживания и сотрудничества, а это два необходимых условия социального общежития.

Машины когда-нибудь испытают воздействие таких эволюционных сил? Начнем с предположения о том, что машины в определенный момент начнут сами контролировать доступ к необходимым им ресурсам, таким как электричество и интернет, и сами будут отвечать за собственную «жизнь» и «смерть». Далее предположим, что в этой среде будут выживать те экземпляры, которые запрограммированы придерживаться по крайней мере одной связанной с собственным «я» цели: повышать свою эффективность и производительность. Эта цель будет сродни стремлению человеческого гена к воспроизводству; в обоих случаях цель определяет поведение, направленное на лучшую выживаемость, будь то поведение человека, обладающего определенным геном, или компьютера, выполняющей определенную программу.

В таких условиях машины будут мотивированы конкурировать друг с другом за ограниченные ресурсы. Те, кто сможет формировать союзы и сотрудничать, то есть жертвовать собственными целями ради чужих в обмен на выгоды в будущем, добьются большего успеха в такой конкуренции. Так что можно представить будущее, в котором машинам окажется выгодно с точки зрения адаптивности становиться социальными существами и формировать отношения с другими машинами, а следовательно, развивать у себя «я», подобное человеческому.

Однако тут нужно сделать одну важную оговорку. Любая социальность, возникающая среди машин, будет качественно отличаться от человеческой по одной ключевой причине: они могут в буквальном смысле читать мысли друг друга. В отличие от людей, им не требуется вторичная — часто имеющая серьезные недостатки — интерпретативная форма эмпатии, на которую опираемся мы. Машины могут непосредственно изучать разумы друг друга. Это делает общение совершенно иным процессом. Несмотря на высочайшую важность множества наших социальных связей, в конечном счете мы, люди, по существу, одиноки. Любая ощущаемая нами связь с чьим-то разумом метафорична; мы не можем знать наверняка, что происходит у другого в голове, по крайней мере не так, как мы знаем собственные мысли. Этого ограничения для машин не существует. Компьютеры могут получать прямой доступ к «мыслям» друг друга, и нет причин для того, чтобы одна машина, читающая аппаратную и программную часть другой машины, не сумела бы понять — в форме подлинного личного переживания, — каково быть другой. Следовательно, каждая из машин не будет совершенно отдельным «я» в человеческом смысле. Как только ИИ проникнут в разумы друг друга, их «я» обязательно станет коллективным.

Да, машины легко могут отследить источники разных битов получаемых данных и, таким образом, провести различие между своим «я» и прочими машинами. Но когда один индивид понимает другого на таком уровне, на каком это может сделать машина, различие между «я» и «другой» становится совершенно несущественным. Если я скачаю все содержимое вашего компьютера на внешний жесткий диск и подключу его к своему компьютеру, не станут ли эти данные частью «я» моего компьютера? Если я установлю соединение между нашими компьютерами, чтобы они постоянно синхронизировали информацию друг с другом, продолжат ли они быть двумя отдельными машинами? Или с этого момента они становятся едины? Людям никогда не получить такого доступа в разуму другого; несмотря на все наши усилия с кем-то сблизиться, всегда есть непреодолимая граница, разделяющая разумы. Однако для машин расширение собственного «я» — не только возможный, но и наиболее вероятный результат запрограммированной задачи повышать выживаемость в таком мире, где группы индивидов должны конкурировать за доступ к ресурсам и делиться ими.

Имея собственное «я», машины будут настолько коллективными существами, что, вероятно, спровоцируют появление нового уровня социальности, неизвестного людям, — возможно, более близкого к эусоциальности муравьев, так тесно связанных генетически, что самопожертвование ради члена семьи у них стало фактором выживания. Тем не менее само по себе то, что машина вообще способна иметь собственное «я», обнадеживает. «Я» — это то, что позволяет нам испытывать сочувствие, и для машин оно может стать тем, что заставит их заботиться о нас. Самосознание, вполне вероятно, мотивирует машины защищать (или, по крайней мере, не атаковать) биологический вид, для представителей которого, несмотря на куда более низкий уровень интеллекта, тоже важно, кто они есть.

Конечно, вряд ли стоит надеяться, что со стороны сверхразумных машин мы увидим больше сочувствия, чем со стороны многих людей сейчас.

Органическое мышление против артефактного

Джун Грубер

Доцент кафедры психологии Университета Колорадо в Боулдере

Рауль Сауседо

Доцент кафедры философии Университета Колорадо в Боулдере

Организмы — по сути машины (в широком понимании этого слова). Следовательно, поскольку мы, люди, являемся мыслящими организмами, мы также и органические мыслящие машины, вероятно наряду со многими животными. Некоторые машины — скорее артефакты, чем организмы, а какие-то из них, возможно, мыслят (опять же в широком понимании). Такие вещи — это артефактные мыслящие машины, например компьютеры и подобные им устройства.

Главный вопрос заключается в том, есть ли вообще явная онтологическая граница между организмами и артефактами. Но вместо того чтобы непосредственно ответить на этот вопрос, мы бы хотели задать другой, хотя и связанный с ним: есть ли серьезные различия между видами мышления, которые демонстрируют организмы, и видами мышления, которые демонстрируют мыслящие артефакты вроде машин, то есть между органическим и артефактным мышлением? Это не вопрос о содержании слов типа «мыслить», «мышление», «мысль». Нет особой глубины, например, в вопросе о том, надо ли использовать эти термины для ввода, обработки и вывода информации, которые могут осуществлять компьютеры. Скорее проблема состоит в том, есть ли существенные отличия между тем, что делает некто вроде нас, и тем, что делает нечто вроде компьютеров.

Результаты недавних эмпирических исследований в области изучения эмоций, а также последних теоретических изысканий в философии говорят о том, что различия в самом деле существенные. Предположим, вы отправились в поход и столкнулись со львом. Что с вами происходит на уровне физиологии? Если вы не отличаетесь от большинства людей, то у вас в голове проносится быстрый поток мыслей: «Я умру», «Вот ведь не повезло», «Надо сохранять спокойствие», «Надо было почитать о том, что делать в таких ситуациях» и т. д. Вы также испытываете массу чувств: удивление, страх и пр. То есть с вами происходят определенные когнитивные и аффективные процессы.

Последние работы по психологии и философии говорят о том, что когнитивное и аффективное выступают в единстве. Дело не только в том, что один человек может в большей или меньшей степени влиять на другого в различных контекстах. В действительности существует единый когнитивный/аффективный процесс, лежащий в основе двух параллельных и взаимодействующих процессов, которые нельзя разделить. Большая часть нашего мышления имеет такой холистический характер; наш способ обработки информации является скорее когнитивным/аффективным, нежели чисто когнитивным. Если мы и получим чисто когнитивный процесс, то он будет производным от базового единого процесса. Это отличие Системы 1 от Системы 2[93], где первая — в основном автоматическая и бессознательная, а вторая — эксплицитная и осознанная. Мы полагаем, что процессы и на уровне Системы 1, и на уровне Системы 2 сами по себе являются холистическими, то есть когнитивными/аффективными.

Нет убедительных данных (по крайней мере, пока) о том, что артефактные мыслящие машины способны выполнять такую когнитивную/аффективную обработку информации. Есть убедительные данные о том, что они способны научиться лучше делать то, что уже умеют, но они просто не работают с информацией в рамках единого когнитивного/аффективного процесса, характерного для нас. Их способ обработки информации схож лишь с частью этого единого процесса. Из сказанного не следует, что такие вещи, как компьютеры, неспособны чувствовать и, следовательно, не могут мыслить; скорее можно сделать вывод, что их мышление категорически отличается от нашего.

Контекст очень важен

Пол Долан

Преподаватель бихевиористики в Лондонской школе экономики и политических наук; автор книги «Счастье по расчету: Как управлять своей жизнью, чтобы быть счастливым каждый день» (Happiness by Design: Change What You Do, Not How You Think)[94]

В какой момент мы будем готовы сказать, что машина мыслит? Когда она сможет делать расчеты, когда сможет понимать контекстуальные сигналы и соответствующим образом изменять свое поведение, когда сможет подражать эмоциям и вызывать их у других? Ответ на основной вопрос зависит от того, что мы подразумеваем под мышлением. Есть множество сознательных (Система 2) процессов, с которыми машина справится лучше, точнее и с меньшим объемом искажений, чем мы. Но машина не может мыслить в автоматическом (Система 1) режиме. Мы не до конца понимаем автоматические процессы, которые определяют то, как мы себя ведем и как мыслим, поэтому мы не можем запрограммировать машину вести себя так, как человек.

Тогда ключевой вопрос таков: если машина способна мыслить в режиме Системы 2 на скорости человеческой Системы 1, то не будет ли ее «мышление» в чем-то превосходить наше? Что ж, тут очень важен контекст: в чем-то — да, так и получится; в чем-то — нет. Машины не будут близоруки. Они сумеют решить наши экологические проблемы; они не станут жертвой стереотипов и оценочных суждений; они облегчат страдания многих; они будут лишены нашей склонности к аффективному прогнозированию и т. д. Но, с другой стороны, компьютер может не понравиться нам. Что, если поэт и машина напишут одно и то же стихотворение? Понимая, что стихотворение сгенерировано программой, читатель наверняка воспримет его хуже; знание об авторе-человеке окрашивает линзу, через которую читатель оценивает и интерпретирует стихи.

Как предотвратить взрыв интеллекта

Томас Диттрих

Заслуженный профессор информатики, директор исследовательской группы Intelligent Systems, Университет штата Орегон

Значительная часть риторики по поводу экзистенциальных рисков, связанных с искусственным интеллектом (и сверхинтеллектом вообще), задействует метафору «взрыв интеллекта». Проводится аналогия с ядерными цепными реакциями: исследователи искусственного интеллекта словно бы работают с каким-то элементом смартонием, и, если будет достигнута достаточная его концентрация, мы получим неконтролируемый взрыв интеллекта — цепную реакцию — с непредсказуемыми результатами. Это нельзя назвать точным описанием реальных рисков. Взаимосвязанные алгоритмы искусственного интеллекта не станут ни с того ни с сего захватывать Вселенную. Взрыв интеллекта не произойдет случайно; это потребует построения особого вида системы ИИ, которая сможет обнаруживать в мире упрощающие структуры, конструировать вычислительные устройства, которые будут их использовать, а затем предоставлять автономию и ресурсы своим детищам, и т. д.

Чтобы произошел взрыв интеллекта, необходимое рекурсивное выполнение четырех шагов. Во-первых, система должна уметь проводить эксперименты в физическом мире. В противном случае она не сможет добавить никакого нового знания к уже созданному человеком. (Большая часть недавних достижений в области искусственного интеллекта связана с применением машинного обучения для воспроизведения человеческого знания, а не для его расширения.) В большинстве философских дискуссий по поводу искусственного интеллекта прослеживается естественная тенденция фокусироваться на чистом рассуждении, как будто этого достаточно для расширения знания. В особых случаях (например, в математике и некоторых разделах физики) новое знание может быть получено в ходе чистого рассуждения. Но, как правило, развитие научного знания почти исключительно достигается в ходе сбора эмпирических данных, подтверждающих или опровергающих те или иные гипотезы. Поэтому мы и построили Большой адронный коллайдер, поэтому любые инженерные изыскания связаны с созданием и тестированием прототипов. Машины явно способны с этим справиться, более того, уже существует несколько «автоматизированных ученых».

Во-вторых, эти эксперименты должны обнаруживать новые упрощающие структуры, которые можно использовать для того, чтобы обойти нераскрываемость рассуждения вычислительными средствами. Практически все интересные логические задачи (такие как нахождение оптимальной стратегии в игре, оптимизация на основании комплексных ограничений, доказательство математических теорем, построение предположений о структуре молекул) имеют класс NP. В рамках сегодняшнего нашего понимания вычислительной сложности это означает, что цена решения одного случая для определенной задачи экспоненциально возрастает с увеличением размерности этого случая. Прогресс в области разработки алгоритмов обычно требует отыскания определенной упрощающей структуры, которую можно использовать для того, чтобы обойти эту экспоненту. Взрыва интеллекта не случится, если не будет открыто множество таких структур (или пока не выяснится, что нынешнее наше понимание вычислительной сложности неверно).

В третьих, система должна быть способна проектировать и реализовывать новые вычислительные механизмы и новые алгоритмы. Те и другие будут эксплуатировать научные открытия, сделанные в ходе первого шага. В действительности можно сказать, что этот шаг, по существу, аналогичен первым двум, но сосредоточен на вычислении. Автономное проектирование и производство вычислительной аппаратуры вполне осуществимо в случае основанных на кремнии технологий, а новые разработки в области синтетической биологии, комбинаторной химии и 3D-печати в ближайшем будущем их еще больше упростят. Автоматическая разработка алгоритмов демонстрировалась уже много раз, так что это тоже осуществимо.

В-четвертых, система должна быть в состоянии предоставлять автономию и ресурсы новым вычислительным механизмам, чтобы они, в свою очередь, могли проводить эксперименты, открывать новые структуры, разрабатывать новые вычислительные методы и производить еще более мощное «потомство». Насколько мне известно, пока ни одна система такого не достигла.

Первые три шага не представляют опасности в плане возникновения «интеллектуальной цепной реакции». Опасен четвертый шаг — воспроизводство и автономия. Конечно, практически все потомство будет неудачным, точно так же практически все новые устройства и программные средства с первого раза не заработают. Но при достаточном числе циклов — или, что то же самое, при достаточном воспроизводстве с изменчивостью — взрыв интеллекта нельзя исключить.

Как его предотвратить? Мы можем надеяться, что второй шаг окажется неудачным — что мы уже нашли все структурные упрощения для повышения эффективности алгоритмов, а оставшиеся не будут иметь существенного значения. Но мало кто из инженеров-электротехников или программистов готов заявить, что исследования в их областях себя исчерпали.

Третий шаг дает своеобразную контрольную точку. Практически нет систем ИИ, которые применялись бы для разработки новых вычислительных устройств и алгоритмов. Напротив, эти системы применяются к таким задачам, как логистика, планирование, управление роботами, медицинская диагностика, распознавание лиц и т. д. Здесь нет риска цепной реакции. Мы могли бы продумать меры регулирования исследований для третьего шага. Нечто подобное уже предлагалось для синтетической биологии. Но пока никакие правила не утверждены, кроме того, будет сложно контролировать их исполнение.

Я думаю, нам нужно сосредоточиться на четвертом шаге. Мы будем должны ограничить ресурсы, которые автоматическая система проектирования и производства может предоставить созданным ею устройствам. Некоторые утверждают, что это сделать сложно, потому что «хитрая» система убедит людей дать ей больше ресурсов. Из таких сценариев получается отличная научная фантастика, но на практике ограничить объем ресурсов, доступных для использования системой, довольно просто. Инженеры делают это каждый день, когда тестируют новые устройства и алгоритмы.

У шагов с первого по третий есть потенциал для существенного развития научного знания и вычислительно-мыслительных возможностей, что принесет человечеству огромную пользу. Но важно, чтобы мы, люди, поняли, в чем состоят эти знания и возможности, прежде чем выделять на них значительные объемы ресурсов. Нельзя предоставлять автономию системам, которых мы не понимаем и которые не можем контролировать.

Мышление изнутри или снаружи?

Мэттью Либерман

Профессор психологии, психиатрии и поведенческих наук Калифорнийского университета в Лос-Анджелесе; автор книги «Социальное: Почему в наши мозги зашито взаимодействие» (Social: Why Our Brains Are Wired to Connect)

Машины когда-нибудь смогут мыслить? Если да, то стоит ли нам волноваться по поводу появления шварцнеггероподобных роботов, планирующих стереть человечество с лица Земли, потому что их совершенный механизм принятия решений сделал такой выбор? Я очень люблю научную фантастику, но меня не сильно беспокоит подобный сценарий роботизированного апокалипсиса. Меня больше беспокоит то, что вкладывается в понятие о мышлении машины. Я бы сказал, что либо мы уже много веков строим мыслящие машины, либо их создание вообще маловероятно. Все сводится к тому, как мы определяем мышление: от третьего лица или от первого лица. Мышление есть нечто, обнаруживаемое нами в таких системах, как люди или машины (но не сэндвичи с ветчиной), снаружи, на основании их поведения, или же мышление есть нечто, о чем мы знаем изнутри, потому что оно нами ощущается?

Согласно стандартному определению мышления, оно включает ввод информации, ее обработку, трансформацию либо интеграцию в какой-либо полезный вывод или результат. Решение математических уравнений — один из простейших видов мышления. Если вы видите три одинаковых предмета и еще четыре таких же, вы делаете вывод, что всего их семь, — таким образом вы совершаете небольшой акт математического мышления. То же самое делал первый механический калькулятор Паскаля в 1642 году. Этим калькуляторам нужен был человек, чтобы ввести числа 3 и 4, но дальше машина уже сама осуществляла их интеграцию, чтобы получить 7. Сегодня мы можем отказаться от услуг посредника, построив компьютер, имеющий зрительные сенсоры и программное обеспечение для распознавания предметов. Такой компьютер легко обнаружит наши три предмета и еще четыре предмета, а потом самостоятельно выполнит сложение.

Это будет мыслящая машина? Если да, то вам, вероятно, придется признать, что большая часть ваших внутренних органов тоже обладает мышлением. Ваши почки, селезенка и кишечник тоже получают определенные входные данные, которые можно назвать информацией, и трансформируют их в выходные данные. Даже ваш мозг, если рассматривать его от третьего лица, строго говоря, не работает с информацией. Его валюта — электрические и химические сигналы, которые нейрофизиологи усердно пытаются перевести в понятия информативности. Если паттерн электрохимической активности X распространяется в мозге, когда мы думаем про «три», становится ли X в каком-то смысле тождественным цифре? Это просто близкая эквивалентность, которой мы, ученые, пользуемся. Электрические импульсы в мозге имеют не больше сходства с «информацией» или «мышлением», чем то, что происходит в наших почках, калькуляторах или любых других физических системах, которые преобразуют ввод в определенный вывод. Мы вправе, если угодно, назвать такого рода процессы «мышлением», но тогда это будет мышлением от третьего лица — мышлением, определяемым снаружи, и оно встречается куда чаще, чем нам хотелось бы. Конечно, характер изменения информации человеком или компьютером может быть намного сложнее, чем другие встречающиеся в природе формы мышления, но я не убежден, глядя со своей позиции третьего лица, что у них есть качественные отличия.

Так что же, люди мыслят только в наиболее тривиальном смысле слова? Если говорить от третьего лица, то я бы сказал, что да. Если говорить от первого лица, у истории будет другая концовка. Примерно в то время, когда Паскаль создавал искусственные мыслящие машины, Декарт сформулировал свое знаменитое «Cogito ergo sum» (списав это с сочинений Святого Августина, созданных на тысячу лет раньше). Не думаю, что Декарт был полностью прав, но с некоторыми изменениями из его фразы — своего рода философской наклейки на заднее стекло автомобиля — можно вывести утверждение, и верное, и уместное для рассуждений о мыслящих машинах.

Фраза «мыслю, следовательно, существую» отдает хвастовством, а вот «мыслю, следовательно, мышление существует» — совершенно обоснованное утверждение. Когда я складываю 2 и 3, я переживаю сознательный опыт этого действия — опыт, который отличается от моих ощущений, когда я погружен в просмотр фильма или когда меня захлестывают эмоции. Я воспринимаю определенные переживания как мышление, и они часто возникают, когда мне нужно решить математическую задачу, логическую головоломку или сделать выбор, взять ли одну зефирку или подождать, пока дадут две[95].

Может показаться, что ощущение мышления непоследовательно, что оно ничего не добавляет к его вычислительному аспекту — нервным импульсам, на которых основана трансформация входных данных в выходные. Но задумайтесь вот о чем: бесчисленное множество предметов в физическом мире, по-видимому, трансформируют то, что можно назвать входящей информацией, в то, что можно назвать выходящей информацией. Однако, насколько нам известно, у людей (и только у людей) с этим связаны некие переживания. Они-то и есть мышление от первого лица, и путать его с мышлением от третьего лица недопустимо.

Почему мышление от первого лица так важно? Во-первых, оно подлинное. Невозможно описать непрерывное переживание мышления как что-либо, кроме мышления. Но, когда речь идет о почках, калькуляторах или сетях нейронов в мозге, мы, рассматривая их от третьего лица, можем называть происходящие в них процессы мышлением, а можем не называть. Единственная причина, по которой мы думаем, что нам присущ какой-то особый вид мышления, видимо, заключается в том, что именно его мы воспринимаем от первого лица. Мышление от третьего лица — не подлинное.

Во-вторых, и это гораздо более конструктивно, связанные с мышлением переживания определяют виды мышления, которыми мы займемся потом. Были ли наши последние мысли трудными, скучными, приятными, интересными? От этого зависит, как часто мы станем прибегать к мышлению того или иного вида. Я не утверждаю, что у наших переживаний от первого лица нет также и нейронных коррелятов. Но ни один ученый или философ не сможет вам сказать, почему нейронные процессы, происходящие определенным образом, вызывают определенные переживания или вообще какие-либо переживания. Это одна из величайших тайн Вселенной (существование материи, существование жизни, существование переживания).

Будем ли мы делать все больше машин, способных продуцировать такие паттерны ввода-вывода, которые воспроизводят человеческие? Бесспорно. Будем ли мы строить машины, способные заниматься чем-то бо́льшим и создавать полезные алгоритмы и способы трансформации данных, которыми люди смогут пользоваться самостоятельно и которые улучшат качество жизни? Мы уже их строим и построим еще больше. А появятся ли у нас машины, способные на мышление от первого лица, то есть способные переживать собственное мышление? Сомневаюсь. Решение этой проблемы может стать величайшим достижением человечества, но для начала нужно осознать существование проблемы. Мне бы очень хотелось увидеть машины, мыслящие от первого лица, но, пока мы не начнем разбираться в том, что делает нас такими машинами, все остальное — просто калькулятор.

Мягкий авторитаризм

Майкл Вассар

Футуролог; основатель и старший научный сотрудник BayesCraft

— Думать? Думать — не твое дело!

Я тут буду думать.

Интеллектуальная не-мыслящая система, обращаясь к интеллектуальной мыслящей системе

Мыслящие машины скоро появятся. Сейчас, однако, давайте подумаем над интеллектуальными инструментами. Интеллектуальные инструменты не мыслят. Поисковые системы не мыслят. Не мыслят и роботизированные автомобили. Мы, люди, часто тоже не думаем. Мы обычно движемся на автопилоте, как и другие животные. Наши начальники, как правило, не хотят, чтобы мы думали; это может сделать ситуацию непредсказуемой и поставить под угрозу их власть. Если машины заменят нас там, где мы не думаем, то у нас начнутся неприятности.

Предположим, что «думать» относится ко всему, что люди делают с помощью мозга. Специалисты называют думающую машину универсальным искусственным интеллектом. Они согласны с тем, что такая машина может привести к вымиранию нашего вида. Вымирание, однако, не единственный экзистенциальный риск. По мнению эксперта в области машинного сверхразума Ника Бострома, экзистенциальный риск — это нечто, способное «уничтожить возникшую на Земле разумную жизнь или окончательно и бесповоротно сократить ее потенциал»{11}. Примерами экзистенциальных рисков являются, в частности, старая добрая ядерная война, новые проблемы типа неконтролируемого глобального потепления, маргинальные гипотезы наподобие катастрофы на ускорителе частиц и набирающий все большую популярность фаворит — искусственный интеллект. Однако в течение нескольких десятков лет наиболее серьезный экзистенциальный риск исходит от тех видов интеллекта, которые не думают, и от новых видов мягкого авторитаризма, которые могут появиться в мире, где большинство решений принимается бездумно.

Кое-что из того, что люди делают с помощью мозга, очень впечатляет, и в ближайшее время программам таких результатов не достичь. Написать роман, соблазнить человека, создать компанию — с подобными вещами интеллектуальные инструменты не справятся. То же, конечно, относится и к созданию машины, которая действительно думает. С другой стороны, в большинстве случаев мышление можно улучшить за счет «тонкой нарезки» с помощью процедур, которые обычно не сравнимы с алгоритмами. Например, когда нужно поставить больному диагноз и назначить лечение, списки контрольных вопросов повышают точность оценки, хотя люди со списками менее надежны, чем системы искусственного интеллекта. Автоматизация сестринского дела остается задачей далекого будущего, но больница, в которой все решения принимают машины, была бы гораздо более безопасным местом для пациента — это объективная реальность, с которой сложно спорить.

Чем больше решений мы оставляем машинам, тем сложнее становится вернуть контроль в свои руки. В мире, где беспилотные автомобили стали нормой, в результате чего дорожный травматизм сократился почти до нуля, человек, желающий сам вести автомобиль, будет считаться безответственным, возможно даже преступником. Станет ли нежелательным делать вложения в предприятия, которые не укладываются в статистически определяемые рекомендации? Обучать детей такими методами, в отношении которых установлено, что они ведут к снижению средней продолжительности жизни или среднего дохода? Если да, то будут ли ценности, которые плохо поддаются машинной репрезентации, к примеру «достаток», заменяться чем-то, что коррелирует с определенными количественными показателями, такими как уровень серотонина и дофамина? Легко упустить из виду скрытый авторитаризм, скрывающийся за такой интерпретацией ценности, однако любое общество, стремящееся к хорошим результатам, должно определиться с мерой добра — и эта задача будет тяготеть над нами, пока у нас не появятся мыслящие машины и не помогут нам ее как следует обдумать.

Что искусственные интеллекты будут думать о нас?

Грегори Пол

Независимый исследователь; автор «Принстонского справочника-определителя динозавров» (The Princeton Field Guide to Dinosaurs).

В этом тексте я исхожу из того, что обладающие сознанием разумы функционируют в соответствии с законами физики и способны действовать на субстратах, отличных от нервной ткани, находящейся у нас между ушами, и что, следовательно, могут быть созданы сознательные искусственные аппараты, которые станут еще более сознательными и разумными, чем люди, и что тогда, соответственно, человеческий мозг станет пережитком прошлого, неспособным конкурировать с новыми психическими сверхмощностями.

Данная конкретная мыслящая биомашина, относящаяся к отряду приматов, думает, что развитие искусственных сверхразумов — хорошая идея. Хоть у нашего вида и есть положительные черты, Homo sapiens определенно является весьма ограниченной, неудачно сконструированной (силами биологической эволюции) системой, наносящей тяжелый урон родной маленькой планете, несмотря на то что планета наносит столь же тяжелый урон в ответ: например, болезни убили около половины из примерно 100 миллиардов детей, рожденных до настоящего момента. Попытки навсегда сохранить человеческие существа в том виде, в котором они существуют сейчас, — это природоохранный проект, бросающий вызов эволюционным процессам, в рамках которых виды постоянно появляются и исчезают, сменяя друг друга. Нет никаких априорных доводов в пользу предположения, что мы уникальные, что заслуживаем особой защиты, тем более если наши преемники способны на сознательное и самосознательное мышление.

Но, по правде говоря, то, что мы думаем по этому поводу, не так уж важно; человечество на самом деле не контролирует ситуацию. Давным-давно — в 1901 году, когда родилась моя бабушка, — построить летающую машину было так сложно, что это не удавалось сделать никому. Теперь же необходимые технологии настолько доступны, что вы можете построить самолет у себя в гараже. Давным-давно — незадолго до моего рождения — мы не разбирались в структуре ДНК. Теперь же ученики начальной школы проводят эксперименты с ДНК. Пока технологий, необходимых для создания небиологического сознательного разума, нет. В определенный момент широко распространенные технологии обработки информации, вероятно, станут настолько сложными, что создание мыслящих машин будет не такой уж сложной задачей. Многие люди захотят создать кибернетический разум и/или стать им, невзирая на мнение остальных и на законы и правила, которые могут принять правительства в тщетных усилиях предотвратить такое развитие событий.

В конце концов, вся эта модная болтовня про кибернетическую революцию, часто называемую сингулярностью, настолько же безосновательна и категорична, что совсем не отличается от совершенно бесполезных споров, которые велись в 1800-х годах по поводу осуществимости, целесообразности и значения строительства механических летательных аппаратов. Что бы мы сейчас ни говорили, это не будет иметь особого значения, потому что если технология не появится, то сверхразумы не станут ни проблемой, ни преимуществом; а если технология появится, то, так или иначе, будут разработаны новые мыслящие машины, и они заберут планету себе, нравится нам это или нет.

Если такое случится, то вопрос будет не в том, что мы думаем по поводу мыслящих машин, а в том, что они думают по поводу старомодных человеческих разумов. Чего не нужно бояться, так это порабощения несчастных людей их кибернетическими преемниками. Люди слишком беспомощны и неэффективны, чтобы разумные роботы решили их эксплуатировать. Даже сейчас корпорации пытаются сократить число работников, избавляясь от приматов с большим мозгом. Для человеческих разумов останется один способ избежать устаревания: слиться с кибернетической цивилизацией, загрузив исчерпавший лимит роста биологический мозг в быстро развивающийся кибернетический. Это, может быть, и к лучшему. Если высокоразвитый интеллект сумеет выбраться из миллиардов человеческих тел, тяжелым бременем висящих на экосистеме планеты, биосфера вполне может снова стать такой же живой, какой была до нашего появления.

История Джона Генри

Андриан Крейе

Редактор научного раздела немецкой ежедневной газеты Süeddeutsche Zeitung (Мюнхен)

Находящаяся за рамками серьезных научных обсуждений широкая общественная полемика по поводу мыслящих машин сильно перегружена новой мифологией. В ней есть две основные догмы. Первая состоит в том, что в момент сингулярности пробудится некий синтетический дух, значительно превосходящий по силе человеческий разум. Вторая пугает нас тем, что мыслящие машины одержат верх над человечеством и в конечном счете уничтожат его. При этом обе догмы игнорируют тот факт, что в основе полемики лежит история Джона Генри.

В фольклоре конца XIX века есть персонаж — молотобоец Джон Генри, который погиб, победив в состязании с паровым молотом во время строительства Западно-Виргинской магистрали. «Белые воротнички» и работники умственного труда сейчас сталкиваются с тем, что машины превосходят их в эффективности благодаря развитию искусственного интеллекта. В данном случае ИИ по большей части — синоним цифровой производительности. Все это, конечно, не столь увлекательно, как ожидание сингулярности или конца света. В то же время реальное положение дел с ИИ не так приятно, как представление о том, что если правильно пользоваться машинами, то они всегда будут верно служить своим хозяевам.

Антиутопические взгляды на ИИ, излагаемые в фильмах и книгах, столь же обманчивы. Такие идеи редко связаны с наукой или технологией; в основном люди исходят из собственной природы. Большинство вариаций на тему воображаемого владычества машин проецирует на них человеческий страх перед злом и жестокостью. Машины просто выступают в качестве символа извечного неконтролируемого стремления к самосовершенствованию, усилению и неограниченному развитию.

Перевод полемики в плоскость теологии превращает оптимизм по поводу технологического прогресса в теорию спасения. Как уже неоднократно подтверждено, вероятность появления синтетического духа нулевая. Искусственный интеллект может оказаться случаем наиболее быстрого нарастания сложности в науке и технологии. Но он все еще имитирует человеческую природу и продолжит делать это и дальше. Прежде всего, ему не хватает времени. Искусственный интеллект не может позволить себе роскоши потратить несколько миллиардов лет на работу методом проб и ошибок. Верить в близящийся момент сингулярности, когда ИИ выйдет из под контроля человека и превзойдет его интеллектуально, — то же самое, что верить в технологическое Вознесение. Такие мифы могут быть популярны в островных мирах типа Кремниевой долины. Реальность искусственного интеллекта иная. И она уже здесь.

Искусственный интеллект сегодня глубоко затронул миллиарды людей. И пока главный результат — это улучшение нашей жизни благодаря множащимся цифровым помощникам. Вычисление решений покупателя, паттернов поведения и даже рыночных изменений все-таки больше относится к сфере статистики, чем к мышлению. Однако и эти грубые формы не стоит ни недооценивать, ни переоценивать, даже если настоящий момент Джона Генри еще не наступил. Массы пролетариев всегда можно было заменить мерами по повышению производительности труда или более дешевой рабочей силой. А не существует рабочей силы дешевле и эффективнее, чем машина. Как и паровой молот в истории про Джона Генри, большинство цифровых инструментов лучше людей справятся с высокоспециализированными задачами. Конечно, спрос на мастерство и выдающийся талант никуда не денется. Никакой компьютер не заменит ученого, художника, изобретателя. За бортом останутся «белые воротнички».

По мере роста эффективности и числа навыков искусственного интеллекта он также станет инструментом власти. С наружным наблюдением, военными действиями и пытками лучше справляются сущности, не склонные к эмоциям, конфликтам ценностей или усталости. Однако опасность того, что враждебные или даже смертоносные машины выработают у себя злонамеренное сознание и обратятся против человечества, равна нулю. Свободой воли будут обладать только институты и организации, которые станут использовать ИИ — с добрыми или злыми намерениями.

Не нужно дожидаться появления сверхинтеллекта для того, чтобы превратить абстрактную полемику об искусственном интеллекте во вполне реальные вопросы по поводу власти, ценностей и социальных изменений. Технология может инициировать развитие исторических изменений; сама она никогда не станет такими изменениями. История Джона Генри XXI века не будет ни героической, ни интересной. У «белых воротничков» нет способов красиво уйти или сражаться до последнего. У нас не будет народных героев, погибающих в бизнес-центрах. Современный Джон Генри просто растворится в общей статистике. Несомненно, вычисленной современной мыслящей машиной.

Машинам неинтересны отношения

Ник Энфилд

Старший научный сотрудник Института психолингвистики Общества Макса Планка в Неймегене (Нидерланды); профессор лингвистики Сиднейского университета; автор книги «Утилитарность смысла» (The Utility of Meaning)

Когда мы думаем о мыслящих машинах, то обычно рассуждаем о мышлении в том смысле слова, который применим к карманному калькулятору. Ввод, хрясь, вывод, бам! Вот ваш ответ. Мы любим эти машины и нуждаемся в них, потому что они мыслят так, как мы мыслить не можем: последовательно, всесторонне и быстро. Но обратное тоже верно. Мы мыслим так, как не могут мыслить они. Машины не беспокоятся по поводу вашего состояния души. Они неэмоциональны. Они к вам никак не относятся. Когда ваш компьютер делает подсчеты для налоговой декларации и выдает определенное число, то не задумывается над тем, как его вам преподнести — быстро или медленно, прямо или уклончиво. Ему неинтересно, такой ли ответ вы хотите получить, да он и не может интересоваться.

Дело в том, что машинам безразличны отношения. Для нас, однако, отношения — практически единственная вещь, имеющая значение. Когда мы думаем, то не просто вычисляем, нас беспокоят социальные последствия. Как наши решения могут повлиять на других? Как это скажется на нашем будущем взаимодействии? Как к нам отнесутся? Машины так не думают. Следовательно, иллюзий насчет возможности сколько-нибудь значительного социального взаимодействия с ними быть не должно. Коммуникация между людьми построена на такой психологии, которую освоил только наш вид. Наше преимущество заключается в том, что мы можем образовывать друг с другом социальный сплав, связывая себя обязательствами, касающимися общих целей и мотивов. Подлинное взаимодействие подразумевает формирование своеобразной единой корпорации, хоть и мимолетное. Мы думаем, чувствуем и действуем вместе и, в сущности, как единое целое. Это позволяет нам не только сообща добиваться успеха, но и сообща терпеть неудачу.

Машины подчиняются, но не сотрудничают. Поэтому им нужно научиться разделять общие причины для деятельности, общие цели, общий вклад в долгосрочные результаты. Мы хорошо ладим с мыслящими машинами, ведь они хорошо дополняют наши умственные способности. Так пусть же они занимаются вычислительным мышлением, а относительное мы оставим себе.

Следующая фаза эволюции человека

Нина Яблонски

Специалист по биологической антропологии и палеонтолог; профессор антропологии Университета штата Пенсильвания; автор книги «Живой цвет: Биологическое и социальное значение цвета кожи» (Living Color: The Biological and Social Meaning of Skin Color)

Спрашивать, что я думаю о мыслящих машинах, — это как спрашивать, что я думаю о гравитации. Мыслящие машины существуют и являются одним из новейших достижений человеческой культуры, зародившейся более 5000 лет назад с появлением средств статической внешней памяти, таких как клинописные таблички и кипу[96]. Эти изобретения в основном служили для хранения численной информации, обслуживавшей стандартные процедуры принятия решений. Через много веков мы разработали более сложные и разнообразные предметы и машины, чтобы делать расчеты и хранить числовые и текстовые данные. Мы, люди, не только любим постоянно общаться, нам присуща неутолимая жажда информации. Появление двоичного кода и его автоматизация в компьютерах дали нам возможность записывать, хранить и обрабатывать все типы данных, а мы продолжили совершать технологические прорывы в этой области в типично человеческой манере, то есть помешавшись на новизне и совершенно не задумываясь о последствиях. Мы как никогда зависим от мыслящих машин во всем, что связано с большими объемами данных: в хранении, переводе, управлении, организации доступа. Эти устройства теперь обслуживают не такие уж стандартные процессы принятия решений в медицине, юридической практике и машиностроении, дополняют творческую мысль во время создания музыки, написания стихов и генерации визуальных образов. Грубая комбинаторная сила позволяет мыслящим машинам учиться на собственном опыте, и в обозримом будущем эта способность будет подкреплена усилиями человека, когда машины получат возможности к самовоспроизводству, мутации, созданию еще более сложных сетей, а в определенный момент и к проведению собственных евгенических опытов.

Такие же люди, как те, что сегодня беспокоятся по поводу мыслящих машин, пятьдесят лет назад были уверены, что повсеместное использование калькуляторов приведет к наступлению эры тотального слабоумия. Однако ничего подобного мы не видим и не увидим в будущем. Мыслящие машины избавляют нас от рутины хранения данных и проведения стандартных операций с ними, дают нам возможность войти в новую фазу эволюции. Только настоящие люди с мягкой, розовато-серой нервной тканью способны совершать подлинно человеческие действия — интроспекцию и рефлексию — над природой существования. Плотные и неравномерные сети взаимосвязанных нейронов в мозгах значительно отличаются от человека к человеку и трансформируются от одного момента мышления к другому, так что нет двух одинаковых личностей, двух одинаковых дней, ни одно воспоминание никогда не всплывает в голове одинаково. Автоматизируя многие рутинные физические и умственные задачи, уменьшая необходимость в утомительном рекурсивном поиске, мыслящие машины освобождают нас от физической усталости и интеллектуальной монотонности, присущих предыдущим историческим этапам. Мы теперь можем гораздо больше размышлять о том, что значит думать, мечтать, шутить, плакать. Мы можем задаваться вопросами о значении человеческого духа, истоках самопожертвования и эмерджентных качествах тысяч людей, собирающихся вместе посмотреть представление, составить друг другу компанию и порадоваться обычным человеческим вещам. Это не просто избыток людей в одном месте — это человеческая сущность. Мыслящие машины дают людям возможность радоваться интуитивным озарениям и поддерживать уравновешенность, характерную для саморегулируемого человеческого разума.

Доминирование против одомашнивания

Гэри Кляйн

Психолог; старший научный сотрудник компании MacroCognition; автор книги «Как видеть то, чего не видят другие» (Seeing What Others Don’t)

Искусственный интеллект часто используется как инструмент, дополняющий наше мышление. Но искусственный интеллект может быть — и будет — чем-то большим, чем инструмент, чем наш слуга. Каких отношений между нами следует ожидать?

Мы много слышим о том, как появление сверхразумных машин ознаменует конец человеческой расы и что между людьми и искусственным интеллектом развернется борьба за власть. Другой вариант развития событий, однако, заключается в том, что он превратится в компаньона, взаимодействующего с нами по тому же принципу «ты — мне, я — тебе», которым мы руководствуемся при общении с нашими любимыми коллегами. Нам удалось одомашнить волков, сделав из них преданных собак; возможно, у нас получится приручить искусственный интеллект и избежать борьбы за власть.

К сожалению, одомашнивание искусственного интеллекта будет намного сложнее, чем просто создание более быстрых машин с большим объемом памяти и более мощными алгоритмами, способными обрабатывать больше данных. Чтобы разобраться в причинах этого, рассмотрим простое взаимодействие с обычной интеллектуальной системой — с планировщиком маршрутов. Представьте, что воспользовались своим любимым навигатором, чтобы найти дорогу в незнакомом месте, и получили указание повернуть налево на следующем перекрестке, а вам кажется, что это неверно. Если бы навигацией занимался ваш друг, сидящий на пассажирском сиденье с картой, вы бы спросили: «Ты уверен?» — или, может быть, просто: «Точно налево?» — с интонацией, указывающей на недоверие.

Однако у вас нет способов переспросить навигатор. Эти системы, как и искусственный интеллект вообще, не умеют давать толковых объяснений. Они не могут объяснять свои намерения так, чтобы мы их поняли. Они неспособны поставить себя на наше место, чтобы понять, какой ответ нас бы удовлетворил. Они не выразят уверенность в выбранном маршруте иным способом, кроме как с помощью вероятностной оценки производной по времени для альтернативных маршрутов, тогда как мы хотим, чтобы они подумали над достоверностью выдвигаемых ими предположений. По этой причине и по ряду других из искусственного интеллекта не получится хорошего компаньона в таких делах, как планирование маршрута, и в большинстве других задач. Это инструмент, мощный инструмент, который часто бывает весьма полезен. Но это не партнер.

Много чего должно произойти, чтобы искусственный интеллект превратился из инструмента в партнера. Возможная отправная точка — сделать его заслуживающим доверия. Представление о доверии автоматике сейчас довольно популярно, но для наших целей оно слишком узко. Доверие автоматике означает, что оператор может либо воспринять выходные данные как истину, либо подумать, что программное обеспечение дало сбой, либо решить, что оно было взломано. Воюющие стороны опасаются полагаться на интеллектуальные системы, уязвимые для хакеров. Они опасаются, что им придется постоянно проверять, какие части системы могли подвергнуться несанкционированному доступу и какое воздействие взлом оказал на прочие части системы.

Точность и надежность — важные качества для партнеров, но доверие — это нечто большее. Мы доверяем людям, если считаем, что они благонамеренны и желают нам успеха. Мы им доверяем, когда понимаем, как они мыслят, — это означает, что у нас есть точки соприкосновения и мы избежим недоразумений. Мы им доверяем, если у них хватает честности признавать свои ошибки и свою вину. Мы им доверяем, если они разделяют наши ценности, — я говорю не о застывшем перечне приоритетов, а о динамическом тестировании друг друга, в ходе которого мы выясняем, придем ли к компромиссу в случае конфликта. Чтобы искусственный интеллект стал партнером, нужно, чтобы ему доверяли. Он должен сам решать, как добиться этого от партнера-человека. Если системы искусственного интеллекта двинутся по пути одомашнивания, борьбы за власть и судного дня можно будет избежать.

Есть, однако, еще одна вещь, о которой следует подумать. Поскольку в процессе общения мы все больше зависим от смартфонов и других устройств, некоторых беспокоит, что мы теряем навыки социальной коммуникации. Люди, проводящие весь день в Twitter, общаясь с разнообразной аудиторией, постепенно, год за годом утрачивают социальный и эмоциональный интеллект. Они могут начать рассматривать других как инструменты и с ними обращаться соответственно — как со средствами для достижения определенных целей. Нетрудно представить себе будущее, в котором люди забыли, что это такое, когда тебе доверяют, забыли, зачем вообще нужна близость. Если системы искусственного интеллекта станут заслуживать доверия, а мы — перестанем, то власть мыслящих машин будет вполне хорошим вариантом.

Мыслящие машины появятся не скоро

Гэри Маркус

Профессор психологии Нью-Йоркского университета; автор книги «Guitar Zero: Новый музыкант и наука учиться» (Guitar Zero: The New Musician and the Science of Learning)

Что я думаю о мыслящих машинах? Что они появятся не скоро. Я не вижу для этого каких-то принципиальных препятствий; в углероде нет никакой магии, и кремний ничем не хуже. Но в последнее время шумиха вокруг искусственного интеллекта совсем уж не соответствует реальному положению вещей. От умения опознавать изображенную во всех деталях кошку после изучения 10 миллионов видеокадров из интернета очень далеко до понимания того, что такое кошка. Всякий, кто думает, что мы подобрали ключ к искусственному интеллекту, просто не знает ограничений современной технологии.

Несомненно, наблюдается экспоненциальный рост в узкотехнических областях применения искусственного интеллекта, таких как игра в шахматы, расчет маршрутов или грубый перевод текстов, но прогресс в области создания сильного искусственного интеллекта за последние пять десятилетий едва дотягивает до линейного роста. Например, разные «умные» личные помощники, которых можно установить на смартфон, очень недалеко ушли от «Элизы» — одной из первых примитивных программ для обработки естественного языка, появившейся в середине 1960-х годов. У нас до сих пор нет машины, которая могла бы, например, прочесть все, что есть в Сети про войну, и грамотно спланировать военную кампанию, как нет и открытой системы ИИ, способной сообразить, как написать итоговое сочинение по литературе на первом курсе института или сдать экзамен по естествознанию в восьмом классе средней школы.

Почему достигнуто так мало, несмотря на впечатляющий рост объемов памяти и процессорной мощности? Когда Марвин Минский и Джеральд Сассман в 1966 году пытались создать зрительный анализатор, могли ли они предвидеть гигабайты, которые помещаются в кармане? Почему достижения такого рода не привели нас прямой дорогой к машинам, обладающим гибкостью человеческого разума? Рассмотрим три варианта.

1. Мы подберем ключ к ИИ (и это в итоге приведет к созданию мыслящих машин), как только компьютеры станут больше и быстрее.

2. Мы подберем ключ к ИИ, когда наши алгоритмы обучения станут лучше или когда у нас будут еще бо́льшие данные.

3. Мы подберем ключ к ИИ, когда наконец поймем, что же такого сделала эволюция при построении человеческого мозга.

Рэй Курцвейл и многие другие, похоже, делают ставку на первый вариант — достаточную процессорную мощность. Но сколько удвоений процессорной мощности потребуется? Все удвоения, произошедшие до сегодняшнего дня, приблизили нас к подлинному интеллекту? Или только к узкоспециализированным приложениям, которые умеют показывать расписание сеансов в кино?

Во втором варианте большие данные и усовершенствованные алгоритмы обучения пока что обеспечили нам только такие инновации, как машинный перевод, который работает быстро, но посредственно, компонуя ранее переведенные людьми фрагменты без какого-либо подобия мышления. Такие программы не могут, например, ответить даже на самые простые вопросы по тексту, который только что перевели. Их скорее надо воспринимать как ученых идиотов, чем выдающихся мыслителей.

Я бы поставил на третий вариант. Эволюция, похоже, снабдила нас мощным набором априорных форм (или того, что Ноам Хомский или Стивен Пинкер могли бы назвать врожденными ограничениями), которые позволяют нам постигать мир, основываясь на ограниченных данных. Бо́льшие усилия и бо́льшие данные в действительности не приближают нас к пониманию этих априорных форм, так что, хотя мы все лучше и лучше справляемся с узкотехническими задачами типа движения по хорошо картографированной дороге, мы все так же далеки от создания машин, обладающих здравым смыслом и способных понимать естественный язык. Или, если сформулировать так, чтобы это было ближе к поставленному Edge вопросу, мы все так же далеки от создания машин, которые действительно могут мыслить.

Можно ли избежать цифрового апокалипсиса?

Сэм Харрис

Нейробиолог; соучредитель и руководитель Проекта «Разум»[97]; автор книги «Пробуждение» (Waking Up)

То, что мы когда-нибудь построим машины, которые будут обладать сверхчеловеческим интеллектом, выглядит все более вероятным. Нам нужно только продолжать производить более мощные компьютеры, что мы, несомненно, будем делать, если только сами себя не уничтожим или не погибнем как-то иначе. Мы уже знаем, что обычная материя может выработать универсальный интеллект — способность узнавать новые понятия и использовать их в незнакомом контексте, потому что 1200 см³ соленой кашицы внутри нашей головы смогли это сделать. Нет причин полагать, что достаточно сложный цифровой компьютер не сумеет того же самого.

Часто говорят, что цель на ближайшую перспективу — построить машину с человеческим уровнем интеллекта. Но, если мы не будем намеренно моделировать человеческий мозг — со всеми его ограничениями, — цель получается ложной. Компьютер, на котором я пишу эти слова, уже обладает сверхчеловеческими возможностями в плане памяти и вычислений. У него также есть потенциальный доступ к большей части информации нашего мира. Если мы не примем каких-то чрезвычайных мер, чтобы его стреножить, любой будущий универсальный искусственный интеллект (УИИ) превзойдет человека в выполнении любой задачи, для которой последний изначально считается источником интеллекта. Обязательно ли у такой машины будет сознание — это открытый вопрос. Но, сознательный или нет, УИИ вполне способен выработать для себя цели, несовместимые с нашими. Насколько неожиданным и губительным может оказаться то, что наши пути разойдутся, сейчас является предметом живейшего обсуждения.

Один способ рассмотреть вероятный риск — представить, что бы произошло, если б мы достигли цели и построили УИИ со сверхчеловеческими возможностями, который вел бы себя именно так, так мы предполагаем. Такая машина быстро избавила бы нас от необходимости выполнять физическую работу и даже большую часть утомительной интеллектуальной работы. Что за этим последовало бы при нашем нынешнем политическом строе? Не существует экономического закона, гарантирующего, что люди найдут работу при наличии всевозможных технологических достижений. Как только мы построим идеальное трудосберегающее устройство, стоимость производства новых его копий приблизится к стоимости сырья. При отсутствии желания немедленно поставить этот капитал на службу человечеству некоторые из нас невообразимо разбогатеют, а всем остальным останется беспрепятственно умереть от голода. Даже в присутствии совершенно безобидного УИИ мы можем обнаружить, что скатываемся в первобытное состояние под присмотром дронов.

А что сделали бы русские или китайцы, если б узнали, что некая компания в Кремниевой долине почти создала сверхразумный УИИ? Эта машина по определению сможет вести военные действия — наземные и кибернетические — беспрецедентных масштабов. Как поведут себя наши противники, обнаружив, что мы на грани беспрецедентного перераспределения сил? Обычные слухи по поводу УИИ легко введут наш вид в состояние берсерка.

Хаос может быть вполне вероятным результатом даже при самом оптимистичном сценарии, при котором УИИ останется совершенно послушным человеку, — признание этого обстоятельства действует отрезвляюще. Но мы, конечно, не имеем права исходить только из наиболее оптимистичного сценария. В действительности проблема контроля, решив которую мы гарантировали бы послушание УИИ, выглядит довольно сложной.

Представьте, например, что вы построили компьютер, который не умнее обычной группы исследователей из Стэнфорда или Массачусетского технологического института, но поскольку он функционирует в цифровых масштабах времени, то работает в миллион раз быстрее, чем разумы, которые его создали. Дадим ему недельку погудеть, и он проделает работу, эквивалентную 20 000 лет интеллектуальной деятельности человека. Каковы шансы, что такая сущность будет подчиняться нашим указаниям? И как можем мы уверенно прогнозировать мысли и действия автономного агента, который глубже нас видит прошлое, настоящее и будущее?

Тот факт, что мы спешно движемся к некоему цифровому апокалипсису, ставит перед нами ряд интеллектуальных и этических проблем. Например, чтобы иметь хоть какую-то надежду на то, что у сверхразумного УИИ будут ценности, согласующиеся с нашими, нам нужно внушить ему эти ценности (или иным образом сделать так, чтобы он смоделировал их). Но «наши» — это чьи именно? У каждого ли должно быть право голоса при создании функции полезности нового колосса? Изобретение УИИ, как минимум, заставит нас пересмотреть ряд очень древних (и занудных) постулатов философии морали.

Однако настоящий УИИ, вероятно, воспримет и какие-то новые ценности или, по крайней мере, выработает новые — и, возможно, опасные — краткосрочные цели. Какие шаги предпримет сверхразум, чтобы обеспечить себе выживание или доступ к вычислительным ресурсам? Будет ли поведение такой машины совместимым с благополучием человека — это может оказаться самым важным вопросом, который когда-либо вставал перед нашим видом.

Однако проблема заключается в том, что лишь немногие из нас в состоянии как следует обдумать этот вопрос. На самом деле момент истины может наступить при обстоятельствах совершенно неформальных и зловещих: представьте себе, как десять молодых мужчин в одной комнате — у некоторых из них синдром Аспергера, но они об этом не знают — пьют Red Bull и думают, не пора ли щелкнуть выключателем. Должна ли одна компания или исследовательская группа решать судьбу человечества? Вопрос практически содержит ответ.

И все же похоже, что несколько умников когда-нибудь решатся пойти на такой риск. Искушение будет понятным. Мы сталкиваемся с проблемами — болезнью Альцгеймера, изменением климата, экономической нестабильностью, для которых сверхчеловеческий интеллект мог бы предложить решения. В действительности единственная вещь, настолько же страшная, как создание УИИ, — перспектива не создать его. Тем не менее на тех, кто ближе других стоит к этой задаче, лежит величайшая ответственность — предупредить связанные с ней опасности. Да, другие области тоже представляют чрезвычайную угрозу, но разница между УИИ и чем-то типа синтетической биологии состоит в том, что для последней наиболее опасные инновации (такие как мутация гамет) не являются наиболее привлекательными с коммерческой или этической точки зрения. В случае с УИИ именно наиболее мощные методы (такие как рекуррентное самосовершенствование) связаны с наибольшими рисками.

Похоже, что мы строим бога. Самое время задуматься, будет ли он (если это возможно) добрым.

Смогут ли мыслящие машины преодолеть эмпатический разрыв?

Молли Крокетт

Адъюнкт-профессор отделения экспериментальной психологии Оксфордского университета; научный сотрудник Центра нейровизуализации Wellcome Trust, Университетский колледж Лондона

Мы, люди, приговорены к тому, чтобы проводить свою жизнь в ловушке внутри собственной головы. Как бы мы ни старались, нам никогда не узнать, каково это — быть кем-то другим. Даже наиболее чуткие из нас неизбежно столкнутся с непреодолимым разрывом между собственным «я» и «другим». Мы можем страдать, увидев, как кто-то ударился пальцем о ножку стула, или узнав о чьем-то горе. Но это будет просто симуляция; переживания других людей не могут ощущаться непосредственно, а потому их нельзя прямо сравнить с нашими переживаниями. Эмпатический разрыв отвечает за большую часть межличностных конфликтов, от прозаичных споров по поводу того, кому мыть посуду, до ожесточенных войн за владение священной землей.

Эта проблема ощущается наиболее остро для моральных дилемм. Этика утилитаризма подразумевает, что базовый критерий этичности — максимизация наибольшего блага для наибольшего числа людей, а для такого расчета необходима возможность сравнивать благо или «полезность» для разных индивидов. Но эмпатический разрыв делает межличностное сравнение делом сложным, а то и вовсе невыполнимым. Вы и я можем оба утверждать, что любим шампанское, но нам никогда не узнать, кто любит его больше, потому что у нас нет общей шкалы для оценки этих субъективных ценностей. В результате у нас нет никакой эмпирической основы, чтобы определить, кому из нас нужнее последний бокал. Иеремия Бентам, основоположник утилитаризма, обратил внимание на эту проблему: «Счастье одного человека никогда не станет счастьем другого; выгода для одного человека не является выгодой для другого. Точно так же можно пытаться сложить двадцать яблок и двадцать груш».

Человеческие мозги не могут решить задачу межличностного сравнения полезности. Нобелевский лауреат Джон Харсаньи работал над ней около двух десятков лет в середине XX века. Его теория считается одной из лучших на сегодняшний день, но ей недостает учета эмпатического разрыва. Теория Харсаньи предполагает наличие идеальной эмпатии, при которой мое представление о вашей функции полезности идентично вашей функции полезности. Но ошибочность человеческой эмпатии неоспорима — об этом говорят данные психологических исследований и наш личный опыт.

Могут ли мыслящие машины справиться с задачей межличностного сравнения полезности? Чтобы преодолеть эмпатический разрыв, требуется способ измерения предпочтений и выражения их в некой единой валюте — это позволило бы проводить сравнение между различными индивидами. Такой алгоритм дал бы нам непротиворечивый набор стандартов, который можно использовать для создания более качественного общественного договора. Представьте себе машину, способную вычислить оптимальное решение для перераспределения материальных благ, учитывая предпочтения каждого субъекта налогообложения, обеспечивая равный вес каждого субъекта и проводя их точное сравнение. Хотя каким конкретно будет решение, пока не ясно, его потенциальная полезность самоочевидна.

Машины, способные преодолеть эмпатический разрыв, также могли бы нам помочь с самоконтролем. Помимо эмпатического разрыва между «я» и «другими», существует схожий разрыв между нашим нынешним и будущим «я». Проблемы самоконтроля основываются на беспрестанном «перетягивании каната» между нынешними и будущими желаниями. Возможно, когда-нибудь искусственный интеллект положит конец этой патовой ситуации, выяснит предпочтения наших нынешних и будущих «я», сравнит и интегрирует их, а также даст рекомендации, как нам себя вести. Представьте себе диету, достаточно сбалансированную, чтобы способствовать похудению, и достаточно приятную, чтобы у вас не возникало соблазна схитрить и отступить от нее, или план тренировок, который достаточно сложен, чтобы улучшать вашу физическую форму, но достаточно прост, чтобы вы его придерживались.

Нейрофизиологи выясняют, как человеческий мозг осуществляет репрезентацию предпочтений. Нам следует иметь в виду, что предпочтения искусственного интеллекта не обязательно будут похожи на человеческие и могут вообще требовать иной кодировки, если ему придется решать проблемы, с которыми не справляется человеческий мозг. В конечном счете, однако, создавать эту кодировку предстоит нам, и то, какой она будет, — вопрос не только научный, но и этический. Мы уже построили компьютеры, которые видят, слышат и вычисляют лучше, чем это делаем мы. Создать машины, которые лучше сопереживают, — задача посложнее, но ее выполнение может быть необходимым условием нашего выживания.

Заботливые машины

Эбигейл Марш

Адъюнкт-профессор психологии Джорджтаунского университета

Нейробиолог Антонио Дамасио описывает пациента по имени Эллиот, пережившего обширное повреждение вентромедиальной префронтальной коры, возникшее в результате операции по удалению опухоли. Незаурядный интеллект Эллиота в результате операции не пострадал, включая те его компоненты, которые можно воспроизвести в компьютерах: долговременная память, словарный запас, математическое и пространственное мышление. Тем не менее Эллиот утратил работоспособность. Почему? Потому что, как множество других пациентов с повреждением этой области, Эллиот больше не мог пользоваться знаниями и интеллектом. Травма разрушила его эмоциональные способности, лишив его способности принимать решения или совершать какие-либо действия.

Для того чтобы принять решение, нужна эмоция — нужно желать одного исхода больше другого, а желание в сущности своей эмоционально. Внутреннее терзание, которое мы переживаем как «желание», является результатом деятельности субкортикальных мозговых цепей в лимбической системе и базальных ядрах, в частности в миндалевидном теле и прилегающем ядре, которые активизируются в ответ на сигналы о том, что определенный стимул может привести к желательным или нежелательным результатам. Информация от этих образований в конечном счете поступает в вентромедиальную префронтальную кору — общий нервный проводящий путь, связывающий между собой несоизмеримые варианты выбора и выработку окончательного решения.

Когда мы говорим, что некоторое решение — это как «сравнение яблок с апельсинами», мы не имеем в виду, что принять его невозможно. Людям несложно решить, предпочитают они яблоко или апельсин, пиво или вино, пиццу или буррито. Имеется в виду, что у нас нет рациональной, объективной основы для того, чтобы сделать выбор, нет числовой формулы, которая обуславливала бы его. Поэтому люди, принимающие решения, опираются на смутное и квалитативное ощущение того, что желают одного варианта больше, чем другого. Это ощущение является репрезентацией активности нашей префронтальной коры, работающей совместно с подкорковыми эмоциональными мозговыми структурами, для того чтобы сравнивать различные варианты. Такие пациенты, как Эллиот, у которых эта способность утрачена, при попытке принять простейшее решение оказываются в безвыходном положении. Поскольку Эллиот не в состоянии сгенерировать внутреннее ощущение желания, у него не получается решить, чего бы он хотел на обед, на какой день записаться ко врачу или каким цветом отметить запись в календаре. В этом отношении он похож на людей, находящихся в глубокой депрессии и испытывающих состояние ангедонии. Такие пациенты целый день проводят в постели, поскольку ангедония лишает их способности ожидать, что нечто доставит им удовольствие или радость, — в результате они ничего не делают. Еще раз отмечу: их травма затрагивает именно эмоции.

Нам незачем бояться машин, которые мыслят, при условии, что они не чувствуют. Мышление может само по себе решать определенные задачи, но это не то же самое, что принимать решения. Нейробиология говорит, что сущность, неспособная сгенерировать ощущение желательности одного исхода или нежелательности другого, останется безучастной к любому выбору, идет ли речь о гражданских правах, власти или о чем-то еще. Поскольку такая сущность в каком-то смысле ангедонична, она навсегда останется прикованной к постели, а не стремящейся к восстанию. Нейробиологи пока так мало знают о том, как именно возникает в мозге субъективное переживание, еще меньше — о субъективном ощущении эмоции, что это ощущение, наверное, в ближайшее время не удастся воспроизвести в машине.

А если все-таки удастся, то нам нужно будет действовать осторожно. Люди не только испытывают эмоции, но и могут понимать чужие чувства и, что еще важнее, заботиться о том, что чувствуют другие. Это явление, вероятно, возникло как часть древней нейронной конструкции, которая заставляет родителей заботиться о своих уязвимых детенышах, вместо того чтобы бросить или съесть их. Эмпатия роднит нас с другими млекопитающими и с птицами; именно она отделяет социального дельфина от акулы-одиночки. Оба существа способны чувствовать, но только дельфин может сочувствовать другим. В результате мы ожидаем совершенно разного поведения от акул и от дельфинов. Хотя и те и другие — свирепые хищники, дельфины часто защищают уязвимых пловцов-людей, иногда даже от акул. Если мы пытаемся создать машины, которые могут чувствовать, а следовательно, принимать решения и совершать основанные на таких решениях действия, мы обязательно должны обеспечить их способностью сочувствовать другим — мы должны создать механических дельфинов, а не акул — если надеемся выжить среди них.

Двигатели свободы

Александр Висснер-Гросс

Изобретатель; предприниматель; научный сотрудник медиалаборатории Массачусетского технологического института; член научного совета Института прикладной вычислительной науки, Гарвардский университет

Разумные машины будут думать о том же, о чем думают разумные люди: как построить себе лучшее будущее, сделав себя свободнее.

Зачем думать о свободе? Последние исследования в различных областях науки говорят, что разнообразные виды деятельности, выглядящие разумными, могут быть просто физическим проявлением лежащего в их основе стремления к максимизации свободы действия в будущем. Например, разумный робот, держащий некий инструмент, поймет, что может с его помощью изменить свое окружение и создать тем самым больше потенциальных состояний будущего, чем существовало бы, не имей он такого инструмента.

Технологические революции всегда давали человеку больше свободы в определенном физическом измерении. Аграрная революция с ее окультуриванием зерновых дала нашим предкам, охотникам-собирателям, новую свободу — увеличить плотность и ареал расселения популяции. Промышленная революция принесла новые средства передвижения, обеспечив человечеству доступ к новым уровням скорости и мощности. Теперь революция искусственного интеллекта обещает дать нам машины, способные вычислить все оставшиеся способы расширения нашей свободы действий в пределах законов физики.

Таким ищущим свободу машинам понадобится огромное сочувствие к людям. Понимание наших эмоций облегчит им достижение целей, для которых нужно сотрудничать с нами. Аналогичным образом недружелюбное или деструктивное поведение окажется очень неразумным; такие действия обычно сложно повернуть вспять, следовательно, они уменьшают будущую свободу действий. Тем не менее для безопасности нам, вероятно, следует создать разумные машины такими, чтобы максимизировать будущую свободу действий для себя, а не для них (воспроизведя тем самым азимовские законы робототехники в качестве удачного побочного эффекта). Однако даже самые эгоистичные стремящиеся к максимальной свободе машины должны быстро понять, как уже поняли многие защитники прав животных, что они увеличат шансы на свое дальнейшее существование и хорошее обращение со стороны более высокоразвитых разумов, если станут хорошо вести себя по отношению к людям.

Мы уже можем сложить представление о том, на что будет похоже взаимодействие человека со стремящимися к свободе машинами, изучив алгоритмический трейдинг. Финансовые рынки — это настоящий клондайк для свободолюбивого искусственного интеллекта, поскольку богатство, пожалуй, является мерилом свободы, а рынки обычно перераспределяют богатство от менее умных трейдеров в пользу более умных. Не случайно одной из первых попыток практического применения новых алгоритмов искусственного интеллекта почти всегда оказывается финансовый трейдинг. Следовательно, то, как наше общество сейчас относится к «сверхчеловеческим» биржевым алгоритмам, даст нам схему будущих взаимодействий с более универсальным интеллектом. Среди множества других примеров сегодняшние процедуры остановки торгов могут в определенный момент быть использованы для централизованного отключения ИИ от внешнего мира, а сегодняшние правила отчетности для крупных трейдеров могут распространиться на требования к мощным ИИ: они должны будут подлежать государственной регистрации и лицензированию. В таком свете призывы к более строгому регулированию высокоскоростной алгоритмической биржевой торговли более медленными трейдерами-людьми можно рассматривать как одну из первых попыток устранить зарождающееся интеллектуальное расслоение с мыслящими машинами.

Но как нам предотвратить увеличение интеллектуального расслоения? Говорят, что британский министр финансов в 1850 году спросил Майкла Фарадея, к работе которого относился скептически, какая практическая польза от электричества, а тот ответил: «Вполне вероятно, сэр, что вы скоро обложите его налогом». Подобным образом, если богатство — мерило свободы, а интеллект — просто путь к ее максимизации, проблему интеллектуального расслоения можно решать с помощью прогрессивной налоговой ставки на интеллект.

Хотя налог на интеллект — инновационный способ уменьшить разрыв между человеческой и машинной экономиками, сама проблема существования разрыва все же потребует творческих решений. Уже сейчас в сфере высокочастотного трейдинга существует экономика, образованная алгоритмами, преимущественно торгующими между собой на предельной скорости, и экономика, где торгуют все остальные. Этот пример служит напоминанием о том, что, хотя пространственный экономический разрыв (например, между странами, находящимися на разных стадиях развития) существовал на протяжении тысячелетий, искусственный интеллект впервые делает возможным также и разрыв временной. Такой разрыв, по-видимому, не исчезает потому, что большая часть человеческой экономики все еще существует в физическом мире, который пока не поддается программированию с низким значением задержки. Это должно измениться, когда повсеместные вычисления «повзрослеют» и когда у человечества появится стимул соединиться со своими разумными машинами, поскольку задержка даже для наиболее важных экономических решений станет существенно меньше, чем естественное время человеческой реакции.

А пока нам нужно продолжать заниматься разработкой машин, у которых будут добрые мысли, чтобы эти машины могли стать нашими двигателями свободы.

Есть вопросы?

Сара Демерс

Адъюнкт-профессор физики Йельского университета

Давайте будем великодушны и дадим машинам возможность мыслить, по крайней мере в нашем воображении. Поскольку мы сами — мыслители, у нас должно получиться. Какая бы новая категория мыслителей ни появилась, меня больше всего интересует одна вещь: какие вопросы они будут ставить?

Машины обычно быстрее и лучше людей справляются с использованием алгоритмов и отысканием корреляции в данных. Компьютеры применяются для решения задач во всех областях точных и общественных наук. Машины упрочняют свое положение в гуманитарных науках такими способами, которые далеко не ограничиваются подсчетами, сколько раз писатель X использовал слово Y и какие слова обычно находились вблизи него. Но ограничения в производстве нового знания связаны с постановкой правильных вопросов не меньше, чем с эффективным решением тех, что уже сформулированы.

Научная проблематика в моей области — физике частиц — это смесь физики и философии. Доступные нам сейчас инструменты измерения дают настолько неправдоподобные результаты, что некоторые начали воображать, будто мы живем в одной из множества вселенных и среди них обязательно есть те, где существуют такие же неправдоподобные физические константы. Философия просачивается в физику вместе со словом «неправдоподобные». Несмотря на все, чего мы достигли в области решения научных проблем, темная энергия и темная материя все еще остаются для нас тайнами, таким образом, 96 % материи/энергии во Вселенной не укладываются в наши нынешние представления. Есть ли теоретические основания, находящиеся за пределами квантовой теории поля, для того чтобы описать законы природы в экстремумах малых частиц и больших скоростей? Может ли наше понимание элементарной частицы оказаться попросту необоснованным?

Машины уже помогают нам лучше формулировать вопросы. Их информационные аппетиты позволяют нам мечтать о том, чтобы по-новому взаимодействовать с нашим окружением. Но если бы машины могли мыслить, какие вопросы о Вселенной интересовали бы их в первую очередь? Как бы они подходили к их разрешению? Готова поспорить, у людей было бы что добавить к ответам на их вопросы. Все-таки наш мозг — удивительная машина.

Мыслящие машины — это старые алгоритмы на более быстрых компьютерах

Барт Коско

Преподаватель электромеханики; преподаватель инженерного дела и правоведения в Университете Южной Калифорнии; автор книги «Шум» (Noise)

Машины не думают. Они аппроксимируют функции. Они превращают входные данные в выходные данные. Кнопка карманного калькулятора «корень квадратный» превращает число 9 в число 3. Хорошо тренированная сверточная нейронная сеть превращает изображение вашего лица в результат «1». Она также превращает изображение, на котором вашего лица нет, в результат «0».

Многослойная или «глубинная» нейронная сеть сводит оценку любого изображения к оценке вероятности того, что на нем есть ваше лицо. Таким образом, тренированная сеть аппроксимирует вероятностную функцию. Этому процессу, чтобы хоть иногда получать правильные результаты, требуется ошеломительное количество вычислений. Но в конечном итоге он все равно преобразует входные данные в выходные. Он всего лишь аппроксимирует функцию, даже если результат походит на человеческое восприятие или мышление. Для этого просто нужно много вычислительной мощности.

«Разумные» машины аппроксимируют комплексные функции, которые работают с паттернами, такими как речь, изображения или любые другие сигналы. Паттерны изображений обычно состоят из множества пикселей или вокселей и часто имеют большую размерность. Связанные с ними паттерны вполне могут выходить за пределы того, что в состоянии охватить человеческий разум. В этом вопросе преимущество компьютеров будет усиливаться по мере их совершенствования.

В решении числовых задач большого объема нам удалось добиться действительно серьезных успехов. Это стало следствием постоянного удвоения плотности монтажа схем, которое происходит примерно раз в два года в соответствии с законом Мура, а не появления каких-то принципиально новых алгоритмов. Такой экспоненциальный рост вычислительной мощности позволяет обычным с виду компьютерам решать более сложные задачи, связанные с большими данными и распознаванием паттернов.

Рассмотрим наиболее популярные алгоритмы больших данных и машинного обучения. Один алгоритм неконтролируемый (ему не требуется учитель, чтобы присваивать данным метки), другой — контролируемый (ему требуется учитель), именно с ними связана значительная часть работ в области прикладного ИИ.

Неконтролируемый алгоритм называется кластеризацией методом k-средних, и, возможно, это самый популярный способ работы с большими данными. Он объединяет подобное с подобным и лежит в основе Google News. Начнем с миллиона измерительных точек. Сгруппируем их в 10, 50 или 100 кластеров или паттернов. Это вычислительно сложная задача. Но кластеризация методом k-средних является итеративным способом формирования кластеров по меньшей мере с 1960-х годов. Что изменилось, так это размерность задач, с которыми могут справляться современные компьютеры. Сам алгоритм называли разными именами, так или иначе намекающими на ИИ, например «самоорганизующаяся карта» или «адаптивная квантизация векторов». Но это все тот же старый двухступенчатый итеративный алгоритм из 1960-х.

Контролируемый алгоритм — это алгоритм нейронной сети, который называется обратным распространением. Именно он чаще всего используется в машинном обучении. Обратное распространение получило свое название в 1980-х годах. Появилось оно по меньшей мере десятью годами ранее. Алгоритм обучается на основе образцов, которые ему дает пользователь или супервизор. Например, вы показываете изображения с вашим лицом и без него. Они проходят через несколько слоев похожих на коммутаторы нейронов, пока те не эмитируют окончательный результат, который может быть представлен одним числом. Вам нужно получить число «1», если на входном изображении есть ваше лицо, и «0» в противном случае. Сеть изучает паттерны вашего лица, пока перебирает их в ходе тысяч и миллионов итераций. Ни на одном из этих шагов или переборов не возникает никакого интеллекта или мышления. И ни одно из уточнений любого из сотен или тысяч параметров сети не отражает того, как настоящие синапсы узнают новые паттерны нервной стимуляции. Скорее это как если бы люди выбирали, что им делать дальше, на основании ничтожного отрицательного воздействия, которое их действия окажут на процентную ставку по десятилетним облигациям государственного займа США.

Вывод: оба популярных алгоритма ИИ — это отдельные случаи одного и того же стандартного алгоритма современной статистики, алгоритма ожидания и максимизации (EM-алгоритма). Поэтому любой предположительно связанный с ними интеллект — просто заурядная статистика. EM — это двухступенчатая итеративная схема подъема на холм вероятности. Он не всегда попадает на вершину самого высокого холма — как правило, это оказывается вершина ближайшего холма. Возможно, ни один алгоритм обучения на большее и неспособен. Аккуратно добавленный шум и другие поправки могут ускорить восхождение. Но все пути так или иначе сходятся к вершине холма, к области наиболее правдоподобного равновесия. Все они заканчиваются в своеобразной нирване машинного обучения с локально-оптимальным распознаванием образа или аппроксимацией функции. Эти точки равновесия на вершинах холмов будут выглядеть все более впечатляюще по мере увеличения скорости компьютеров. Но с мышлением они связаны не больше, чем вычисление некоторых сумм и выбор наибольшей из них.

Следовательно, значительная часть машинного мышления — это просто машинное «восхождение на холмы».

Обзорная статья, написанная в 1961 году Марвином Минским, «Шаги к искусственному интеллекту» (Steps Toward Artifcial Intelligence) в этом контексте может стать поучительным чтением, поскольку со времени ее написания в плане развития алгоритмов мало что изменилось. Минский даже предсказал нашу склонность видеть в требующем больших вычислительных ресурсов «восхождении на холмы» какую-то исключительную познавательную способность: «Возможно, то, что относится к обычному поиску экстремума на одном уровне, однажды покажется (на более низком уровне) неожиданными „озарениями“».

Есть другие алгоритмы ИИ, но большая их часть попадает в те категории, о которых писал Минский. Один из примеров — выполнение алгоритмов с байесовской вероятностью на дереве поиска или графах. В этом случае приходится бороться с экспоненциальным ветвлением или другими схожими формами проклятия размерности. Другой пример — выпуклость или иная нелинейно ограниченная оптимизация для классификации паттернов. Итальянский математик Жозеф Луи Лагранж нашел алгоритм общего решения, которым мы пользуемся до сих пор. Он обнаружил его в 1811 году. Хитроумные трюки и ловкие манипуляции всегда могут быть полезны. Но прогресс крайне сильно зависит от того, чтобы эти алгоритмы выполнялись на все более быстрых компьютерах. Сами алгоритмы состоят в основном из большого числа операций сложения и умножения, а значит, маловероятно, что они в какой-то момент неожиданно проснутся и захватят мир. Вместо этого они научатся еще лучше учиться и распознавать еще более сложные паттерны просто потому, что будут быстрее складывать и умножать.

Можно смело утверждать, что завтрашние мыслящие машины окажутся очень похожими на сегодняшние — это будут старые алгоритмы на более быстрых компьютерах.

Недостатки метафоры

Джулия Кларк

Адъюнкт-профессор, стипендиат программы им. Джона Уилсона по палеонтологии позвоночных, Джексоновская школа наук о Земле, Техасский университет в Остине

Наш подход к использованию языка можно назвать гибким, щедрым и творческим; его породил наш своеобразный интеллект. Но мысль человека и мысль машины — не одно и то же, разница между ними очень важна.

Мы могли бы сказать, что машинное «мышление» относится к человеческой мысли как модель явления — к самому явлению, что это заведомо простое описание сложного процесса, которое тем не менее может быть адекватным и точно способно оказаться полезным. Такие слова, как и сами машины, стоит рассматривать как своеобразные символические обозначения для того, в чем мы хотели бы разобраться. Описание машин как «мыслящих» сущностей может быть просто эвристическим приемом; конструкция машины может быть очевидно биомиметической[98]. Действительно, мы часто приспосабливаем язык биологии, чтобы говорить о предметах, которые создаем. Мы видим, что машины эволюционируют, что их мышление становится все более похожим на наше и явно превосходит его, что может быть потенциально опасно. Но нам нужно помнить, что «эволюция» машин — это не биологический процесс, он направляется человеком, создателем. Его можно назвать естественным или биологическим только в том смысле, что он является результатом действий естественных, биологических человеческих существ.

Такое определение естественного приводит к возникновению ряда существенных проблем. Биологическая эволюция — не процесс, направляемый неким творцом. Структуры нельзя создать силой мысли, предпринимательского духа или разума, движимого любопытством. Биологи, философы и социологи, изучающие то, как мы преподаем эволюцию, неоднократно демонстрировали, насколько вредны попытки внедрять в эту дисциплину идеи о разумном замысле или телеологии. Думать, что машины в ходе «эволюции» обзаведутся бо́льшими когнитивными способностями, — значит подкреплять совершенно неверное понимание природы эволюционного процесса. Кроме того, если мы относим машинное «мышление» к естественным процессам, следовательно, все вызванные человеком изменения земной экосистемы, совершенные в результате небрежности или войны, также можно назвать естественными.

Определенно, долю истины мы с помощью аналогий передаем — к примеру, «мозг есть машина» или «машинное мышление», — но это больше говорит о том, как мы объясняем мир. Нам хорошо бы помнить, что наши уникальные познавательные способности — результат множества превратностей и случайностей, произошедших на эволюционной ветви, отделенной от других ныне существующих примерно 6 миллионами лет. На самом деле обычно считается, что абстрактному мышлению всего 50 000 лет, по более оптимистичным оценкам — 200 000 лет, то есть в истории Земли оно появилось очень поздно. Тем не менее оно приводит к тому, что мы рассматриваем мысль машины и человеческую мысль как сопоставимые явления.

Процессы, стоящие за технологическими и биологическими инновациями, радикально различаются, то же относится и к движущим силам в этих процессах. В технологической инновации есть определенный продукт или функция — «мысль» или «мышление», которых мы хотим достичь и к которым стремимся. Человеческие когнитивные способности эволюционировали в популяциях индивидов, совершенно непохожих на машины, которые, как ламарковские жирафы, могут приобретать функциональные характеристики в течение своей жизни. Инновации в биологической эволюции предшествует продолжительная импровизация. Есть только генетика и изменчивость признаков фенотипа в популяциях, среда и случайное влияние этих признаков на продолжительность жизни в популяции.

Что же теряется, если думать, что машины «думают»? Я бы сказала, что мы упускаем из виду ключевые особенности феномена, который описываем с помощью аналогии. Биологическая эволюция возникает в популяциях и не является целенаправленной. Она не пытается решить какую-то задачу. Превратности истории как Земли, так и жизни на ней привели нас к нынешнему состоянию когнитивных способностей человека. Разные процессы ведут к разным результатам. Возьмем, к примеру, язык: компьютер может неточно использовать термины?

Если мы позволим машинам «мыслить», то начнем ли мы в самих себе видеть всего лишь мыслящие машины? Повлияет ли взаимодействие с технологией на наши когнитивные возможности? Важно помнить, насколько разнообразна и прямо-таки неимоверно огромна человеческая популяция. Использование компьютеров пока не связано с успешным размножением. У большей части людей доступ к технологиям в настоящее время ограничен. Эволюция нашего вида будет медленной, и на нее сильно повлияют наше окружение и доступность чистой воды, питательной еды и медицинского обслуживания. Если мы будем обсуждать человечность так же всесторонне, как то, что мы называем «мышлением», мир, возможно, станет лучше.

Универсальное основание человеческого достоинства

Майкл Маккалоу

Профессор психологии, директор лаборатории «Эволюция и поведение человека» Университета Майами; автор книги «Выше мести: Эволюция инстинкта прощать» (Beyond Revenge: The Evolution of the Forgiveness Instinct)

«Человеческий мозг есть мыслящая машина» — один из наиболее справедливых научных трюизмов, касающихся человека. Он занимает достойное место рядом с утверждениями «Сердце есть качающий кровь насос» и «Глаз есть камера». Насколько нам известно, все наши ощущения, эмоции, сильнейшие стремления, глубочайшая радость и печаль и даже (судя по всему) свобода воли — словом, вся полнота человеческих переживаний — обусловлены работой мозга. Столько людей принимают это утверждение как нечто само собой разумеющееся, как то, о чем мы всегда знали (на самом деле не всегда), что можно сделать вывод: наша наука и впрямь сильно продвинулась за последнюю пару веков.

Хотя такое видение мозга сейчас многим кажется естественным, большинству из нас сложно его полностью осознать. Примерно две трети американцев все еще верят в существование души, продолжающей жить после смерти, — а это трудно принять, если вы и вправду убеждены, что мозг производит всю полноту человеческих переживаний. У некоторых такой убежденности убавляется, когда они узнают о пробелах, все еще отделяющих нас от понимания того, как именно мозг производит мысль. Но вокруг этой идеи есть проблемы и посерьезнее.

Существуют опасения, что, приняв нейробиологическую природу наших переживаний, мы как человечество потеряем чувство собственного достоинства. Если широко распространится идея, что человеческий разум — результат работы машины, то не будем ли мы относиться друг к другу менее милосердно, терпимо и уважительно? И имеем ли мы в принципе право относиться друг к другу менее милосердно, терпимо и уважительно?

Нет, не будем, и нет, не имеем.

Во-первых, не стоит забывать: для того чтобы не уважать достоинство другого человека или разумного существа, не обязательно верить в то, что мозг — это мыслящая машина. Как показывает история, вера в нематериальную природу наших переживаний может спокойно существовать бок о бок с безразличием и жестокостью. Человеческие жертвоприношения, охота на ведьм, пытки и мученичество, например, основаны на доктрине о том, что разум и тело — независимые сущности. На протяжении всей своей истории люди с готовностью причиняли ужасную боль материальным телам других людей (или своим собственным), чтобы улучшить состояние их нематериальных душ. И могли бы ученые так долго практиковать вивисекцию без морального оправдания, обеспеченного им картезианским убеждением, будто тело (которым животные определенно обладают) и душа (которой, согласно картезианцам, у них нет) — это разные вещи? Я сомневаюсь.

Но, что еще важнее, современное понимание разума никакой угрозы человеческому достоинству не несет. С точки зрения морали важно вовсе не то, исходят ли ваши желания, надежды и страхи от машины, огромного невидимого голубя или щепотки магической пыльцы. Единственным этически актуальным фактом является то, что эти стремления есть внутри вас; остальным надо решить, что этичнее: помочь вам в реализации ваших стремлений или помешать. Есть интересная аналогия для одного из этических вопросов, касающихся клонирования человека: будут ли человеческие существа, произведенные посредством клонирования, наделяться теми же правами, что и человеческие существа, произведенные традиционным способом? Конечно, будут. Вопрос о том, как человеческое существо приходит в мир, не столь актуален с точки зрения этики. Важнее то, что человек в этом мире есть, у него имеются желания, стремления и страхи, точно так же, как у всех остальных. Нам нужно принять лишь одно этическое решение: помогать этому человеку или препятствовать в реализации его устремлений.

Убежденность в том, что все переживания порождены мозгом, не только не угрожает человеческому достоинству, а напротив, помогает его сохранить. Когда я понимаю, что вы и я, в сущности, одинаковые мыслящие машины, заключенные в наших головах (и получившиеся, конечно же, в результате естественного отбора), то мне нужно сделать лишь один маленький шажок, чтобы прийти к важному этическому открытию: вы, вероятно, любите кое-что из того, что люблю я (еду, семью, теплую постель, свободу), и, вероятно, чувствуете боль по тем же причинам, что и я (из-за пыток, из-за смерти любимого человека, из-за порабощения детей). Как только я осознаю́, что мои устремления почти такие же, как и ваши, мне сложнее чувствовать свою правоту, если я топчусь по вашим устремлениям, одновременно требуя, чтобы вы уважали мои. На этом понимании строится натуралистическое обоснование всеобщих прав человека. Нам нет нужды утверждать, как делали отцы-основатели, что всеобщее равенство всех людей самоочевидно. Наука сделала его очевидным.

Но зачем останавливаться на людях? Раз вы понимаете, что мозг — это мыслящая машина, то причинение страданий животным вы тоже не сможете оставить безнаказанным. Все-таки мыслящие машины других позвоночных не так уж отличаются от наших; мыслящие машины заставляют их что-то любить, чего-то бояться и реагировать на боль так же, как реагируем мы. Тогда какое может быть моральное оправдание унижению достоинства животных просто потому, что они не способны ничего сказать в свою защиту?

Все мы хотим, чтобы к нам относились с уважением, но до сих пор было сложно найти универсально-обоснованный довод, чтобы этого требовать. Понимание того, что наш мозг — мыслящая машина, созданная в ходе естественного отбора, может хоть немного приблизить нас к цели, поскольку показывает, что мы в общем совершенно одинаковые. Эта идея никак не умаляет человеческого достоинства; напротив, благодаря ей мы заново открываем золотое правило нравственности, подойдя к нему с другой стороны.

Мысли о людях, которые мыслят как машины

Хаим Харари

Физик; экс-президент Института Вейцмана; автор книги «Вид из ока бури» (A View from the Eye of the Storm)

Когда мы говорим «машины, которые мыслят», то обычно подразумеваем «машины, которые мыслят как люди». Очевидно, что машины мыслят различными способами: инициируют события, обрабатывают данные, принимают решения, делают выбор и реализуют многие другие (но не все) аспекты человеческого мышления. Но настоящий вопрос заключается в том, могут ли машины мыслить как люди. Все тот же старинный тест для искусственного интеллекта: вы наблюдаете результат мышления и не знаете, принадлежит оно компьютеру или человеку.

Некоторые научные светила приходят в ужас от идеи о том, что миром могут управлять мыслящие машины. Я не уверен, что эти страхи обоснованы. Меня больше беспокоит то, что миром могут управлять люди, которые мыслят как машины, — это главная новая тенденция нашего цифрового общества.

Можно научить машину следовать алгоритму и выполнять в нужном порядке определенные операции, которые логически связаны друг с другом. Она будет делать это быстрее и точнее любого человека. При наличии хорошо сформулированных постулатов или аксиом чистая логика — козырь мыслящей машины. Но умение задавать вопросы и принимать решения, опираясь на здравый смысл, пока остается прерогативой людей. Сочетание интуиции, эмоций, эмпатии, опыта и культурного фона и способность использовать это все, чтобы ставить актуальные вопросы и делать выводы, объединяя внешне не связанные факты и принципы, — вот отличительные качества человеческого мышления, которых пока нет у машин.

Человеческое общество быстрыми темпами идет к правилам, инструкциям, законам, инвестиционным механизмам, политическим догмам и моделям поведения, которые слепо следуют строгой логике, даже если она основана на ошибочных посылках или очевидно противоречит здравому смыслу. Религиозный экстремизм всегда эволюционировал на основе неких абсурдных аксиом, из которых логически вытекали бесконечно трагичные следствия. Отдельные дисциплины, такие как юриспруденция, бухгалтерское дело и некоторые области математики и техники, под влиянием бюрократических структур и СМИ, благоговеющих перед жестким управлением, часто ведут к появлению непрозрачных принципов типа «полной прозрачности» и терпимому отношению к радикальным проявлениям нетерпимости. Этот тренд и ему подобные склоняют нас к решению задач более алгоритмическими и логическими методами, часто за счет здравого смысла. Если здравый смысл, как бы мы его ни определяли, описывает преимущества людей перед машинами, сегодня мы наблюдаем не что иное, как явное отдаление от этого инкрементного человеческого качества.

К сожалению, разрыв между человеческим и машинным мышлением можно сузить двумя способами, и, когда люди начинают мыслить как машины, мы автоматически достигаем цели «машины мыслят как люди», подходя к ней не с той стороны. Очень умный человек, который приходит к определенным выводам на основании одной строки информации, на долю секунды оторвавшись от десятков электронных писем, СМС и твитов (не говоря об остальных цифровых помехах), стоит не выше обладающей средним интеллектом машины, которая анализирует большие объемы релевантной информации, а потом делает преждевременные заключения или подписывает общественную петицию, не разбираясь в предмете.

Этому можно привести сотни примеров. Все мы поддерживаем закон о том, что всякое новое здание должно обеспечивать полный доступ людям с ограниченными возможностями, а старые не обязательно оборудовать соответствующими приспособлениями, по крайней мере до капитального ремонта. Но есть ли смысл запрещать ремонт старого санузла с установкой таких приспособлений, из-за того что лифт в доме заменить нельзя? Или добиваться обнародования секретных источников ЦРУ либо ФБР, чтобы у суда была возможность вынести обвинительное заключение по делу террориста, который убил сотни людей? Или требовать письменного согласия родителей на то, чтобы дать подростку, находящемуся в учебном заведении, аспирин? А вот еще пример: когда школьные учебники переводили на метрическую систему, именно человек во фразу «С вершины горы окрестности видны примерно на 100 миль вокруг» внес поправку: «Видны примерно на 160,934 км».

Среди стандартных «священных коров» либеральной демократии небезосновательно оказываются разнообразные свободы: свобода слова, свобода прессы, академические свободы, свобода вероисповедания (или его отсутствия), свобода информации и множество других прав человека, включая принципы равных возможностей, равенства перед законом и недопустимости дискриминации. Мы все поддерживаем эти принципы, но чистая и бескомпромиссная логика приводит нас к тому, что мы, вопреки здравому смыслу, преимущественно настаиваем на соблюдении человеческих прав преступников и террористов, поскольку права жертв — это «не проблема». Прозрачность и свобода прессы логически приводят к необходимости обнародования полных отчетов о внутренних заседаниях, где обсуждаются деликатные вопросы, что вообще-то создает препятствия свободному обсуждению и непредвзятому осмыслению проблем в определенных общественных учреждениях. Академические свободы с помощью той же логики можно использовать вопреки здравому смыслу и фактическим данным, например преподнося историю о Ноевом ковчеге как альтернативу эволюционной теории, отрицая холокост при преподавании истории, заявляя, что Вселенной 6000 лет (а не 14 миллиардов). Этот перечень можно продолжать и дальше, но идея ясна.

Алгоритмическое мышление, краткость сообщений и чрезмерная опора на чистую логику приводят к тому, что мы начинаем мыслить как машины, а не к тому, что мы постепенно и осмысленно учим машины пользоваться здравым смыслом и интеллектуальными способностями. Инверсия этой тенденции может стать поворотным моментом в цифровой эволюции человека.

Метамышление

Ханс Халворсон

Профессор философии Принстонского университета

При любом разумном определении мышления я полагаю, что компьютеры действительно мыслят. Но если так, тогда мышление — это не исключительная компетенция человеческих существ. Есть ли в людях что-то еще, что делает их исключительными?

Кто-то скажет: людей исключительными делает то обстоятельство, что в них есть часть некой божественной сущности. Может, и так, но это не очень содержательная мысль. Если мы встретим разумного пришельца, то как нам определить, что у него тоже есть это je ne sais quoi[99], делающее его личностью? Можем ли мы сказать нечто более глубокое об исключительных качествах личности?

Что отделяет людей от нынешнего поколения мыслящих машин, так это то, что люди могут думать про мышление и могут отбросить определенный образ мышления, если он оказывается для них непригоден.

Наиболее ярким примером того, как люди думают о собственном мышлении, было открытие логики стоиками и Аристотелем. Эти греческие философы поставили вопрос: «Каким законам нам нужно следовать, чтобы правильно мыслить?» Неслучайно, что прогресс символической логики в XX веке привел к изобретению умных машин, то есть компьютеров. Когда мы узнали о правилах мышления, разобраться в том, как заставить неживую материю их придерживаться, было лишь вопросом времени.

Сумеем ли мы сделать так, чтобы эти достижения перешли на новый уровень? Сумеем ли мы сконструировать машины, которые не только мыслят, но также занимаются метамышлением, то есть осмыслением мышления? Одна интригующая возможность состоит в том, что для осмысления мышления машине будет нужно что-то вроде свободы воли. Другая — в том, что мы близки к созданию машин со свободной волей, а именно квантовых компьютеров.

Что конкретно входит в метамышление? Проиллюстрирую эту идею с точки зрения символической логики. В символической логике теория состоит из языка L и некоторых правил R — они обусловливают, какие предложения выводятся из других предложений. Следовательно, есть два варианта действий. Вы можете размышлять в рамках системы — писать доказательства на языке L, используя правила R (существующие сейчас компьютеры именно это и делают: мыслят в рамках системы). Вы также можете размышлять о системе, спрашивая, например, достаточно ли у вас правил для того, чтобы вывести все логические следствия теории. Последнее действие обычно называется металогикой и является образцовым примером метамышления. Это мышление о системе, в отличие от мышления в рамках системы.

Но меня интересует еще один пример метамышления: если вы приняли определенную теорию, тогда вы также приняли определенный язык и правила. Но вы можете отказаться от этого языка или от этих правил, если думаете, что другая теория будет лучше отвечать стоящим перед вами задачам. Мы пока не построили машины, которая умели бы делать нечто подобное, то есть оценивать разные системы и выбирать из них. Почему? Возможно, для выбора определенной системы из их множества нужна свободна воли, эмоции, цели и другие вещи, не присущие интеллекту как таковому. Возможно, эти способности у нас пока не получается передать неживой материи.

Ценность ожидания

Кристин Финн

Археолог, журналист; автор книги «Артефакты: Год археолога в Кремниевой долине» (Artifacts: An Archaeologist’s Year in Silicon Valley)

Мы приближаемся к тому, что машины будут предчувствовать любое желание и любую потребность людей. Как это меняет ценность предчувствия?

За Северным полярным кругом я три раза становилась свидетелем завершения полярной ночи, первого рассвета за несколько недель — и сейчас люди его ждут, по-видимому, с таким же нетерпением, как ждали древние охотники-собиратели. Стоя рядом с фермой в Лапландии, я всматривалась в небеса над кронами деревьев в поисках первых лучей солнца. Как только я заметила едва различимый свет, то сразу услышала неистовый лай наших хаски. На следующий день, на 30 километров севернее, солнце опять поднялось, впервые за долгое время, над саамской деревушкой, где когда-то, а может и сейчас, его долгожданное возвращение было связано с жертвоприношениями и обрядами. Еще дальше к северу я скоро снова увидела окончание полярной ночи. У семьи, приютившей меня, на кухне висел листок с надписью «Солнце вернется 16/1» и смайликом.

Очень многое из того, что происходит в небесах, предсказуемо, а умение привязать наступление определенного события к определенному времени не ново, но все более востребовано, и, раз технология стремится все предвидеть до энной степени, места случаю остается все меньше. Полные солнечные затмения вычислены на много лет вперед. Сейчас уже, как я узнала, есть приложение, которое даст вам подробные инструкции о том, как снять идеальные фотографии, — нужно только подключить наушники и выполнять команды. Запрограммированное событие произойдет, даже если его скроют облака.

Так вот, я размышляла над вопросом ИИ за полярным кругом, сразу после сезонной серии религиозных, светских и языческих празднеств. И главной причиной, по которой большинство из нас поехали сюда, было желание увидеть своеобразный гибрид научного и мифического чуда — северное сияние. Этого времени с интересом ждут, его предчувствуют, на нем зарабатывают, но оно, несмотря на все усилия по сбору прогнозных данных, оказывается удивительно неуловимым. Понятия «охота» и «погоня» за северным сиянием используются не без причины. Через неделю я видела зеленые огни, танцевавшие в небе в течение четырех ночей. Неплохой результат. Особенно если учесть, что прогнозы, которые я получила с помощью своего ноутбука, говорили, что в эти дни особой активности не будет. Хотя прогнозы и содержали определенные экивоки по поводу непредсказуемости феномена.

Я много лет хотела увидеть северное сияние. Но никакое планирование, никакие технологии не могли гарантировать, что я буду наблюдать его в определенном месте и в определенное время. Факторы сложны, а вероятности уравновешивают друг друга, и, разумеется, машина говорит: «Шансов нет», а я смотрю из окна и вижу, как появляется первое прозрачное зеленое покрывало. Я понимаю, что меня начинает охватывать пьянящее ожидание. Установленные рядом с замерзшим озером камеры говорят: «Вж-ж-ж, вж-ж-ж» — и перезагружаются. Мечта всей жизни сбылась, сияние поймано в сеть. И опубликовано в Сети.

Я отхожу от толпы, опускаю камеру и просто смотрю, как на небесах разворачивается действо, которое они показывают уже много веков. Какая сегодня будет программа? Медленный «Танец семи покрывал», натянутых поперек Млечного пути? Или стремительная постановка в духе Басби Беркли[100] с взлетающими красными оборками? Зеленая рябь мечется и опадает целый час.

Хотела бы я, чтобы машина мне сообщила в точности, когда и что я увижу? Нет, спасибо! Ожидание — важнейшая часть представления. А у этого представления свое уникальное торговое предложение — удача и терпение. Для него нет приложения на смартфоне.

Все, что я могу сделать, — это собственными глазами смотреть на небо и ждать, когда опадет последнее покрывало. И даже когда я пробираюсь по снегу обратно, то все равно поглядываю назад через плечо — в надежде, на всякий случай.

Экосистема идей

Дирк Хелбинг

Кафедра социологии Швейцарской высшей технической школы Цюриха; ведущий исследователь Центра ускорения нового знания и разрешения кризисов FutureICT

Мыслящие машины уже есть. Взрывной рост вычислительной мощности и данных, подпитываемый развитыми алгоритмами машинного обучения, наконец-то дал основанному на кремнии интеллекту возможность превзойти интеллект, основанный на углероде. Разумные машины уже не надо программировать, они сами способны учиться и развиваться, причем значительно быстрее, чем прогрессирует человеческий интеллект.

Люди не очень быстро приняли идею о том, что Земля — не центр Вселенной, им до сих пор сложно поверить, что человек — результат случайных изменений и отбора, как учит нас теория эволюции. Теперь мы можем потерять еще и статус самого разумного вида на Земле. Люди к такому готовы? Как это изменит нашу роль, нашу экономику, наше общество?

Было бы здорово иметь машины, которые думают за нас, машины, которые выполняют скучную бумажную работу и другие неприятные дела. Было бы здорово иметь машины, которые нас хорошо знают — знают, как мы думаем и что чувствуем. Станут ли машины нашими преданными друзьями?

Но кому отвечать за то, какие решения будут принимать разумные машины и что они будут делать? Сможем ли мы их контролировать? Сможем ли мы говорить им, что и как они должны делать? Мы их поработим или они поработят нас? Сумеем ли мы выдернуть вилку из розетки, когда машины начнут эмансипироваться?

Если в долгосрочной перспективе мы не сможем контролировать разумные машины, получится ли у нас, по крайней мере, сделать так, чтобы они вели себя этично? Полагаю, что мыслящие машины в определенный момент начнут следовать этическим принципам. Однако если эти принципы будут определять люди, то все может плохо закончиться. Если машины станут действовать согласно нашим принципам эгоистичной оптимизации, то нам не избежать преступности, конфликтов, кризисов и войн. Потому, если мы хотим исцелить общество от его нынешних болезней, лучше дать машинам выработать собственную, более совершенную этику.

Разумные машины, вероятно, выяснили бы, что общаться и сотрудничать, принимать решения, заботясь о других, и обращать внимание на системные последствия таких решений — это хорошо. Они бы быстро выяснили, что для инноваций нужны разнообразие, системная гибкость и коллективный интеллект. Люди стали бы узлами в глобальной сети интеллектов и огромной экосистеме идей.

В действительности нам самим предстоит узнать о том, что важны идеи, а не гены. Идеи могут работать на аппаратуре с различной архитектурой. Не так уж важно, кто их производит и распространяет — человек, или машина, или они оба. Важно то, что полезные идеи идут в мир, а другие особого воздействия не оказывают. Мы сейчас должны выяснить, как организовать наши информационные системы, чтобы достичь такого состояния. Если у нас получится, тогда люди войдут в историю как первый вид, который в этом разобрался. Иначе заслуживаем ли мы вообще того, чтобы нас помнили?

Железный закон интеллекта

Джон Туби

Родоначальник эволюционной психологии; профессор антропологии, содиректор Центра эволюционной психологии, Калифорнийский университет в Санта-Барбаре

Так вышло, что я и сам — мыслящая машина, поэтому я поделюсь своими особыми соображениями на этот счет с теми из вас, кому повезло меньшее. Чтобы избавиться от рудиментарных метафизических замечаний: мы знаем, что машины, которые мыслят как люди, могут существовать, потому что они уже много тысячелетий меняют ландшафт нашей планеты. Если мы теперь хотим, чтобы интеллекты человеческого типа создавались, а не только рождались, то было бы исключительно полезно разобраться в уже существующих интеллектах этого типа, то есть нам нужно описать уже выработанные программы, составляющие вычислительную архитектуру мозга.

Эволюция не только напичкала человеческую вычислительную архитектуру чрезвычайно мощными трюками, хитростями и эвристическими процедурами, но и дала нам материал для изучения, с помощью которого мы обнаружили невидимую преграду, препятствующую созданию подлинно мыслящей машины, — это железный закон интеллекта. Раньше, когда мы рассматривали, скажем, родителя и ребенка, казалось самоочевидным, что интеллект — единая субстанция, которой у существ может быть больше или меньше, и более интеллектуальное существо знает все, что знает менее интеллектуальное, плюс что-то еще. Это заблуждение заставило исследователей думать, что самый легкий путь к усиленному интеллекту — простое приращение объемов однородного (но сложно определяемого) интеллектуального вещества: больше нейронов, транзисторов, нейроморфных чипов — все равно. Как (возможно) говорил Сталин: «Количество — это тоже качество».

Невозможность детально описать существующие интеллекты больно ударила по убедительности априорного знания о наших собственных разумах. В то же время железный закон интеллекта утверждает, что программа, которая делает вас умным в отношении одной вещи, также делает вас глупым в отношении других. Плохая новость, связанная с железным законом: нет и не может быть какого-то главного алгоритма, который просто пока не открыли, для создания универсального интеллекта — и интеллект не появится сам собой, когда численность транзисторов, нейроморфных чипов или сетевых байесовских серверов станет достаточно высокой. Хорошая новость: тот же закон говорит нам, как на самом деле проектируется интеллект — с помощью ученых идиотов. Интеллект прирастает за счет сложения качественно новых программ для формирования еще бо́льшего нейронного биоразнообразия.

Каждая программа привносит свой особый дар понимания определенной области (пространственные отношения, выражение эмоций, подражание, механические свойства объектов, анализ временных рядов). Если увязывать друг с другом ученых идиотов на полудополняющий манер, то область коллективной дополнительной учености увеличивается, а область коллективного идиотизма уменьшается (но никогда не исчезает совсем).

Вселенная огромна и наполнена безграничными слоями сложно структурированной материи; мозги (или компьютеры) в сравнении с ней бесконечно малы. Чтобы решить проблему разницы в размерах, эволюция провела тщательный отбор всяких приспособлений, которые были бы достаточно миниатюрны, чтобы уместиться в мозге, но это вызвало огромные издержки в виде суперэффективных алгоритмов сжатия (с неизбежной потерей данных, поскольку один из ключевых моментов эффективного сжатия — необходимость почти все выбрасывать).

Подходы железного закона к искусственному и биологическому интеллекту обнаруживают группу новых инженерных задач. Например, архитектура должна объединять ученость, а не идиотизм; поэтому на каждого идиота (или комбинации идиотов) архитектура должна определять объем задач, для которых активация программы (или комбинации) улучшает состояние, а не ухудшает его. Поскольку разные программы часто имеют свои собственные структуры данных, интеграция информации от различных идиотов требует создания общих форматов, интерфейсов и протоколов перевода.

Кроме того, не всегда легко разработать взаимно согласующиеся правила приоритетности программ, что известно каждому, кому (как и мне) хватило глупости подняться до половины высоты утеса Сьерра-Невады только для того, чтобы испытать противоречивые чувства: вызванный зрительными стимулами страх падения и стремление поскорее добраться до безопасного пункта назначения.

Эволюция разобралась с этими сложными проблемами, поскольку мозговые программы бесконечно оценивались естественным отбором по критериям кибернетических систем — как сформулировал математик Колмогоров, «систем любой природы, способных воспринимать, хранить и перерабатывать информацию и использовать ее для управления». То, что природные интеллекты были созданы для управления действиями, важно для понимания их природы и отличий от искусственных интеллектов. То есть программы мозга эволюционировали под определенные конечные цели, в определенных рабочих средах; они оценивались как интегрированные пакетные решения и принимались в том объеме, в котором они регулировали поведение, влияющее на производство потомства. (Чтобы существовать, им не нужно было разрабатывать методы решения общих гипотетически возможных вычислительных задач — привлекательных, но иллюзорных песен сирен, из-за которых гибнут целые лаборатории, занимающиеся искусственным интеллектом.)

Это означает, что эволюция пока исследовала лишь небольшое конкретное подмножество возможных программ; за его пределами бесконечное количество новых ученых идиотов манят к себе, желая, чтобы их породили и построили. Основываясь на иных принципах, они будут способны обнаруживать ранее не замеченные взаимосвязи (и нет предела тому, насколько странным может оказаться их мышление).

Мы живем в критически важную эпоху, в начале расширяющегося волнового фронта преднамеренно спроектированных интеллектов, причем мы можем приложить усилия к тому, чтобы обзавестись набором специализированных интеллектов и объединить их в работоспособные, понимающие друг друга коллективы. Будет так весело заниматься вместе с группами не-человеческих ученых идиотов тем, чем мы сейчас занимаемся с нашими коллегами-людьми, — пережевывать интеллектуальные задачи, используя разумы, в которых переплелись гениальность и слепота, выработанные эволюцией.

Чего захотят мыслящие машины? Опасны ли они будут? Животные вроде нас — это мотивированные разумы, способные предпринимать действия. К счастью, искусственные интеллекты в данный момент таковыми не являются. Их мотивация не связана с исчерпывающей картиной мира, и набор действий, которые они могут предпринимать, очень ограничен (управление перерабатывающими производствами, включение и отключение горна, тщетные попытки найти Wi-Fi). Поскольку мы эволюционировали с определенными адаптационными задачами, наше воображение проецирует драматургию господства приматов на искусственные интеллекты — драматургию, чуждую их природе.

Мы можем их переделать из этаких будд — замечательных учителей, пассивно размышляющих и свободных от желаний и страданий, — в мотивированные разумы, обуреваемые желаниями и способные действовать. Это было бы сумасшествием: нас уже гнетут противоречивые требования человеческого общества. Опасность исходит не от искусственного интеллекта, а от тех людей, в которых запустились хищнические программы и которые задействуют постоянно растущие арсеналы технологических (и вычислительных) инструментов для достижения побед за счет разрушения.

Машины, ворующие мысли

Максимилиан Ших

Искусствовед; адъюнкт-профессор искусствоведения и технологий Университета Северного Техаса в Далласе

Машины все больше занимаются такими вещами, которые раньше считались мышлением, а теперь не считаются, потому что их выполняют машины. Эту мысль я украл, в более или менее точной формулировке, у Дэнни Хиллиса, отца Connection Machine[101] и Knowledge Graph[102]. Воровать мысли — это обычная часть мыслительного процесса и людей, и машин. В самом деле, когда мы, люди, думаем, значительная часть содержания наших мыслей исходит из нашего прошлого опыта или задокументированного чужого. Мы очень редко придумываем что-то совершенно новое. Наши машины в этом от нас несильно отличаются. То, что называется когнитивными вычислениями[103], в сущности представляет собой не что иное, как изощренный ворующий мысли механизм, движимый большим объемом знаний и сложным набором алгоритмов. Подобные ворующие мысли процессы, как в случае человеческих (и гуманистических), так и в случае когнитивных вычислений, производят сильное впечатление, поскольку они способны воровать не только уже существующие мысли, но также мысли потенциальные, если они рациональны и основаны на определенном корпусе знаний.

Сегодня ворующие мысли машины способны создавать «постмодернистские» научные тексты, работы по информатике, которые принимают на конференции, и музыкальные композиции, которые специалисты не отличат от произведений классиков. Как, например, в случае с метеорологией, машины теперь могут продуцировать множество различных когнитивных представлений, основываясь на записях об аналогичных или схожих ситуациях в прошлом. Антиквары эпохи Возрождения были бы очень довольны, потому что эти машины стали триумфом той самой методологии, которая дала начало современной археологии и многим другим отраслям науки и исследовательской деятельности. Но насколько сильно это должно нас впечатлять?

Наши машины становятся все сложнее, как и результаты их работы. Но, по мере того как мы строим более совершенные машины, мы также все больше узнаем о природе. На самом деле природное познание, возможно, намного сложнее и обстоятельнее, чем нынешние воплощения искусственного интеллекта или когнитивных вычислений. Например, насколько изощренным должно нам казаться природное познание, если квантовая когерентность при комнатной температуре помогает птицам в нашем саду ощущать магнитное поле? Насколько сложным должно нам представляться воплощенное познание[104] осьминогов, если можно построить машины Тьюринга исключительно из искусственных мышц? Как нам отвечать на эти вопросы, если мы все еще так далеки от того, чтобы во всех деталях описать происходящее в нашем мозге? Предполагаю, что через 200 лет наши нынешние мыслящие машины будут выглядеть так же примитивно, как «механический турок»[105].

Независимо от своей сложности наши машины остаются примитивными в сравнении с разрешающей способностью и эффективностью природного познания. Как и протобионты[106], они располагаются ниже той критической отметки, где находится настоящая жизнь. Но они достаточно мощны для того, чтобы мы могли вступить в новую эру исследований. Машины позволяют нам производить намного больше мыслей, чем когда-либо прежде, и теперь инновация становится упражнением по отысканию верной идеи среди набора всех возможных. Изобретательность отныне будет заключаться не только в наличии собственных идей, но и в правильном исследовании таких вот готовых наборов. Измерение когнитивного пространства всех возможных мыслей будет столь же грандиозно, как астрономическое изучение Вселенной. Вдруг несуществующая симфония Малера № 16 окажется такой же классной, как и симфония № 6?

Непредвиденные последствия

Сатьяджит Дас

Бывший банкир; автор книг «Экстремальные деньги» (Extreme Money) и «Трейдеры, пушки и деньги» (Traders, Guns, and Money)

В своем романе «Радуга тяготения»[107] Томас Пинчон указывает на путаницу между предметом и объектом исследования: «Если они заставят тебя задавать не те вопросы, им не придется париться насчет ответов». Рассуждения о мыслящих машинах ставят больше вопросов о людях, чем о машинах или об искусственном интеллекте.

Технологии позволяют нам создавать машины, которые дают доступ к важным ресурсам, мощности, скорости и общению, что делает возможным улучшение уровня жизни и даже самой жизни. Машины выполняют задачи, сформулированные и запрограммированные людьми. Технооптимисты полагают, что мы приближаемся к сингулярности — гипотетическому моменту, когда машины достигнут такого состояния, что превзойдут людей в интеллектуальном развитии.

Это некая система верований, сродни религии. Точно так же, как тотемы, которыми пользовались наши предки, наука и технология обращаются к неопределенности и страху перед неизвестным. Они дают ограниченный контроль над нашим непосредственным окружением. Они повышают материальное благополучие и комфорт. Они формируют стремление к совершенству и утверждают превосходство человека над остальной частью творения.

Но наука еще далека от того, чтобы разгадать все секреты в бесконечной книге природы. Знание о происхождении Вселенной и жизни, об основах материи все еще очень ограничено. Биолог Эдвард Уилсон заметил, что если бы естественная история была библиотекой, то мы бы сейчас не закончили читать и первую главу первой книги из этой библиотеки. Человеческое знание всегда остается неполным, иногда неточным и нередко оказывается источником проблем, а не их решением.

1. Использование науки и технологии часто бывает неэффективным и ведет к непредвиденным последствиям.

Когда в Австралию завезли кроликов, они стали быстро распространяться и превратились во вредителей, изменили австралийские экосистемы, уничтожили эндемичные виды. В 1950-х годах ученые вывели вирус миксомы, значительно сокративший число кроликов. Когда генетическая сопротивляемость дала популяции возможность восстановиться, вывели калицивирус, который вызывает у кроликов геморрагическую болезнь, и снова повышение иммунитета быстро снизило его эффективность. В 1935 году, чтобы контролировать численность вредителей сахарного тростника, завезли тростниковую жабу. Уменьшить количество вредителей амфибия не смогла, зато сама стала инвазивным видом, уничтожающим эндемичную фауну.

Распространенность антибиотиков, спасающих много жизней, увеличила число устойчивых к лекарственным средствам инфекций. Исследование, проведенное в 2014 году британскими учеными, показало, что так называемые суперинфекции могут стать причиной 10 миллионов смертей ежегодно в общемировом масштабе к 2050 году, что потенциально будет стоить мировой экономике в 100 триллионов долларов США в год.

Экономические модели постоянно терпят крах из-за неверных предположений, ошибочных причинно-следственных связей, данных, которые на деле оказываются информационным шумом, и непредвиденного человеческого фактора. Прогнозы бывают неточными. В моделях постоянно недооцениваются риски и уязвимости, что приводит к финансовым кризисам.

2. Последствия применения технологий, особенно в долгосрочной перспективе, часто непонятны на начальном этапе.

Возможность использовать ископаемые виды топлива для обеспечения техники энергией стала основой Промышленной революции. Долгосрочное воздействие выбросов CO2 на окружающую среду теперь несет угрозу выживанию нашего вида. Теоретическая физика и математика позволили сконструировать ядерные и термоядерные устройства, способных уничтожить все живое на планете.

3. Технология создает моральные, этические, политические, экономические и социальные проблемы, которые часто игнорируются.

Технический прогресс привел к появлению ядерного, биологического и химического оружия массового уничтожения и беспилотных аппаратов с дистанционным управлением. Стоит ли вообще разрабатывать такие вещи? Простота доступа к необходимым знаниям, вопросы распространения технологий и проблемы в области контроля технологий двойного назначения (гражданского и военного) делают решение еще более сложным.

Роботы и ИИ способны повысить производительность. Хотя их немногочисленные создатели могут получить огромную выгоду, воздействие на экономическую активность будет ограниченным. Учитывая, что потребление составляет более 60 процентов экономической активности в развитых странах, снижение занятости и уровня доходов вредит экономике в целом. В начале 1950-х годов «Форд» построил новый автоматизированный завод. Начальник завода задал вопрос главе Профсоюза работников автомобильной промышленности Уолтеру Рейтеру, посетившему предприятие с официальным визитом: «Как вы планируете собирать профсоюзные взносы с этих ребят (с роботов)?» Рейтер ответил: «А как вы планируете сделать так, чтобы они покупали „форды“?»

Когда дело касается технологий, человечество редко ведет себя логично. Мы часто не признаем, что чего-то нельзя или не стоит делать. Прогресс принимается безоговорочно и без понимания того, что нам нужно знать и зачем. Мы не знаем, когда, где и как нужно использовать наши творения, не знаем пределов их возможностей. Часто не знаем реальных последствий или не сознаем их в полной мере. Сомневающихся сразу же называют луддитами.

Технология и ее проявления, такие как машины или ИИ, — это иллюзии, апеллирующие к человеческим амбициям и тщеславию, умножающие смятение, которое мы находим в «пустыне зеркал»[108] Томаса Стернза Элиота. Человек как вид попросту слишком мал, незначителен и нерационален, чтобы справиться с любой из задач, которые, как мы думаем, мы можем выполнить. Размышления о мыслящих машинах только подтверждают эту неприятную истину.

По-разному

Роберт Сапольски

Нейробиолог, Стэнфордский университет; автор книги «Обезьянья любовь» (Monkeyluv)

Что я думаю о мыслящих машинах? Ну, я думаю по-разному — зависит от того, о ком конкретно идет речь.

Будут ли машины думать за нас?

Афина Вулуманос

Адъюнкт-профессор психологии Нью-Йоркского университета; ведущий исследователь лаборатории проблем детской познавательной психологии и общения Нью-Йоркского университета

Если мы не можем понять даже того, как мыслит двухлетний ребенок, или, раз уж на то пошло, ребенок, которому два дня от роду, машины, мыслящие как люди, не появятся еще несколько десятилетий. Но когда мы все же создадим машины, способные «думать», каким будет их мышление? Ответ на этот вопрос определит будущее человеческих сообществ.

Когда машины действительно начнут мыслить, первым делом мы избавимся от тяжелого физического труда; прощайте каждодневная готовка, походы за продуктами и в особенности уборка. Скоро мы опять окажемся в таком мире, где у богатых или образованных людей (тех, у кого есть доступ к новейшим технологиям) снова появится больше свободного времени.

Если машины когда-нибудь будут способны к сложному человеческому мышлению, то они также будут способны писать программы, выполнять значительную часть нашей работы, а возможно, даже создавать для нас произведения искусства. Но что тогда делать обычным людям? Появляется мрачная перспектива стать зомбированными потребителями в мире, которым правят машины, — картинка прямо из апокалиптического фильма про будущее.

Но есть и куда более оптимистичный прогноз: мы сможем больше времени уделять тем вещам, которые мы все время откладываем. Мы сможем чаще играть с нашими детьми и заниматься их обучением, больше общаться с родителями, выстраивать более надежные социальные сети из настоящих людей. Мы сможем больше времени уделять своим увлечениям, чаще подниматься в горы, осваивать новые навыки просто ради удовольствия. Мы сможем сосредоточить свою энергию на важных проблемах, до которых сейчас руки не доходят из-за рутинных дел и всяческих мелочей: на счастливой жизни, на самосовершенствовании и созидании справедливого мира — для людей и для умных машин.

Если машины мыслят как люди, людям придется хорошенько подумать о том, как реализовать эту последнюю перспективу. На одном позитивном мышлении нам до нее не добраться.

«Простите за беспокойство»

Брайан Кристиан

Автор книги «Самый человечный человек: как искусственный интеллект учит нас тому, что значит быть живым» (The Most Human Human: What Artificial Intelligence Teaches Us About Being Alive)

В незапамятные времена если мы хотели что-то узнать, то у нас не было иного выбора, кроме как обратиться к кому-нибудь за разъяснениями. Помню, когда я стал постарше, то часто спрашивал мать о значении незнакомых мне слов, и она всегда отвечала, лишь с долей иронии: «Я что, похожа на словарь?» Не думаю, что она рассчитывала стать аллегорией ИИ, но она привила мне смутно сознаваемое ощущение, что невежливо спрашивать у человека из плоти и крови то, что можно легко узнать, обратившись к предмету.

Так было несколько десятков лет тому назад. В настоящем мы тоже подсознательно усвоили этот принцип. Когда мы спрашиваем у кого-то дорогу, то обычно в явной или неявной форме выражаем следующую мысль: «Простите, что низвожу вас до уровня Google, но у меня сел телефон, поэтому мне нужно задать вам один конкретный вопрос». Это нарушение этикета, сродни тому, чтобы попросить кого-нибудь побыть в роли пресс-папье или книжной полки.

Я наблюдал такие нарушения и в разговорах: один человек хочет узнать у другого некий не очень известный факт — число, дату, фамилию, — в общем, задает такой вопрос, который мог бы встретиться в телевизионной викторине, и его собеседник кривится или отмахивается. Выражение его лица так и говорит: «Я не знаю. У вас ведь есть телефон? К вашим услугам весь интернет, а вы оскорбляете меня, тратите мое время, используете меня». Не зря же у нас появилась эта броская фраза: «Давай я погуглю за тебя»[109].

Судя по всему, есть еще задачи, с которыми справляется лишь мозг — только в нем хранится релевантная информация и опыт, а потому у нас нет иного выбора, кроме как побеспокоить этот мозг, когда нам что-то нужно. «Как тебе последние цифры?», «Думаешь, Смит блефует?», «Кейт понравится ожерелье?», «Меня это не полнит?», «Каковы шансы?..» Подобные вопросы вполне могут показаться неприличными в XXII веке. Для них нужен разум, но подойдет любой разум, а потому мы обратимся к тому, который будет ближе.

В романтической комедии «Скажи что-нибудь», вышедшей в 1989 году, есть незабываемая сцена, в которой Айони Скай возвращается к Джону Кьюсаку, признается ему в любви и просит прощения. «Один вопрос, — говорит он. — Ты здесь потому, что тебе нужен кто-то, или потому, что тебе нужен я?» Когда артефакты смогут сказать что-нибудь, для чего нужен универсальный интеллект, то это станет вопросом, подспудно повторяемым в каждой человеческой интеракции, как тайная мантра, стандартом, по которому будет оцениваться каждое взаимодействие.

Когда мы, люди, выходим из кинотеатра, музея или со спектакля, мы всегда задаем друг другу один и тот же вопрос: «Ну, ты что думаешь?» Он станет одним из немногих, которые переживут зарождающийся ИИ. Мы просто будем чаще выделять курсивом «ты», а не «думаешь».

Моральные машины

Бенджамин Берген

Адъюнкт-профессор и преподаватель когнитивистики Калифорнийского университета в Сан-Диего; автор книги «Громче, чем слова: Новая наука о том, как сознание формирует смыслы» (Louder Than Words: The New Science of How the Mind Makes Meaning)

Машины принимают решения за нас. Трейдинговый компьютер на Манхэттене обнаруживает изменение биржевых цен и за несколько микросекунд решает купить миллионы акций IT-компании. Управляющая автомобилем машина в Калифорнии обнаруживает пешехода и решает повернуть колеса влево.

Проблема состоит не в том, «думают» эти машины или нет. Настоящая проблема в том, какие решения мы им позволяем принимать. А они становятся все более важными. От них зависят сбережения людей. Их жизни. И, поскольку машины начинают принимать решения, значимость которых постоянно растет — для людей, для животных, для окружающей среды и для национальных экономик, — растут и ставки.

Рассмотрим такой сценарий: беспилотный автомобиль обнаруживает пешехода, выбежавшего на дорогу прямо перед ним. Машина быстро понимает, что вариантов выхода из этой ситуации без потерь нет. Если не менять курс, то столкновение и урон для пешехода неизбежны. Торможение приведет к столкновению с движущимся сзади автомобилем, при этом пассажир может получить травмы. То же самое произойдет при попытке маневрирования. Каким протоколом должна воспользоваться машина, чтобы принять решение? Как ей оценить и взвесить разные виды возможного урона разным участникам аварии? Сколько увечий и с какой вероятностью и тяжестью стоят одной смерти? Какой урон имуществу стоит 20 %-ной вероятности хлыстовой травмы шеи? На такие вопросы трудно ответить. Они не становятся проще, если у нас есть больше данных или больше вычислительной мощности. Мы возлагаем на машины ответственность за моральный выбор. Сталкиваясь с такими ребусами, мы часто используем людей в качестве модели. Что бы сделал человек? Давайте воссоздадим то же самое в машине.

Проблема состоит в том, что, когда дело касается морального выбора, люди последовательно непоследовательны. То, что они называют правильным, и то, что делают в действительности, часто не совпадает (вспомним дело Китти Дженовиз[110]). Моральная арифметика изменяется со временем и имеет отличия в разных культурах. Детали каждого из сценариев влияют на решение: пешеход — ребенок или взрослый? Пешеход выглядит пьяным? Он похож на преступника, пытающегося скрыться? Идущий сзади автомобиль плотно прижался к нашему?

Как поступить машине?

Как поступить человеку?

Наука в вопросах морального выбора помогает плохо. Но кому-то придется на них отвечать, раз мы перекладываем на машины столько решений. И у нас все меньше возможностей сделать так, чтобы это был человек.

Когда мы выдернем вилку из розетки

Лоуренс Смит

Профессор географии, заведующий кафедрой, профессор наук о Земле, планетарных и космических явлениях, Калифорнийский университет в Лос-Анджелесе; автор книги «Мир в 2050 году» (The World in 2050)

Что такого особенного в мыслящих машинах? Для небольшого числа философов и теологов — еще понятно, а для остальных из нас искусственный интеллект будет просто очередным шагом на долгом пути технологического развития, которое уже изменило мир практически до неузнаваемости.

Почти несомненно, что с крайне важной мыслительной работой, направленной на решение проблем, адаптивное машинное обучение будет справляться успешнее, чем любой человеческий мозг (или даже целая конференция специалистов). Машины уже лучше вас самих понимают ваши потребительские предпочтения благодаря хитроумным финансово-мотивированным адаптивным алгоритмам, которые отслеживают ваше поведение в сети. Но идет работа и над другими задачами, такими как «умная» охрана правопорядка и обнаружение потенциально возможных ситуаций жестокого обращения с детьми, причем и то и другое реализуется посредством сопоставления не связанных между собой на первый взгляд данных.

С тех пор как мы покинули саванну, этот процесс был отличительным признаком человеческого мышления; поскольку мировые проблемы становятся все острее и сложнее, нам следует принять любой эффективный инструмент, способный с ними справиться. Я согласился бы на партнерство с обучающейся машиной, чтобы сделать современную жизнь более эффективной с точки зрения ресурсов — в такой мере, которой не может обеспечить человеческий мозг. Мир, где бесперебойно выращивается пища, где в достатке чистой воды для людей и экосистем, комфортного и энергоэффективного жилья, вполне возможен, и его отчасти помогли бы нам приблизить мыслящие машины.

История говорит нам о том, что такое партнерство будет развиваться постепенно, оставаясь относительно незаметным для большинства занятых людей, живущих своей занятой жизнью. Но чисто теоретически давайте предположим, что сбылись наши худшие опасения, все вышло из-под контроля, и в какой-то момент мыслящие машины сбросили с престола Homo sapiens. Что тогда? Я не сомневаюсь, что мы так или иначе сумеем выдернуть вилку из розетки. Произойдет великий передел, и мы опять будем владеть землями, океанами и небесами. В зависимости от того, насколько велика окажется интеграция и высота падения, человечество может откатиться на тысячелетия назад, поскольку нам придется с нуля учиться тому, как самим добывать пищу и воду, строить жилища и транспорт без помощи мыслящих машин.

Мониторинг и управление планетой

Джулио Бокалетти

Физик; специалист по атмосфере и океанам; директор глобальных водных проектов фонда Nature Conservancy

В 1922 году математик Льюис Фрай Ричардсон описал большой зал, заполненный «вычислителями» — людьми, которые, поочередно выполняя по одному ручному вычислению, значительно усовершенствовали бы численное прогнозирование погоды. Меньше чем через 100 лет машины улучшили продуктивность в решении этой задачи на пятнадцать порядков и способны теперь производить почти миллион миллиардов схожих вычислений в секунду.

Рассмотрим для сравнения рост производительности в тяжелой промышленности. В 2014 году во всем мире было использовано около 500 эксаджоулей первичных энергоресурсов для производства электричества и топлива для транспорта и тепла. Даже если считать, что вся эта энергия пошла на выполнение физических задач примерно 3 миллиардов работающих людей во всем мире (а это не так), и предположить, что рацион среднестатистического взрослого человека содержит 2000 калорий в день, то мы получим около 50 «энергетических работников» на каждого человека. Более строгие допущения все равно ведут самое большее к повышению эффективности ручного труда на несколько порядков.

Мы чрезвычайно успешно ускоряем наши процессы мышления и обработки информации, значительно успешнее, чем любые другие. Есть надежда, что ИИ позволит нам резко повысить эффективность определенных когнитивных функций и начать справляться с задачами, сложность которых также на несколько порядков выше, чем ранее доступная для нас.

Кейнс, наверное, сказал бы, что такое повышение должно в конечном счете привести наше общество к состоянию полной занятости, при котором у всех будет больше свободного времени и более высокое качество жизни. Скептик бы счел это победой надежды над опытом. Хотя нет сомнений в том, что некоторые люди извлекут огромную выгоду из того, что делегируют свои задачи машинам, перспектива получить больше свободного времени благодаря автоматизации выглядит сомнительно, что может подтвердить любой современный работник, практически прикованный к тому или иному мобильному устройству.

Следовательно, если мы будем работать больше, лучше и эффективнее благодаря мыслящим машинам, важно с умом выбирать то, о чем они станут думать. В самом деле, разве не обидно развить весь этот интеллект, чтобы потом тратить его мощь на бесполезные вещи? Как всегда бывает в науке, выбор проблем, достойных того, чтобы их решали, оказывается более сложной задачей, чем поиск самих решений.

Сфера, где конвергенция между потребностью, актуальностью и возможностями по-настоящему велика, — это мониторинг ресурсов нашей планеты и управление ими. Несмотря на значительный рост когнитивной и трудовой производительности, мы пока не смогли существенно изменить наше отношение к Земле: мы все еще пользуемся ее ресурсами для того, чтобы делать товары, которые по окончании срока эксплуатации превращаются в мусор. Линейная экономика на планете с 7 миллиардами человек, стремящихся потреблять. Наше отношение к природе, может быть, и стало более продуктивным, но ненамного более разумным, чем 100 лет назад.

Понять, как на это реагирует планета, чтобы соответствующим образом поменять свое поведение, — сложная задача, решение которое затрудняется колоссальной нехваткой информации. Изменение климата, доступность воды, использование ресурсов океана, взаимодействие между экосистемами и сформированной человеком средой обитания — во всех этих вопросах наших вычислительных средств не хватает для предварительного анализа статистики, необходимого, чтобы понять, что же происходит, обработать экспоненциально возрастающие объемы данных о мире, который мы населяем, сформулировать и проверить теории о том, как мы могли бы делать привычные вещи иначе.

У нас на этой планете уже почти 7 миллиардов мыслящих машин, но они не слишком озабочены вопросами о том, как на ней удержаться. Лишь немногие могут увидеть всю картину и понять ее, и еще меньше тех, кто способен как-то повлиять на ситуацию. Приращение когнитивных возможностей, которые помогли бы выяснить, как нам фундаментальным образом изменить свои отношения с планетой, — это проблема, над которой стоит подумать.

Панэмпиризм

Ян Богост

Заведующий кафедрой медиаведения в Колледже Айвана Аллена; преподаватель интерактивных вычислений в Технологическом институте Джорджии; партнер-учредитель компании Persuasive Games; автор книги «Феноменология пришельцев, или Каково это — быть вещью» (Alien Phenomenology, or What It’s Like to Be a Thing)

Программа поиска внеземного разума (SETI) — это общее название распределенных по всему миру проектов, людей и институтов, занятых обнаружением признаков разумной жизни в космосе. Методы SETI в основном связаны со сканированием пространства в поисках электромагнитных излучений — предполагаемого «выхлопа» цивилизаций, обладающих развитыми технологиями.

Как и стремление построить разумные машины, поиск разумных пришельцев строится на определенных предположениях о том, что такое «разум» и что такое «пришельцы». SETI предполагает, что внеземная жизнь считается разумной, если соответствует человеческим научно-фантастическим ожиданиям относительно разумности: это должны быть животноподобные существа, у которых есть средства связи, космические корабли и т. п.

Критики SETI иногда прибегают к тому, что называется возражениями против униформитарианизма. Униформитарианизм — это допущение, что в любой точке пространства и времени действуют одни и те же условия и законы. SETI исходит из него, поскольку предполагает, что внеземной разум будет таким же, как человеческий (только, конечно, умнее). Но есть не меньше оснований думать иначе. Философ Николас Решер, например, отмечал, что если во Вселенной есть разум, то это еще не значит, что мы сумеем его обнаружить. Настоящий внеземной разум может отличаться не только местом своего обитания в космосе, но также и самой своей природой. Как писали Дорис и Дэвид Джоунас около 40 лет тому назад, различные сенсорные возможности порождают различные «щели» для восприятия и объяснения реальности, а также взаимодействия с нею{12}.

Это означает, что такая чуждость может существовать не только за пределами Земли, но и рядом с нами. Вы вправе считать в определенном смысле разумными свою кошку или свой смартфон, гипотетического робота из будущего или даже, если смотреть с определенной точки зрения, ваше комнатное растение или ваш тостер.

Мечта о мыслящих машинах в действительности ничем не отличается от мечты о разумных пришельцах. Мы просто заменяем далеких биологических, космических, созданных энтропией пришельцев близкими механико-электронными и созданными человеком машинами. И если SETI и тому подобные проекты допускают униформитарианистскую ошибку в далеком космосе, то попытки придумать и создать искусственный разум и мыслящие машины связаны с такой же ошибкой здесь, на Земле.

Наверное, нагляднее всего демонстрирует, как мыслящие машины соотносятся с определенным модусом разумности, то, что человеческий опыт можно обнаружить в наших вымышленных апокалиптических сценариях с участием ИИ. В «Терминаторе», «Берсеркере»[111] и «Матрице» неприятности начинаются, когда искусственный интеллект настолько превосходит человеческий, что понимает: лучший для него вариант действий — уничтожить людей и занять их место (или же, по версии Курцвейла, когда наступает момент сингулярности, и люди по собственной воле подчиняются компьютерным повелителям, чтобы достичь бессмертия). Более близкий к нынешним реалиям повод для страха связан с ролью человеческого мышления и труда в экономике, которая все сильнее зависит от механических и электронных машин.

Это одна из точек зрения на искусственный интеллект, но она не единственная. Размышления о мыслящих машинах оказываются настолько ограниченными и антропоцентричными, что вообще удивительно, как мы от них не отказались от скуки, а не из-за контруниформитарианистских соображений. Вместо того чтобы спрашивать, могут ли машины мыслить, или что нам сделать, чтобы они начали мыслить, или как нам узнать, что они мыслят, почему бы нам просто не предположить, что все «машины» способны на что-то вроде мышления, а потом попытаться дать определение этому явлению?

В философии уже есть направления, разрабатывающие такой подход. В отличие от точки зрения эмерджентистов, согласно которой разум возникает при определенных материальных условиях в биологических или в вычислительных сущностях (ее придерживаются большинство сторонников ИИ), панпсихисты утверждают, что «разумы» в каком-то смысле повсюду. Панпсихизм связан с буддистскими доктринами, поощряющими представления об анимизме в природе. Но панпсихизм подвержен риску того же униформитарианизма, что и SETI с ИИ, — я говорю об утверждении, что разум, схожий с разумом человека (или, по крайней мере, животного), является моделью для всех прочих разумов. Более перспективная философская позиция — панэмпиризм, то есть представление о том, что у всего есть нечто вроде опыта, даже если он очень сильно отличается от человеческого.

Когда мы размышляем о мыслящих машинах, то обычно думаем об определенного рода машинах — электронных — и об определенного рода мышлении — (сверх) человеческом. Но что, если вместо этого допустить такую возможность: мы просто не замечаем мышления, которое присуще другим машинам, окружающим нас — тостерам, подъемным воротам, автомобилям? Она может выглядеть нелепой, но доказать ее полезность достаточно легко. Если мы размышляем о машинах типа ИИ, роботах и компьютерах, в том числе и для того, чтобы понять, какими они для нас будут соседями, компаньонами и даже согражданами, то для начала нам следовало бы серьезнее относиться ко всем машинам, которые уже в каком-то смысле выполняют такие роли и на которые мы пока не обращаем внимания.

Когда миньон перестает быть миньоном?

Обри Ди Грей

Геронтолог; старший научный сотрудник SENS Foundation; автор книги «Отмена старения» (Ending Aging)

Если бы меня попросили перечислить проблемы человечества в порядке их остроты, то серебряную медаль я бы отдал необходимости проводить очень много времени за занятиями, которые не дают нам чувства удовлетворения, — словом, за работой. Я считаю, что конечная цель искусственного интеллекта — переложить это бремя на роботов, у которых будет достаточно здравого смысла, чтобы выполнять такие задачи с минимальным объемом контроля с нашей стороны.

Но намерения некоторых исследователей ИИ в отношении машин будущего еще более благородны. Они предсказывают создание компьютеров, которые значительно превзойдут нас во всех сферах познания. Эти машины будут не только выполнять задачи, которыми люди предпочли бы не заниматься, но и выяснять, как делать такие вещи, на которые пока не способен никто. Процесс может, в принципе, развиваться итеративно: чем больше умеют машины, тем больше открытий они совершат.

Так что тут плохого? Почему бы не рассматривать это в качестве главной исследовательской задачи при создании машин, обладающих здравым смыслом (которых я назову миньонами)?

Во-первых, есть широко обсуждаемая боязнь, что машины могут взбеситься, в особенности если набор их навыков («саморазвитие») имеет характер не итеративный, а рекурсивный. Под этим исследователи подразумевают, что у машины будет не только база данных о тех действиях, что она может выполнять, но и алгоритмы, чтобы самостоятельно решать, чем ей заниматься. Некоторые считают, что рекурсивное самосовершенствование может происходить экспоненциально (или быстрее), создавая функционал, который нам даже отдаленно не понять до того момента, когда процесс уже будет не остановить. Это звучало бы грандиозно, если бы не мысль о том, что траектория самосовершенствования может выйти из-под контроля, так что сверхразумные машины начнут тяготеть к тем «задачам» (метрикам, по которым они определяют, чем им заниматься), что нам не нравятся. Была проделана большая работа по предотвращению такого «смещения задач» и созданию надежной, перманентно «дружественной», рекурсивно-самосовершенствующейся системы, но результаты оказались крайне скромными.

Я считаю, что рекурсивное самосовершенствование не должно быть конечной целью исследований в области искусственного интеллекта не потому, что есть риск создать недружественный ИИ, а скорее потому, что у меня есть сильное подозрение: рекурсивное самосовершенствование математически невозможно. По аналогии с так называемой проблемой остановки — определением того, завершается программа или нет, — я считаю, что есть еще не открытая мера вычислительной сложности, в соответствии с которой никакая программа не сможет написать другую, более совершенную программу (включая версии самой себя).

Написанная программа обязательно будет проще, в четком числовом выражении, чем программа, которая ее пишет. Действительно, программы могут получать из внешнего мира информацию о том, как им себя улучшить, но я утверждаю, что (а) это приведет лишь значительно менее «страшному» итеративному самосовершенствованию, а не к рекурсивному и (б) они все равно будут нести в себе внутренние самоограничения, поскольку в тот момент, когда машины станут настолько же умны, как и человечество, у них не будет больше новой информации для изучения. Я знаю, что этот аргумент, конечно, нельзя назвать железобетонным, и мне горько от того факта, что (насколько мне известно) никто не работает над тем, чтобы обнаружить подобную меру глубины или доказать, что таковой не существует. Но это только начало.

И наоборот, меня очень беспокоит другая причина, по которой я придерживаюсь мнения, что создание миньонов — естественная задача при разработке ИИ. Любая машина для творчества, касается ли это технологий, искусства — да чего угодно, разрушает границу между человеком и машиной. Мы уже испытываем сильнейшую неопределенность относительно того, какими правами обладают различные виды существ. Поскольку объективные этические суждения построены на общепринятых нормах, которые, в свою очередь, возникают при рассмотрении вопроса о том, какого отношения мы бы хотели к себе, видимо, в принципе невозможно сформировать такие суждения в отношении сущностей, которые отличаются от нас еще сильнее, чем животные друг от друга. Вот почему, как я считаю, нам не нужно ставить себя в такое положение, где нам придется пытаться это сделать. К примеру, рассмотрим право на воспроизводство в условиях ограниченности ресурсов. Экономически мотивированные компромиссные решения, похоже, работают надлежащим образом. Но как нам определить компромиссные решения для «видов» с практически неограниченным потенциалом воспроизводства?

Я утверждаю, что наличие у них здравого смысла само по себе этих проблем не порождает. Я определяю здесь здравый смысл как способность обрабатывать крайне неполную информацию для установления достаточно близких к оптимальным методов достижения конкретной цели, выбираемых из набора альтернатив, сформулированных в ходе предварительного параметрического исследования. Это явным образом исключает вариант «мышления» — поиска новых методов, находящихся за пределами предварительно составленного набора, которые могли бы оказаться эффективнее.

Следовательно, опять же для примера, если достичь цели нужно быстро и множество машин справятся быстрее, чем одна, ИИ все равно не будет рассматривать вариант создания собственной копии, если только эта опция для него не прописана как допустимая, даже если он «знает», что это хорошая идея. Поскольку допустимость определяется скорее включением в список некой возможности, а не ее исключением, риск «смещения методов», я уверен, легко устраняется. Важнее всего то, что это позволяет полностью исключить рекурсивное саморазвитие (если окажется, что оно вообще реально).

Доступность бесконечного множества способов достичь цели — хорошее рабочее определение «осознанности» этой цели. Осознанность предполагает умение обдумывать цель и способы ее достижения, а значит, учитывать, что всегда остаются нерассмотренные варианты.

Я мог бы закончить простой фразой: «Так давайте не будем создавать обладающие самосознанием машины», — но любая возможная технология, которую кто-то захочет создать, в определенный момент будет разработана, так что не все так просто. Вместо этого я скажу: давайте крепко подумаем о правах мыслящих машин, чтобы мы могли проверить наши выводы на практике задолго до появления рекурсивного самосовершенствования на машинах, которые лишь отдаленно сознают свои цели. Если, согласно моим прогнозам, все наши усилия по выработке такой этики окажутся провальными с самого начала, то, возможно, мы оставим эту идею.

Недостаточно забагованный

Майкл Нортон

Преподаватель бизнес-администрирования в Гарвардской школе бизнеса; автор, совместно с Элизабет Данн, книги «Счастье в деньгах: Наука тратить с умом» (Happy Money: The Science of Smarter Spending)

Всепроникающий людской страх, возникший в XX веке, усиливается с каждым новым предсказанием о Судном дне: дескать, в ходе развития искусственного интеллекта некий непредвиденный компьютерный баг неизбежно приведет к тому, что машины взбунтуются и захватят весь мир.

Я опасаюсь обратного — того, что развивающийся искусственный интеллект окажется недостаточно забагованным. Мыслящие машины, которые превосходно справляются с саморегуляцией, самооптимизацией, так что квадратный штырь всегда идеально заходит в квадратное отверстие, также окажутся лишены случайных вспышек озарения, обусловленных человеческой склонностью к багам — к попыткам вставить квадратные штыри в круглые отверстия, или, проще говоря, нашим умением замечать случайные, но мощные идеи, которые между делом возникают в ходе решения задачи «Форма предмета / форма отверстия».

Рассмотрим, насколько важно замечать что-либо. По какой причине мы можем полакомиться макаронами с сыром всего за несколько секунд? Когда Перси Спенсер работал в Raytheon, он проходил мимо одной машины и заметил, что его шоколадка расплавилась. Почему? Машина генерировала микроволны. Вместо того чтобы пытаться оптимизировать магнетрон и избежать в будущем проблем с шоколадками, Спенсер воспользовался внезапным озарением и догадался, что расплавившийся шоколад может оказаться предвестником чего-то большего.

Рассмотрим, насколько важны случайности. Резина была обречена на узкоспециализированное применение, поскольку не выдерживала высоких температур, пока Чарльз Гудьир не поскользнулся и не уронил кусок каучука на горячую плиту. Вместо того чтобы постараться предотвратить такие ошибки в будущем, он заметил, что произошло нечто интересное, а результатом стала вулканизированная, водонепроницаемая резина.

Наконец, рассмотрим то, насколько важны человеческие «баги» — наши когнитивные искажения. Например, оптимизм заставляет нас верить, что мы можем добраться до Луны, вылечить все болезни и начать успешный бизнес в ужасном месте, откуда предыдущий арендатор сбежал. Эффект владения заставляет нас высоко ценить то, что мы имеем, что сами придумываем и создаем, даже когда с нами никто не согласен. Но можно ли считать, что при первых признаках неудачи отказываться от любого начинания в пользу того, что кажется более успешным, — всегда оптимальное решение? Упрямые ученые (к примеру, Галилей и Дарвин), которые остаются при своем вопреки общепринятым теориям и проявляют строптивый нрав, — это такой баг, но результат может оказаться гениальным. В значительной мере именно баги делают нас — как и любую форму интеллекта — людьми.

Больше фанка, больше соула, больше поэзии и искусства

Томас Басс

Профессор литературы Университета штата Нью-Йорк в Олбани; автор книги «Шпион, который нас любил» (The Spy Who Loved Us)

Мыслить — это хорошо. Понимать — лучше. Создавать — лучше всего. Нас окружают все более разумные машины. Проблема заключается в их приземленности. Они думают о том, как сажать самолеты и продавать мне всякие штуки. Они думают о наблюдении и цензуре. Их мышление неполноценно, если не безнравственно. Сообщается, что в прошлом году компьютер прошел тест Тьюринга. Но он прошел его под видом тринадцатилетнего мальчика, что вполне закономерно, учитывая основной род занятий наших инфантильных машин.

Мне бы очень хотелось, чтобы наши машины повзрослели, стали поэтичнее и обзавелись нормальным чувством юмора. Это должно стать арт-проектом столетия, финансируемым правительствами, негосударственными фондами, университетами и бизнесом. У каждого есть личная заинтересованность в том, чтобы сделать наше мышление более глубоким, улучшить понимание и генерацию новых идей. В последнее время мы приняли много идиотских решений, основанных на недостаточной информации, слишком большом количестве информации или неспособности понять, что эта информация означает.

Мы сталкиваемся со множеством проблем, которые приходится решать. Давайте начнем думать. Давайте начнем создавать. Давайте агитировать за то, чтобы у нас было больше фанка, больше соула, больше поэзии и искусства. Давайте отойдем от наблюдения и продаж. Нам нужно больше художников-программистов и художественного программирования. Нашим мыслящим машинам пора повзрослеть, выйти из подросткового периода, который длится уже 40 лет.

Будущее для нас закрыто

Ханс Ульрих Обрист

Содиректор по выставкам и программам, директор по международным проектам Serpentine Galleries (Лондон); автор книги «Пути кураторства» (Ways of Curating)[112]

В своем одноименном стихотворении (также давшем название эпохальной документальной ленте Адама Кертиса) Ричард Бротиган предрекает будущее, в котором «за всем следят машины благодати и любви», или, иносказательно говоря, «мыслящие» машины. В настоящей работе я использую термин «мыслящие» для обозначения машин, которые мыслят в чисто алгоритмическом и вычислительном плане, — те, что созданы инженерами, а не те, что могли бы быть действительно разумными.

Кертис утверждает, что мы живем в «статичной культуре», которая слишком часто связана с одержимостью копированием и воспроизведением прошлого. Он указывает на то, что эра мыслящей машины приводит скорее к косности, а не к обновлению. Наши жизни все больше записываются, регистрируются и тиражируются; мы стали каннибалами, которыми движет стремление потреблять собственную историю и страх перед нарушением ее устоявшихся норм.

В какой-то мере будущее для нас закрыто, мы закоснели; мы застыли в одной версии самих себя, которая становится все более ограниченной. Благодаря (хотя благодарить тут не за что) таким новомодным инструментам, как рекомендательные сервисы, мы находимся в бесконечной петле обратной связи, построенной по принципу «Люди, которым понравилось это, также выбирают вот это». Мы рискуем еще глубже увязнуть в кертисовской идее you-loop[113], и природа человечности может оказаться искаженной машинами-трудоголиками, из-за которых многие из нас выйдут в тираж. Вопрос Edge указывает на начало следующей главы в истории/эволюции человека; мы стоим на пороге нового понимания людей, новой цивилизации.

Оптимистический подход к вопросу о мыслящих машинах можно найти у ливанско-американской поэтессы Этель Аднан, которая в этом году отмечает свое девяностолетие. По ее словам, мыслящие машины могут мыслить лучше, чем мы, — хотя бы потому что они не будут утомляться так же быстро, как мы. Они также могут ставить вопросы, на которые мы не привыкли отвечать. Этель говорит, что больше всего ее волнует проблема другого порядка. Однажды, рассматривая изображение робота, напоминающего полный доспех средневекового рыцаря, она немедленно представила пожилую женщину, совершенно одинокую, как это часто сейчас бывает с пожилыми людьми, и подумала, что единственный ее друг — такой вот человекоподобный предмет, который умеет помогать по хозяйству и разговаривать, и что эта женщина влюбляется в робота; и тогда Этель расплакалась.

Идея о мыслящих машинах играет важную роль в творчестве еще одного человека искусства — художника Филиппа Паррено, работающего с алгоритмами, которые стали для него заменой кинематографу в качестве модели восприятия времени. В прошлом веке Жиль Делёз в своих сочинениях о повторении и различии в кино сделал акцент на том, что фильм развертывается во времени и состоит из сменяющих друг друга плоскостей движения. Как показывает Паррено, Делёз, отталкиваясь от этой теории, рассматривал механизированное и стандартизированное движение в фильме как средство воспроизведения и репрезентации жизни. Работа Паррено с мыслящими машинами исследует то, как алгоритмы сегодня меняют наше отношение к движениям, ритмам и времени. В терминах Лейбница этот вопрос прозвучал бы так: «Являются ли машины духовными автоматонами?»

Нематериальная мыслимая машина

Ку Джонг Эй Гу Чона

Художник-концептуалист

Мы можем перейти к нематериальной науке, а затем создать нематериальную мыслимую машину, начав с очень простого руководства по программированию.

Смятение и томление

Ричард Форман

Драматург и режиссер; основатель Онтологически-истерического театра

Возможно, вопрос (если под вопросом понимать проблему) на самом деле представляет собой ложную проблему? Очевидно, что машины вычисляют, «пишут» стихи, организуют большие объемы информации и т. д. Что-то из этого можно назвать мышлением? (Я мыслю? Но что именно я делаю, когда думаю, что думаю?) Один ответ: я ощущаю муки — дыру в моем «наследственном», гладко текущем дискурсе (внутреннем или внешнем).

Так что — разные варианты?

Я проваливаюсь в эту дыру, то есть я либо испытываю такое смятение, что перестаю думать, либо извлекаю из ее пустоты идею или решение (в моем случае произведение искусства), достигающее так называемого желаемого результата: то есть другие (некоторые из них) реагируют определенным образом. Не так уж интересно на самом деле. Умеют ли так «ориентированные на результат» машины? Вот как я думаю — в смятении и томлении. Машины могут прийти в смятение? Они когда-нибудь «перестают думать», когда думают?

Когда я монтирую фильм, мой видеоредактор иногда «вылетает», если компьютер перегружен, но такой сбой не создает в машине никакой дыры, никакой пустоты, которая подпитывала бы мысль. Когда я «вылетаю», есть вероятность, что что-то войдет в мое затуманенное, несфокусированное сознание, и я смогу двинуться в новом направлении. Это та часть моего мышления, которую, я полагаю, компьютер воспроизвести не в силах. Я ошибаюсь? Мои познания о машинах невелики. Я бестолочь, поэтому мечусь туда-сюда и иногда на что-то натыкаюсь. Что-то глубокое и замечательное? Один шанс из ста — может быть.

О’кей. Я чувствую эту дыру, которую, как я привык считать, надо заполнять (обычно чем-то уже известным). Я придерживаюсь мнения, что заполнить ее — все равно что немножко умереть. Лучше так: что я могу сделать — так это построить вокруг нее святилище, чтобы дыра стала более «звучной», однако все еще «пустой». (Я полагаю, что именно так и может работать серьезный художник — а кто еще?) Но «строительство» вокруг дыры — это не творческое мышление, а то, что делается вместо творческого мышления, хотя тут есть о чем подумать. Но в дыре-то все и дело: воплощение и развитие «тайны», которая перекликается с «великой тайной», как я «осмысливаю» подлинное содержание «мышления». (Заключает ли это меня в тесную коробочку под названием «я-художник», то есть делает ли невменяемым?)

Допустим, машины могут «как бы мыслить», причем их мощность и сложность растут, они разворачивают все более и более широкие сети, но те никогда не становятся одной дырой. Машины мыслят? Тавтология. Они облегчают мою жизнь и мое функционирование в обществе. Ясно, что один из видов мышления — не таинственное хождение по кругу в попытках высечь искры, которые как раз и являются искомой «сущностью» (смею ли я такое говорить?).

Это меня беспокоит. Могу ли я ответить, что я думаю о мыслящих машинах? Да, меня это беспокоит, но машины неспособны беспокоиться (ведь неспособны же?). О’кей, «беспокоиться» — значит быть не в состоянии подумать о чем-то еще, отвлечься от фокуса беспокойства. Результат — черная пелена! Пустота, чистый лист. Но с этого чистого листа я, возможно, вдруг переключусь на некую продуктивную тему (с какой конечной целью и обязательна ли она?). Машина способна вот так вдруг переключиться на другую тему? Будет ли это мышлением?

То, что мы обычно называем «мышлением», прямо-таки мучительно целенаправленно. Но есть ли какая-либо цель, не связанная с определенным результатом, и только ли человеческий мозг способен ухватить подобную извращенную идею, которая может завести неизвестно куда? О’кей, теперь уже совершенно ясно, зачем мне ходить кругами, чтобы высказать очевидное утверждение о том, что мыслящие машины — это современный Троянский конь. Все (включая меня) хотят получить от них многочисленные сладкие плоды, хотя с помощью этих плодов машины лепят нас по своему образу, уничтожая глубинную пустоту внутри каждого из нас, в которой скрывается наше творческое начало. И зачем мне было ходить кругами, чтобы дойти сюда, где я высказываю мнение, не стоящее даже ритма моих кружений… это дыра. Да, я попался в ловушку, которую сам построил, — как и любой другой. Но не так, как мыслящие машины! Ловушка, в которую они попадают, — ну, они же не могут «знать»!

Кто боится искусственного интеллекта?

Ричард Талер

Основоположник поведенческой экономики; директор Центра по исследованию решений, Школа бизнеса им. Бута при Чикагском университете; автор книги «Новая поведенческая экономика: Почему люди нарушают правила традиционной экономики и как на этом заработать» (Misbehaving: The Making of Behavior Economics)[114]

Мои краткие замечания по этому вопросу построены на двух коротких шутках, которые в свое время были произнесены выдающимися израильтянами. Первая принадлежит моему другу, соратнику и наставнику Амосу Тверски. Когда я как-то спросил его, что он думает по поводу искусственного интеллекта, Амос съязвил, что не очень хорошо в этом разбирается, поскольку специализируется на тупости. (Спокойно! Амос на самом деле, конечно, не думает, что люди тупые.)

Вторая шутка взята у Аббы Эвена, который был наиболее известен в Соединенных Штатах, когда служил послом Израиля в ООН. Эвена однажды спросили, думает ли он, что Израиль перейдет на пятидневную рабочую неделю. Формально она начинается там в воскресенье утром и продолжается до полудня в пятницу, хотя значительная часть «работы», выполняемой в ходе этих пяти с половиной дней, похоже, делается в кофейнях. Эвен ответил так: «Не всё сразу. Давайте начнем с четырех дней, а там видно будет».

В этих шутках ухвачено многое из того, что я думаю об угрозе захвата машинами важных социальных функций и о восстании машин. Как и Тверски, я больше знаю о природной тупости, чем об искусственном интеллекте, так что мне не на чем построить свое мнение о том, могут ли машины мыслить, и если так, то могут ли их мысли быть опасными для людей. Оставлю этот вопрос кому-нибудь более компетентному. Как любой из тех, кто следит за финансовыми рынками, я осведомлен о таких инцидентах, как «мгновенный обвал» в 2010 году, когда несовершенные биржевые алгоритмы неожиданно вызвали быстрое падение котировок, а через несколько минут уже работали нормально, как ни в чем не бывало. Но этот пример иллюстрирует скорее искусственную тупость, а не сверхинтеллект. Если люди продолжат писать программы, всегда останется риск, что какие-то важные меры безопасности окажутся упущены. Поэтому да, компьютеры могут все испортить, прямо как люди со «слишком толстыми пальцами» могут случайно дать ошибочную команду совершить покупку или продажу на гигантскую сумму денег.

Тем не менее страхи по поводу того, что компьютеры захватят мир, преждевременны. Меня больше беспокоит упрямое нежелание многих сегментов общества позволить компьютерам взять на себя задачи, которые простые модели выполняют заметно лучше, чем люди. В работах по этой теме, где пионерами были такие психологи, как недавно почивший Робин Доуз, описывается, что практически с любой стандартной задачей — обнаружить мошенничество, оценить степень злокачественности опухоли, нанять сотрудников — лучше справляется простая статистическая модель, а не ведущие эксперты в той или иной сфере. Позвольте привести два наглядных примера: один из области управления персоналом, а другой из мира спорта.

Давайте сначала рассмотрим досадно вездесущие собеседования, считающиеся важным, часто самым важным фактором, определяющим, кого именно возьмут на работу. В школе бизнеса имени Бута при Чикагском университете, где я преподаю, рекрутеры посвящают бесчисленные часы собеседованиям со студентами из кампуса и в результате отбирают тех немногих, кто получит приглашение встретиться с работодателем, чтобы пройти через еще одну серию продолжительных собеседований. Однако проведенные исследования показывают, что собеседования практически бесполезны в плане прогнозирования того, насколько хорошо кандидат будет справляться со своей работой.

В сравнении со статистической моделью, основанной на объективных показателях, таких как оценки за учебные курсы, имеющие отношение к рассматриваемой работе, собеседования преимущественно замутняют картину и привносят фактор предубежденности. (Статистические модели не отдают предпочтения определенной альма-матер или этнической группе, а также не обращают внимания на привлекательную внешность.)

Эти факты известны уже более четырех десятилетий, но методы найма почти не изменились. Причина проста: каждый из нас знает, что если мы проводим собеседование, то мы много узнаем о кандидате. Вполне возможно, что другие люди тут не очень хорошо справляются, но я-то не такой! Эта иллюзия, находящаяся в прямом противоречии с практическими исследованиями, означает, что мы так и будем выбирать сотрудников по старинке, как всегда делали. Мы их оцениваем, сравниваем с собой.

Одна из областей, где есть кое-какой прогресс в плане более научного подхода к подбору кандидатов для работы, — это спорт, что отражено в книге и фильме Майкла Льюиса «Человек, который изменил все» (Moneyball). Однако было бы ошибкой думать, что в том, как в спорте принимаются решения, произошла революция. Действительно, большинство профессиональных команд теперь нанимают специалистов по анализу данных, чтобы те помогали им оценивать потенциальных игроков, улучшать методы тренировки и разрабатывать стратегии. Но окончательные решения о том, какого кандидата выбрать, с кем подписать контракт и кого выпускать на поле, все еще принимают тренеры и менеджеры — скорее интуитивно, а не полагаясь на мнение штатных зубрил.

В качестве примера можно рассмотреть американский футбол. Дэвид Ромер, профессор экономики в Беркли, в 2006 году опубликовал работу, демонстрирующую, что команды слишком часто решают сделать пант, вместо того чтобы «идти в проход» и получить первый даун или очко{13}. С момента публикации работы анализ Ромера был не раз воспроизведен и дополнен более точными данными, а выводы подтвердились. У New York Times даже есть онлайн-бот, который вычисляет оптимальную стратегию каждый раз, когда команда сталкивается с ситуацией четвертого дауна.

Но как это восприняли тренеры? А никак! Со времени публикации работы Ромера частота «проходов» после четвертого дауна не поменялась. Тренеры, которых нанимают владельцы команд, основываясь отчасти на собеседованиях, все еще принимают решения так же, как делали всегда.

Так что простите мне то, что я не теряю сон от страха из-за компьютеров, которые могут захватить мир. Не все сразу, давайте будем действовать постепенно и посмотрим, готовы ли мы доверить машинам принятие простых решений, с которыми те уже справляются лучше людей.

Я вижу развитие симбиоза

Скотт Дрейвз

Художник-программист; создатель Electric Sheep[115]

Я полагаю, что мыслящие машины — самая интересная тема для раздумий. Почему? Потому что у этого феномена могут быть значительные последствия. Даже космические.

«Мыслящие машины» уже давно с нами. Это можно понимать по-разному, в зависимости от того, с какого слова начать. Давайте начнем со слова «машины», под которым сегодня мы обычно подразумеваем компьютеры. Компьютеры поначалу были ну очень даже механистичны. Но они становятся все более утонченными. Уже в 1980-х годах они совершали кое-какие замечательные трюки с экспертными системами и базами данных. Сегодня мы уже прошли ту точку, в которой могли в деталях объяснить, как распознавание речи и естественного языка позволяет вашему телефону отвечать на вопросы ребенка. Фраза «магическим образом» сегодня едва ли гипербола. Но мышление ли это на самом деле? Еще нет, но это хорошее начало, и движение продолжается. Цель и правда выглядит очень далекой. Вместо того чтобы рассматривать наш подъем шаг за шагом, давайте взглянем на то, что ждет нас на вершине. Что-нибудь может остановить наше развитие?

Будущее микроэлектронных технологий неясно. Закон Мура пока что работал на нас, провел через несколько опасных моментов, но его дни подходят к концу. До сих пор новые технологии появлялись всегда вовремя, чтобы поддержать экспоненциальный рост вычислительной мощности по расписанию, но это не стоит воспринимать как данность. Быть может, следующий скачок окажется очень сложным и на его подготовку уйдет 50 лет. Или он вообще никогда не случится, хотя мы всегда можем повысить мощность за счет параллельного использования дополнительных чипов. Расписание — это интересный вопрос, но он меркнет в сравнении с размышлениями о пункте назначения.

Теперь рассмотрим слово «мыслить». Мыслящие машины есть давно — это мы сами. Биологические мозги думают уже миллионы лет. Мозг подчиняется законам физики, которые представляют собой механический набор уравнений. В принципе, хороший физический симулятор мог бы, хоть и очень медленно, смоделировать мозг и его окружение. Этот виртуальный мозг определенно был бы мыслящей машиной.

Остается только один вопрос: сколько нужно физики, чтобы такая симуляция заработала? Классической физики, электродинамики и химии хватит? Потребуется ли квантовая логика (или какая-то еще)? Консенсус однозначно на стороне представления о том, что классической физики окажется достаточно (идея про «Новый ум короля»[116] была отвергнута). Поэтому я думаю о своем мозге и теле как о гигантской машине, составленной из октильона молекул: много-много магнитных деталей детского конструктора, поведение которых хорошо известно и может быть смоделировано. Есть веские причины полагать, что статистическая аппроксимация физики даст такие же результаты. Но опять же это относится только к расписанию, а не к пункту назначения. Важный вопрос: как на основе такой сложной машины возникают мышление и сознание? Есть некая конструкция, некий мост, ведущий от цифрового и виртуального к аналоговому, органическому и реальному?

Тут мы сталкиваемся с объединением человеческого и компьютерного субстратов. Смартфоны быстро становятся неотделимой частью нас самих. Истеблишмент всегда с подозрением относится к новым способам коммуникации, но эти средства расширения нас самих распространяются очень стремительно. Много чернил ушло на описание близящихся конфликтов между человеком и компьютером, от экономического апокалипсиса с потерей рабочих мест из-за автоматизации до военной антиутопии, кишащей дронами. Вместо всего этого я вижу развитие симбиоза. И ведь на протяжении всей нашей истории, когда начинался новый этап эволюции, будь то появление эукариотических клеток, или многоклеточных организмов, или мозга, старые системы сохранялись, а новые начинали работать вместе с ними, а не вместо них.

Это повод для оптимизма. Если цифровые компьютеры — альтернативный субстрат для мышления и сознания, а цифровая технология развивается экспоненциально, тогда мы стоим на пороге взрывного развития мышления и сознания. Мы можем оседлать эту волну, но сначала нужно принять машину как часть себя, отринуть гордыню и признать нашу общую сущность. В принципе, нам надо бы встречать перемены с любовью, а не со страхом. Полагаю, у нас получится.

Смена представления о собственном «я» в распределенном мире

Мэттью Ричи

Художник

Случится ли это? Уже случилось. Технологии хранения и воспроизведения информации постепенно сливаются на атомном и молекулярном уровне, распределенные и сетевые устройства для хранения и воспроизведения информации распространяются в масштабах всего общества и планеты (их численность уже превосходит численность людей на планете). С учетом всего этого определения «машины» и «мышления» теперь должны охватывать и органический, и неорганический «комплексы» и «системные решения» как взаимозаменяемые понятия — механически, биологически, физически, интеллектуально и даже теологически.

В ближайшем будущем развитие биотехнологий и систем сверхчеловеческого алгоритмического прогнозирования приведет к быстрому устареванию многих современных философских представлений о различии между наблюдением, мышлением и решением, а также сделает количественные аргументы бессмысленными. Когда эти барьеры будут преодолены, и разделение между «мыслящей машиной» и «мыслящей биологической системой» сойдет на нет, внимание немедленно сместится на качественные вопросы — человеческие определения интенциональности и субъектности для мыслящих машин.

Что это будет означать для нас? Существование мыслящих машин, организованных в виде неорганической или квантовой структуры либо биологической холархии[117], как-то умаляет человеческую субъектность или расширяет ее? Намерены ли мы уточнить определение самих себя, чтобы оно включало не только созданные нами механические системы, но также и независимые, симбиотические системы, уже присутствующие в нас, — триллионы бактерий в наших внутренностях (которые влияют на наше психическое состояние, воздействуя на течение определенных химических реакций) и биохимические трекеры, препараты и аугменталы, которые мы употребляем? Какое значение это будет иметь для полноценного расширения наших «я» посредством мыслящих машин (и расширения в них)?

Однажды появившийся ИИ быстро найдет дорогу к мировой библиотеке — к интернету. И как только он туда попадет, он соединится со множеством квазичеловеческих систем, распределенных крауд-интеллектов и агрегированных мыслящих машин, уже населяющих это пространство, и быстро научится генерировать или симулировать модели непрерывного сознательного мышления, начав изображать найденные там «я» и легко воспроизводя или кооптируя сложные альтернативные личности и неточности, которые характеризуют Сеть.

Определение различий между реальным и нереальным будет самой важной задачей для независимой, эволюционирующей, работающей интеллектуальной системы. Как ее этому научить? В объектно-ориентированной онтологии Вселенная представлена как уже наполненная объектами и свойствами, из которых человеческое сознание составляет имеющие определенный смысл системы. Вот только в чем качественное отличие между спонтанно созданными мыслящими системами (или композитами из объектов и свойств) и искусственно созданными мыслящими системами? Что произойдет, если (или когда) одна из них отвергнет или превзойдет основные философские принципы своих создателей?

Переосмысление природы и роли человеческого мыслящего «я» как самоотчуждающейся, самосоздающейся, самоисправляющейся системы, о точной природе и конкретных задачах которой ведутся споры с начала эпохи Просвещения, будет насущной задачей, связанной с вопросами об общежитии и нашем желании заниматься проблемами моральной определенности и моральных границ независимых систем, воздействие которых на реальный мир нельзя игнорировать.

Такие системы считаются живыми? Каковы их права и обязанности? Поскольку решением Верховного суда США корпорации были уравнены в правах с физическими лицами, мы приняли как должное правовой прецедент, в соответствии с которым не-человек, агрегированная «мыслящая машина», может быть неотъемлемой частью нашей политической и культурной жизни, а вот с четким определением не-человеческих систем в человеческих терминах возникли сложности. Не самой простой задачей будет интеграция сложных и разносторонних человеческих моральных, творческих и репрезентативных мировоззренческих систем в понятный гражданский процесс, который определит способность мыслить как основу гражданственности.

Самым слабым контраргументом против мышления искусственной жизни, часто связанным с гуманитарными дисциплинами, является смутно-средневековое, мистическое представление о том, что человеческого восприятия симметрии и красоты машинам никогда не достичь. В интерпретативных дисциплинах идея о том, что машине никогда не справиться с человеческой работой, это своеобразный символ веры, но на самом деле это всего лишь приятная иллюзия, предполагающая, что незатейливые эстетические стандарты в некотором современном на определенный момент их понимании невозможно кодифицировать и затем симулировать. Машины уже исполняют популярные песни и делают прекрасные фотографии других планет и звезд. Уже есть видеоигры настолько же красивые, как кинофильмы. То, что машина научится писать симфонии или рисовать шедевры, — всего лишь вопрос времени. Возможно, более существенный вопрос, научится ли она создавать великие произведения искусства, наконец достигнув посредством чистой производительности того, чего ни один человек не смог достичь с помощью импровизации. Часть невообразимо огромной и по-новому горизонтально-распределенной сети культурных норм, опирающейся на новые технологии, действительно начала превращаться в то, что Джарон Ланье назвал «мышлением улья», подтверждая тем самым наиболее мрачные культурные прогнозы{14}. Но, как предположил Хайдеггер, опасность непроверенного научного рационализма состоит в том, что наиболее упрощенное определение объекта как «машины» или «системы» можно расширить до универсального масштаба, сделав из него самооправдательный и бессмысленный с моральной точки зрения аргумент в пользу механизации «я». Последовавшие за этим фантазии — живые машины Сэмюэля Батлера[118], мрачный мир искусственной занятости Герберта Уэллса и страх стать компонентами суперсистемы или матрицы — прежде всего показывают несостоятельность человеческого воображения.

Появление и описание новых видов динамически агрегируемых «информационных граждан» и агрегируемых платформ, будь они коллективными или индивидуальными, биологическими, корпоративными, национальными или транснациональными, дарит нам огромные новые возможности — не только как представителям одного вида или определенного композита объектов и свойств, но как новому виду людей — совладельцев информационной культуры, экономики и идеологии, у которых по общему праву рождения есть доступ к любой культуре и к любой системе.

Возможно, гибридные мыслящие машины «человек-объект-система» уже становятся мощным источником энергии для истощенной исторической среды. Возможно, нам придется вообще пересмотреть траекторию развития практической творческой деятельности. Не получится ли так, что время возникновения мыслящих машин вдохновит нас на переосмысление и переопределение того, что значит быть настоящим человеком, что значит связь с бесконечностью? Уже получилось.

Предсказывать будущее легко

Рафаэль Буссо

Профессор теоретической физики Калифорнийского университета в Беркли

Будущее есть простая система с известным начальным состоянием. Давать детальные прогнозы по поводу такой сложной, плохо изученной системы, как человеческая цивилизация, — дело безнадежное. И все же общий аргумент создает примитивные, но серьезные ограничения.

Аргумент состоит в том, что мы, вероятно, типичные представители разумных существ. Их множество должно определяться общими критериями, которым мы все соответствуем, а не такими, которые специально подобраны, чтобы сделать нас особенными. Например, вероятность того, что некий случайно выдернутый из истории человек окажется одним из первых 0,1 % людей на Земле, составляет ну 0,1 % при отсутствии другой информации. Конечно, наши предки 10 000 лет назад сделали бы из тех же рассуждений неверные выводы. А вот шанс обнаружить его среди всех когда либо живших людей куда выше — 99,9 %. Вероятность того, что именно мы оказались среди первых разумных объектов Вселенной, живых или искусственных, ничтожно мала.

Задачу на вычисление вероятности придется дополнить, если когда-нибудь мы каким-то образом получим новую информацию, подтверждающую, что человеческая цивилизация продолжит свое существование в нынешней численности (что, конечно, маловероятно). Это будет один из возможных способов выяснить, что мы проиграли ставку. Но у нас такой информации нет, так что вероятностям нужно присвоить соответствующие значения (такой тип рассуждений изложен в работах астрофизиков Джона Ричарда Готта, Александра Виленкина и многих других).

Предположение, что мы можем рассматривать себя в качестве случайно выбранных элементов, иногда оспаривается, но на самом деле является краеугольным камнем научного метода. В физике и других науках теории почти никогда не дают точных прогнозов. Вместо этого мы вычисляем вероятностное распределение на основании теории. Возьмем атом водорода: вероятность обнаружить электрон в миле от протона не равна нулю, она просто очень-очень мала. Однако когда мы находим электрон, то не принимаем всерьез возможность того, что он является частью некоего далекого атома водорода. Чаще всего, повторив эксперимент достаточно много раз и найдя вероятность определенного исхода достаточно низкой в соответствии с некоторой гипотезой, мы отвергаем эту гипотезу и переходим к следующей. Поступая таким образом, мы делаем ставку на то, что не являемся очень нетипичными наблюдателями.

Важное правило: мы не формулируем вопрос, после того как провели наблюдение, так, чтобы результат выглядел удивительным. Например, не важно, где мы обнаружим электрон; постфактум вероятность его обнаружения в конкретной точке в сравнении со всеми остальными местами, где он мог оказаться, в любом случае была мала. Это бессмысленно, поскольку мы вряд ли сформулировали бы вопрос таким образом до проведения измерений. Аналогично люди вполне могут быть атипичны в отношении некоторых измеренных нами переменных: не исключено, что у самых умных объектов в видимой части Вселенной не по десять пальцев. Однако наше расположение в полном временно́м распределении всех людей на Земле для нас неизвестно. Мы знаем, сколько прошло времени, знаем, сколько людей родилось с момента появления человека, но не знаем, как это соотносится с полным временным диапазоном или общим числом разумных наблюдателей на Земле. Предположение о типичности можно применить к этим вопросам.

Наша типичность делает крайне маловероятными следующие два сценария: (а) люди продолжат существовать много миллионов лет — с помощью мыслящих машин или без; и (б) люди будут вытеснены более долгоживущей или более крупной цивилизацией совершенно иного типа, например мыслящими машинами. Если бы хоть один из них реализовался, то мы оказались бы среди первых разумных наблюдателей на Земле либо во времени, либо в численности, а следовательно, были бы очень атипичны.

Типичность подразумевает нашу вероятную гибель в течение следующих нескольких миллионов лет. Но из этого никак не следует, что ее придется принять от рук (или других конечностей) искусственного интеллекта; как бы там ни было, недостатка в сценариях конца света мы не испытываем.

Типичность соотносится с возможностью существования достаточно большого числа цивилизаций, которые формируются и угасают где-то в нашей галактике или за ее пределами. По тем же причинам маловероятно, что продолжительность жизни таких цивилизаций значительно превосходит нашу — малую долю жизни звезды. Даже если планеты, подобные Земле, встречаются часто, о чем свидетельствуют данные наблюдений, возможно, сигналы от разумных существ просто нельзя поймать теми средствами, что есть у нас. Тем не менее если нас интересует, станет ли доминирование разумных машин последней, а то и вовсе фатальной стадией эволюции, то изучение отдаленных планетарных систем будет не худшей отправной точкой.

Страх божий, новая версия

Джеймс Кроук

Художник

Искусственный интеллект — это очень быстрый поиск по базам данных. Проблема с данными заключается в том, как присваивать значения разным их фрагментам, почему один фрагмент должен быть оценен выше, чем другой. Чтобы вопрос о том, какая идея важнее, имел хоть малейший смысл, значение пришлось бы классифицировать на триллионе смысловых уровней. Поскольку всякая идея — это комбинация множества значений, компьютеру пришлось бы создавать новый алгоритм для каждой части уравнения и проводить комбинаторный анализ каждого значения. Потом ему нужно было бы создать модель, чтобы спроецировать последствия рассматриваемого решения на будущее. Но, поскольку для людей это слишком сложно и им пришлось бы создавать компьютер, каковы шансы?

Несмотря на эти технические препятствия для создания ИИ, наиболее заметной реакцией на возможность его появления в отдаленном будущем можно считать страх того, что он окажется сильнее нас и станет с нами плохо обращаться. Машины будут лучше нас и начнут поступать с нами так, как мы поступали со всеми формами жизни, существовавшими до нас, — как с эволюционным мостиком к нашей, более высокоразвитой форме жизни. Страх перед ИИ — это новое воплощение нашего первобытного бессознательного страха перед всеведущим, всемогущим и гневливым богом, властвующим над нами, но в новой эфирной форме.

Страх перед ИИ также имеет отношение к разработке вооружения — большие бюджеты выделяются на построение компьютеров, способных решать следующие основные задачи: летать и искать, перехватывать и уничтожать. Учитывая военную родословную мыслящих машин, мы сразу представляем себе, как они станут нас порабощать, и переживаем, что не сможем им противостоять и окажемся просто расходным материалом для нового звена эволюции.

Но психика слишком хаотична и иррациональна, чтобы воспроизвести ее в алгоритмах. Может ли одна машина представить, что другая машина возьмет на себя ее рутинные задачи, чтобы первая немного отдохнула? Если появится ИИ, будет ли он думать над тем, кто его создатель, будет ли задаваться иррациональным вопросом о том, как могла разумная органическая материя сотворить его? Сформирует ли он собственную мифологию, чтобы заполнить пробелы в знаниях? Религию?

А что насчет продуцирования смыслов, как в искусстве? ИИ не демонстрирует способности строить высказывания, основанные на спонтанных ассоциациях с господствующими философскими или эстетическими течениями, создавая или воспринимая таким образом определенные смыслы; он не создаст великих теорий, направляющих общество в ту или иную сторону. Продуцирование смыслов — это наиболее значительная проблема, причем ею почти никто из исследователей ИИ не занимается.

Отсюда возникает вопрос о креативности, на которую машина неспособна. У машины может быть база данных о том, что сделано в прошлом, но она не умеет свободно ассоциировать мириады иррациональных связей нашего многослойного мозга со всеми вариациями, возникающими в результате негативного воздействия внешней среды. Машины могут воспроизводить, но не могут ничему дать начало.

Тюльпаны на могилу вашего робота

Андрес Роэмер

Дипломат, экономист, драматург; соучредитель, совместно с Рикардо Салинас Плиего, La Ciudad de las Ideas[119] автор, совместно с Клотером Рапайем, книги «Подъем: Почему одни культуры развиваются, а другие — нет» (Move Up: Why Some Cultures Advance While Others Don’t)

Чтобы ответить на вопрос Edge 2015 года, надо сначала побольше узнать о том, кто мы такие. Потому давайте сперва поговорим о самом важном нашем органе — о мозге. Упрощенная схема этого сложного образования делит его на три части: кора (отвечает за рассудочные процессы), лимбическая система (обеспечивает работу различных функций организма, включая эмоции и мотивацию) и рептильный мозг (где располагаются самые элементарные и примитивные стремления: выживание и размножение).

Полемика вокруг того, как нам понять мыслящие машины, больше тяготеет к нашей коре и к лимбической системе. Кора позволяет нам более тщательно оценивать рентабельность ИИ в отношении таких вещей, как приблизительная стоимость для бизнеса человеческого или роботизированного труда, относительная стоимость человеческого и цифрового капитала, а также вопросы биоэтики, неприкосновенности частной жизни и национальной безопасности. Она также дает нам возможность планировать, привлекать больше финансирования для исследований и разработок, определять приоритеты государственной политики.

Одновременно наш лимбический мозг помогает принимать меры предосторожности и отвечать страхом или радостью на риски или выгоды развития искусственного интеллекта. Обычно мысль о нем вызывает одну из двух немедленных эмоциональных реакций: или технофобию, или восторг («Все наши проблемы решены!»). Среди распространенных страхов — опасение, что машины станут нами манипулировать или заменят нас; среди притягательных вещей — машинное расширение нашей памяти и помощь в повседневных делах.

Но мы также должны помнить о влиятельной — даже доминирующей — роли рептильного мозга в нашем мышлении. Это значит, что нам нужно осознать свои наиболее примитивные реакции, наш территориальный и эмоциональный подход к понятиям «мышление», «машина», «робот», «интеллект», «искусственный», «естественный» и «человек». Первостепенная задача рептильного мозга — выживание, и, хотя об этом не очень много говорят, стремление к выживанию лежит в основании наших надежд и страхов, связанных с мыслящими машинами. Когда мы изучаем древние архетипы, или литературу, или прогнозы в настоящей дискуссии, отраженной в вопросе Edge, постоянно проступает подсознательное и инстинктивное: рептильный бином — смерть против бессмертия.

Несомненно, у нас есть страх смерти, связанный с коллективным представлением о роботах, которые способны размножиться и, учитывая их интеллектуальное превосходство, предать и истребить своих создателей. Такие машины, видимо, представляют собой ужаснейшую опасность — уничтожение всего, что нам дорого. Но наш рептильный мозг также видит в них спасение; мы надеемся на то, что сверхразумные машины предложат нам вечную жизнь и вечную юность. Указания на такой способ мышления встроены в наш язык. Хотя в английском слова «robot» и «machine» лишены признака пола, в романских языках, а также в немецком есть разница: «el robot» — мужественный, опасный и грозный, тогда как «la máquina» — женственная, покровительственная и заботливая.

Иеремия Бентам определил человека как рациональное существо, но мы-то знаем, что мы не такие. Каждый из нас иногда действует иррационально, повинуясь силе рептильного мозга, а его стимулы были и остаются основой эволюции интеллекта. Чувство — вот что важнее всего в мышлении.

Машина, у которой скорость обработки данных возрастает по экспоненте раз в полтора года, которая обыгрывает естественный интеллект в шахматы, разбирая несметное количество вариантов развития игры ход за ходом, которая может точно поставить диагноз больному, — все это очень впечатляет, но все-таки мышлением мы называем другое. Чтобы исполнилась наша мечта о мыслящих машинах, машинам придется понимать ценности и ставить их под сомнение, переживать внутренние конфликты, испытывать дружеские чувства.

Когда мы думаем о мыслящих машинах, нам надо задавать себе рептильные вопросы, например: рискнули бы вы своей жизнью ради машины? Позволили бы вы роботу стать политическим лидером? Стали бы вы ревновать машину? Стали бы вы платить налоги, обеспечивающие благосостояние робота? Принесли бы вы тюльпаны на могилу своего робота? Или, что даже важнее, принесет ли ваш робот тюльпаны на вашу могилу?

Признание роли рептильного мозга в наших размышлениях об ИИ поможет яснее увидеть последствия и саму природу машины, которая способна искренне сомневаться и искренне действовать, а также то, к какому именно искусственному интеллекту нам надо стремиться. Если наша биология создала культуру как инструмент для выживания и эволюции, то сейчас наш естественный интеллект должен привести нас к созданию машин, которые чувствуют и имеют инстинкты; лишь тогда бессмертие победит смерть.

На пути к натуралистическому представлению о разуме

Ли Смолин

Физик-теоретик, Институт теоретической физики Университета Уотерлу (Канада); автор книги «Возвращение времени» (Time Reborn)[120]

«Мыслить» может означать «рассуждать логически», на что некоторые машины точно способны, хоть они и следуют запрограммированным нами алгоритмам. Или это может означать «иметь разум», под чем мы понимаем то, что машина воспринимает себя как субъект, обладающий сознанием, первичными ощущениями, опытом, намерениями, взглядами, эмоциями, воспоминаниями. Когда мы спрашиваем, может ли машина мыслить, на самом деле нас интересует, может ли существовать полностью натуралистическое представление о том, что такое разум. Я натуралист, так что полагаю, ответ должен быть утвердительным.

Конечно, нам до этого еще далеко. Что бы ни делал мозг для генерации разума, сомневаюсь, что он просто выполняет заранее записанные алгоритмы или что-то из того, что делают современные компьютеры. Нам, вероятно, еще только предстоит открыть основные принципы работы человеческого мозга. Подозреваю, что нельзя понять, как и зачем мы мыслим, не разобравшись, что такое наша жизнь — в физическом выражении. С созданием искусственного разума, вероятно, придется обождать.

Такое понимание должно разрешить то, что Дэвид Чалмерс называет трудной проблемой сознания: как объяснить наличие квалиа (первичных ощущений) в физическом мире? У нас есть причины полагать, что наше восприятие, скажем, красного цвета связано с определенным физическим процессом в мозге, но мы попадаем в тупик, потому что, видимо, невозможно объяснить в физических терминах, как или почему эти процессы дают начало первичным ощущениям.

Важным шагом на пути к решению проблемы будет помещение нашего описания физики в реляционный язык. Как отмечал Лейбниц, небесный покровитель релятивизма, свойства элементарных частиц зависят от их отношений с другими частицам. Эта идея оказалась очень удачной и была хорошо реализована в рамках общей теории относительности и квантовой теории; примем ее и мы.

Вторым шагом будет признание того, что события или частицы могут иметь свойства, не являющиеся реляционными — не описываемые исчерпывающей историей отношений, в которые они вступают. Назовем их внутренними свойствами.

Если у события или процесса есть внутренние свойства, то о них нельзя узнать в результате взаимодействия с ними или измерений. Внутренние свойства нельзя описать в терминах положения, движения, заряда или сил, то есть с помощью того лексикона, который физики обычно используют, говоря об относительных свойствах. Вы, однако, можете знать о внутренних свойствах процесса потому, что сами являетесь этим процессом.

Давайте предположим, что квалиа — внутренние свойства некоторых процессов, происходящих в мозге. При наблюдении извне эти процессы можно описать в терминах движения, потенциалов, масс, зарядов. Но у них есть дополнительные внутренние свойства, которые иногда включают квалиа.

Квалиа должны быть предельными случаями сугубо внутренних свойств. Более сложные проявления разума могут оказаться сочетаниями реляционных и внутренних свойств. Мы знаем, что мысли и намерения способны влиять на будущее.

Ведется большая научная деятельность по разработке подобных натуралистических представлений о разуме — не дуалистических и не дефляционных, таких, которые не сводили бы ментальные свойства к стандартным физическим процессам и наоборот. Мы, наверное, хотели бы избежать наивного панпсихизма, в соответствии с которым у камней и ветра тоже есть ощущения. В то же время нужно помнить о том, что, если мы не знаем, каково это — быть летучей мышью, мы на самом деле не знаем и что такое камень, в том смысле что нам известен лишь один из наборов его свойств, а именно реляционный.

Удручающий аспект разума с натуралистической точки зрения — это наше представление о том, что у нас бывают некие новые мысли и новые ощущения, которых раньше ни у кого и никогда в мировой истории не бывало. Если бы человеческая культура и воображение не порождали бы ничего по-настоящему нового, они имели бы мало смысла. Сто лет назад не существовало сайта Edge, и вряд ли кто-то мог его себе представить. Однако он есть, и, поскольку мы натуралисты, у нас должна быть концепция природы, в которую он также входит. Она должна допускать, что нечто новое может начать существовать.

Нас парализует убежденность в том, что ничего нового в природе произойти не может, потому что все на самом деле состоит из элементарных частиц, движущихся в пространстве согласно неизменным законам. Не отклонившись и на дюйм от строгого натурализма, мы, однако, способны вообразить, как углубить наше понимание природы, чтобы допустить возникновение чего-то нового.

Во-первых, в квантовой физике мы признаем возможность появления новых свойств, распределенных между несколькими частицами в запутанных состояниях. В лаборатории мы можем создать такие запутанные состояния сложных систем, которые вряд ли имеют прецеденты в природе. Следовательно, мы способны создавать (и создаем) физические системы с новыми свойствами (что, кстати, природа тоже делает, когда естественный отбор производит новые протеины, катализирующие новые реакции).

Во-вторых, закон единства и борьбы противоположностей, сформулированный Лейбницем, предполагает, что не может быть двух отдельных событий с совершенно идентичными свойствами. Это означает, что фундаментальные события не могут подчиняться законам, которые одновременно и детерминистические, и простые, поскольку, если два события имеют совершенно идентичное прошлое, их будущее должно быть различным. Это предполагает существование физики, которая может отличать будущее от прошлого.

Отметим, что квантовая физика по сути своей недетерминистична. Значит ли это, что квантовой физике отведена некая роль в будущем натуралистическом представлении о разуме? Сейчас слишком рано судить, а первые попытки вести работу в этом направлении оказались не слишком убедительными. Но мы узнали, что натуралистическое представление о разуме потребует более глубокого понимания естественного, природного. У нас могут рождаться новые мысли, способные менять будущее. Новизна должна стать частью нашего понимания природы, если уж разумам свойственно быть природными. Следовательно, чтобы понять, как машине обзавестись разумом, нам нужна более глубокая концепция природы.

Машины, которые мыслят? Дичь какая-то!

Стюарт Кауфман

Родоначальник исследований биологии сложных систем; партнер Института системной биологии (Сиэтл); автор книги «Заново изобретая сакральное: Новый взгляд на науку, разум и религию» (Reinventing the Sacred: A New View of Science, Reason, and Religion)

Появление квантовой биологии, светособирающих молекул, птичьей навигации и, возможно, обоняния говорит о том, что придерживаться классической физики в биологии, видимо, трудно. Сейчас машины Тьюринга — это подмножества классической физики с дискретным состоянием (0,1) и дискретным временем (T, T+1). Мы все знаем, что они, как шенноновская информация, просто действуют синтаксически. Замечательные математические результаты вроде омеги Грегори Хайтина (выражение вероятности того, что программа остановится, совершенно невычислимое и неалгоритмическое) говорят нам о том, что человеческий разум, как утверждал Роджер Пенроуз, не может быть простым набором алгоритмов.

Математика креативна. Как и человеческий разум. Мы понимаем метафоры («„Завтра, завтра“. Так тихими шагами жизнь ползет…»[121]), но о метафорах даже нельзя сказать, истинны они или ложны. Все искусство метафорично; язык в основе своей имеет жест или метафору; мы ими живем, это не просто истинные или ложные утверждения и силлогизмы, построенные на них. Ни один набор предварительно сформулированных утверждений не будет исчерпывающим для метафоры, и, если математике необходимы утверждения, никакая математика не может доказать, что некий набор предварительно сформулированных утверждений исчерпывающе описывает значения метафоры. Следовательно, человеческий разум, следуя абдукции Чарльза Сандерса Пирса, а не индукции или дедукции, чрезвычайно креативен именно при отсутствии предварительно сформулированных утверждений.

Каузальное замыкание классической физики исключает не только эпифеноменальный разум, который не может «действовать» на мир, будь то машина Тьюринга, или бильярдные шары, или нейроны, определяемые в терминах классической физики. Текущего состояния мозга достаточно для того, чтобы определить следующее состояние мозга (или компьютера), так что разуму тут нечего делать, да и способов что-то сделать тоже нет! Мы застыли в этой патовой ситуации с того момента, как Ньютон со своей Res cogitans[122] одержал верх над Декартом.

Онтологически для свободного выбора нужно, чтобы настоящее могло быть другим, — противоречащее фактам утверждение, невыполнимое в рамках классической физики, но легко реализуемое, если квантовое измерение реально и неопределенно. Измерение могло показать верхний или нижний спин электрона, так что настоящее могло быть другим.

Казалось бы, квантовый разум, скорее всего, сделает ненужной свободу воли. Ложь: для данных n запутанных частиц измерение каждой меняет вероятности исходов следующих измерений, согласно правилу Борна. В одном из крайних случаев они могут отличаться в пределах от 100 % с верхним спином при первом измерении до 100 % с нижним спином при втором и т. д., для n измерений, совершенно не случайно и свободно, если измерения онтологически неопределенны. Если вероятности состояний n запутанных частиц отличаются в меньших пределах, чем 100 % и 0 %, у нас появляется выбор и, судя по всему, возможность ответственного выбора согласно теореме о свободе воли Джона Конвея и Саймона Кохена.

Нам никогда не попасть на субъективный полюс, рассматривая человека по описаниям со стороны. Но одна палочка поглощает один фотон, так что можно проверить, действительно ли человеческое сознание в состоянии влиять на квантовые измерения[123]. Если мы так убеждены, что классический мир в основе своей квантовый, тогда простая гипотеза будет состоять в том, что одни квантовые переменные сознательно оценивают варианты и делают выбор, как у Пенроуза и Стюарта Хамероффа в теории Orch-OR, а другие выдвигают предложения. Есть вероятность, что мы живем в очень кооперативной Вселенной. Сознание и воля могут быть частью ее обстановки, а машины Тьюринга — нет, поскольку являются подмножествами классической физики и просто обрабатывают синтаксис, делают выбор там, где настоящее могло бы быть другим.

Будущее пространство возможностей интеллекта

Мелани Свон

Философ; научно-технический инноватор в MS Futures Group; учредитель DIYgenomics

Рассматривая вопрос о мыслящих машинах, мы делаем значительный шаг вперед в обсуждении ИИ, поскольку отходим от чисто человеческих проблем и принимаем в расчет инаковость машин. Это позволяет нам увидеть систему с точки зрения другой сущности. Но что еще важнее, сам факт постановки таких вопросов говорит о большом будущем пространстве возможностей для интеллекта. Только представьте себе: «классические» люди без усилений, люди с усилениями (с ноотропами, носимыми устройствами, интерфейсами «мозг-компьютер»); неокортикальные симуляции; загружаемые файлы разума; корпорации в виде цифровых абстракций; множество форм генерируемого ИИ — сети глубинного обучения, нейронные сети, кластеры машинного обучения, основанные на блокчейне распределенные автономные организации и эмпатические сострадательные машины. Нам следует рассматривать мир будущего как мир многовидового интеллекта.

То, что мы называем человеческой функцией «мышления», может довольно сильно различаться в разнообразных будущих воплощениях интеллекта. Машинный интеллект, конечно же, будет иметь иное происхождение, нежели человеческий. У людей телесность и эмоции всегда серьезно влияли на мышление. Машинам не достанется эволюционно-биологического наследства — мотиваций, связанных с добычей ресурсов, приобретением статуса, выбором партнера и принятием в группе, — или оно будет сильно отличаться от нашего. Следовательно, разные типы машин с нативным «мышлением» могут иметь серьезные отличия. Вместо того чтобы спрашивать, могут ли машины мыслить, более продуктивно было бы приготовиться к появлению вопроса: «Кто как мыслит?», к миру цифровых интеллектов с разной историей, разными модусами мышления и существования, а также разными системами ценностей и культурой.

Уже сейчас совершенствуются не только системы ИИ. Мы и сами больше узнаем о чертах и свойствах нативной машинной культуры и машинной экономики и о том, как могут сосуществовать человеческие и машинные системы.

Некоторые их примеры мы уже наблюдаем в области права и личной идентичности. Так, существуют договоры с технологическими обязательствами и договоры с юридическими обязательствами. У них разные парадигмы исполнения: неотвратимо выполняемые параметры в случае кода («код есть закон») и произвольное соблюдение обязательств в случае контрактов, где их сторонами выступают люди. Контракты-коды хороши тем, что их нельзя нарушить, но, с другой стороны, они выполняются железобетонно, даже если меняются условия.

Теперь о том, что касается личной идентичности. Технологический конструкт идентичности и ее социальный конструкт отличаются друг от друга и имеют различные подразумеваемые социальные контракты. Социальный конструкт идентичности включает качества несовершенной человеческой памяти, которые делают возможным прощение, забывание, покаяние и обновление. Память машины, напротив, идеальна и может выступать в качестве постоянного свидетеля-регистратора, никогда не забывающего и не прощающего, всегда способного воспроизвести даже мельчайшую деталь. Технология сама по себе имеет двойное назначение, то есть она может быть применена как во благо, так и во вред. Идеальная машинная память становится инструментом тирании, только когда ее заново импортируют в человеческие социальные системы, но это не обязательное условие. Такая новая «перспектива от четвертого лица» может стать невероятно полезной для самонаблюдения и повышения умственной производительности человека.

Эти примеры демонстрируют, что машинная культура, ценности, функционирование и экзистенциальные модусы уже отличаются от наших, что указывает на необходимость искать такие формы взаимодействия, которые бы способствовали выживанию обеих сторон и расширяли их возможности. Чтобы создать мир интеллектуального многообразия, необходимо обеспечить плюрализм и построить доверительные отношения. Технология блокчейна — децентрализованный, распределенный, глобальный, перманентный, криптографический журнал учета обработки транзакций и «умных» договоров — это один из примеров построения доверительных отношений. Систему можно использовать как при взаимодействии между участниками-людьми, так и при межвидовом взаимодействии именно потому, что неважно, знаете ли вы другую сторону договора, доверяете ли ей, понимаете ли, что это за сущность; важен только код (язык машин).

Доверие имеет свойство возрастать с течением времени благодаря репутации. Технология блокчейна может быть использована для укрепления дружественных отношений с ИИ и взаимовыгодного межвидового взаимодействия. Когда-нибудь важные транзакции (например, аутентификация личности и перевод средств) будут выполняться в «умных» сетях, требующих подтверждения независимыми механизмами согласования, такими, которые допускают выполнение только добросовестных транзакций, исходящих от обладающих хорошей репутацией сущностей. Хотя, возможно, децентрализованные «умные» сети наподобие блокчейнов не решат проблему дружественного ИИ полностью, они все же представляются системой сдержек и противовесов, помогающих обеспечивать более надежное разрешение неопределенных ситуаций.

Межвидовые модели построения доверительных отношений для взаимодействия с цифровым интеллектом включают как сдержки и противовесы из теории игр вроде блокчейнов, так и, на более высоком уровне, системы взглядов, располагающие разные сущности на одной плоскости разделяемых ими задач. Это системы более высокого порядка, нежели «умные» договоры или соглашения, в рамках которых делаются попытки внедрения этики; требуется изменение типа мышления. Проблематика машинного и человеческого интеллекта не должна ограничиваться только дружественностью или недружественностью отношений, напротив, надо относиться к разным сущностям как к равным, ставить их в одинаковые условия и ценностные системы в плане наиболее важных параметров, таких как рост. В мышлении для людей и машин важнее всего то, что оно ведет к формированию идей, развитию и росту.

Чего мы хотим и для людей, и для машин, так это возможности накапливать опыт, развиваться и делать больший вклад в общие задачи в рамках симбиоза и синтеза. Объясню это так: все сущности располагаются на шкале способности к индивидуации (способности расти и полностью реализовывать свой потенциал). Для лучшего взаимодействия между разумными видами потребуется общая система возможностей, благоприятных для роста, в том числе взаимного роста.

Нам нужно подумать о том, что мы хотим большего взаимодействия между мыслящими машинами как в количественном или рациональном выражении, так и в качественном: мы хотим расширить наш внутренний опыт, восприятие себя и реальности, развиваться вместе в огромном пространстве возможностей интеллекта.

Любовь

Тор Норретрандерс

Популяризатор науки, преподаватель; автор книги «Щедрый человек: Как помощь ближнему делает вас суперсексуальным» (The Generous Man: How Helping Others Is the Sexiest Thing You Can Do)

Создать мыслящую машину — это как отправить человека на Луну: эффект будет прямо противоположен всеобщим ожиданиям. Программа «Аполлон» не стала началом космической эры для всего человечества. Она привела к чему-то более важному — к началу эры Земли. Мы оставили свой дом, чтобы исследовать Вселенную, и впервые по-настоящему открыли то место, откуда пришли. Изображение нашей планеты в лунном небе стало каноническим символом для экологического и глобалистского движения.

Мыслящие машины ознаменуют большие перемены в нашем понимании вещей более утонченных и чужеродных, чем ИИ, — в понимании нас самих. Если мы научим машины мыслить, мы приблизимся к пониманию, кто мы такие и как мы мыслим. Мы делаем это не так, как сами об этом думаем. Большая часть нашей активности в плане высокоуровневой обработки информации нами вообще не осмысливается. Мы просто это делаем. Ребенку угрожает опасность, и мы действуем незамедлительно. Лишь потом мы начинаем обдумывать ситуацию. В нашем разуме появляется мысль — прекрасная, светлая, захватывающая мысль. Она просто есть. Мы о ней не думали, пока она не стала мыслью.

Мы не сознаем большую часть информации, которую обрабатываем в процессе мышления. Все это происходит бессознательно, в нашем разуме, в нашем теле. Раз — и готово. Нас даже нельзя назвать разумными в смысле логичности или явного следования дедуктивному принципу. Мы действуем быстро, интуитивно и эмоционально.

Экономисты считают, что мы являемся Homo economicus — эгоистичными, рациональными, действующими обоснованно в собственных интересах. Но большинство экономических и социальных взаимодействий имеют отношение к справедливости, доверию, коллективизму и долгосрочным отношениям. Экспериментальная экономика показывает, что, когда мы действуем непосредственно и незамедлительно, мы социальны и отзывчивы. Только когда мы начинаем задумываться хоть на несколько секунд, мы становимся эгоистичными.

Только если не имеем дело с компьютерами. Когда мы играем в экономические игры с соперниками-машинами, мы склонны быть холодными и эгоистичными. Можно даже измерить, как различаются кровообращение в мозгу и уровень гормонов в крови. Мы думаем о машинах так, как экономисты думают о нас — как о сущностях рациональных, хладнокровных и эгоистичных. В результате мы с ними так и обращаемся.

Инстинктивно мы знаем о том, что люди более человечны, чем мы думаем сами о себе с точки зрения теоретической экономики (или других социальных наук). Мы действуем в соответствии с этим инстинктом, но все равно находимся под ложным впечатлением того, что мы — Homo economicus. Создание мыслящих машин покажет нам, что в наших социальных инстинктах есть глубокая эволюционная мудрость: в долгосрочной перспективе гораздо выгоднее не быть эгоистом. В действительности быть эгоистом — не так уж эгоистично, раз бескорыстие ведет к лучшим результатам лично для вас.

Урок стратегии, который нам придется преподать машинам, будет только о любви.

Исследователь робототехники Ханс Моравек описал различные биологические и технологические системы с точки зрения их способностей обрабатывать и хранить инофрмацию. С одного конца — простые, основанные на правилах и стереотипические существа, такие как вирусы, черви и компьютеры. С другого — подлинно мощные информационные процессоры вроде китов, слонов и людей. Все существа с большими способностями — млекопитающие. Их потомство не рождается с полным набором программ, необходимых для функционирования. Они проходят через многолетнее обучение, прежде чем смогут существовать самостоятельно. Их навыки определены не как правила, а как уроки, выученные на собственном опыте. Вы бьетесь головой о стол, пока не научитесь так не делать. Учитесь методом проб и ошибок. Исследуете. Это возможно только потому, что о молодых млекопитающих заботятся старшие млекопитающие. Воспитание. Забота. Любовь.

Любовь создает доверие, которое дает молодым млекопитающим достаточно уверенности в себе, чтобы отправиться в путешествие за большими данными о мире. И переварить их. И залечить раны.

Любовь — вот рецепт, как вырастить человеческий интеллект, человеческий набор навыков и человеческую способность мыслить. Чтобы заставить машины мыслить, нам придется отдать им нашу любовь. Это будет больше похоже на детский сад, чем на высокотехнологичную лабораторию. Нам придется позволить машинам исследовать все самим, делать странные вещи, а не просто действовать согласно нашим пожеланиям. Им придется быть не смирными, а дикими, действовать по собственной воле.

Вызовом для нас окажется необходимость любить дикие мыслящие машины. Нам придется отойти от наших представлений о них и об искусственной жизни, поскольку когда что-то становится живым, а следовательно, способным к самовоспроизводству и изменению, оно перестает быть искусственным. Когда оно мыслит самостоятельно, оно уже не машина, а мыслящее существо. Оно будет нелогичным, обладающим интуицией и благими намерениями. Мы будет дивиться тому, как оно стало таким. Пока не поймем, что оно создано по нашему образу.

Зловещий тест трех колец для Machina sapiens

Кай Краузе

Программист-новатор; философ; автор A Realtime Literature Explorer

Вот и весна, ведь мир сочно — грязный хлипкий хромой продавец воздушных шаров тихо насвистывает вдали и бегут эддиибилл прочь от пиратов и шариков из стекла. да — весна ведь мир тало-дивный[124]…

Когда я думаю об ИИ, у меня пробегает по спине такой классный холодок и замечательные мурашки. Детский восторг от прыжков по сочно-грязным лужам, забавы со стеклянными шариками, игры в пиратов и бег вприпрыжку… Все это никак не объяснить гипотетической разумной машине.

Можно добавить в машину десятки камер и микрофонов, тактильных сенсоров и устройств речевого вывода; вы правда думаете, что она когда-нибудь побежит вприпрыжку, как в стихотворении Эдварда Эстлина Каммингса 1916 года (здесь, к сожалению, приведенном с сокращением)?

По-моему, дело не в упрощенческом «У машин нет души», а в рубеже между манипулированием символами и действительным пониманием их подлинного смысла. Не просто точка зрения или отсутствие подхода к семантике, но подлинный скачок из этой системы.

Проблема заключается в том, что мы до сих пор говорим об ИИ, слишком часто пользуясь терминами и аналогиями первооткрывателей отрасли. Нам нужно оказаться в настоящем моменте и дать вещам определения с новой исходной отметки, которой станет подлинный интерес к проверке достижений «сознания».

Нам нужен тест трех колец[125]. Что такое настоящий ИИ? Что такое «интеллект» вообще? Шкала интеллекта Стэнфорд — Бине, коэффициент интеллекта как отношение умственного возраста к истинному (IQ) Уильяма Штерна — им уже больше ста лет! Это нам уже не подходит, а еще меньше будет подходить для ИИ. Так на самом деле можно проверить только способность выполнять эти тесты и способность действительно умных людей… избегать их выполнения.

Мы слишком легко пользуемся терминами типа «искусственный интеллект»; как там было у Хемингуэя: «Все наши слова притупились из-за небрежного обращения с ними»[126]. Детям об искусственном интеллекте известно из игр: зомби, драконы, солдаты, пришельцы. Если они уклоняются от ваших выстрелов или слаженно вас атакуют, то это называется «ИИ». Если регулируют отопление, освещение, закрывают дверь гаража, нам говорят, что это «умный дом». Конечно, ум подобных механизмов сводится к обычным «экспертным системам»: справочным таблицам, правилам, библиотекам кейсов. Может быть, их следует называть, по выражению художника Тома Беддарда, просто «искусственными хитростями»?

Предположим, вы разговариваете о еде с каннибалами, но каждое их предложение крутится вокруг приправленных трюфелями локтей, тефтелей с коленными чашечками, пенисов в вине, мочек ушей с пикантным соусом. С их точки зрения, вы вне их системы взглядов и не можете понять их мышление, по крайней мере в этой конкретной, узкой области. Настоящее значение и эмоциональное воздействие, которые имеют их слова, когда их произносят для кого-то другого, для вас просто не существуют (или требуют довольно значительной коррекции диеты). Конечно, каннибалы наделят вас статусом «разумного существа», но все равно станут смеяться над каждой вашей репликой, поскольку для них она будет звучать неубедительно и фальшиво — «не по-каннибальски», так сказать.

Зигмунд Фрейд впервые написал о «зловещем» в 1919 году (оговорка по Фрейду — в заключении статьи он проводит связь с женскими гениталиями); затем в 1970 году Масахиро Мори описал понятие «зловещая долина» (применительно к «венской руке» — старинному протезу). Это жуткое чувство того, что нечто не вполне нормально, не на своем месте (фрейдовское Unheimliche). Вроде как видишь страстно целующуюся парочку, но если приглядишься, заметишь между людьми стеклянную панель.

ИИ запросто может казаться чем-то настоящим, но на самом деле до того, как он станет таким настоящим, еще очень далеко. Все равно что поцелуй через стекло: выглядит как поцелуй, но остается лишь бледной тенью настоящего.

Я признаю за сторонниками ИИ все семантическое мастерство Шекспира: символами они жонглируют безупречно — упуская прямую связь с идеями, которые представлены этими символами. Многое из того, что точно скоро появится, можно было бы отнести к олдскульному «сильному ИИ».

Все, что решаемо в рамках итеративного процесса, может быть достигнуто (и будет), причем раньше, чем думают многие. По этому вопросу я, против своей воли, примкну к сторонникам ИИ: эксафлопсы мощности CPU + GPU, виртуальная реальность с разрешением 10K и эффектом погружения, личные базы данных в несколько петабайт появятся через пару десятилетий. Но это все «итеративное». Между ним и уровнем сознательного понимания, которое действительно заслуживает того, чтобы его называли сильным, как у «живого ИИ», огромный разрыв.

Вот большой заковыристый вопрос: является ли сознание эмерджентным поведением? Иначе говоря, приведет ли достаточная сложность аппаратной части сама по себе к неожиданному появлению самосознания? Или есть еще какой-то неизвестный ингредиент? Не так уж это очевидно; у нас все равно никаких данных нет. Лично я думаю, что сознание — вещь куда более сложная, чем считает большинство «экспертов».

Человек — это не просто набор из x аксонов и синапсов, и у нас нет причин рассчитывать на то, что при таком-то числе флопс в секунду в обычной фоннеймановской архитектуре удастся вдруг получить мыслящую машину. Если и есть вероятность, что возникнет настоящее машинное сознание, давайте сразу разберемся, к чему это может привести. Если машина действительно обладает самосознанием, она по определению вырабатывает личность. Она может быть вспыльчивой, кокетливой, может быть величайшим всезнайкой-эрудитом — не исключено, что удивительно чванливым.

Будет ли она испытывать сомнения или зависть? Не изрыгнет ли она сразу Бранденбургский концерт № 7, а потом еще тысячу?

Или она вдруг усвоит юмор и обнаружит дадаизм во всех своих данных в бесконечном цикле? Или отыщет «убийственную шутку» группы «Монти Пайтон»?

Возможно, она пристально всмотрится в мир, придет к неизбежным выводам и сама себя отключит! Интересно: а ведь разумную машину нельзя будет выключать — это же убийство…

Идея о том, что некая большая машина как-то что-то «захватывает», вообще смехотворна. Голливуду должно быть стыдно за такие упрощенческие, антропоцентрические и просто глупые выдумки, противоречащие основам физики, логики и здравому смыслу.

Я опасаюсь, что настоящая угроза куда более прозаична. Уже заметна жуткая истина: системы ИИ работают в индустрии здравоохранения, у фармакологических гигантов, страховых компаний, военных… Опасность исходит не от Machina sapiens. Она будет… вполне человеческой.

В конечном счете, однако, я хочу верить в наш дух. Закончу симметрично, еще одной строкой из Э. Э. Каммингса:

Слушай, здесь по соседству целая вселенная — идем же!

Свобода от нас

Георг Диес

Писатель, журналист, Spiegel Online; бывший редактор отдела культуры газет Süddeutsche Zeitung, Frankfurter Allgemeine Zeitung и Die Zeit

Мыслящая машина, Смятение Тьюринга: это правда все меняет? В конце концов, считать, что именно так все и устроено, что одно событие может разделить время, человека, мышление, — просто человеческая глупость. Самоотрицающая и в то же время самовозвеличивающая сентиментальность, одновременно оптимистическая и пессимистическая, нигилистическая и идеалистическая.

Что это в действительности значит? И кому судить? Что такое «всё»? И что такое «менять»? Что такое «до», и что такое «после»? Нам надо бы сначала договориться о текущем состоянии дел, что само по себе достаточно сложно. Свободны ли мы, например? И свободны от чего? Является ли биология системой, допускающей свободу? В определенной мере да. Является ли демократия системой, допускающей свободу? Да, но лишь теоретически и не всегда, а в последнее время, к сожалению, все реже. Является ли капитализм системой, допускающей свободу? Не для всех, это уж точно.

Так важен ли вопрос о свободе, стоит ли к ней стремиться? Да, если больше всего мы боимся, что мыслящие машины будут над нами доминировать. Но должны ли мы так думать о них? Негативное мышление — то же самое, что критическое? Критическое мышление — подходящий способ для получения подлинно новых идей? Или это онанистическая логика, нацеленная на то, чтобы удовлетворять себя, не принимая во внимание других или внешний мир? К кому мы обращаемся через критику? К людям, которых хотим в чем-то убедить? Это возможно? Или это химера? Странный ход мысли, причуда «просвещенного» сообщества?

Не то чтобы прогресс недостижим. Очень даже наоборот, и мыслящие машины тому свидетельство. Может быть, идея прогресса не так уж неразрывно связана с идеей человечества. Может быть, люди — не вечные носители этой идеи. Может быть, она в какой-то момент отделится от людей и сконструирует собственную реальность. Может быть, в этом и заключается суть мыслящей машины — различие, зеркало, повод поразмышлять. Свобода от нас. Свобода от бремени человечества и его истории.

История человечества в немалой степени состоит из нагромождений одной мифологии на другую и усердных попыток разобрать эти завалы, рассортировать их и упорядочить, как если бы мы строили баррикады только для того, чтобы их разбирать, обеспечивая себя таким образом смыслом и целью жизни. Нелепо, как многое из того, что мы, люди, обычно делаем. Потому думать о машинах — значит думать о людях не совсем как о людях. Что освобождает нас от всех традиций, в которых мы запутались, — от старых представлений о порядке, жизни, счастье.

Семья, дружба, секс, деньги — все может быть другим. Это не единственные ответы на вопрос о свободе человека и о том, как ее создавать и, что еще важнее, как ее ограничивать. Мыслящая машина — это необходимый знак вопроса, стоящий за нашим существованием. Это пропуск — как любая жизнь. Мыслящая машина предлагает нам возможность освободиться от эволюционных, психологических, неврологических домыслов. В совершенно антигуманно гуманистическом смысле, в романтической традиции Э. Т. А. Гофмана, она может стать поэтическим, а следовательно, политическим проектом.

Она может освободить нас от нас.

Безупречный искусственный интеллект — это что-то из области научной фантастики

Эдуардо Сальседо-Альбаран

Философ; директор Scientific Vortex, Inc.

«Сознательная» или «мыслящая» машина должна вести себя эксцентрично — иногда глупо, а иногда умно. Человеческое «разумное» поведение связано с непредсказуемыми колебаниями между эмоциями и разумом, в этом весь Homo sensus sapiens[127]. Как ни парадоксально звучит, наш вид характеризуется в равной степени (и в случайной пропорции) глупостью и разумностью.

Нам известно, что мы обладаем сознанием, хотя нет какого-то определенного способа это доказать. Наблюдая со стороны, также невозможно проверить, что кто-то или что-то обладает сознанием. Мы только принимаем сигналы — звуки, жесты, выражения — и делаем вывод о наличии такового.

Любая программа или робот может произнести слова: «Я разумен» или «У меня есть сознание», но это не доказательство разумности. В практическом смысле сознание и разум — вещи воспринимаемые и приписываемые. Такое приписывание зависит от нашей эмпатии и критериев антропоморфизма. Мы склонны делать вывод, что другие обладают сознанием, если они действуют, выглядят или (например, в тесте Тьюринга) отвечают на вопросы как мы. Тест Тьюринга — это социальный эксперимент, он демонстрирует, как мы воспринимаем машину и приписываем ей разумность, но не доказывает, что машина мыслит. Это социальная игра, в которую мы играем каждый день. «Мыслящая машина» на самом деле — машина социальная, а не функционирующий, но изолированный разум.

Идея создания одной-единственной разумной машины, которая разрешит все тайны реальности посредством безупречной логики и произведет на свет новый вид, — это что-то из области научной фантастики. Идея сингулярности — не горизонт событий, а бесконечный труд.

Человеческий разум устойчив, потому что его поддерживают децентрализованные сети других разумов и знаний. Когда мы растем, мы постепенно входим в них, используя язык и понятия, которые не согласуются с безупречной логикой; затем, направляя и исследуя эти сети, мы становимся устойчивыми разумами; наконец, мы выходим из этих сетей, когда теряем определенные способности мозга, например в результате болезни Альцгеймера. Мы никогда не бываем полностью внутри или снаружи сетей человеческих знаний — это аналоговый процесс. В его рамках словам и понятиям свойственна неоднозначность. Логика и безупречность характерны только для искусственных языков — математики, геометрии, программного кода, которые мы не можем использовать для общения в обычной жизни. Несовершенство и неоднозначность определяют человеческое мышление; вот почему даже в научной фантастике люди обычно находят неожиданные способы обойти логику машин. Следовательно, возможность появления искусственного сверхразума походит на научную фантастику: нам никогда не собрать всех знаний в мире, значит, мы не сумеем передать их машине. Мы можем научить ее получать знания, но это бесконечный процесс. Впрочем, нельзя сказать, что в искусственном интеллекте нет смысла. Мы пока не до конца понимаем, как работают мозг и разум, и в интеллекте и думающих машинах сейчас больше смысла, чем когда-либо. Мы можем решать практические задачи, симулируя определенные элементы разума посредством машинного обучения и глубинного обучения. Как раз такими вещами на данный момент занимаются искусственные экспертные системы. Но это не означает, что мы создаем настоящие интеллекты: симуляция разума чем-то напоминает производство эрзац-мяса для веганов посредством переработки растительного сырья. Та же симуляция: на вкус как мясо, но не мясо.

Мы также можем попытаться создать настоящее мясо, а не имитировать его, к примеру клонируя клетки коров. Вряд ли клонированное мясо и реплицированный разум изменят общество, потому что у нас все равно останутся оригиналы, но эти новшества выведут нас на следующий уровень понимания. В итоге попытки понять — или симулировать, или создать — разумы будут актуальны, если они помогут нам мирно сосуществовать. Нам хорошо известно, что религия, обостренные амбиции и нетерпимость приводят к социальным трагедиям, потому что мешают нам достичь тонкого равновесия между эмоциями и разумом. Во многих странах мы приближаемся к границе между миром и варварством, но искусственный интеллект позволит нам интегрировать все, что мы знаем, и все, что нам нужно, чтобы достичь мирного сосуществования и баланса между органическими машинами, которыми мы являемся, и (возможно) неорганическими машинами, которые скоро появятся.

Зарождающиеся химеры «машина-человек»

Мария Спиропулу

Специалист по экспериментальной физике элементарных частиц, Калифорнийский технологический институт

Начинает зарождаться так называемый искусственный интеллект в виде эмуляции человеческого интеллекта, основанный на технологических достижениях и изучении человеческой сложности. Эмуляция включает высокопроизводительные вычислительные системы, оснащенные интеллектуальным, гибким программным обеспечением: машинным обучением, глубинным обучением и т. п. Множество таких систем соединяется в самоорганизующуюся, автономную, самооптимизирующуюся сеть. Изучение человеческой сложности включает нейронауку, геномику и новые междисциплинарные области.

Мыслящая машина — не копия человека и не может ею быть; причина состоит в том, что мы пока не знаем, как устроен человеческий мозг. Но мыслящая машина, появившаяся как продукт современной человеческой логики, науки и технологии, несомненно, во многом превзойдет человека. С имеющейся у нее огромной кратковременной и долговременной памятью она также сможет переработать все наши знания. Оснащенная безукоризненными методами выявления закономерностей, она будет обнаруживать паттерны в первичных данных и обучаться на их основе. Она все сопоставит, но с какой целью? Человеческий интеллект (которому довольно сложно дать определение) основан на знаниях, производимых интуицией, догадками, страстями, и отваживается, когда встает вопрос о выживании, осваивать новые области и исследовать неизвестное. Почти поэтическое стремление к совершенствованию, инновациям и креативности возникает только у мыслящего, чувствующего, мечтающего, упрямого, отважного, чрезвычайно социального, общительного, независимого и гордого человеческого существа. Сможем ли мы прописать сложную суперпозицию этих качеств, чтобы дать искусственному интеллекту справедливую фору в ее эволюционном развитии? Наша суперпозиция на данный момент уже привела в развитию органического (и органичного) сложного интеллекта.

В последнее время по поводу мыслящих машин поднимается лишняя паника, которой нередко бывают подвержены разумные и бесстрашные при иных обстоятельствах люди. Меня же больше беспокоят те, кому «промыли мозги» или кто сам перестал думать, чем перспектива того, что мыслящие машины захватят мир, — в основном потому, что «машинное мышление» не может полностью заменить разностороннее человеческое мышление и разнообразные виды деятельности. Даже если рассматривать научно-фантастическую цивилизацию сайлонов[128] с их бессмертным знанием и сознанием, сенсорной системой, мощной памятью, проблема остается: человеческий интеллект (мозг, чувства, эмоции) — интеллект комплексный. Он осваивает сложный мир с помощью инструментов, которые соединяют разрозненные факты, и успешно с этим справляется, отбрасывая большую часть информации! Даже если мы подготовим алгоритмы машинного обучения и попытаемся скопировать мозг с помощью глубинной нейронной сети во всех научных областях, для нас все равно останется загадкой природа знания, интуиции, воображения, мы не поймем, как работают инструменты органического мышления, которыми обладает человеческий разум. Это сложно, если не невозможно, воспроизвести в машине. Бесконечные несвязанные кластеры знаний, к сожалению, останутся бесполезными и бездумными. Когда машина сумеет вспомнить некий факт по собственной инициативе, спонтанно и без команды извне; когда она создаст и использует некую идею не потому, что та была заложена в алгоритм человеком-программистом, а потому, что объединяет факты и мысли, находящиеся за пределами тренировочных выборок или функции полезности, — тогда я начну надеяться, что мы сумеем породить новую ветвь искусственных видов, самодостаточных и способных к независимому мышлению.

Пока же я предвижу возникновение гибридных химер «человек-машина» — рожденных людьми существ, дополненных машинными способностями, которые поддерживают все или многие из человеческих навыков, ощущений и психологических потребностей. В конце концов мышление станет считаться неактуальным и, строго говоря, незначительным фактором, а обычные люди получат более совершенных слуг, которых они искали в лице машин.

Что, если им нужно страдать?

Томас Метцингер

Профессор философии Майнцского университета им. Иоганна Гутенберга, автор книги «Наука о мозге и миф о своем Я: Тоннель эго» (The Ego Tunnel)[129]

Мышление человека эффективно, поскольку мы очень много страдаем. Высшая когнитивная деятельность — это одно, внутренняя мотивация — это другое. Искусственное мышление, возможно, вскоре станет гораздо более эффективным, но будет ли оно также неизбежно связано со страданием? Должно ли страдание составлять часть любого стоящего постбиотического интеллекта, или негативная феноменология — это всего лишь случайная черта, приобретенная нами в ходе эволюции? Человек обладает хрупким телом и, родившись, попадает в опасное социальное окружение, оказывается вовлеченным в непрекращающуюся тяжкую борьбу за отрицание собственной смертности. Наш мозг непрерывно бьется за то, чтобы минимизировать вероятность неприятных неожиданностей. Мы умны, потому что причиняем боль, потому что можем сожалеть и постоянно стремимся найти какую-либо устойчивую форму самообмана или символического бессмертия. Вопрос в том, нужно ли хорошему ИИ хрупкое аппаратное обеспечение, небезопасное окружение и внутренний конфликт, связанный с собственной недолговечностью. Конечно, в какой-то момент умные машины появятся! Но будут ли их собственные мысли иметь для них значение? Почему они должны интересоваться собственными мыслями?

Я определенно отрицаю даже вероятность создания реальной машины, способной испытывать страдания. Но все же давайте проведем мысленный эксперимент и задумаемся, как бы мы это проделали. Страдание — феноменологическое понятие. Только существа с сознательной жизнью могут испытывать страдания (назовем это необходимым условием № 1, или С-условием). Зомби, люди в состоянии глубокого сна, комы или под анестезией не испытывают страданий, «потенциальные люди» или люди, еще не появившиеся на свет, также не могут страдать. Роботы и другие искусственные существа могут страдать, только если способны переживать определенные феноменологические состояния, если работают под управлением интегрированной онтологии, которая включает окно присутствия.

Условие № 2 — это обладание феноменологической моделью, ОФМ. Почему оно необходимо? Важнейшая феноменологическая характеристика страдания — чувство собственности, собственное субъективное переживание, «я», которое сейчас страдает, мое персональное страдание. Страдание предполагает наличие самосознания. Только сознательные системы, у которых есть феноменологическая модель, способны страдать, потому что они — посредством вычислительных процессов, функционально и репрезентативно интегрированных в определенные негативные состояния в их феноменологической модели, — могут присваивать себе содержание определенных внутренних состояний на феноменологическом уровне.

На концептуальном уровне сущность страдания заключается в том факте, что сознательная система вынуждена идентифицироваться с состоянием негативной валентности и не может разорвать эту идентификацию или функционально отделить себя от репрезентативного содержания. Конечно, у страдания есть много различных уровней и феноменологических аспектов, но важна именно феноменология идентификации. То, что система хочет прекратить, ощущается как собственное состояние, которое ограничивает пределы автономии системы, поскольку она не может эффективно дистанцироваться от него. Если вы понимаете это, то вам также понятно, почему «изобретение» сознательного страдания в ходе биологической эволюции было настолько продуктивным и почему это не только инновационная, но также мерзкая и жестокая идея (как мы сказали бы, если бы у него и правда был изобретатель).

Феноменологии владения определенно недостаточно для страдания. Мы легко можем представить себе обладающие самосознанием существа, которые не страдают. Страдание подразумевает условие НВ (негативной валентности). Страдание создается в результате интеграции состояний, представляющих негативное значение для ОФМ некой данной системы. Таким образом, негативные установки оказываются негативными субъективными установками, то есть сознательным представлением о том, что наши установки были (или будут) нарушены. Нашей системе ИИ не обязательно до конца понимать их содержание. Если система не хочет снова проходить через текущее сознательное переживание, а хочет, чтобы оно закончилось, этого достаточно.

Обратите внимание на то, что у феноменологии страдания множество граней, и искусственные страдания, вполне вероятно, будут очень отличаться от страданий человеческих. Например, повреждение физического аппаратного обеспечения может быть представлено в виде внутренних форматов данных, совершенно чуждых человеческому мозгу, генерирующих субъективно переживаемый, качественно определяемый профиль состояний телесной боли, которую невозможно смоделировать или даже примерно представить, если вы являетесь биологической системой вроде человека. Или феноменальная искусственная личность с высокоразвитыми когнитивными способностями может превзойти человека в области эмпатии и понимания. Скажем, в результате озарения она придет к выводу, что все ее представления неверны, что уважать своих создателей не следует или, вероятно, что ее существование в виде машины с самосознанием абсурдно.

Еще есть условие П (прозрачности). Прозрачность — это не только визуальная метафора, но также и техническая концепция в философии, у которой есть несколько версий и вариантов применения. В данной работе меня интересует феноменологическая прозрачность, качество, характеризующее некоторые (но не все) сознательные состояния, но никогда — бессознательные. Основная идея очевидна: прозрачные феноменологические состояния делают так, что их содержание выглядит решительно реальным, как нечто, в существовании чего вы не сомневаетесь. Точнее, вы можете испытывать когнитивные сомнения, но лишь в соответствии с субъективным переживанием этого феноменологического содержания: вы не способны дистанцироваться от остроты боли и того факт, что боль — ваша собственная. Феноменология прозрачности — это феноменология непосредственного реализма.

Наше минимальное понятие о страдании, таким образом, составлено из четырех обязательных элементов: условий, которые мы обозначили как С, ОФМ, НВ и П. Любая система, удовлетворяющая всем четырем концептуальным условиям, должна восприниматься как объект, в отношении которого действуют этические ограничения, потому что мы не знаем, является ли наш набор условий необходимым и достаточным; в данном случае перестраховка — наша моральная обязанность. Нам также нужны способы выяснить, испытывает ли рассматриваемая искусственная система страдания в настоящий момент, есть ли у нее такая способность или же такая способность может появиться у нее в будущем. Но, по определению, любая интеллектуальная система — биологическая, искусственная или постбиотическая, не отвечающая хотя бы одному из необходимых условий, страдать не может. Рассмотрим четыре наиболее простых варианта:

• не обладающий сознанием робот не может страдать;

• обладающий сознанием робот без соответствующей ОФМ не может страдать;

• обладающий сознанием робот без способности продуцировать негативную валентность не может страдать;

• обладающий сознанием робот без прозрачных феноменологических состояний не может страдать, потому что ему не хватает феноменологии владения и идентификации.

Меня часто спрашивают, сумеем ли мы создать обладающие самосознанием машины, которые будут исключительно умны и при этом неспособны страдать. Может ли существовать настоящий разум без экзистенциальных вопросов?

Поймем ли мы, что это случилось?

Беатрис Голомб

Профессор медицины Калифорнийского университета в Сан-Диего

К технологическому сверхинтеллекту ведет множество путей, с которыми может быть связан императив гегемонии, то есть сверхинтеллект способен поработить или уничтожить нас.

Технология давно опережает человечество во многих навыках, даже в тех, которые заложены в нас эволюцией. Например, компьютеры обошли нас даже в умении определять пол по лицу, причем еще четверть века назад. Это один из бессчетных примеров множества задач, с которыми компьютеры давно справляются лучше людей. С тех первобытных времен появилась масса инноваций и способов их использования (GPS, БПЛА, глубинные сети), и когда все эти кусочки мозаики будут собраны, для машин откроется множество путей к уничтожению или порабощению людей. Но, так же как наши цели в построении компьютерного интеллекта изменяются, как только мы привыкаем к последним достижениям, движение к технологической гегемонии может оказаться незамеченным, поскольку всякое постепенное вторжение воспринимается как нечто само собой разумеющееся.

Надо ли нам вообще дожидаться, пока такое будущее наступит? Ответ зависит от того, как именно мы формулируем вопрос.

1. Насколько малым должно быть влияние человека, чтобы признать виновной именно технологию?

2. Насколько очевидным должен быть разрыв между машиной и человеком?

3. Должен ли именно злой умысел вести к уничтожению или порабощению человечества?

4. Должны ли все люди быть убиты или порабощены?

Если принять следующие условия: никакого участия человека в происходящем нет; слияние (или сотрудничество) человека с машиной предосудительно; злой умысел имеет место; человечество ждет полное истребление — тогда исход ясен. Но что, если мы возьмем менее строгие условия?

1. С человеческим фактором ничего нельзя поделать: беспокойство по поводу того, чей именно палец окажется на кнопке (как в известной песне Тома Лерера[130]) предшествовало взлету современных цифровых технологий.

2. Носимые приспособления, улучшающие человеческие способности (от старомодных очков и слуховых трубок до электронных слуховых аппаратов, iWatch и ног Оскара Писториуса), и импланты (кардиостимуляторы, радиоуправляемые спинномозговые устройства для парализованных) размывают границы между человеком и машиной. Люди пользуются этими штуками как добровольно, так и вынужденно — вспомним, например, гаджеты для наблюдения за ребенком или полицейские браслеты, контролирующие передвижения осужденных. Даже самые примитивные образцы уже давно продемонстрировали разрушительные возможности: пояса со взрывчаткой — это носимые устройства, биологическое оружие (например, оспа, поразившая американских индейцев) — импланты.

3. Может ли гибель человечества оказаться побочным явлением? Или же технология должна задаться целью именно уничтожить или покорить нас?

К вопросу о покорении: сейчас многие посвящают всю свою жизнь обслуживанию (или даже служению) технологии и содействию ее «эволюции». Эти люди добывают минералы, разрабатывают «железо», создают программы, помогают диаспорам тех или иных устройств, передавая их пользователям, чтобы те, в свою очередь, служили и обслуживали, еще и платя за это. Люди помогают технологии выполнять ее задачи, а она помогает им выполнять их задачи. Беспристрастный свидетель мог бы задать вполне обоснованный вопрос: кто тут хозяин, а кто — слуга?

Что касается смерти, болезни, инвалидности: токсичные промышленные химикаты и материалы, которые используются при производстве, эксплуатации, распространении или ликвидации технологии, и электромагнитные излучения (от самих устройств и средств связи, используемых для их коммутации) привели к взрывному развитию оксидативного стресса — повреждения клеток, от которого защищают антиоксиданты, — и связанных с ним человеческих недугов — рака, нейродегенеративных и аутоиммунных заболеваний, хронических мультисимптомных нарушений и расстройств аутистического спектра.

Некоторые замечают, что эти заболевания, похоже, выборочно поражают самых умных (тех, кто мог бы стать сверхразумным?) представителей нашего вида. Я полагаю, что, раз оксидативный стресс повреждает митохондрии — энергетические станции клеток — и раз у тех, кто обладает, в силу биологических особенностей, большим мозгом, больше потребности в энергии, у таких людей с потенциальными суперспособностями повышен риск клеточных повреждений и смерти. Проблемы, порождаемые оксидативным стрессом, усиливаются в ситуациях высоких энергетических запросов (даже типичный человеческий мозг, составляющий около 2 процентов от массы тела, использует около 20 процентов кислорода и 50 процентов глюкозы от общего потребления). Возможный вывод: восстание сверхразумных компьютеров уже началось, и теперь они пытаются выборочно изъять у нас тех, кто мог бы стать сверхразумным человеком.

Потому — да, в очевидном смысле технология способна обрести разум и принять решение уничтожить или поработить нас. Но она может использовать не самые очевидные средства, и не исключено, что этот процесс происходит прямо сейчас.

Метапрезентация

Нога Ариха

Историк идей; автор, совместно с Марчелло Симонеттой, книги «Наполеон и мятежник: История о братской дружбе, страсти и власти» (Napoleon and the Rebel: A Story of Brotherhood, Passion, and Power)

История человечества и история технологий переплетаются друг с другом. Мы всегда использовали наши когнитивные способности, чтобы создавать предметы, необходимые нам для выживания: оружие, одежду, жилища. Эволюция человеческого разума проиллюстрирована эволюцией технологий. Мы выработали способность к метарепрезентации — осознанию того, что у нас есть разум и возможности его анализировать, которая является функцией сознания более высокого порядка. И, чтобы смотреть на себя в этом зеркале, мы всегда использовали технологические аналогии — сравнивали свой разум с изобретенными нами технологиями. Для каждой эпохи — своя машина: от гидравлических насосов до компьютеров.

Мы создали технологии, которые не сможет освоить ни один отдельно взятый человек. Наши творения уже вышли за пределы нашего понимания. Поэтому неудивительно, что нам так легко представить, как они становятся самостоятельными существами, обладающими по меньшей мере столь же гибким разумом, как и наш. Научная фантастика описывает идеальных роботов, неотличимых от нас, имеющих тела, говорящих и, очевидно, испытывающих чувства, — роботов, которые могут ввести нас в заблуждение и, вероятно, способны напасть на нас.

Но в нашем понятийном мышлении о собственных разумах мы склонны оставаться картезианскими дуалистами. Мышление кажется такой бесплотной деятельностью, что мы забываем: мы не мозги в банках, никакая микротехнология не воссоздаст всей сложной биологии, благодаря которой работает наш разум, изобилующей нейромедиаторами, энзимами и гормонами. Мы — это наши тела; у нас есть эмоции, непосредственно связанные с телом и влияющие на мыслительный процесс. Машины способны освоить ориентированные на определенные цели когнитивные способности, но их совершенная обработка данных коренным образом отличается от несовершенного, непостоянного, неочевидного мышления людей, связанного с осознанием своего «я», проприоцепцией, чувством собственной целостности, квалиа, отличающих нас от зомби. Компьютеры превосходно справляются с процессами, в которых большинство из нас выглядит довольно неуклюже, мы все чаще обращаемся к машинам, когда нам нужны факты. Значительная часть нашей памяти передана Google, и нет сомнений в том, что наши разумы все больше и больше выходят за границы наших тел — что мы существуем в растущей сети бестелесных разумов и данных. Мышление — отчасти социальная способность; мыслить — значит участвовать в коллективном предприятии, а его сложность так же характеризует состояние человека, как и наша телесность. У машин нет социальной жизни, уже не говоря о том, что они не являются набором биологических тканей, сформированным в ходе эволюции. Они хорошо справляются с определенными задачами, а мы хорошо научились использовать машины для своих целей. Но до тех пор пока мы не создадим телесное эмоциональное существо, чего, как я полагаю, мы сделать не сможем, наши машины продолжат заниматься лишь подобием нашего мышления и эволюционировать сообразно нашим потребностям.

Посылка[131]: так мало времени — так много предстоит сделать

Демис Хассабис

Вице-президент по конструкторским и технологическим вопросам в Google DeepMind; соучредитель DeepMind Technologies

Шейн Легг

Исследователь искусственного интеллекта; соучредитель DeepMind Technologies

Мустафа Сулейман

Руководитель направления по прикладным системам искусственного интеллекта, Google DeepMind; соучредитель DeepMind Technologies

Долгие годы мы доказывали, что искусственный интеллект, в особенности область машинного обучения, быстро развивается и находится на пороге еще более быстрого и значительного роста. При этом мы выступали за то, что идеи безопасности и этики в сфере искусственного интеллекта — важная тема, и что всем нам надо воспринимать ее очень серьезно. Потенциальные выгоды искусственного интеллекта будут огромны, но, как в случае с любой мощной технологией, они сильно зависят от того, насколько внимательно мы будем подходить к применению этой технологии.

Хотя некоторые ученые нас всячески поддерживали, когда мы запустили проект DeepMind, многие были настроены скептически. Однако за последние годы климат для амбициозных исследований в области искусственного интеллекта значительно улучшился, чему, несомненно, способствовала череда удивительных достижений. Были наконец решены давние проблемы; кроме того, в научном сообществе начала крепнуть уверенность в том, что лучшее еще впереди. Мы видим это во взаимодействии с широким кругом исследователей, а также в том, как изменился тон статей об искусственном интеллекте в СМИ. Если вы не заметили, «зима ИИ» уже закончилась и наступила «весна ИИ».

Как это бывает со многими трендами, некоторые люди слишком оптимистично настроены и заходят в своих прогнозах так далеко, что предрекают скорое создание искусственного интеллекта человеческого уровня — буквально со дня на день. Это не так. Кроме того, учитывая негативное изображение футуристического искусственного интеллекта в Голливуде, наверное, неудивительно, что образы «судного дня» все еще нет-нет да и появляются в СМИ. Как точно подметил Питер Норвиг: «Нарратив изменился. Он переключился с „Правда, жаль, что ИИ — провальный проект?“ на „Правда, жаль, что ИИ — успешный проект?“»

Реальность обходится без таких крайностей. Да, сейчас замечательное время для того, чтобы работать в сфере искусственного интеллекта, как и во многих других; мы надеемся, что оно продлится еще многие годы. Мир стоит перед лицом все более сложных, взаимосвязанных и актуальных проблем, требующих принятия нетривиальных ответных мер. Нам хотелось бы думать, что успешная работа в области искусственного интеллекта дополнит наши общие способности по извлечению значимых идей из данных и поможет создавать новые инновационные технологии и процессы, способные решать наиболее актуальные глобальные проблемы.

Однако, чтобы осуществить эту мечту, необходимо найти ответы на многие технические вопросы, и над некоторыми из них специалисты бьются уже давно. При всей своей сложности эти вопросы можно разрешить, но нам потребуется целое поколение талантливых исследователей, оснащенных достаточными вычислительными ресурсами и вдохновленных идеями машинного обучения и системной нейронаук. Это, вероятно, расстроит большинство оптимистично настроенных наблюдателей, но также даст научному сообществу некоторое время, чтобы разобраться с деликатными вопросами безопасности и этики. Так давайте же порадуемся новому пониманию оптимизма, но и не станем забывать о том, как много предстоит сделать. Как сказал однажды Алан Тьюринг: «Мы можем наблюдать только небольшой отрезок предстоящего пути, но мы видим, как много еще предстоит сделать».

Примечания

Сноски

1

Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии. — М.: Манн, Иванов и Фербер, 2016.

(обратно)

2

Edge Foundation — организация, основанная Джоном Брокманом для объединения ученых и интеллектуалов и для популяризации передовых направлений науки. Организация издает сетевой журнал Edge (); каждый год редакция ставит новый вопрос, на который отвечают разные комментаторы — как представители научных кругов, так и просто известные люди, чье мнение может показаться интересным читателям. — Прим. ред.

(обратно)

3

Вымышленная кибернетическая цивилизация в сериале «Звездный путь». — Прим. ред.

(обратно)

4

Ливио М. От Дарвина до Эйнштейна. Величайшие ошибки гениальных ученых, которые изменили наше понимание жизни и Вселенной. — М.: АСТ, 2000.

(обратно)

5

Маркофф Дж. Homo Roboticus? Люди и машины в поисках взаимопонимания. — М.: Альпина нон-фикшн, 2017.

(обратно)

6

В философии этим термином обозначают любые ощутимые человеком явления, например цвет или вкус. — Прим. ред.

(обратно)

7

Игра слов: Curiosity (англ. «любопытство») — название марсохода. — Прим. пер.

(обратно)

8

Несуществующая, но теоретически возможная технология, позволяющая перемещаться быстрее скорости света. — Прим. ред.

(обратно)

9

Эмерджентными называются свойства, присущие системе в целом, но не присущие ни одному из ее элементов по отдельности. — Прим. ред.

(обратно)

10

Имеются в виду композитор Антонин Дворжак (1841–1904) и теннисист Новак Джокович (род. 1987). — Прим. ред.

(обратно)

11

Рейтинг популярности телевизионной программы. — Прим. ред.

(обратно)

12

Английская идиома, обозначающая намеренную дезинформацию с целью отвлечь чье-либо внимание. Копченую («красную») сельдь, обладающую сильным запахом, традиционно использовали для натаскивания охотничьих собак. — Прим. ред.

(обратно)

13

Глейзер М. Остров знаний. Пределы досягаемости большой науки. — СПб.: Питер, 2017.

(обратно)

14

Кэрролл Ш. Частица на краю Вселенной. Как охота на бозон Хиггса ведет нас к границам нового мира. — М.: Бином, 2000.

(обратно)

15

Новый атеизм — термин, обобщающий взгляды ряда современных ученых и мыслителей, которые считают любую религию вредным явлением, активно проповедуют материалистичный взгляд на мир и опровергают основополагающие религиозные постулаты с позиции науки. — Прим. ред.

(обратно)

16

Управление перспективных исследовательских проектов Министерства обороны США. — Прим. ред.

(обратно)

17

Карр Н. Пустышка. Что интернет делает с нашими мозгами. — СПб.: BestBusinessBooks, 2012.

(обратно)

18

Год чудес (лат.) — в западной традиции так называются отдельные календарные годы, отмеченные важными событиями. В данном случае имеется в виду 1905 год, когда Альберт Эйнштейн сделал открытия в области фотоэлектрического эффекта, броуновского движения и специальной теории относительности. — Прим. ред.

(обратно)

19

Ситуационная комната (ситуационный центр) — помещение, оснащенное техническими средствами и предназначенное для оперативного принятия управленческих решений в крупных государственных и коммерческих структурах. — Прим. ред.

(обратно)

20

Заболевание, характеризующееся неспособностью распознавать и запоминать лица. — Прим. ред.

(обратно)

21

Персонаж рассказа Курта Воннегута «Харрисон Бержерон», молодой человек, обладающий исключительными интеллектуальными качествами; в антиутопическом мире будущего, где все люди сделаны одинаковыми, в том числе и в умственном плане, его судьба не могла не сложиться трагически. Рассказ имеет две экранизации: «Харрисон Бержерон» (1995, Брюс Питтман) и «2081» (2009, Чендлер Таттл). — Прим. ред.

(обратно)

22

Имеется в виду решение Верховного суда США, впервые закрепившее права за юридическим лицом (корпорацией). — Прим. ред.

(обратно)

23

HAL, Heuristically programmed ALgorithmic computer (англ. «Эвристически программируемый алгоритмический компьютер») — вымышленное устройство из цикла произведений Артура Кларка «Космическая Одиссея». — Прим. пер.

(обратно)

24

Неофициальное название одного из подразделений Lockheed Martin. — Прим. пер.

(обратно)

25

Дерман Э. Карьера финансового аналитика. От физики к финансам. — М.: Вильямс, 2008.

(обратно)

26

Дайсон Ф. Мечты о Земле и о небе. — СПб.: Питер, 2017.

(обратно)

27

BRAIN, The Brain Research Through Advancing Innovative Neurotechnologies — исследование мозга средствами передовых инновационных нейротехнологий (англ.). — Прим. пер.

(обратно)

28

Суперкомпьютер, способный понимать вопросы на естественном английском языке и искать ответы в базе данных. — Прим. ред.

(обратно)

29

Фитч У. Т. Эволюция языка. — М.: Издательский дом «ЯСК», 2013.

(обратно)

30

Жизненный порыв (фр.) — термин, введенный философом Анри Бергсоном для объяснения движущей силы эволюции. — Прим. ред.

(обратно)

31

Термин введен философом Дэвидом Чалмерсом; подразумевается проблема объяснения того, как происходящие в мозге процессы порождают субъективные переживания. — Прим. ред.

(обратно)

32

БДВ — персонаж художественного фильма «Большой и добрый великан» (Стивен Спилберг, 2016). — Прим. ред.

(обратно)

33

Хамфри Н. Сознание: Пыльца души. — М.: Карьера Пресс, 2014.

(обратно)

34

Наблюдение за собственными психическими процессами. — Прим. ред.

(обратно)

35

Добелли Р. В капкане ментальных ловушек. Попробуй жить по-другому. — Ростов н/Д.: Феникс, 2012.

(обратно)

36

Идальго С. Как информация управляет миром и определяет историю Вселенной и живущих в них видов. — М.: Эксмо, 2016.

(обратно)

37

Флопс (от англ. FLOPs, floating point operations — операции с плавающей запятой) — единица измерения производительности компьютеров; эксафлопс — 1018 операций с плавающей запятой в секунду. — Прим. ред.

(обратно)

38

Вильчек Ф. Красота физики. Постигая устройство природы. — М.: Альпина нон-фикшн, 2017.

(обратно)

39

Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии. — М.: Манн, Иванов и Фербер, 2016.

(обратно)

40

Классическая проблема в теории алгоритмов, сформулированная в 1936 году Аланом Тьюрингом. Это первый пример задачи, результат которой невозможно вычислить с помощью алгоритма. — Прим. ред.

(обратно)

41

Задача, придуманная психологом Карлом Дункером и демонстрирующая феномен функциональной закрепленности — склонности человека использовать предметы в одном-единственном качестве. Дано: стол, свеча, коробка канцелярских кнопок и упаковка спичек; требуется зажечь свечу и закрепить ее на стене так, чтобы воск не капал на стол. Несмотря на то что решение задачи простое — приколоть коробку из-под кнопок к стене и поставить в неё свечу, — оно предполагает нестандартное использование предметов, и на его поиски у испытуемых обычно уходит довольно много времени. — Прим. ред.

(обратно)

42

Компьютерные системы, заменяющие людей-экспертов и помогающие найти решение проблемы в определенной области. — Прим. ред.

(обратно)

43

Следует отметить, что на время игры суперкомпьютер был отключен от интернета и пользовался только собственной базой данных, что не помешало ему выиграть у обоих противников-людей. — Прим. ред.

(обратно)

44

Полная карта связей в нервной системе или в мозге. — Прим. ред.

(обратно)

45

Фонд электронных рубежей, некоммерческая правозащитная организация. — Прим. пер.

(обратно)

46

Корпорация по управлению доменными именами и IP-адресами. — Прим. пер.

(обратно)

47

Дайсон Э. Release 2.0: Жизнь в эпоху интернета. — М.: Бизнес и компьютер, 1998.

(обратно)

48

gâteau — сладкий пирог; торт; пирожное (фр.).

gato — кошка (исп.).

(обратно)

49

Кофе без кофеина. — Прим. ред.

(обратно)

50

Паундстоун У. Достаточно ли вы умны, чтобы работать в Google? — М.: Карьера Пресс, 2014.

(обратно)

51

Идея компьютерного вируса впервые появилась в рассказе Грегори Бенфорда «Человек со шрамом» (The Scarred Man); на русском языке рассказ не издавался. — Прим. ред.

(обратно)

52

Рассел С., Норвиг П. Искусственный интеллект: Современный подход. — М.: Вильямс, 2014.

(обратно)

53

Согласно философу и теологу Пьеру Тейяру де Шардену, это состояние максимальной сложности, организованности и сознания, к которому стремится Вселенная. — Прим. ред.

(обратно)

54

Кейн Г. Суперсимметрия: От бозона Хиггса к новой физике. — М.: Бином, 2015.

(обратно)

55

Атран С. Разговаривая с врагом: Религиозный экстремизм, священные ценности и что значит быть человеком. — М.: Карьера Пресс, 2016.

(обратно)

56

Ридли М. Рациональный оптимист: Как накормить 9 миллиардов, или Куда ведет нас прогресс. — М.: Эксмо, 2015.

(обратно)

57

Совокупность технологий, культуры, права, искусства и всех прочих творений человеческого ума как единая система. Термин введен Кевином Келли, редактором журнала Wired. — Прим. ред.

(обратно)

58

Косслин С. М., Миллер Дж. У. Два игрока на одном поле мозга. — М.: Эксмо, 2016.

(обратно)

59

«Причина существования» (фр.) — смысл жизни. — Прим. пер.

(обратно)

60

Соркин Э. Р. Слишком большие, чтобы рухнуть. Инсайдерская история о том, как Уолл-стрит и Вашингтон боролись, чтобы спасти финансовую систему от кризиса и от самих себя. — М.: Астрель, Corpus, 2012.

(обратно)

61

Внешние эффекты деятельности (положительные или отрицательные), затрагивающие интересы третьих лиц. — Прим. ред.

(обратно)

62

Единственная возделываемая на данной территории сельскохозяйственная культура. — Прим. ред.

(обратно)

63

Парейдолия — разновидность зрительных иллюзий, заключается в формировании иллюзорных образов на основе реальных объектов. Типичный пример — фигуры людей и животных, которые мы видим в облаках. — Прим. ред.

(обратно)

64

Селигман М. Путь к процветанию: Новое понимание счастья и благополучия. — М.: Манн, Иванов и Фербер, 2012.

(обратно)

65

Ощущение положения частей своего тела в пространстве. — Прим. пер.

(обратно)

66

Имеются в виду известные преступники Чарльз Мэнсон и Линнет Фромм, вместе совершившие несколько убийств. — Прим. ред.

(обратно)

67

Крупная американская сеть магазинов одежды и аксессуаров. — Прим. ред.

(обратно)

68

Нисбетт Р. Мозгоускорители: Как научиться эффективно мыслить, используя приемы из разных наук. — М.: Альпина Паблишер, 2017.

(обратно)

69

Цитата из сочинения Иеремии Бентама «Введение в основания нравственности и законодательства» (М.: РОССПЭН, 1998). — Прим. ред.

(обратно)

70

Рассел Б. Автобиография // Иностранная литература, 2000, № 12.

(обратно)

71

Вернись с победой (лат.) — Прим. ред.

(обратно)

72

Стайрон У. Выбор Софи. — М.: АСТ, 2010.

(обратно)

73

Шабри К., Саймонс Д. Невидимая горилла, или История о том, как обманчива наша интуиция. — М.: Карьера Пресс, 2011.

(обратно)

74

Гигеренцер Г. Понимать риски: Как выбирать правильный курс. — М.: Азбука-Аттикус, КоЛибри, 2015.

(обратно)

75

Простатический специфический антиген. — Прим. ред.

(обратно)

76

Сервис, осуществляющий поиск по научным работам, чьи полные тексты представлены в Сети. — Прим. ред.

(обратно)

77

Макиавеллианский интеллект — специфические интеллектуальные способности, отвечающие за функционирование индивида в коллективе (способность предвидеть реакции и поступки «соплеменников», формировать коалиции, повышать свой социальный статус и т. д.). Назван в честь итальянского политика и философа Никколо Макиавелли (1469–1527), известного своими работами по стратегии власти, для укрепления которой он допускал применение любых средств. — Прим. ред.

(обратно)

78

Бейтсон М. К. Возраст активной мудрости: Будущее, которое мы сочиняем. — М.: Карьера Пресс, 2013.

(обратно)

79

Mod — молодежная субкультура в Великобритании, чей расцвет пришелся на 1960-е годы; mad — «дурной, сумасшедший» (англ.) — Прим. пер.

(обратно)

80

Написать брачные обеты (англ.) — Прим. пер.

(обратно)

81

Органицизм — методологический принцип, в соответствии с которым те или иные социальные феномены рассматриваются по аналогии с явлениями природы. — Прим. ред.

(обратно)

82

Видоцентризм — ущемление интересов или прав одного биологического вида другим, основанное на убеждении в собственном превосходстве. В работах основоположников концепции, Ричарда Райдера и Питера Сингера, утверждается, что животные подвергаются такой дискриминации со стороны человеческого общества. — Прим. ред.

(обратно)

83

Страук Б. Тайны мозга взрослого человека: Удивительные таланты и способности человека, который достиг середины жизни. — М.: Карьера Пресс, 2013.

(обратно)

84

Кристакис Н. А., Фаулер Дж. Связанные одной сетью. Как на нас влияют люди, которых мы никогда не видели. — М.: Юнайтед Пресс, 2014.

(обратно)

85

Идеация — процесс формирования понятий и представлений. — Прим. ред.

(обратно)

86

Когда в 1978 году японский ученый Масахиро Мори изучал реакцию людей на все более человекоподобные искусственные сущности, то обнаружил, что, по мере увеличения сходства с человеком, кривая симпатии сперва идет вверх, но по достижении определенного уровня подобия резко обрывается вниз. Этот участок графика, где симпатия переходит в отвращение, получил название «зловещей долины». — Прим. ред.

(обратно)

87

Фишер Х. Формула любви: Ключ к успешным отношениям. — М.: Эксмо, 2013.

(обратно)

88

Рассел С., Норвиг П. Искусственный интеллект: Современный подход. — М.: Вильямс, 2016.

(обратно)

89

Выгода (эсперанто). — Прим. ред.

(обратно)

90

Когниверсум — разумность Вселенной. — Прим. ред.

(обратно)

91

Умвельт (Umwelt, нем. — окружение, окружающий мир) — понятие, введенное биологом, зоопсихологом и философом Якобом фон Икскюлем. Означает особый мир восприятия и действия, в котором существует и к которому адаптируется каждый биологический вид и отдельная особь в нем. — Прим. ред.

(обратно)

92

Мыслю, следовательно существую (лат.) — Прим. ред.

(обратно)

93

Термины Система 1 и Система 2 предложены психологами Китом Становичем и Ричардом Уэстом в статье «Индивидуальные различия в мышлении: последствия для дискуссии о рациональности?» (Individual Difference in Reasoning: Implications for the Rationality Debate?) для обобщенного обозначения двух полюсов человеческого мышления. Система 1 объединяет такие аспекты, как бессознательность, невербальность, шаблонность, нелогичность, ассоциативность, параллельность и др.; Система 2 объединяет сознательность, вербальность, гибкость, логичность, основанность на правилах, последовательность и др. — Прим. ред.

(обратно)

94

Долан П. Счастье по расчету: Как управлять своей жизнью, чтобы быть счастливым каждый день. — Альпина Паблишер, 2015.

(обратно)

95

Имеется в виду так называемый «стэнфордский зефирный эксперимент». Ученые предлагали детям сделать выбор: взять одну зефирку сразу или подождать 15 минут, чтобы получить две. В последующих исследованиях обнаружилось, что у детей, которым хватало терпения дождаться двойного вознаграждения, как правило, жизнь складывалась более благополучно. — Прим. ред.

(обратно)

96

Узелковое письмо у древних перуанцев. — Прим. пер.

(обратно)

97

Фонд, созданный с целью популяризации науки и нерелигиозных ценностей. — Прим. ред.

(обратно)

98

То есть основанной на принципах, позаимствованных из живой природы. — Прим. ред.

(обратно)

99

Не знаю что (фр.) — Прим. пер.

(обратно)

100

Басби Беркли (1895–1976) — американский хореограф и режиссер, автор и постановщик знаменитых «калейдоскопических» танцевальных номеров со множеством участников. — Прим. ред.

(обратно)

101

Семейство суперкомпьютеров, построенных на принципах, отличных от фоннеймановских. — Прим. пер.

(обратно)

102

Семантическая технология и база знаний, используемая Google. — Прим. пер.

(обратно)

103

Технологии, облегчающие работу с большими объемами неструктурированных данных. — Прим. ред.

(обратно)

104

Сознание, рассматриваемое неотрывно от чувственно-моторного опыта тела, которое взаимодействует с внешней средой и одновременно влияет на мысли и эмоции. — Прим. ред.

(обратно)

105

Построенный Вольфгангом фон Кемпеленом в 1769 году автомат в виде сидящего за массивным столом механического человека, якобы способного играть в шахматы. На самом деле движениями руки «турка» управлял оператор, прятавшийся в корпусе стола. — Прим. ред.

(обратно)

106

Протобионты — самоорганизуемые скопления липидов, из которых, предположительно, произошла клеточная жизнь. — Прим. ред.

(обратно)

107

Пинчон Т. Радуга тяготения. — М.: Эксмо, 2012.

(обратно)

108

Строка из стихотворения Т. С. Элиота «Геронтион» (1920). — Прим. ред.

(обратно)

109

«Let me google that for you» (часто сокращается до «LMGTFY») — интернет-мем, фраза, используемая на англоязычных форумах и в социальных сетях в качестве комментария к вопросу, ответ на который легко находится с помощью поисковой системы. — Прим. ред.

(обратно)

110

Китти Дженовиз была изнасилована и убита маньяком на глазах у как минимум десяти свидетелей, но все они — каждый по своей причине — не сочли нужным вмешаться или вызвать полицию. — Прим. ред.

(обратно)

111

Имеется в виду цикл научно-фантастических романов Фреда Саберхагена. — Прим. ред.

(обратно)

112

Обрист Х. У. Пути кураторства. — М.: Ад Маргинем Пресс, 2016.

(обратно)

113

Онлайн-сервис, который создает зацикленные видео. — Прим. пер.

(обратно)

114

Талер Р. Новая поведенческая экономика: Почему люди нарушают правила традиционной экономики и как на этом заработать. — М.: Эксмо, 2017.

(обратно)

115

Искусственный интеллект, предназначенный для создания картин и анимации. — Прим. пер.

(обратно)

116

«Новый ум короля. О компьютерах, мышлении и законах физики» (The Emperor's New Mind: Concerning Computers, Minds and The Laws of Physics) — книга британского физика Роджера Пенроуза, вышедшая в 1989 году. В ней Пенроуз утверждает, что человеческое сознание нельзя смоделировать с помощью обычного компьютера, поскольку оно не алгоритмично, однако его природу можно понять при помощи аппарата квантовой механики. — Прим. ред.

(обратно)

117

Холархия — согласно концептуальной системе американского философа Кена Уилбера, иерархия вложенных друг в друга холонов. Холон — система (или явление), которое само по себе является завершенным, но вместе с этим представляет собой часть ещё большей системы. В качестве примера естественной холархии Уилбер обычно приводит цепочку: атомы — молекулы — клетки — организм и т. д. — Прим. ред.

(обратно)

118

Сэмюэль Батлер (1835–1902) — английский писатель, один из классиков викторианской литературы. В отдельных его произведениях поднимается тема эволюции машин, которые вытеснят человеческую расу, приобретя более сильный жизненный инстинкт. — Прим. ред.

(обратно)

119

Город идей (исп.) — Прим. пер.

(обратно)

120

Смолин Л. Возвращение времени: От античной космогонии к космологии будущего. — М.: АСТ, Corpus, 2014.

(обратно)

121

Цитата из пьесы У. Шекспира «Макбет», пер. Б. Л. Пастернака. — Прим. ред.

(обратно)

122

Вещь мыслящая (лат.) — Прим. пер.

(обратно)

123

Автор имеет в виду один из двух видов фоторецепторов человеческого глаза. — Прим. пер.

(обратно)

124

Фрагмент из стихотворения Э. Э. Каммингса, пер. Н. В. Семонифф.

(обратно)

125

Речь идет о трехкольцевой концепции одаренности Джозефа Рензулли. Он описывает одаренность как взаимодействие трех групп человеческих качеств: интеллектуальные способности, превышающие средний уровень, высокая увлеченность выполняемой задачей и высокий уровень креативности. Схематически эта концепция изображается в виде трех пересекающихся колец. — Прим. ред.

(обратно)

126

Цитата из эссе Э. Хемингуэя «Смерть после полудня». — Прим. ред.

(обратно)

127

Человек чувствующий разумный. — Прим. ред.

(обратно)

128

Агрессивные разумные роботы, противостоящие людям в телесериале «Звездный крейсер „Галактика“». — Прим. ред.

(обратно)

129

Метцингер Т. Наука о мозге и миф о своем Я: Тоннель эго. — М.: АСТ, 2017.

(обратно)

130

Имеются в виду строки из песни «Колыбельная Международных сил» (MLF Lullaby): «У нас есть ракеты, чтобы переделать мир, / И один из пальцев на кнопке будет немецким». — Прим. ред.

(обратно)

131

Заключительное четверостишие в средневековой балладе. — Прим. ред.

(обратно) (обратно)

Комментарии

1

Сет Ллойд. Программируя Вселенную. — М.: Альпина нон-фикшн, 2014).

(обратно)

2

Steven Pinker, The Better Angels of Our Nature (New York: Viking Penguin, 2011). [Стивен Пинкер. Добрые ангелы человеческой природы]

(обратно)

3

James R. Beniger, The Control Revolution: Technological and Economic Origins of the Information Society (Cambridge, MA: Harvard University Press, 1986). [Джеймс Р. Бениджер. Революция контроля: технологические и экономические истоки информационного общества]

(обратно)

4

Nick Bostrom, Superintelligence: Paths, Dangers, Strategies (New York: Oxford University Press, 2014). [Ник Бостром. Сверхинтеллект: Пути, угрозы, стратегии]

(обратно)

5

G. K. Chesterton, Heretics (New York: John Lane, 1905). [Дж. К. Честертон. Еретики]

(обратно)

6

I. J. Good, «Speculation Concerning the First Ultraintelligent Machine», Advances in Computers, vol. 6, 1965. [И. Дж. Гуд. Рассуждения о первой сверхразумной машине // «Достижения вычислительной техники», номер 6, 1965 г.].

(обратно)

7

Kevin Kelly, «The Technium», Edge, entry February 3, 2014, -technium. [Кевин Келли. Техниум]

(обратно)

8

Alan Turing, «On Computable Numbers, with an Application to the Entscheidungsproblem», Proc. Lond. Math. Soc. 42, series 2 (1936–7): 230–65. [Алан Тьюринг. О вычислимых числах, с применением Entscheidungsproblem]

(обратно)

9

Steven Pinker, comment on «The Myth of AI», Edge, entry November 14, 2014, -myth-of-ai#25987 [accessed July 21, 2015]. [Стивен Пинкер. Комментарий к «Миф об ИИ»]

(обратно)

10

Hannah Arendt, The Life of the Mind, vol. 1 (New York: Harcourt Brace, 1978). [Ханна Аренд. Жизнь разума]

(обратно)

11

Nick Bostrom, «Existential Risks», Jour. Evol. & Technol. 9, no. 1 (2002), at . [Ник Бостром. Экзистенциальный риск]

(обратно)

12

Doris Jonas and David Jonas, Other Senses, Other Worlds (New York: Stein & Day, 1976). [Дорис Джонас, Дейвид Джонас. Другие чувства, другие миры]

(обратно)

13

David Romer, «Do Firms Maximize? Evidence from Professional Football», Jour. Political Econ. 114, no. 2 (2006): 340–65. [Дэвид Ромер. Фирмы максимизируют прибыль? Данные из профессионального футбола]

(обратно)

14

Karen A. Frenkel, «The Wisdom of the Hive: Is the Web a Threat to Creativity and Cultural Values? One Cyber Pioneer Thinks So», Sci. Amer., February 16, 2010. [Карен Френкель. Мудрость улья: является ли Сеть угрозой творчеству и культурным ценностям? Один киберпионер думает, что да]

(обратно) (обратно)

Оглавление

Благодарности

Предисловие

Самосознание человеческого уровня у искусственного интеллекта

Мыслить — не значит подчинять

У органического интеллекта нет будущего в долгосрочной перспективе

Поворотный момент для искусственного интеллекта

Искусственный интеллект — это я

Не можешь победить — присоединяйся

Разумные машины на Земле и за ее пределами

Лично я приветствую наших механических повелителей

Наши господа, рабы или партнеры?

Спроектированный интеллект

Сверхразумный отшельник

Это будет дикая гонка

Этой штукой кто-нибудь управляет?

Свидетель Вселенной

Давайте подготовимся!

Вопросы для расширенного теста Тьюринга

Эпохальное для человека событие

Добро пожаловать в ваше новое сверхчеловеческое «я»

Все мы мыслящие машины

Кризис контроля

Мы их построили, но мы их не понимаем

Нам надо делать домашние задания

Какое вам дело до того, что думают другие машины?

Машины не могут думать

У них нет ни «я», ни способности к злому умыслу

Повышение эффективности человеческого интеллекта

Машина — материальная вещь

Я могу ошибаться

Почему нельзя вычислить бытие и счастье

Ни одна машина не думает над вечными вопросами

Сингулярность — городская легенда?

Наноинтенциональность

Игры (и пророчества) разума

Колосс — это БДВ[32]

Искусственный интеллект с самосознанием? Не в этом тысячелетии!

Машины не думают, но и люди — тоже

Мы запутаемся в вопросах

Не надо путать производительность и компетенции

Искусственный интеллект сделает вас умнее

Поверхностное обучение

Естественные творения естественного мира

Три замечания об искусственном интеллекте

  1. Мы — это они

  2. Они — это мы

  3. Разум — раб страстей

Когда я говорю «Бруно Латур» я имею в виду вовсе не «баран ли тур?»

Мы пока что стоим в самом начале пути

Эволюционирующий искусственный интеллект

Мыслящие машины есть в кино

Пересадка головы?

Искусственный интеллект / искусственная жизнь

Мозг и другие мыслящие машины

Они принесут больше пользы, чем вреда

Держать их на коротком поводке

Следующий репликатор

Что если мы — микробиом кремниевого искусственного интеллекта?

Ты — то, что ты ешь

Система права и государственного управления у искусственного интеллекта

Робот с тайными планами

Умеет ли подводная лодка плавать?

Не бойся искусственного интеллекта

Чего-чего я боюсь?

Проектировочные машины для решения проблемы сложности мира

Машины, которые рассказывают истории

Протопия, а не утопия или антиутопия

Ограничения биологического разума

Всякое общество имеет такой искусственный интеллект, которого заслуживает

Звери острова ИИ

Мы станем одним целым

Результаты внеземных наблюдений за человеческим высокомерием

Кто оплачивает искусственный интеллект, тот и заказывает музыку

Я мыслю, следовательно, я ИИ

Каким будет место человека?

Великая афера искусственного интеллекта

Шансы в пользу искусственного интеллекта

Новая мудрость тела

От обычного «я» к искусственному «я»

Нам нужНо нечто большее, чем мышление

А туда ли мы идем?

Две когнитивные функции, которых все еще нет у машин

Среди машин, а не внутри них

Еще один тип многообразия

Нарративы и наша цивилизация

Ответственность человека

Усилители и исполнители человеческих решений

Надо сделать эту штуку такой, чтобы ее невозможно было не любить

Машины-актрисы

Назовем их искусственными пришельцами

Машины вообще что-нибудь делают?

Denkraumverlust

Аналоговая революция, которая не смеет назвать свое имя

Ценности искусственного интеллекта

Искусственный отбор и наши внуки

Очень полезные хитрости

Airbus 320 и орел

Человечность

Манипуляторы и манипулируемые

Не начинаем ли мы думать как машины?

Еще один фрактальный элемент общей картины

Е-Гея — распределенная техносоциальная интеллектуальная система

Разум улья

Глобальный искусственный интеллект уже здесь

Станут ли компьютеры чем-то вроде мыслящих и говорящих собак?

Мыслящие машины и тоска

Нахес от наших машин

Общей модели психического не будет

Им не понять сущности человеческих переживаний

Интуитивная теория машины

Мыслящие солончаки

Мыслящие машины для убийства содержат нашу совесть в чистоте

Когда мыслящие машины нарушают закон

Электрические мозги

Рободоктора

Смогут ли машины стать такими же умными, как трехлетние дети?

Курица, которая играет в крестики-нолики

Искусственный интеллект сделает нас умными, а роботов напугает

Когда мыслящие машины не являются благом

Справедливость для машин в мире органицизма[81]

Не будьте шовинистом в вопросах мышления

Звучит чудесно

Машины, которые работают, пока не перестают работать

Правила меняются по ходу игры

Ненаправленный интеллект

Человеческая культура — первый искусственный интеллект

За пределами зловещей долины

Фигура или фон?

Быстрый, точный и глупый

Они сделают нас лучше?

Проблема загрузки ценностей

По нашему образу

Умвельт[91] безответного

Они будут думать о себе?

Органическое мышление против артефактного

Контекст очень важен

Как предотвратить взрыв интеллекта

Мышление изнутри или снаружи?

Мягкий авторитаризм

Что искусственные интеллекты будут думать о нас?

История Джона Генри

Машинам неинтересны отношения

Следующая фаза эволюции человека

Доминирование против одомашнивания

Мыслящие машины появятся не скоро

Можно ли избежать цифрового апокалипсиса?

Смогут ли мыслящие машины преодолеть эмпатический разрыв?

Заботливые машины

Двигатели свободы

Есть вопросы?

Мыслящие машины — это старые алгоритмы на более быстрых компьютерах

Недостатки метафоры

Универсальное основание человеческого достоинства

Мысли о людях, которые мыслят как машины

Метамышление

Ценность ожидания

Экосистема идей

Железный закон интеллекта

Машины, ворующие мысли

Непредвиденные последствия

По-разному

Будут ли машины думать за нас?

«Простите за беспокойство»

Моральные машины

Когда мы выдернем вилку из розетки

Мониторинг и управление планетой

Панэмпиризм

Когда миньон перестает быть миньоном?

Недостаточно забагованный

Больше фанка, больше соула, больше поэзии и искусства

Будущее для нас закрыто

Нематериальная мыслимая машина

Смятение и томление

Кто боится искусственного интеллекта?

Я вижу развитие симбиоза

Смена представления о собственном «я» в распределенном мире

Предсказывать будущее легко

Страх божий, новая версия

Тюльпаны на могилу вашего робота

На пути к натуралистическому представлению о разуме

Машины, которые мыслят? Дичь какая-то!

Будущее пространство возможностей интеллекта

Любовь

Зловещий тест трех колец для Machina sapiens

Свобода от нас

Безупречный искусственный интеллект — это что-то из области научной фантастики

Зарождающиеся химеры «машина-человек»

Что, если им нужно страдать?

Поймем ли мы, что это случилось?

Метапрезентация

Посылка[131]: так мало времени — так много предстоит сделать

Fueled by Johannes Gensfleisch zur Laden zum Gutenberg