«Технологии против человека»

Технологии против человека (fb2) - Технологии против человека (пер. М. Ю. Килин,А. О. Юрков,Татьяна Юрьевна Глазкова) (Технологии и бизнес) 1371K скачать: (fb2) - (epub) - (mobi) - Герд Леонгард

Герд Леонгард Технологии против человека

© ООО «Издательство АСТ», 2018

© Fast Future Publishing Ltd 2016

© Федоров, Максим Валериевич, 2018

* * *

Предисловие

Книга «Технологии против человека» приподнимает завесу над важнейшими вызовами, которые сегодня стоят на пути развития нашей цивилизации. В ней обсуждаются неотложные вопросы о роли человека в мире экспоненциально развивающихся технологий: искусственного интеллекта, больших данных, виртуальной и дополненной реальности, редактирования генома, интернета вещей, роботизации, автоматизированного производства. Ее автор Герд Леонгард – известный футуролог и ведущий эксперт по потребительским трендам будущего. На страницах книги он подробно описывает возможные этические, экономические и социальные последствия широкого внедрения экспоненциальных технологий на нашей планете.

Появление первых электронных компьютеров в середине XX века стимулировало писателей-фантастов к моделированию гипотетического будущего. Спустя всего лишь несколько десятков лет многие казавшиеся нереальными идеи либо уже реализованы (интернет, беспилотные дроны, мобильная связь и прочее), либо проглядываются в проектах, над которыми в настоящий момент работают крупные технологические компании и ведущие научно-исследовательские учреждения по всему миру (чтение мыслей с помощью когнитивных технологий, цифровой двойник человека, нейрообучение)[1].

Занявшись описанием будущего на страницах своих произведений, известные писатели вскоре поняли опасности новых технологий. Для многих угрозы, связанные с техническим прогрессом, послужили дополнительным стимулом к творчеству. Так, Станислав Лем в циклах фантастических рассказов «Из воспоминаний Иона Тихого» и «Звездные дневники Иона Тихого» более полувека назад в полушутливой форме обозначил большинство обсуждаемых в настоящей книге проблем (преобладание искусственно созданного разума над человеческим; законодательные вопросы, которые связаны с развитием искусственного интеллекта; клонирование человеческого разума в цифровой форме и др.). Другой великий фантаст, Айзек Азимов, одним из первых начал широкое обсуждение этических вопросов, вызванных роботизацией, суперкомпьютерами и искусственным интеллектом. Этическим аспектам внедрения технологий автор настоящей книги уделяет особое внимание, зачастую ссылаясь на произведения Азимова.

Само по себе слово «робот» отнюдь не новое. Впервые оно появилось в 1920 году в пьесе Карела Чапека («Россумские универсальные роботы»), основной сюжет которой заключался в описании восстания искусственно созданных андроидов против человечества (в конце пьесы людской род оказался полностью уничтожен восставшими машинами). Вопрос о возможном выходе технологий из-под контроля и их конфликте с человечеством будоражил умы многих людей на протяжении столетий, что отражалось не только в научно-фантастической литературе. Рассуждения на эту тему неоднократно приводили мыслителей к апокалиптическим прогнозам, к беспокойству о трагическом финале человечества вследствие технологического прогресса.

В книге «Технологии против человека» автор поднимает все выше упомянутые темы уже на новый уровень обсуждения – в контексте современной эпохи, когда многие смелые идеи фантастов прошлого стали повседневной реальностью миллиардов людей (мобильная беспроводная связь, видеоконференции, интернет и т. д.). Отсюда крайне убедительно утверждение Леонгарда, что «наконец мы достигли точки, когда ориентированные на человека политика и стандарты, цифровая этика, социальные контракты и глобальные соглашения о гуманизации этих экспоненциальных технологий будут столь же важны, как и договоры о нераспространении ядерного оружия» (глава 12).

В своей работе автор предупреждает не только о явных опасностях, сопряженных, например, с потенциальной возможностью массированных кибератак на финансовую или энергетическую систему. На мой взгляд, одним из самых важных пунктов в книге Леонгарда является предупреждение о менее заметных и тем самым более опасных проблемах, которые связаны с тем, что «мы скоро можем стать совершенно бесполезными без технологий – медленными, несовершенными, тупыми, убогими, ленивыми и страдающими ожирением» (глава 12). Действительно, история показывает, что с технологическими угрозами человечество, как правило, справлялось и справляется до сих пор. Хорошие примеры тому приводил в своих интервью академик Сергей Петрович Капица[2]. Стоит отметить, что Сергей Петрович и его коллеги (Сергей Павлович Курдюмов, Григорий Геннадьевич Малинецкий и др.) очень многое сделали для создания теории научного прогнозирования поведения сложных социальных систем, в том числе и таких масштабных, как человечество, на основе базовых принципов синергетики – науки о самоорганизации в сложных системах. Подробнее с данной темой можно ознакомиться, прочитав книгу «Синергетика и прогнозы будущего»[3] и последующие работы ее авторов, где с позиций синергетики и нелинейной динамики рассматриваются модели устойчивого развития как отдельных стран, так и человечества в целом. Исходя из этих исследований, можно сделать вывод, что при условии сохранения некоего критического количества людей на планете, владеющих логическим мышлением и достаточным знанием в комбинации с доброй волей, человечество справится с любыми угрозами технологической природы.

Однако если люди потеряют свои «главные человеческие качества, такие как конфиденциальность, тайна, анонимность, эмоции, спонтанность, удивление, интуицию, воображение и духовность» (глава 12) и, таким образом, перестанут быть людьми, то человечество может скоро исчезнуть с лица Земли в первую очередь как социальный феномен, а вскоре и вовсе как биологический вид. В этом-то и кроется основная опасность тех новых технологий, которые приходят практически каждый день в нашу повседневность. За тот комфорт, который они приносят, мы можем заплатить высокую цену. Будет уместно вспомнить сказку Карло Коллоди «Приключения Пиноккио», где описывается Страна развлечений – место, в котором можно «довольствоваться только игрой» и увеселениями. Однако невеселый итог пребывания длительное время в праздности – это превращение в осла. Поэтому сложно не согласиться с Леонгардом в его положении: «Если мы хотим оставаться „естественными людьми“, несмотря на мощные приманки волшебных технологий; если мы хотим сохранить то, что действительно делает нас счастливыми, а не только то, что заставляет нас функционировать, мы должны принять меры, пока еще есть пространство для маневра» (глава 12).

В своей работе автора формулирует ряд основных принципов для «обсуждения наилучших путей продвижения вперед», которые, на его взгляд, помогут вывести человечество на путь устойчивого и гармоничного развития без отказа от благ технологического прогресса.

Во многом идеи, изложенные в данной книге, перекликаются с идеями, обсуждаемыми в рамках глобальной инициативы IEEE Global Initiative по этическим рекомендациям для искусственного интеллекта и автономных систем[4]. Эта инициатива является программой Института электротехники и электроники (IEEE), крупнейшей в мире технической профессиональной организации, насчитывающей более 400 000 членов в более чем 160 странах. Деятельность IEEE посвящена продвижению технологий на благо человечества[5].

В результате напряженной работы международного коллектива из более 100 специалистов разных областей науки появился проект документа под названием «Рекомендации для этически обоснованного проектирования. Концепция взаимодействия людей с искусственными интеллектом и автономными системами с приоритетом человеческих ценностей»[6]. Со стороны Российской Федерации в этом проекте участвовала рабочая группа, координируемая Павлом Михайловичем Готовцевым, заведующим лабораторией в НИЦ «Курчатовский институт»[7]. Программа IEEE по этическим рекомендациям для искусственного интеллекта и автономных систем уже привлекла большое внимание со стороны видных мировых политических и культурных организаций. Создание этого документа служит хорошим примером того, что предлагаемый Леонгардом подход по вынесению социальных и этических проблем, связанных с экспоненциальными технологиями, на общепланетарный уровень обсуждения может действительно привести к положительным сдвигам в обществе. Поэтому я вслед за автором книги призываю читателей вступить в «Команду людей» и «не поддаваться искушению предпочесть технологическое волшебство, т. е. великолепное моделирование реальности, самой реальности».

С глубокой благодарностью Григорию Анатольевичу Кабатянскому за обсуждение предисловия и Ксении Дмитриевне Поляковой за редактирование текста.

Максим Валериевич Федоров, профессор Сколтеха, директор Центра науки, образования и инноваций Сколтеха по научным и вычислительным технологиям для задач с большими массивами данных, директор Образовательной программы Сколтеха по наукам о данных, Сколковский институт науки и технологий (Сколтех)

Эту книгу я посвящаю своей любимой жене Анжелике Фельдман, которая так много рассказала мне о человечности, терпела мое постоянное отсутствие и поддерживала меня во время создания книги, а также высказывала критические замечания, которые были мне так необходимы. Без тебя я бы ее никогда не написал.

Введение

Как можно сохранить человечность перед лицом всеобъемлющих экспоненциальных[8] технологических изменений?

Наш мир вступает в эпоху по-настоящему значимых изменений, и многие из нас скоро будут потрясены неожиданными темпами технологического развития. Эти экспоненциально развивающиеся технологические достижения содержат в себе огромный потенциал, но вместе с тем и большую опасность, к которой следует подходить со всей ответственностью.

Человечеству брошен вызов

Я думаю, что изменения, произошедшие после недавних неожиданных событий, таких как, к примеру, Брекзит (решение Соединенного Королевства выйти из состава Европейского союза), покажутся ничтожными по сравнению с тем, что нас ожидает в сфере технологий: изменениям подвергнутся все стороны жизни на планете и даже сама наша человеческая сущность.

В прошлом все радикальные изменения, выпадавшие на долю человечества, происходили от последовательной эволюции одного ключевого фактора: от дерева, камня, бронзы и железа – к паровому двигателю, электричеству, автоматизации производства и интернету. Сегодня, напротив, я предвижу, что технологии спровоцируют такие мегасдвиги, которые будут действовать совместно и смогут изменить не только экономику, культуру и общество, но также нашу природу и мораль.

Манифест процветания человечества

«Технологии против человечества» – это не хвала стремительной технологической революции и не плач по краху цивилизации. Кинолюбителям, таким же, как и я, наверное, уже давно надоели голливудские утопические фантазии и постапокалиптические антиутопии. Будущее нельзя создать, основываясь исключительно на слепом оптимизме или парализующем страхе!

Цель этой книги – усилить и ускорить процесс обсуждения мер по контролю и безопасному использованию научных и технологических достижений, с тем чтобы технологии служили на благо человечества и способствовали его процветанию.

Я надеюсь выйти за рамки закрытой дискуссии между экспертами, учеными и аналитиками и донести эти проблемы до простых людей, которые сейчас мало ими интересуются или вовсе о них не знают. Как футуролог, а также исследователь настоящего, я бы хотел представить вашему вниманию более определенную картину будущего, которое многим кажется далеким и/или недостойным внимания.

Предназначение моей книги – положить начало оживленной дискуссии, которую я считаю самым важным разговором человечества. Моя роль заключается в том, чтобы стать ее катализатором, поэтому я не ставил себе задачей написать «инструкцию по применению»; вместо этого я предлагаю вам энергичный манифест. И, чтобы начатый мной разговор не смолк, я буду более подробно высказываться по обозначенным мной проблемам в своих будущих выступлениях, онлайн-публикациях и фильмах.

То, что мы можем что-то сделать, не значит, что мы должны это делать

Я думаю, что нам стоит отступить от разговоров о возможностях и путях их достижения, которые ведут эксперты. Вместе этого посмотрим на ситуацию с другой стороны: какую роль технологии могут оказать на развитие человечества? Возможность воплотить идею в жизнь еще не означает, что нам стоит это делать.

Чтобы разобраться в этой проблеме, я обозначил основные движущие силы изменений и представил оценку потенциальных осложнений, которые они могут спровоцировать. Я подчеркнул важность многих вопросов, возникающих на фоне ускоренного (часто даже экспоненциального) темпа развития науки и технологий.

Я считаю, что решения, принимаемые относительно научных и технологических исследований, их финансирования и регулирования, должны приниматься в первую очередь в интересах счастья и благополучия всего человечества. В конце концов, процесс познания осуществляется с помощью технологий, а не ради них.

Далее, я представляю несколько вариантов развития событий, которые могут осуществиться в зависимости от того, какой путь мы выберем. Я завершаю несколькими провокационными идеями, которые должны подтолкнуть нас к разговору о том, как нам выбрать наилучший путь для человечества и как принимать оптимальные решения на этом пути.

Чтобы начать этот смелый разговор и направить дискуссию в правильное русло, я разделил свою книгу на двенадцать глав.

Глава 1. Пролог к будущему. Сейчас, в середине второго десятилетия нашего века, мы находимся в точке разворота в развитии технологий, мы переживаем момент, когда экспоненциальные и комбинаторные изменения в технологическом окружении человечества становятся неизбежными и необратимыми. Это время – наш последний шанс разобраться в природе грядущих изменений: от искусственного интеллекта до редактирования генома. И для этого нам будет необходимо найти баланс.

Глава 2. Технологии против нас. В этой главе я объясняю, почему технологии могут имитировать нас, а в будущем смогут даже заменить нас и почему они никогда не смогут стать нами. Технологии морально нейтральны, и поэтому их неизбежное внедрение в нашу жизнь должно обсуждаться как на государственном уровне, так и в частных корпорациях. Я рассматриваю этику как определяющую составляющую человека, превыше религиозных и культурных различий.

Глава 3. Мегасдвиги. Переход на цифровой формат преподносится как главная трансформация в деятельности организаций и государственного сектора, в то время как на самом деле это лишь один из десяти мегасдвигов, которые навсегда изменят жизнь человечества. Я изучаю эти мегасдвиги: от перехода на мобильные устройства до автоматизации и роботизации. Это не медленные эволюционные процессы, к которым у нас будет время приспособиться. Они скорее представляют собой ураган потрясений и изменений, которые наверняка пошатнут основы устоявшихся экономических отношений.

Глава 4. Автоматизация общества. В этой главе я опровергаю распространенные заблуждения о том, что автоматизация приведет только к потере рабочих мест для «синих воротничков» (или даже для белых). Грядущая волна автоматизации выйдет далеко за пределы предприятий и общественной инфраструктуры и перекинется на наши биологические процессы, например старение или роды. Хотя мы привыкли к постепенным общественным изменениям, на адаптацию к которым у нас уходило вплоть до десятилетия, я спрашиваю, готовы ли мы все вместе отказаться от своего человеческого суверенитета в пользу обезличенной власти технологий? Готовы ли мы к самому большому ограничению свободы воли и индивидуальных прав человека?

Глава 5. Интернет вещей. Эта глава посвящена проблемам, связанным с интернетом вещей – пожалуй, главной темой современных технологических трансформаций, которой особенно интересуются крупные корпорации. Задумываемся ли мы о различии между алгоритмами и человечностью (тем, что я называю андроритмами)? Придется ли нам отказаться от человечности и стать похожими на механизмы, чтобы не стать отсталыми элементами в мире интернета вещей? С учетом того, как быстро видоизменяются компьютеры, превращаясь сначала в мобильные устройства, затем в носимые предметы и в будущем, вероятно, в то, что можно будет внедрить в организм с помощью инъекций или имплантов, решимся ли мы принести в жертву этим сомнительным цифровым трендам свои уникальные видовые особенности?

Глава 6. От магии к мании и вреду. Здесь я наглядно показываю, как наша любовь к технологиям развивается по предсказуемому пути: от волшебства к мании и вредным последствиям. Сейчас мы позволяем себе наслаждаться опосредованной технологиями жизнью и общением, но на самом деле это не наш выбор: технологии провоцируют выработку определенных гормонов, которые, в свою очередь, делают нас зависимыми от них – все это в интересах тех, кто стоит за «большими технологиями». Пока мы беззаботно веселимся на вечеринке под названием «технологический прогресс», мы не думаем о том, какую цену нам придется заплатить за это завтра.

Глава 7. Цифровое ожирение: наша новая пандемия. Цифровое ожирение не так широко известно, как физическое, но в последнее время оно превратилось в эпидемию невообразимых размеров. Мы с жадностью поглощаем новости, обновления и прочую сгенерированную алгоритмами информацию и тем самым пользуемся сомнительными развлечениями, которыми нас снабжают бурно развивающиеся технологические пузыри. Принимая во внимание приближающуюся волну еще более новых технологий и интерактивных цифровых платформ, нам пора задуматься не только о правильном физиологическом питании нашего тела, но и о цифровом.

Глава 8. Меры предосторожности против активных действий. Я полагаю, что для безопасного и благоприятного будущего не нужно сдерживать или оттягивать инновации, но вместе с тем необходимо считаться с экспоненциальными рисками и не перекладывать ответственность на других. Оплату счета, который придет будущим поколениям за наши азартные игры с технологиями, нельзя откладывать – это может спровоцировать сиюминутные неприятности небывалых масштабов. И меры предосторожности, и активные действия недостаточны в отношении комбинаторных и экспоненциальных изменений, для которых промедление так же пагубно, как и рывок вперед. Трансгуманизм, со своей тягой к неизведанному, представляет собой наиболее опасный выход из сложившейся ситуации.

Глава 9. Счастливая случайность. Деньги правят миром, но счастье важнее. Оно не только считается смыслом человеческой жизни во многих философских и культурных традициях, но и служит единственным фактором, который нельзя с точностью измерить и воссоздать на основе технологий. В то время как технологии делают доступными гедонистические удовольствия, что мы можем сделать, чтобы защитить более глубокие проявления счастья, включающие в себя эмпатию, сопереживание и осознанность? Счастье также связано с удачей, со случайностью – как же мы сможем использовать технологии для минимизации опасностей, которым подвергается жизнь человека, и в то же время сохранить ее спонтанность и загадочность?

Глава 10. Цифровая этика. Технологии будут вмешиваться во все сферы человеческой деятельности, и цифровая этика станет вопросом первоочередной важности для каждого человека и любой организации. Пока мы еще не создали единого языка для обсуждения этой проблемы и не пришли к единому мнению по правам и обязанностям в цифровой сфере. Устойчивое экологическое развитие, как правило, рассматривается развивающимися странами как проблема ведущих мировых держав, и про него часто забывают во время экономических рецессий. Цифровая этика, напротив, выйдет на первый план в политической и экономической жизни. Настало время поговорить об этике в сфере цифровых технологий, представляющих собой, возможно, большую угрозу для человечества, чем ядерное оружие.

Глава 11. Земля 2030: рай или ад? Когда мы фантазируем о ближайшем будущем, мы можем легко себе представить, что наша жизнь и работа изменятся до неузнаваемости. Многие из этих изменений мы примем с радостью, например возможность работать не ради денег, а ради удовольствия. Однако некоторые из тех прав и свобод, которые сейчас воспринимаются нами как сами собой разумеющиеся, например свобода выбирать, какие товары потреблять, или свобода определять свой стиль жизни, могут исчезнуть или остаться привилегией исключительных людей. Рай это или ад? Решайте сами.

Глава 12. Время решений. В этой завершающей главе я утверждаю, что настало время изменения отношения к технологиям: мы должны не просто применять их, а интегрировать их в человеческую жизнь, одновременно устанавливая границы. Бесчисленные этические, экономические, социальные и биологические проблемы не будут ждать следующего форума, который организует будущее поколение. Пора начать регулировать массовое применение технологий и подойти к этому так же ответственно, как мы бы подошли к регуляции любой другой силы, ведущей к изменениям, например ядерной энергии. Эта глава – не итог большого диалога, а лишь начало разговора, который должен продолжиться в медиа, в школах, в правительстве и, что особенно важно, в советах директоров. Прошло то время, когда технократы и технологи могли перекладывать этические проблемы на чужие плечи.

Я надеюсь, что эта книга вдохновит вас на размышления о вызовах, на которые нам предстоит ответить, и я приглашаю вас поучаствовать в дальнейшем обсуждении технологий против человечества на сайте .

Герд Леонгард

Цюрих, Швейцария

Август 2016

Глава 1. Пролог к будущему

За последующие двадцать лет жизнь человечества изменится больше, чем за последние триста.

Людям свойственно относиться к будущему как к продолжению настоящего или даже прошлого. Принято считать, что тот порядок вещей, который установлен в настоящую эпоху, также будет хорошо служить нам и в будущем, лишь в несколько измененной форме. Тем не менее наша настоящая реальность, подверженная колоссальному влиянию экспоненциальных и комбинаторных технологических изменений, обещает, что будущее уже не будет ее продолжением. Напротив, оно будет чем-то абсолютно иным, так как логика, стоящая за областью предположений о будущем, изменилась.

Как футуролог, в своей книге я попытаюсь почувствовать и представить себе ближайшее будущее (от пяти до восьми лет от настоящего момента), погрузиться в него, представить взгляды той эпохи, а затем, с этой позиции, ретроспективно оценить наше настоящее.

Затем я перейду к анализу вызовов эпохи и предложу манифест, своеобразный призыв к тому, чтобы остановиться и подумать, прежде чем бездумно нырять в цифровой водоворот и потерять то человеческое, что в нас есть, вместо того чтобы возвыситься над своей человеческой природой, как мы изначально планировали. Уже сейчас нам стоит задуматься о том, что будущее – это не то, что с нами случается, а то, что мы создаем сами, и нам придется нести за него ответственность.

Историческая точка начала глобального экспоненциального развития технологий

Я считаю, что мы живем в самое удивительное время в истории человечества, и привык смотреть в будущее с оптимизмом. Тем не менее если мы не хотим потерять то, что составляет нашу человеческую сущность, нам необходимо придерживаться более комплексного подхода по управлению технологиями.

Мы находимся в точке начала глобального экспоненциального развития экспоненциальной кривой во многих сферах науки и технологий, т. е. в такой точке, где рост технологических изменений, исчисляемый от каждого измеряемого периода к последующему, становится все более значительным. В центре истории об экспоненциальном росте находится закон Мура, впервые провозглашенный в 1970-х годах. Его суть состоит в том, что скорость процессора (производительность чипа), которую можно приобрести за 1000 долларов, увеличивается вдвое каждые 18–24 месяца.

Экспоненциальный темп роста сейчас наблюдается в таких сферах, как глубокое обучение[9], генетика, материаловедение, производство. Время, необходимое для экспоненциального удвоения, во многих сферах уменьшается, и это создает потенциал для коренных перемен во всех сферах деятельности на планете. На языке терминов это можно выразить так: мы прошли тот этап на кривой, когда было сложно заметить, чтобы хоть что-то изменялось, т. е. мы больше не двигаемся маленькими шагами от 0,01 до 0,02 или от 0,04 до 0,08.

В то же время мы, к счастью, еще не достигли той стадии, когда подобные удвоения настолько велики, что могут создать чрезмерную нагрузку для нашего понимания и лишить нас способности действовать. Если рассматривать происходящее в перспективе, то (говоря условно) в большинстве сфер мы сейчас находимся на относительном уровне производительности около четырех, но уже следующий шаг приведет нас к восьми, а не к линейному увеличению до пяти! Именно сейчас экспоненциальный рост приобретает особое значение, и под воздействием новых технологий радикальным изменениям подвергаются все сферы жизни общества: от энергетики, транспорта, медиа и коммуникаций до медицины, здравоохранения и пищевой промышленности.

Обратите внимание на последние изменения в автомобильной индустрии: за последние семь лет мы прошли путь от электромобилей с диапазоном менее чем 50 миль (80 км) до последней модели Tesla и BMW i8, на которых можно проехать 300 миль (483 км) без подзарядки1,2. В Нью-Йорке тем временем уже насчитывается больше заправочных станций для электромобилей, чем обычных топливных заправок3. Практически каждый месяц новые открытия позволяют увеличивать производительность электробатарей, чья низкая эффективность раньше была главным препятствием для массового перехода на электромобили. Скоро мы сможем заряжать наши электромобили раз в неделю, затем раз в месяц и в конце концов только раз в год – и тогда уже лишь немногие захотят ездить на роскошных машинах со старым добрым бензиновым двигателем!

Подумайте также о том, как резко снизилась стоимость секвенирования генома[10]. В 2008 году она составляла десять миллионов долларов, а сейчас опустилась до восьмисот долларов4. Только представьте, что может случиться, когда суперкомпьютеры, чья мощность вырастет экспоненциально, станут доступны для всех медицинских учреждений и лабораторий: цена секвенирования генома человека может упасть до пятидесяти долларов5.

А теперь представьте себе следующее: данные геномов двух миллиардов людей загружают в надежное облачное хранилище (желательно, конечно, сохраняя анонимность) и используют для исследований, осуществляемых по большей части искусственным интеллектом (ИИ), работающим на базе тех же суперкомпьютеров.

Возможности, открывающиеся для научных изысканий, в таком случае превзойдут все наши самые смелые ожидания, но в то же время повлекут за собой серьезные этические осложнения: увеличение продолжительности жизни, репрограммирование генома, потенциально – конец старения или даже смерти (для тех, кто сможет себе это позволить). Означает ли это, что богатые будут жить вечно, в то время как бедные не смогут даже купить лекарство от малярии?

Подобные экспоненциальные преобразования говорят о том, что видение будущего как продолжения линейного роста, вероятно, приведет к катастрофически ошибочным предположениям о масштабах, скорости и потенциальных последствиях изменений. Все это выглядит безобидно и как будто бы так отдалено от нас, что очень многие люди не могут понять растущего беспокойства по поводу угрозы человечеству со стороны развивающихся технологий, ведь мы сейчас находимся только у подножия кривой. Такие проблемы, как потеря приватности, технологическая безработица или деквалификация человека, еще не успели стать нашими повседневными заботами, но ситуация скоро изменится.

Важно понимать, что главные изменения будут происходить из-за комбинаторных инноваций, например, из-за одновременного использования нескольких мегасдвигов и деструктивных элементов. Так, в третьей главе мы рассмотрим, как компании, стремящиеся создать новые деструктивные предложения, соединяют при использовании большие массивы данных и интернет вещей[11] наряду с ИИ и облачными сервисами.

Произведенные ли по доброй воле, без оглядки на нежелательные последствия, или же, наоборот, с целью навредить, грядущие изменения никого не обойдут стороной. С одной стороны, технологические прорывы могут существенно улучшить нашу жизнь и приблизить процветание человечества (см. главу 9); с другой стороны, некоторые из этих экспоненциальных изменений представляют угрозу для общественного устройства и ставят под вопрос нашу человечность.

Вернор Виндж, компьютерный ученый и знаменитый писатель-фантаст, написал в 1993 году следующие строки:

Спустя тридцать лет у нас появятся технические возможности для создания сверхчеловеческого интеллекта. Сразу после этого эра человечества подойдет к концу. Можно ли избежать такого прогресса? И если его не избежать, можно ли направить его так, чтобы мы смогли его пережить?6

Добро пожаловать в ХелВен!

Нам становится ясным, что будущее отношений между людьми и машинами зависит в первую очередь от экономической системы, которая их порождает. Мы сталкиваемся с тем, что я называю вызовами ХелВен[12]. Так, мы на полной скорости приближаемся к миру, похожему на нирвану, где нам уже не нужно зарабатывать на жизнь, где все проблемы решены с помощью технологий и где мы можем наслаждаться изобилием всего – что иногда называется экономикой Звездного пути7.

Или же, напротив, мы можем оказаться в мире антиутопии, где над обществом установлен контроль суперкомпьютеров, интернет-ботов, суперумных программ слежения – машин и алгоритмов, киборгов и роботов, а точнее, их владельцев. В мире, где людей будут терпеть в лучшем случае только в качестве домашних животных или как какие-то необходимые помехи, а в худшем – новые кибербоги обратят нас в рабство. Это темное общество будет представлять собой бесчувственный, бездушный и бестелесный мир, то есть мир, в котором все человеческие свойства будут утрачены.

Ты можешь дожить до того, что ужасы дел рук человеческих, которым ты будешь свидетелем, выйдут за границу твоего понимания.

– Никола Тесла8

Насколько параноидален этот взгляд?

Задумайтесь о том, что уже стало частью повседневности: доступные за небольшую цену цифровые сервисы позволяют нам перепоручать наше мышление, решения и воспоминания все дешевеющим мобильным устройствам и их облачным хранилищам. Эти «внешние мозги» очень быстро наращивают функционал: от знания-меня и представления-меня до бытия-мной. Они уже стали не чем иным, как нашей цифровой копией, и если это по-прежнему вас не смущает, то только представьте, как мощность этих «внешних мозгов» увеличивается в сотни раз в течение следующих пяти лет.

Нужно найти дорогу в незнакомом городе? Не обойтись без карт Google. Сомневаетесь, куда пойти обедать? TripAdvisor подскажет. Некогда ответить на электронные письма? Новый умный помощник от Gmail все сделает сам9. Разумеется, человечество еще не дошло до той стадии сближения с машинами, когда всем можно оставаться дома, пока двойники-киборги проживают жизнь за нас, как в фильме Брюса Уиллиса «Суррогаты»10. Также мы пока не можем осуществить сценарий из сериала 2015 года «Люди», где можно было приобретать многофункциональных человекоподобных компаньонов-синтов11. Но на самом деле мы недалеки от этого.

В этой книге я постараюсь объяснить, почему антиутопическая картина будущего представляется мне маловероятной. Вместе с тем я берусь утверждать, что степень влияния технологий на нашу жизнь и жизнь будущих поколений всецело обусловлена нашим собственным выбором.

Технологии и человечество переживают сближение, и мы находимся в точке поворота

Три важных слова пришли мне на ум, пока я писал книгу: экспоненциальный, комбинаторный и рекурсивный.

1. Экспоненциальный. Технологии развиваются экспоненциально. Несмотря на то что микрочипы, будучи подчинены основным законам физики, не могут бесконечно уменьшаться в размерах, технологический прогресс во многом еще совершается в соответствии с законом Мура12. Кривая производительности микропроцессоров демонстрирует экспоненциальный рост, а не линейный или постепенный, как люди привыкли считать. Это представляет определенные сложности для понимания: технологии развиваются экспоненциально, а люди (я надеюсь!) остаются заложниками линейности.

2. Комбинаторный. Разные проявления технологического прогресса комбинируются и интегрируются. Такие инновационные технологии, как машинный интеллект, глубокое обучение, интернет вещей и редактирование генома, начинают пересекаться и дополнять друг друга. Они больше не применяются только в узкоспециализированных сферах – напротив, уже во многих секторах можно наблюдать долгоиграющие последствия их применения. Технологии CRISPR-Cas9[13], применяющиеся при редактировании генома, могут, к примеру, стать ключом к нахождению лекарства от рака и значительно увеличить продолжительность жизни13. Такие технологии смогут перевернуть всю систему здравоохранения, социального страхования и вообще капитализма, каким мы его знаем сейчас.

3. Рекурсивный. Такие технологии, как ИИ, когнитивные вычисления и глубокое обучение, смогут в дальнейшем привести к рекурсивным (т. е. самоусилительным) усовершенствованиям (т. е. усовершенствованиям систем самих себя). Уже можно, к примеру, наблюдать первых роботов, которые могут сами себя обновлять и перепрограммировать и контролировать состояние энергосети, от которой зависит их функционирование. Все это может привести к так называемому взрыву интеллекта. Профессор Оксфордского университета Ник Бостром утверждает, что подобный прогресс может привести к возникновению суперинтеллекта – систем ИИ, которые смогут обучаться быстрее людей и интеллектуально превзойти нас во всех смыслах14. Если мы можем создать ИИ с уровнем IQ 50, что же остановит нас от разработки ИИ с IQ 50 000 и что произойдет, если мы это сделаем?

К счастью, суперинтеллект еще не является предметом для беспокойства в нашем ближайшем будущем. Однако у нас и без него проблем хватает: отслеживание нашей жизни в интернете, скрытые камеры повсеместно, ослабление конфиденциальности, потеря анонимности, хищение электронных личных данных, цифровая безопасность. Поэтому я и считаю, что основа для будущего (оптимистичного или антиутопического) закладывается здесь и сейчас.

Мы находимся на критически важном этапе и должны целостно оценивать ситуацию и проявлять большую дальновидность в наших действиях, осуществляя строгий надзор за технологиями, которые могут в дальнейшем получить над нами бо́льшую власть, чем мы могли себе представить.

Мы больше не можем позволить себе существовать по принципу «поживем – увидим», если и дальше хотим сохранять контроль над своей жизнью и ее развитием. Вопрос, заслуживающий нашего внимания, заключается в том, чтобы оставаться и в будущем людьми, пока мы будем заниматься развитием технологий, изменяющим человечество навсегда.

Мы не должны позволять свободным рынкам, предпринимателям и военным организациям принимать решения за нас. Будущее человечества не должно строиться в соответствии с устаревшими порядками индустриального общества восьмидесятых годов, в котором за высшее благо почитались прибыль и рост любой ценой. Несмотря на то что технологии являются источниками огромных доходов и генерируют значительную прибыль, ни Кремниевая долина, ни наиболее технологизированные страны не должны становиться «центром управления человечества».

К счастью, в настоящее время еще соблюдается принцип 90/10: 90 % возможностей, которые открывают нам новые технологии, могут пойти на пользу человечеству, в то время как лишь 10 % уже оцениваются как негативные и вызывают беспокойство. Если нам удастся и дальше сохранить этот баланс или даже поднять соотношение до 98/2, то наши усилия будут не напрасны. В то же время эти проблемные 10 % могут быстро возрасти до 50 % (например, по неосторожности) или выше, если мы не придем к согласию по поводу того, как именно будем использовать технологии на благо человечества. Как видим, сейчас точно не самое лучшее время, чтобы пускать ситуацию на самотек и отстраненно наблюдать за ее развитием.

Искусственный интеллект и редактирование генома как два главных двигателя прогресса

ИИ – первая движущая сила в области экспоненциальных технологий; ее можно определить как разработку машин (программ или роботов), обладающих интеллектом и способных к самостоятельному обучению, т. е. это машины, способные думать как люди. Ожидается, что способности ИИ будут развиваться в два раза быстрее, чем остальные технологии, превосходя даже закон Мура и рост вычислительных мощностей15.

На сегодняшний день самая высокая опасность, связанная с искусственным интеллектом, заключается в том, что люди слишком рано начинают верить, что они его понимают.

– Элиезер Юдковский[14],16

Спутником ИИ на пути кардинальных изменений является геномная инженерия (human genom engineering), которая способна изменять ДНК человека так, чтобы положить конец некоторым или даже всем болезням, усовершенствовать наше тело и, возможно, даже остановить смерть. Все эти процессы будут возможны благодаря ИИ.

Эти два фактора окажут значительное влияние на жизнь человечества уже в ближайшие двадцать лет. Данная книга посвящена в основном ИИ и глубокому обучению, так как они уже сейчас имеют решающее значение для будущего и выступают ведущими факторами в развитии таких революционных технологий и направлений, как нанотехнологии, геномная инженерия и материаловедение.

Уподобиться богу?

Рэй Курцвейл, доктор наук и технический директор Google, оказавший значительное влияние на футурологию в общем и мою работу в частности, занимает позицию, которую я в этой книге постараюсь оспорить. Он предсказывает, что к 2025 году компьютеры превзойдут вычислительную мощность человеческого мозга, а к 2050-му отдельно взятый компьютер превзойдет мощность всех человеческих мозгов вместе взятых17.

Курцвейл утверждает, что эти изменения ознаменуют появление так называемой сингулярности – момента, когда компьютеры наконец превзойдут человеческий мозг по показанию вычислительной мощности. В этом случае человеческий интеллект сможет отойти от своей биологической природы, а компьютеры смогут независимо и, скорее всего, рекурсивно преодолеть свое изначальное программирование, что явится решающим моментом в истории человечества.

В конце 2015-го Рэй Курцвейл произнес следующую речь в Университете сингулярности[15]:

Эволюционируя, мы приближаемся к Богу. Эволюция – это духовный процесс. В мире есть красота, любовь, творчество и интеллект, и все это заключено в неокортексе[16]. Так что мы будем заниматься разработкой неокортекса мозга и таким образом уподобимся Богу18.

Я разделяю взгляд доктора Курцвейла на будущее компьютеров, которые смогут уподобиться мозгу человека, но – с Богом или без – я не думаю, что мы должны расплачиваться нашей человечностью за возможность обрести неограниченный небиологический интеллект. Мне кажется, что это плохая сделка, шаг назад, а не вперед, и в этой книге я попытаюсь объяснить, почему так твердо убежден в том, что человечеству не нужно вступать на этот путь.

Сейчас у компьютеров еще не хватает мощностей, необходимых для осуществления предсказаний Курцвейла. Чипы еще слишком большие, сети не настолько быстрые и электросеть не в состоянии обеспечить энергией машины подобной производительности. Разумеется, это всего лишь временные трудности, ведь мы каждый день слышим о новых прорывах в науке, а также подозреваем о секретных лабораториях, в которых проводятся инновационные разработки.

Нам нужно быть готовыми к сингулярности: открытыми, но способными к критике, научными, но гуманными, любопытными, но осторожными. Предпринимательский дух в нас не должен заглушать заботу о процветании общества.

Научная фантастика становится научной реальностью

Скоро машины уже смогут справляться с любым трудом – как физическим, так и умственным: понимать язык, различать сложные изображения или умело использовать наше тело, приспосабливая его к различным ситуациям. К этому времени мы уже, несомненно, будем полностью зависеть от машин во всех сферах жизни. Мы также будем свидетелями соединения человека и машины в одно целое благодаря таким технологиям, как дополненная реальность (ДР), виртуальная реальность (ВР), голограммы, импланты, интерфейс «мозг – компьютер» (ИММ) и создание частей тела с использованием нанотехнологий и синтетической биологии.

Кто же будет решать, что есть человек, когда в нашей крови будут плавать наноботы, а в мозгу будут установлены коммуникационные импланты? Если у технологий нет и не должно быть этики, что тогда случится с нашей моралью, нормами поведения и социальными договоренностями, когда машины будут управлять всем вместо нас?

Несмотря на заверения ИИ-евангелистов[17], я считаю, что в обозримом будущем машинный интеллект не будет снабжен эмоциональным интеллектом для решения этических дилемм, потому что машины – не живые существа, а дупликаты и симуляторы.

Разумеется, по прошествии некоторого времени машины научатся считывать, анализировать и, возможно, даже понимать наши системы ценностей, социальные контракты, мораль и верования – но они никогда не смогут стать частью этого мира и существовать в нем так, как в нем существуем мы (что немецкие философы называют бытием-в-мире (dasein)).

Но все же будем ли мы жить в мире, где данные и алгоритмы восторжествуют над тем, что я называю андроритмами, – всем тем, что делает нас людьми? (Далее в книге я подробно объясню, что я понимаю под андроритмами.)

Последовательные удвоения от 4 до 8 и от 16 до 32 имеют весьма разное абсолютное приращение по сравнению с удвоениями от 0,1 до 0,8. Сегодня это наш самый главный вызов: мы должны представить экспоненциально иное будущее и стать его проводниками, несмотря на то что его сложность может стать выше нашего понимания. Для этого нам придется определенным образом развивать в себе экспоненциальное воображение.

Сначала постепенно, а потом сразу

Наилучшим объяснением сути экспоненциального роста мне представляется цитата из произведения Эрнеста Хемингуэя «И восходит солнце»:19

– Как вы обанкротились?

– Двумя способами. Сначала постепенно, а потом сразу.

Размышляя о создании будущего, необходимо держать в голове эти мемы-близнецы: один – про экспоненциальность, и второй – про «постепенно, а потом сразу». Оба они являются ключевыми понятиями в этой книге. Постепенно мы станем замечать робкие предзнаменования больших возможностей или большой угрозы. А затем они либо вдруг сразу исчезнут, либо останутся здесь, сейчас и в гораздо больших масштабах, чем мы предполагали. Солнечная энергия, беспилотные автомобили, цифровая валюта, блокчейн – очень долгое время ушло на их развитие, но вот они здесь, переживают колоссальный подъем.

История учит нас, что те, кто слишком медленно приспосабливаются или не в состоянии предусмотреть опасность, будут вынуждены нести ответственность за последствия этого.

Если мы будем продолжать и дальше ждать у моря погоды, то скоро заметим, как станем ненужными, устареем, а затем и вовсе исчезнем. Поэтому нам нужна другая стратегия, чтобы сохранить нашу человечность в этом быстро меняющемся мире.

Рынок уже не сможет разрешить сложившуюся ситуацию посредством «невидимой руки». Открытые рынки, регулируемые ростом и прибылью, неизбежно приведут к обострению проблем между людьми и технологиями, так как прибыль, получаемая от продажи последних, оценивается в триллионы долларов в год. Разумеется, перед лицом такой многообещающей возможности для бизнеса никто не остановится перед замещением человеческих проявлений технологиями.

Питер Диамандис, член совета Human Longevity Inc.[18], утверждает, к примеру, что увеличение продолжительности жизни приведет к увеличению доли глобального рынка США до 3,5 триллиона долларов20. Такие незначительные проблемы, как сохранение человечности, вряд ли станут препятствием на пути осуществления этих умопомрачительных возможностей.

За пределами управляемости

В конце концов, речь идет о выживании и процветании всего человечества, и я не думаю, что венчурные капиталисты, фондовые рынки и военные вправе распоряжаться ими по собственному усмотрению.

В ближайшем будущем мы станем свидетелями мировоззренческих сражений обладателей различных экономических интересов, что-то вроде противостояния гуманистов и трансгуманистов[19]. Сейчас нефть и прочие ископаемые виды топлива истощаются и прекращают быть главной причиной столкновения международных военных интересов, и США и Китай уже готовятся запустить технологическую гонку вооружений.

Новые войны будут цифровыми, и битвы в них будут вестись за лидерство в экспоненциальных областях, таких как ИИ, изучение генома, интернет вещей, цифровая безопасность и цифровое оружие. Страны Европы (и особенно Швейцарию) в сложившейся ситуации больше волнуют вопросы о высоком: права человека, счастье, этика, сохранение баланса и устойчивое коллективное благосостояние. Мне представляется, что изучение этих проблем также открывает большие возможности для Европы, и далее в книге я остановлюсь на них подробнее.

Огромное количество ученых, лидеров общественного мнения, венчурных капиталистов и различного рода технических гуру (в т. ч. и футурологов) выступают за быстрый и добровольный отход от гуманизма.

Эти фанаты технического прогресса призывают «преодолеть человека» и радостно вступить на следующую ступень эволюции – слить воедино биологию и технологии, модифицировать и возвысить наш ум и тело, стать сверхлюдьми, уничтожить болезни (хорошо) и смерть – заманчивая и странная перспектива.

Интерес к трансгуманизму все возрастает, но мне он кажется наиболее опасным явлением из всех, что я как футуролог мог наблюдать за последние пятнадцать лет. Достижение счастья для людей путем полного растворения их же человеческой сущности в новых технологиях кажется довольно бредовой идеей.

Золтан Иштван, защитник трансгуманизма и кандидат в президенты США 2016 года, и философ Джесси И. Бейли[20] высказывают следующие противоположные взгляды по данному вопросу.

Сторонник. Иштван пишет следующее в своем романе «Ставка на трансгуманизм» (2013):

Смелое знамя трансгуманизма поднимется. В этом уже не может быть никаких сомнений. Его возникновение обусловлено недемократической природой технологий и нашим эволюционным развитием. За ним – будущее. За нами – будущее, нравится вам это или нет. Направлять будущее и управлять им должны сильные и мудрые ученые-трансгуманисты, которых будут поддерживать их страны и предоставлять им необходимые для этого ресурсы. При переходе к трансгуманизму нужно соблюдать осторожность, чтобы не принести себя в жертву его всепоглощающей силе или же нашей боязни спровоцировать эту силу.

Необходимо направить ресурсы на развитие технологий. На образование. На университеты, промышленность и новые идеи. Инвестировать в то сильное, яркое и лучшее, что есть в нашем обществе. И тогда мы сможем достичь будущего21.

Гуманист. В научном издании The Journal of Evolution and Technology Бейли высказывает противоположную точку зрения.

Я считаю, что, желая уничтожить смерть как основание нашего бытия-в-мире (человеческого существования), трансгуманизм отходит от необходимости разработки грамотного отношения к технологиям, к истине и к самому бытию-в-мире.

Трансгуманисты обычно делают одно из двух заявлений: либо наше тело сможет жить тысячи лет, либо наше сознание можно будет загружать в другие тела. Каждая из этих позиций (слегка, но все же разными способами) отчуждает человека от его телесной завершенности.

Хайдеггер рассматривает бытие-к-смерти (being-toward-death) как основную гарантию сохранения индивидуальности, когда мы оказываемся под угрозой растворения в «других» (the they-self) (которые оказываются заключены в технологические рамки). Таким образом, выступая за потерю осознания нашей конечности, трансгуманизм также ликвидирует призыв к аутентичности, как и саму ее необходимость22.

Становится ясно, что технологический детерминизм – не лучшее решение, и основной девиз Кремниевой долины «Почему бы нам просто не продолжать изобретать, веселиться, делать деньги и заодно пытаться упростить жизнь миллионам людей с помощью этих чудесных новых технологий?» не только говорит о лени, но и может в итоге привести к таким же опасным последствиям, как и луддизм[21].

В этой книге, в противовес картезианским и редукционистским взглядам трансгуманистов (т. е. упрощенным взглядам на мир и человечество как на огромную машину), я приведу другое мировоззрение – философию цифровой эры, которую я иногда называю экспоненциальным гуманизмом. С ее помощью мы сможем найти срединный путь, который позволит нам принять развитие технологий, но не превратиться в них, и использовать их как средство, а не как цель.

Чтобы обеспечить безопасное будущее, мы должны инвестировать не только в развитие технологий, но и в нас самих. Необходимо приложить значительные усилия (материальные ресурсы и проч.) в определение и обоснование нового экспоненциального гуманизма, который, несмотря на все наши несовершенства и недостатки, поможет сохранить наш мир благоприятным для жизни. Инвестировать только лишь в развитие технологий будет недостаточно, коль скоро мы во всем станем полагаться на машины, но перестанем даже понимать, как они работают.

Если мы не примем меры, я боюсь, что экспоненциальный неконтролируемый рост интеллекта в областях ИИ, роботостроения, биоинженерии и генетики приведет к систематическому пренебрежению главными принципами человеческого существования, ведь у техники нет этики – а общество без этики обречено.

Эта дихотомия проявляется всюду: все, что может быть оцифровано, виртуализировано, роботизировано, – будет, но есть такие вещи, которые нельзя автоматизировать – потому что они делают нас людьми.

Эта книга рассказывает о том, куда нас могут привести экспоненциальные технологии в ближайшие десять лет, что окажется на кону, и объясняет, что мы можем сделать сегодня, чтобы предотвратить негативные последствия. Независимо от личных философских или религиозных взглядов, все, пожалуй, согласятся, что технологии уже настолько заполнили нашу жизнь, что любой дальнейший экспоненциальный прогресс должен стать основанием для нового вида дискуссии, чтобы определить, куда и зачем он нас ведет. И вот сейчас, когда технологии в буквальном смысле готовы ворваться в наши тела, нам пора посовещаться – и этот разговор обещает быть самым главным из тех, что еще предстоят человечеству.

Глава 2. Технологии против нас

Давайте остановимся на секунду и поговорим о человечности.

Когнитивные возможности человека во многом зависят от нашего генетического кода и от активности нейронов в нашем мозге.

Если усовершенствовать эти структуры и наладить более крепкие межнейронные связи, вскоре мы сможем отметить более высокую производительность и другие отклонения от нормы в лучшую сторону. Это позволило бы увеличить средний показатель IQ (от 70 до 130) до 100023.

Сложно себе представить, какие возможности откроет подобный уровень интеллекта, но они точно превзойдут все наши ожидания. Путем редактирования ДНК у эмбрионов когнитивная инженерия сможет сформировать индивидуумов, чьи возможности будут выше, чем у всех вместе взятых гениев за всю историю человечества. Этот процесс, скорее всего, начнется уже к 2050 году. Обновить операционную систему машины – это одно дело, но перепрограммировать разумное существо, обладающее памятью и свободной волей, – что это будет значить? Конечно, это вопрос имеет смысл задавать, только если данные свойства все еще будут что-то значить в 2050-м.

Давайте для начала попробуем определить, что это значит – быть человеком. Бесчисленное количество философов билось над этой проблемой, но именно сейчас этот вопрос важен как никогда: новые технологии уже скоро сделают возможным усовершенствование, изменение, перепрограммирование и перепроектирование человека. Многие сторонники сингулярности и трансгуманизма считают, что мы движемся к слиянию человека и машины, биологии и технологии. Как бы фантастически это ни звучало, тем важнее нам определить, что же значит «человечность» в цифровую эру.

Мораль и другие нравственные особенности свойственны только человеку

Сложность заключается в том, что в то время как технологии не знают этики, норм и веры, жизнь человека и общества целиком определяется ими. Машины когда-нибудь научатся считывать и понимать наши моральные соображения и этические проблемы, но смогут ли они проявлять сочувствие или эмпатию, обладать, как и мы, идентичностью? Ведь мы, грубо говоря, живем, ориентируясь на ценности, убеждения и менталитет, а не на алгоритмы и данные. Даже если машины это поймут и научатся воспроизводить, им все равно будет сложно перейти на наш способ существования.

Как я уже говорил, мы находимся в отправной точке экспоненциальной кривой, следующий шаг от которой будет резким переходом от четырех к восьми и затем к шестнадцати. Поэтому мы сталкиваемся с противоречием между тем, что технологии могут делать (ответ очевиден: практически все), и тем, что они должны сделать, чтобы послужить всеобщему счастью человечества. Ведь действительно непонятно, что же есть счастье само по себе, если не противопоставлять его таким очевидным проявлениям несчастья, как ограничение свободы, неравенство, бедность и болезнь (см. главу 9).

Очевидно, что технологии не знают и не хотят знать о счастье, самореализации, эмоциях, ценностях и убеждениях, несмотря на то что у них все лучше получается симулировать человеческие взаимоотношения. Они понимают только логику, рациональные действия, завершенность, эффективность, да и нет, ведь чтобы «обнаружить / идентифицировать счастье», нужно сначала стать счастливым, а это, в моем понимании, подразумевает телесность.

Технологии полностью отрицают все то, что дорого людям. Я считаю, что они не могут и не должны двигаться вверх по пирамиде Маслоу от основных потребностей до любви, самооценки и самореализации24. Безусловно, с помощью нейронных сетей и глубокого обучения компьютеры уже смогли научиться таким сложным вещам, как игра в го[22] – и даже способны выигрывать25. Теоретически они смогут научиться вести себя как люди. Тем не менее симуляция – не то же самое, что дублирование, опосредованная реальность – не сама реальность.

Технологии не знают этики – так и должно быть! В наш экспоненциальный век уже даже к мозгу и телу относятся как к механизированным объектам, как к модному wetware (программному обеспечению во плоти и крови). И мы можем только содрогнуться от страха, представив, как в компьютеры внедряют этику и убеждения, или как они сами их развивают. По мнению автора, нам не стоит вступать на этот путь. Сама идея о том, чтобы позволить машинам иметь бытие может рассматриваться как преступление против человечества.

Рожден и взращен внутри машины?

В качестве довольно жуткого примера рассмотрим противоречивую и широко обсуждаемую идею эктогенезиса – вынашивания ребенка в искусственной матке вне тела26, которое станет возможным уже в ближайшие 15–20 лет.

Это представляет собой отличную иллюстрацию того, как технологическое «yes we can»[23] (да, мы сможем) способно отодвинуть на задний план самое основное из человеческих проявлений. Этот футуристический тип воспроизводства населения, конечно, будет менее обременительным и затратным для женщин, но, на мой взгляд, это пагубно и бесчеловечно по отношению к ребенку. Не знаю, как вы, но я с трудом понимаю, на чем основываются люди, которые продвигают такие идеи.

Хорошо ли это для человечества? Короткий опросник

Перед лицом экспоненциальных изменений и тех сложных решений, которые нам придется принимать, я предлагаю составить список вопросов, с помощью которых мы сможем судить о новых прорывах в области науки и технологий, к примеру:

• Нарушает ли эта идея права человека?

• Стремится ли эта идея заменить человеческие отношения механическими взаимодействиями?

• Ставит ли эта идея эффективность выше человечности, стремится ли она автоматизировать то, что не должно быть автоматизировано, например основные способы взаимодействия между людьми?

• Ставит ли эта идея традиционный, основанный на прибыли и росте ВВП способ мышления превыше базовой человеческой морали?

• Сводит ли эта идея человеческое стремление к счастью к простому потреблению?

• Осуществляет ли эта идея автоматизацию основных видов человеческой деятельности, которые не должны быть автоматизированы, как, например, автоматизированный священнослужитель или психоаналитик, работающий на основе ИИ?

Один из моих любимых писателей-фантастов, Уильям Гибсон[24], однажды заметил: «Технологии морально нейтральны, пока мы их не применяем»27. Его острое и часто цитируемое изречение очень точно описывает то, что мы сейчас переживаем, когда само определение человека все более изменяется под влиянием экспоненциальных технологических достижений.

Принцип 90/10 в точке бифуркации

Пока мы еще находимся у поворота экспоненциальной кривой, у нас есть уникальный шанс повлиять на наше будущее. Будет ли оно на 90 % благоприятным и только на 10 % состоять из проблем и рисков из-за всех этих новых технологий? Или ему суждено выбиться из-под контроля, и соотношение перевернется и станет 10/90, как в мире антиутопии?

Большинство технологических достижений все еще носят положительный характер. Новые технологии в области изготовления аккумуляторов и солнечной энергии представляют собой огромный шаг вперед к устойчивому развитию[25] и возобновляемым источникам энергии. Интернет вещей позволяет осуществить подлинно кардинальные изменения: возникают умные порты, умные города, умные фермы.

В наших технологиях все еще 90 % положительного, но тем не менее быстро множатся и некоторые негативные последствия, так как изобретатели, ученые, предприниматели и другие участники рынка в большинстве своем о них не думают.

Интернет вещей (см. главу 5), без соблюдения должных предосторожностей, может превратиться в самую огромную сеть наблюдения и глобальный паноптикум[26], 28. За нами смогут наблюдать в любое время, в любом месте и без нашего ведома, по умолчанию.

Экспоненциальные технологии действительно открывают удивительные возможности для человечества, но мы можем их упустить, если не будем мыслить широко и забудем о том, что технологии и вообще любой бизнес должны стремиться к процветанию человека.

Технологии, власть и ответственность

Власть влечет за собой последствия – но сейчас мы наслаждаемся растущей властью технологий и часто забываем об ответственности, когда речь заходит о нежелательных последствиях, ведущих к коренным изменениям в структуре общества.

Нам нравится общаться друг с другом на Facebook, и многие приходят в восторг от очередного уведомления о том, что кто-то поставил им лайк. Но эта сделка, похожая на сделку Фауста – продажа своих личных данных в обмен на бесплатное пользование глобальной социальной сетью, – не предусматривает, что Facebook должен по-настоящему нести ответственность за те обрывки цифровых данных, которые он о нас собрал. Естественно, Facebook мастерски уклоняется от этого вопроса, ведь разрешение пользователям контролировать то, как используются личные данные, привело бы к краху основной его бизнес-стратегии – продать нас тому, кто больше предложит.

Facebook хочет, чтобы мы чувствовали ответственность за свои действия, пока мы, как в ловушке, наслаждаемся его сервисами. И точно так же, как Национальная стрелковая ассоциация (NRA)[27], они продолжают утверждать, что это люди используют технологии для плохих целей, и технологические компании не виноваты. Позиция, которую занимает по этому поводу NRA – «Людей убивает не оружие, людей убивают люди», – по-моему, просто легкий способ снять с себя ответственность за то, чему они потакают.

Таким же образом мы используем карты Google, GoogleNow[28] и Google Дом (динамик, с которым можно разговаривать как с роботом-помощником), чтобы избежать пробок или обновить наш список встреч. Однако мы пока что не можем придумать, как нам привлечь Google к ответственности за сбор и продажу наших метаданных (хотя и анонимных) маркетинговым компаниям или их передачу правительственным организациям, прикрывающимся исполнением Акта о негласном наблюдении в целях внешней разведки[29]. Уже скоро большинство из нас будут использовать умных цифровых помощников(IDAs)[30] на мобильных устройствах, и, похоже, никому не придется нести ответственность за то, что будет происходить за кулисами. Эти устройства будут слышать все то, что мы говорим, и мы никак не сможем это контролировать. Мы действительно занимаемся тем, что создаем разумные машины без систем контроля и средств защиты.

Мы попадаем в мир, где автоматизированные облачные программные агенты (боты) смогут выполнять огромный спектр задач вместо самих пользователей: назначить встречу, забронировать столик. Мы даже не успеем понять, как боты к этому пришли, а они тем временем все больше будут распоряжаться нашей жизнью.

Мы можем видеть, как люди проявляют крайнюю недальновидность и неосторожность в обращении с новыми технологиями. Это происходит в основном потому, что производители и продавцы технологий рассматривают ответственность за последствия их использования как внешний фактор – таким образом демонстрируя абсолютно неустойчивое отношение к будущему. Это напоминает мне, как нефтяным компаниям очень долгое время сходило с рук их отношение к загрязнению окружающей среды и глобальному потеплению – ведь они тоже считали эти проявления внешними факторами, т. е. тем, за что они не несут ответственности. Само собой разумеется, в подобном отношении к будущему ничего хорошего нет, т. к. оно разрушительно.

Я глубоко убежден в том, что мы должны выходить за рамки прибыли и роста, когда речь идет о технологиях, способных кардинально изменить жизнь человечества. Этот моральный императив по важности превосходит даже призывы ядерного века.

Приведу знаменитую цитату Роберта Оппенгеймера, одного из создателей ядерной бомбы, произнесенную им после бомбежки Хиросимы и Нагасаки: «Я – смерть, разрушитель миров»29. Процитировав древнеиндийский священный текст Бхагавадгиту, Оппенгеймер объявил начало нового этапа в развитии человечества.

Сейчас мы с вами бессознательно ощущаем, что стоим на пороге еще больших перемен.

Я считаю и попытаюсь доказать, что ИИ, как и деление ядер, – технология двойного назначения. Деление ядер может и освещать города, и сжигать их дотла. До 1945 года большинство людей не могло даже представить себе потенциальную мощь атома. Сегодня по отношению к искусственному интеллекту мы находимся в 1930-х и вряд ли переживем появление ИИ, особенно если оно будет столь же внезапным, как явление миру ядерных технологий.

– Джеймс Баррат[31]. «Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens»30

Технологии – это не то, что мы ищем, а то, как мы ищем

Технологии – неважно, насколько чудесные, – всегда остаются инструментом, который мы используем для достижения чего-либо: технологии – это не то, что мы ищем, а то, как мы ищем! Само слово «технологии» происходит от греческого корня techne, который означает «выявление истинного в прекрасном» и относится к совершенствованию навыков ремесленников и художников с помощью соответствующих инструментов31. Греческие философы также рассматривали технологии как нечто присущее любой человеческой деятельности: мы постоянно изобретаем новые инструменты и улучшаем существующие, это заключено в человеческой природе.

Сегодня можно наблюдать обратную тенденцию: интеллектуал и философ Герберт Маклюэн[32] однажды сказал, что инструменты, которые мы создаем, начинают формировать или даже изобретать нас32. В экспоненциальных масштабах этот тренд будет означать переворачивание изначальной концепции techne – и нам совсем недолго после этого останется играть в Бога!

Конечно, можно ответить, что технологии всегда влияли на человечество и влекли за собой перемены, так что же нового в нашей ситуации, чего нам бояться? Разве это не очередной пример того же потока techne?

Давайте рассмотрим технологии в их оригинальном значении techne – как инструмент для увеличения наших способностей и показателей, продуктивности, возможностей. Это можно наблюдать в таких изобретениях, как паровой двигатель, телефон, автомобиль, интернет. Эти технологии усилили нас не внутренне, а только в наших действиях и во внешних возможностях. Ни одно из перечисленных изобретений не изменило нас физически, в неврологическом, биологическом, психологическом или духовном смыслах. Использование этих технологий не сделало нас экспоненциально мощными, с ними мы еще не оказались в точке разворота на экспоненте.

Изобретение парового двигателя сыграло большую роль в индустриальную эпоху, но для экспоненциальной кривой эти изменения были еще слишком ранними. Появление высокоразвитых роботов и последующая автоматизация производства, напротив, уже происходят в точке перегиба – в этом и заключается разница. Различие заключается в масштабности и в виде (не в стиле) изменений.

Алгоритмы против андроритмов

Быть человеком означает обладать качествами, которые (в ближайшем будущем) мы не сможем посчитать, измерить, алгоритмически определить, сымитировать и полностью понять. То, что делает нас людьми, не имеет математического основания и не сводится к чистой химической и биологической природе. Человеческая сущность включает в себя часто незаметные, невысказанные, подсознательные, эфемерные и не сопоставимые ни с чем элементы. Эти человеческие проявления, которые я называю андроритмами, мы должны сохранять, несмотря на то что они могут показаться медленными, неловкими, сложными, рискованными или неэффективными по сравнению с небиологическими системами, компьютерами и роботами.

Мы не должны пытаться исправлять, обновлять или уничтожать то человеческое, что в нас есть. Вместо этого нам следует создавать технологии, которые будут знать о наших особенностях, уважать их и защищать. К сожалению, медленное, но систематическое сокращение андроритмов – этих неуловимых человеческих черт – уже началось. Социальные сети, к примеру, позволяют нам создавать профили по своему усмотрению и наслаждаться нашими сфабрикованными индивидуальностями, вместо того чтобы иметь дело с теми, кем мы на самом деле являемся в реальной жизни.

Это может показаться благом, но может также обернуться негативными последствиями, если дело зайдет слишком далеко. Наши реальные и придуманные для социальных сетей «я» иногда пересекаются, но коварные алгоритмы (через сбор и анализ данных из, например, приложений для знакомств) все чаще приходят на смену андроритмам живой социализации. На просторах соц. сетей мы можем создавать себя заново, используя мощные и практически бесплатные технологии, и скоро становимся тем, что философ д-р Дж. Бейли называет «технологическими продуктами нашего собственного рационально высчитанного контроля»33. Неудивительно, что все больше людей чувствуют себя одинокими в соцсетях и даже впадают в депрессию34.

Выдающийся, хотя и политически неоднозначный немецкий философ Мартин Хайдеггер написал в своей книге «Бытие и время», что «человек – единственное существо, которое задается вопросом о бытии»35. Это можно описать немецким словом dasein (бытие-в-мире).

Dasein указывает на основное различие между человеком и машиной, которое является важной темой этой книги. То, что отличает нас от машин, – это наличие разумного основания человеческих стремлений, будь то сознание, душа или дух, неуловимая составляющая, которую мы не можем определить и даже найти, но которая тем временем управляет нами.

STEM[33] и CORE[34]

Основная суть заключается в том, что это множество загадочных человеческих таинств – взаимосвязь тела и разума, биологии и духа, которые нельзя сосчитать, рационализировать, перекопировать и спроектировать, – все еще затмевают сферу применения науки, технологии, инженерии и математики (STEM). Поэтому нам не следует слишком очеловечивать технологии и путать приоритеты, когда речь заходит о принятии важных общественных решений. Также необходимо помнить об ответственности, пока мы рискуем и создаем технологии, которые смогут в конечном итоге превзойти нас.

Несмотря на то что я восхищаюсь открытиями STEM, я считаю, что нам срочно необходимо создать им противовес, который бы утверждал важность истинно человеческих факторов. По аналогии с акронимом STEM я обозначил их как CORE: креативность / сочувствие, оригинальность, взаимность / ответственность, эмпатия.

Главный повод для беспокойства сейчас – не столько уничтожение человечества машинами, сколько заманивание нас в волшебные ловушки технологий, виртуальные миры и симуляции, которые постепенно уничтожают в нас человеческое.

Станут ли для нас технологии важнее человека?

Сейчас, как и в ближайшем будущем, даже самые продвинутые технологии смогут лишь имитировать бытие человека (dasein) тем или иным способом, но не стать человеком. Поэтому пока нам стоит беспокоиться не о том, что технологии заменят человечество или уничтожат его, а о том, что мы можем предпочесть высококачественные симуляции, предоставляемые машинами, нашей настоящей реальности. Иными словами, предпочтем ли мы в итоге отношения с машинами, а не с людьми?36 Понравится ли нам разговаривать с цифровыми помощниками, есть еду, распечатанную на 3D-принтере, мгновенно перемещаться между виртуальными мирами, заказывать услуги с доставкой в наши умные дома с помощью дронов или облачных сервисов и чтобы нам прислуживали роботы?37

Смогут ли удобство, низкие цены, простота в использовании и человеческая склонность к лени перевесить нашу потребность в реальной жизни, живых взаимодействиях и впечатлениях? Сейчас это еще сложно представить, но в ближайшие десять лет это станет вполне вероятным. Может быть, вопрос «А что, если?» уже превратился в «И что дальше?».

Благодаря таким технологиям, как дополненная реальность (ДР), виртуальная реальность (ВР), голограммы, интерфейс «мозг – компьютер» (ИММ), стало уже гораздо проще моделировать реалии, которые раньше относились исключительно к области человеческих ощущений, сначала постепенно, а потом сразу увеличивая вероятность того, что мы начнем их путать.

Интерфейсы и этика

Я считаю, что буквально через несколько лет использование ДР и ВР станет такой же общепринятой практикой, как отправка сообщений и общение с помощью приложений. Только представьте, что случится с нашим восприятием мира, если сотни миллионов людей начнут использовать эти устройства. Насколько сохранит свою человеческую сущность тот, кто постоянно дополняет свою реальность? Кто будет отвечать за принципы возбуждения человеческих ощущений – будет ли законно или этично видеть искусственно смоделированное сексуальное изображение человека вместо него самого во время разговора? Можно ли будет уволить сотрудника за то, что он отказывается работать в мире виртуальной реальности? Или еще хуже: захотим ли мы возвращаться в мир без ДР и ВР, когда они станут настолько всеобъемлющими и легкодоступными?

И последнее: кто будет нашими проводниками в мир преумноженных чувственных ощущений ДР и ВР? Технологии виртуальных путешествий, такие как OculusRift от Facebook, SamsungVR, HoloLens от Microsoft, уже могут дать нам ощутить, каково это – сплавляться на рафте по реке Амазонка или взобраться на гору Фиджи. Это интересный новый опыт, который значительно изменит наши способы коммуникации, работы, учебы и переживания реальности. Но сможем ли мы, да и нужно ли нам воспрепятствовать тому, чтобы провайдеры этого опыта будущего всегда показывали нам «фальсифицированную» реальность – например, скрывая трущобы в Мумбаи, когда мы проезжаем мимо на такси?

Останемся ли мы человечными, если предпочтем этот новый мир? Можно ли что-то сделать, чтобы предотвратить повсеместное использование ДР/ВР в качестве привычных средств, таких как мобильные устройства и социальные сети? Можно ли будет предложить использовать их ограниченно, как какой-нибудь навороченный телевизор, или в таком случае жизнь в обычном недополненном мире покажется нам скучной? Подумайте, как много детей сегодня не хотят идти на пляж, если там нет wi-fi. Это действительно дилеммы, и для них не будет однозначного решения. Здесь необходим сбалансированный, ситуативный, антропоцентричный подход.

Давайте согласимся с тем, что все еще существует огромная разница между восприятием альтернативных реальностей и реальной жизни. Представьте себе, буквально на две минуты, что вы находитесь в Индии, в центре людного базара в Мумбаи. Затем сравните эти впечатления с теми, которые вы могли бы приобрести за более долгий период времени, находясь в том же месте, но в альтернативной реальности, используя самые высокоразвитые технологии ВР на сегодняшний день. Запахи, звуки и виды, телесные реакции, общее воздействие на органы чувств… все это в тысячи раз более интенсивно, чем могли бы смоделировать самые продвинутые гаджеты, пользуясь экспоненциальными завоеваниями технологий.

В этом и заключается разница между полноценным, телесным, контекстуальным человеческим опытом и машинной симуляцией. Тем не менее хорошо смоделированная реальность не наносит вреда, пока мы отдаем себе отчет в том, что она собой представляет, и не подменяем понятия. В этом случае мы даже сможем использовать ее во благо.

Технологии визуализации уже в ближайшем будущем станут намного совершеннее, выйдут на новый уровень и продолжат стирать границы между человеком и машиной. В момент, когда мы сможем попасть внутрь фильма с помощью ВР, способности нашего воображения будут навсегда побеждены технологиями38. И это одновременно восхищает и беспокоит меня. Можно ли нам это делать? Подготовлены ли мы к такой виртуальности? Изменятся ли в результате наши «настройки», и что мы будем с этим делать? Нужны ли нам новые небиологические надстройки, чтобы уверенно существовать в новой реальности?

Неважно, как мы ответим на эти вопросы: если экспоненциальный технологический прогресс означает, что наши тела перестанут быть центром нашей идентичности, то мы неизбежно перешагнем тот порог, который отделяет нас от машин. Уменьшит ли нашу человечность тот факт, что наши биологические особенности придется регулярно обновлять, чтобы они нормально функционировали? К этому моменту мы откажемся от 95 % нашего потенциала в пользу того, чтобы «стать теми инструментами, которые мы создали»39.

Искусственный интеллект и стирание границ

Принимая во внимание масштаб возможного влияния ИИ, мы должны также рассмотреть его вклад в стирание границ между человеком и машиной. Возьмем, к примеру, компанию DeepMind, ведущую фирму ИИ в Лондоне, приобретенную Google в 2015 году. В феврале 2016 года в интервью для The Guardian гендиректор DeepMind Демис Хассабис следующим образом отозвался о потенциале ИИ:

В мире сейчас такой переизбыток информации, что даже умнейшим людям становится сложно овладеть ею в течение жизни. Как же нам не утонуть во всех этих данных и прийти к правильным выводам? ИИ можно рассматривать как процесс по переработке неструктурированной информации в практическое знание. То, над чем мы работаем, станет ключом к решению любой проблемы40.

Как будет реализовано это громкое заявление на практике? Представьте себе общество, где технологии, в особенности ИИ, могут решить любую серьезную проблему человечества, начиная от болезней, старения и смерти и заканчивая изменением климата, глобальным потеплением, производством энергии и продуктов питания и даже терроризмом. Представьте машинный интеллект, который сможет обработать большее количество информации, чем мы когда-либо сможем воспринять, и считывать всю информацию в мире в режиме реального времени, где угодно и когда угодно. Это устройство (и его владельцы и разработчики) станет чем-то наподобие глобального мозга, невероятно мощного, за гранью человеческого понимания. К этому ли хотят нас подвести компании типа DeepMind и Google? И как нам удастся сохранить наши человеческие качества при таком раскладе?

Приписывание разума машинам, скоплениям фрагментов или другим божествам умников скрывает больше, чем показывает. Когда людям говорят, что компьютер разумен, они склонны изменять себя, чтобы казалось, будто компьютер работает лучше, а не требовать изменения компьютера для улучшения его работы.

– Джарон Ланир[35]. «Вы не гаджет»41

Могут ли технологии отличить то, что действительно важно?

Давайте представим, что такое устройство, ИИ-в-облаке, уже существует (мы и сейчас не так далеки от запуска первых пробных версий). Сможет ли оно считывать, понимать и ценить те взаимодействия между людьми, которые нельзя представить в виде данных? Сможет ли оно понять dasein, бытие?

Несмотря на будущий экспоненциальный технологический прогресс, человеческий способ существования и переживания опыта кардинально отличается от того, как технологии его воспринимают. Даже лучшие фотографии, видео и цепочки данных только примерно передают, как это было на самом деле: контекст, воплощение, переживание этого уникального момента.

Некоторые философы утверждают, что мы сами не в состоянии запечатлеть, удержать и воспроизвести то, что действительно важно. Если это правда, то как мы можем надеяться уловить какую-то смоделированную человечность внутри машины? Не повлечет ли это за собой высокий риск потери 95 % того, что составляет нашу человеческую сущность, если мы решимся «превзойти биологические ограничения», как предлагают трансгуманисты?

«Википедия» определяет трансгуманизм так:

…международное интеллектуальное движение, целью которого является трансформация человека путем создания широкодоступных современных технологий, которые смогут значительно усилить интеллектуальные, физические и психологические способности людей42.

Это зловещее обещание «значительно усилить» больше всего настораживает меня в трансгуманизме. Какой бы заманчивой ни представлялась перспектива увеличения способностей, мне все же кажется, что больше всего от этого выиграют компании, платформы и технологии, которые предоставят нам эти возможности. Эти компании действительно усилят свои мощности и позицию на рынке, расширят сферу охвата, пока обыватели будут пытаться успеть за своими переразвитыми братьями. Бизнес, построенный на том, чтобы заменить андроритмы и человеческие переживания алгоритмами, ИИ и программным обеспечением, безусловно, обречен на успех. Но будет ли это преимуществом, по сути своей? Должны ли мы предоставить будущее в распоряжение тех, кто хочет превратить его в огромную облачную операционную систему (ОС), только потому, что это выгодно?

Мы стали почти богами и просто обязаны в совершенстве освоить божественные функции.

– Стюарт Бренд43[36]

В качестве основания многие евангелисты трансгуманизма утверждают, что человек – это просто тело, и его необходимо усовершенствовать. Они заключают, что мы недостаточно умные, недостаточно быстрые и недостаточно ловкие. Людям необходимо обновить программное и аппаратное обеспечение – в основном потому, что эти меры приведут к ликвидации старения и, быть может, даже смерти.

Является ли наше превращение в машины, полностью или частично, закономерным этапом эволюции? Суждено ли нам оставить в прошлом свои биологические ограничения и возвыситься с помощью технологий?

Идея отождествления живых существ с машинами не нова. Еще в XVI веке Рене Декарт, великий философ-рационалист, сравнивал животных с очень сложными машинными аппаратами44. Сегодня многие технические специалисты возрождают эту идею, которую я условно обозначил как «машинное мышление», в том смысле, что все вокруг нас и внутри нас можно рассматривать как аппараты, которые можно изменять, чинить и воспроизводить. Для них все человеческое существование представляет собой не что иное, как очень причудливую науку.

Принимая лекарства, чтобы понизить уровень холестерина, давление или предотвратить беременность, мы уже осуществляем значительное, но всем привычное вторжение в работу нашего тела. Но уже следующие шаги в медицинских инновациях могут вывести нас на уровень совсем другого масштаба. Примеры могут включать в себя внедрение небиологических компонентов в наши тела (наноботы в крови, регулирующие уровень холестерина), изменение генов, чтобы избежать болезней (или запрограммировать наших детей определенным образом), и имплантация когнитивных стимуляций в наш мозг, чтобы увеличить производительность.

Что же это, следующая стадия необратимого эволюционного развития или странное стремление к обретению сверхчеловеческой силы, которое противоречит нашей природе, нашему устройству и нашей цели? Предназначено ли человечеству создать себя заново и перепрограммировать так, чтобы мы могли выбирать, кем нам быть, чтобы мы обрели бессмертие… и смогли уподобиться Богу? Даже если вы нерелигиозный человек (для справки: я тоже), этот вопрос попадает в самую суть проблемы.

Увеличение человеческого счастья и всеобщее процветание не могут произойти от нашего уподобления машинам, даже если это придаст нам определенные суперсилы (чего не стоит ждать в ближайшем будущем). Я считаю, что нам необходимо противостоять основным идеям трансгуманизма (таким как преодоление биологических ограничений), вместо того чтобы принимать их в качестве неоспоримых.

Также необходимо понимать, что сохранить нашу человечность будет непросто: для этого придется хорошенько потрудиться. К серьезным отношениям люди продираются через сложности и конфликты; сохранить любовь в таких условиях не так просто. Мы принимаем человеческое в себе как данность, как возможность пользоваться новомодными технологиями. Но не существует пока приложения, которое позволило бы стать человеком тому, кто им не родился.

Каким же будет будущее, которое прокладывает себе путь между трансгуманистами и экспоненциальными гуманистами (exponential humanitarians), представителем которых я являюсь? Существует ли компромисс между технологиями и человечеством, и что он из себя представляет?

Я думаю, что существует, и хочу попытаться определить его.

Глава 3. Мегасдвиги

Технологические сдвиги изменяют ландшафт и преобразуют общество.

Я считаю, что грядущее столкновение человека и машины примет экспоненциальные масштабы в результате совместного влияния десяти больших сдвигов – мегасдвигов, которые включают в себя:

1. Переход на цифровой формат.

2. Переход на мобильные устройства.

3. Скринификацию.

4. Ликвидацию посредников.

5. Преобразование.

6. Интеллектуализацию.

7. Автоматизацию.

8. Виртуализацию.

9. Цифровых предсказателей.

10. Роботизацию.

Мегасдвиги для общества представляют собой то же, что изменения парадигмы для мышления и философии, – огромный шаг вперед, который сначала может показаться лишь звеном закономерной поступательной цепи, но уже очень скоро приведет к кардинальным изменениям. Далее я объясню значение мегасдвигов, а затем подробно остановлюсь на каждом из них.

Экспоненциальные и одновременные

Влияние многих великих изобретений не ощущалось человечеством сразу же после их появления: требовались десятилетия, а иногда даже целые века, чтобы они могли массово повлиять на жизнь людей. Изобретения предыдущих эпох часто разрабатывались на базе уже существующих и являлись их закономерным продолжением. Мегасдвиги же кардинальны и часто появляются целыми партиями, преобразуя жизнь общества гораздо более быстрыми темпами.

Мегасдвиги также влекут за собой определенные проблемы и качественно отличаются от сил, видоизменявших общество и бизнес-сектор в прошлом. Главное отличие заключается в том, что далеко не все организации и частные лица, стремящиеся к использованию мегасдвигов, могут ожидать от них действительной выгоды или новых возможностей. Со многими мегасдвигами вы уже наверняка знакомы, но я хочу, чтобы вы представили их себе как отдельные технологические силы, действующие вместе, чтобы вихрем пронестись над человеческим обществом. Неизбежен ли техностресс? Ведь вызовы, выпадавшие нам на долю ранее, по уровню стресса не сравнятся с тем, что нам еще предстоит…

Мегасдвиг 1: переход на цифровой формат

Люди обратят в цифровой формат все, что можно. Первая волна включала в себя музыку, фильмы и телевидение, книги и газеты. Сейчас оцифровка охватывает еще и деньги и банковское дело, страхование, здравоохранение, фармацевтику, транспорт, автомобили и города. Скоро цифровые изменения произойдут в логистике, перевозках, производстве, пищевой промышленности и энергетической отрасли. Важно отметить, что, когда что-то переводят в цифровой формат и в облако, это что-то дешевеет, если не становится и вовсе бесплатным. Посмотрите, что происходит со Spotify[37]: средняя цена CD диска в Европе достигала 20 евро (22 долларов США), а теперь можно оформить подписку на 16 млн песен за восемь евро в месяц (девять долларов США) или слушать их бесплатно на YouTube.

Я сам явлюсь преданным подписчиком Spotify, и мне очень нравится этот сервис, но этот вид цифрового дарвинизма, отнимающий прибыль, вынуждает компании менять бизнес-модели либо прекращать работу. В книге «Будущее музыки», которую я написал в 2005 году, я подробно описал то, что кажется мне неизбежным: крупные звукозаписывающие лейблы, контролировавшие музыкальную индустрию, прекратят свое существование, поскольку распространение музыки перестанет быть выгодным делом45.

Сэр Пол Маккартни как-то сравнил современные звукозаписывающие компании с динозаврами, которые после падения метеорита спрашивают, что произошло46. Этот образ точно описывает психологическое состояние бывших властителей этого когда-то прибыльного мира, но не дает правильного представления о скорости вымирания. Крокодилы выжили, и некоторые динозавры эволюционировали в куриц, но цифровые мегасдвиги мало ориентируются на историю и никого не ведут за собой насильно.

В 2010 году я впервые произнес фразу «люди, ранее известные как потребители». Для них оцифровывание часто означает дешевые товары и их легкодоступность47. В основном это, конечно, хорошо, но дешевые товары часто подразумевают сокращение рабочих мест и низкие зарплаты. Посмотрите, как стремительно мобильные приложения распространяются по всему миру: Uber и его конкуренты Lyft, Gett и OlaCabs уже доступны в Индии. Мы можем заказать такси с помощью приложения на смартфоне, и это часто выходит дешевле, чем пользоваться услугами компаний, которые давно на рынке. Но будет ли новый тип бизнеса все так же предоставлять водителям стабильные рабочие места, или мы уже движемся к дарвиновской экономике свободного заработка, при которой люди работают сразу в нескольких фриланс-проектах за сравнительно небольшие деньги вместо работы в штате?48

Несмотря на общественные изменения, к которым они приведут, быстрое оцифровывание, автоматизирование и виртуализация нашего мира, видимо, уже неизбежны. На практике их темп иногда сдерживается фундаментальными законами физики: недостаточной энергией для поддержания работы суперкомпьютеров и минимально необходимым размером компьютерного чипа, который, как говорят, является причиной того, что закон Мура не может работать вечно.

Это повсеместное проникновение технологий может привести к будущему, в котором то, что не может быть оцифровано и / или автоматизировано (см. главу 4), будет очень высоко цениться. Как было упомянуто во второй главе, эти андроритмы включают в себя эмоции, сопереживание, этику, счастье и креативность.

Алгоритмы, программное обеспечение и ИИ неминуемо начнут «съедать» мир (как любит говорить венчурный капиталист Марк Андриссен[38])49, но и в этой ситуации мы должны уделять равное внимание андроритмам, ведь они делают нас уникальными и человечными.

На фоне когда-то дорогих товаров и услуг, которые теперь дешевеют и множатся, андроритмы должны занять центральное место рядом с технологиями, если мы хотим сохранить то общество, где заботятся о процветании человека. Мы ведь не хотим перейти от программ, которые пожирают мир, к программам, которые его обманывают.

В ближайшем будущем, я думаю, произойдет сдвиг в том, как организации видят бизнес-индикаторы, например ключевые показатели эффективности (KPI) – термин, очень часто использующийся в HR-практиках и при постановке бизнес-задач. В будущем этот показатель уже не будет строиться исключительно на подсчете и оценке наших профессиональных достижений, основанных на количественных данных, таких как объем продаж, количество установленных контактов, степень удовлетворенности или коэффициент конверсии. Вместо этого мы сможем наблюдать то, что я называю ключевыми человеческими показателями (KHI), которые предоставят возможность комплексного и экосистемного подхода к оцениванию результатов сотрудника. Мы хотим видеть «качественного» человека, а не «количественного» сотрудника!

Как и у всех мегасдвигов, у перехода на цифровой формат есть достоинства и недостатки, и, так как мы не можем его остановить или надолго задержать, мы обязательно должны основательно к нему подготовиться.

Мегасдвиг 2: переход на мобильные устройства и в медиаформат («медиазация»)

Операции, которые мы когда-то выполняли с помощью компьютера, уже не требуют его наличия – к 2020 году сама идея постоянной работы на компьютере устареет. Вся наша деятельность, связанная с компьютером, приобрела невидимую форму и незаметно влилась в нашу жизнь уже с помощью мобильных телефонов. Нам необходимо всегда быть на связи, и мы не можем обходиться без доступа к электронным устройствам, как не можем обходиться без воды. Вычислительная мощность мобильных устройств и возможности для связи сейчас практически безграничны.

На мобильном устройстве можно слушать музыку, смотреть фильмы, выполнять банковские операции, ориентироваться по карте… и этот список постоянно растет. Переход на мобильные устройства также означает, что технологии перемещаются все ближе к нам: сначала монитор компьютера, затем мобильный телефон или часы в руке, очки и линзы виртуальной или дополненной реальности на лице, и уже скоро – интерфейс «мозг – компьютер» или имплант в мозге.

Аналитики из исследовательской и консалтинговой компании Gartner предполагают, что мобильные устройства скоро смогут синхронизироваться с нами, знать о нас все, следить за нами, видеть и слышать нас, понимать нас… и даже стать нами50.

Придет время, когда за мной не будут следить по телефону. В конце концов мой телефон будет следить за мной.

– Филип Дик[39],51

Согласно данным Cisco[40], к 2020 году почти 80 % мирового интернет-трафика будет расходоваться мобильными устройствами, способными выполнять все те функции, для которых раньше требовался монитор компьютера52. Переход на мобильные устройства уже осуществляется в сфере графического дизайна, телекоммуникаций, логистики. Работой можно будет управлять с помощью голоса, прикосновения, жеста или ИИ – больше не придется печатать!

Резкому переходу на мобильные устройства и в цифровой формат сопутствуют перевод всех окружающих явлений в медиаформат и датафикация информации, которая раньше не хранилась в формате данных. Например, медицинские сведения, которыми обмениваются при разговоре доктор и пациент, теперь существуют в облачном хранилище в виде электронных записей. Многое из того, что мы раньше переживали без воздействия технологий, теперь фиксируется, фильтруется и передается умными устройствами с мощными экранами.

Образы и воспоминания, которые исторически сохранялись только в гиппокампе[41], теперь систематически поглощаются мобильными устройствами и публикуются в онлайн-режиме в размере более двух миллиардов изображений в день53. По прогнозу Deloitte Global, в 2016 году люди опубликуют более триллиона изображений онлайн[42], 54.

Новости, ранее публиковавшиеся в печатном виде, сейчас потоком транслируются с помощью приложений, где становятся гибкими и податливыми. Отношения, которые когда-то завязывались в кафе и барах, теперь за секунды можно установить с помощью приложения. Личные рекомендации друзей и знакомых, которыми мы руководствовались при выборе ресторана, уступили место онлайн-рейтингам с отзывами посетителей и веб-сайтам с полнообзорными изображениями ресторанной кухни (и еды!). Медицинские рекомендации врачей и медсестер становятся неактуальны в свете новых устройств, обещающих установить более точный диагноз прямо на дому за минимальную цену. Scanadu – это новый сервис по удаленной постановке диагноза, который измеряет основные физиологические показатели человека, включая состав крови, и загружает эти данные в облако для дальнейшего анализа55. Разные ситуации, которые раньше подразумевали живую коммуникацию между людьми, теперь становятся частью медиа.

Суть заключается в том, что в мобильный формат будет переведено все, что можно, но не весь опыт должен быть переведен из мобильного в медиаформат. Мы должны признать возможность того, что основной технологический принцип – «сделаем это, потому что мы можем» – уже не самая разумная стратегия. Экспоненциальные технологические изменения позволят нам выполнять все более обширные и сложные задачи, включая те, которые повлекут за собой качественные (и не всегда благоприятные) изменения в нашем поведении и нашем человеческом опыте.

Вспомните о возможности отследить местоположение любого человека, который использует интернет на мобильном устройстве, ранее представлявшейся нам нереалистичной. Да, наши вечно включенные устройства позволяют нам быть всегда на связи и следить за собой с помощью приложений для здоровья и приложений, считающих шаги. Но вместе с тем мы предстаем обнаженными и предсказуемыми, нас становится легко отследить, нами становится легко манипулировать и в конце концов нас можно будет полностью… запрограммировать.

Чтобы определить степень вмешательства технологий в нашу жизнь, попробуйте ответить для себя на следующие вопросы:

• Действительно ли нам необходимо фотографировать и записывать все вокруг нас, чтобы создать машинное облачное хранилище нашей жизни?

• Действительно ли нам необходимо размещать все события нашей жизни в социальных сетях? Делает ли это нас более похожими на людей или на машин?

• Действительно ли нам необходимо использовать онлайн-переводчики, например, SayHi или Microsoft Translate, когда мы общаемся с человеком на иностранном языке? Безусловно, это очень полезные сервисы, которые позволяют выйти из трудного положения. Но вместе с тем это еще один технологический барьер между нами и другими людьми, и благодаря ему уникальный человеческий вид деятельности становится еще одним подразделом медиа.

На эти вопросы не нужно отвечать «да» или «нет», скорее стоит поразмыслить и прийти к сбалансированному ответу.

Мегасдвиг 3: скринификация и эволюция интерфейсов

Практически все, что мы раньше потребляли в печатном виде, теперь переходит на экраны. Эволюция интерфейсов означает, что через десять лет печатные газеты уже никто не будет читать. Такая же участь ожидает и журналы, только несколько позже, так как они, кроме всего прочего, приятны на ощупь и вкусно пахнут. Благодаря этому богатству ощущений журналы выделяются в ряду всех печатных изданий.

Бумажные карты, скорее всего, полностью исчезнут в ближайшие несколько лет, так как ими можно воспользоваться на любом электронном устройстве. Банковские операции, которые раньше совершались в стенах банка или с помощью банкоматов, быстрыми темпами переходят на мобильный формат, а данные по ним сохраняются в облаке. Раньше звонки совершались по телефону – теперь широкое распространение получили видеозвонки с помощью Skype, Google Hangouts и Facetime.

Интерфейс робота раньше включал в себя кнопки и пульт управления, а теперь он состоит из одних экранов, похожих на лица, и мы просто можем с ними разговаривать. У машин были переключатели, кнопки, простые дисплеи и панели приборов – теперь ими можно управлять полностью при помощи сенсорных экранов. Этот список можно продолжать бесконечно!

Устройства дополненной реальности, стремительно заполняющие рынок, способствуют так называемой скринификации нашего зрения. Несмотря на то что некоторые люди считают, что нам уже пора обновиться с помощью технологий, в ближайшем будущем мы все-таки еще будем смотреть на мир своими человеческими глазами 1.0. Вместе с тем многие из нас уже используют очки дополненной реальности, подключенные к интернету контактные линзы и другие устройства, которые значительно усиливают то, что мы видим, и изменяют наши способы взаимодействия с ним. Наше визуальное восприятие мира скоро необратимо изменится и приведет нас к ХелВену.

Переход к экранам – это ключевая тенденция в процессе соединения человеческого и машинного, и вопрос заключается в том, как далеко мы можем позволить себе зайти. В рамках этой дискуссии также обсуждается широкое использование дополненной и виртуальной реальностей и голограмм.

Экраны будут окружать нас везде и всюду, они будут работать на солнечной энергии и подолгу держать заряд и, скорее всего, станут дешевле изысканных обоев для рабочего стола. Далее будет очень легко сделать следующий шаг – начать накладывать экраны на реальность, чтобы электронная информация или подходящие по контексту изображения размещались прямо поверх объектов, которые мы наблюдаем вокруг себя. Я полагаю, что использование виртуальной и дополненной реальностей через десять лет станет так же обыденно, как сообщения в WhatsApp. Это захватывает и настораживает одновременно: кто же в таком случае будет определять, что реально, а что нет?

Подумайте, что может произойти с нашим самосознанием. Представьте, что вы получили суперзрение и совершенное визуальное восприятие с помощью очков Microsoft HoloLens за 250 долларов. Представьте доктора, выполняющего операцию в очках VR от Samsung, так как в них у него есть доступ к реальным данным, снижающий риск врачебной ошибки.

Мир, который мы увидим, будет более насыщенным, динамичным и взаимосвязанным, но насколько он нас дезориентирует и не вызовет ли привыкание? Захочет ли кто-то видеть мир без этих новых супернадстроек? Эта проблема обострится еще больше, когда компании, поставляющие эти товары, задействуют целые армии нейробиологов и поведенческих экспертов, чтобы они придумали, как сделать нас еще более зависимыми от удобных экранов. Если даже лайк на Facebook повышает уровень дофамина, какой же эффект сможет произвести возможность видеть измененную реальность?

Но здесь нет угнетателей. Никто тебя не заставляет. Ты по доброй воле садишься на поводок. И по доброй воле превращаешься в аутистку. Ты больше не ловишь простые человеческие сигналы. Ты сидишь за столом с тремя живыми людьми, они смотрят на тебя, хотят поговорить, а ты пялишься в экран и ищешь незнакомцев… в Дубае!

– Дэйв Эггерс[43]. «Сфера»56

Мегасдвиг 4: ликвидация посредников

Ключевой тренд в онлайн-продажах, медиа и коммуникациях заключается в том, чтобы устранить посредника. Это уже произошло в музыкальной сфере, где новые платформы, такие как Apple, Spotify, Tencent, Baidu и YouTube, вытесняют звукозаписывающие компании, которые раньше получали 90 % от заработка музыкантов.

Посредника устраняют и в сфере туризма: на смену традиционному отельному бизнесу приходит Airbnb – сервис, с помощью которого можно напрямую связаться с владельцами квартир и договориться о съеме жилья.

Этот процесс затрагивает также издательское дело: писатели теперь могут обратиться в Amazon Kindle Publishing и получить 70 % прибыли от продажи электронной книги, а не десять процентов от обычного издателя. Только представьте себе, как бы выросла популярность Толстого и насколько увеличились бы его доходы, будь у него прямой доступ к подобному сервису!

То же происходит и с банковскими операциями: с помощью PayPal, M-Pesa (в Африке), Facebook Money и TransferWise мы можем отправлять переводы по всему миру. Эти сервисы во многом превосходят банковские традиционные способы денежных переводов, чьи огромные комиссионные взносы отпугивают клиентов. Добавьте ко всему перечисленному розничную торговлю, страхование и электроэнергию – и станет понятно, к чему мы движемся: все, что можно будет сделать напрямую без посредников, будет осуществляться только таким образом. Технологии смогут это гарантировать.

Главная сложность заключается вот в чем: разрушение старого прекрасно, волнующе и выгодно (что можно заключить по многочисленным стартапам, достигающим оценки в один миллиард долларов буквально за несколько лет), но вместе с тем нам нужно не только ломать, но и строить57. Казалось бы, все очевидно: к чему еще стремиться, как не к тому, чтобы достичь уровня компаний, которые оцениваются в миллиард долларов (так называемые компании-единороги) или даже в десять миллиардов долларов (десятироги). Однако нам нужно удостовериться, что мы не только стремимся к высокой рыночной капитализации, но и строим новую и улучшенную инфраструктуру и социальный контекст.

Uber устранил посредников на рынке такси и лимузинов, и это обернулось выгодой для клиентов, водителей и других сотрудников компании. Однако во время своего становления Uber сам превратился во что-то наподобие посредника. Некоторые эксперты называют этот бизнес «платформенным капитализмом» и «цифровым феодализмом» – из-за того, что Uber обращается со своими водителями как с расходным материалом, и это явный недостаток экономики свободного заработка58.

Пример с Uber показывает нам, что недостаточно будет просто разрушить то, что перестало быть эффективным (индустрию такси), или преобразовать те сферы рынка, чьи участники уже не заботятся о сохранении своих позиций. Необходимо создать новую совершенную цифровую экосистему, которая сможет сохранить всю головоломку, а не отдельные ее части. Пожинать плоды после развенчания устаревших бизнес-моделей – это неустойчивая стратегия. Смысл заключается не только в том, чтобы разрушать, но и в том, чтобы строить.

Ликвидация посредников очевидно является следствием экспоненциального развития технологий, и в будущем мы еще увидим много подобных примеров. Ураганы изменений ожидают нас в сферах здравоохранения и энергетики. Необходимо помнить о том, что одно лишь разрушение старого неэффективно и долго мы в этом русле не продержимся. Нам необходимо создать новые человеческие ценности и построить целостную экосистему, состоящую не только из алгоритмов, но и из андроритмов, которая будет способствовать распространению этих ценностей. Нам необходимо целостное восприятие для того, чтобы изменить мир к лучшему.

Прежде чем вы очаруетесь великолепными гаджетами и завораживающими видеодисплеями, позвольте напомнить вам, что информация – не знание, знание – не мудрость, а мудрость – не предвидение. Каждое понятие вырастает из предыдущего, и все они нам необходимы.

– Артур Кларк[44], 59

Мегасдвиг 5: преобразование

Термин «цифровое преобразование» уже к 2015 году уже стал довольно заезженным и превратился в штамп вроде «социальной сети». И все же он хорош, так как выходит за рамки обыкновенного понятия изменения или инновации. Он буквально означает становление чем-то иным, перерождение гусеницы в бабочку, игрушечной машинки – в игрушечного робота, производителя машин – в поставщика транспортных услуг. Преобразование станет первым приоритетом компаний и организаций, когда экспоненциальные технологические изменения начнут оказывать на них повсеместное влияние. Преобразование, направленное на то, чтобы остаться на плаву спустя пять лет, потребует дальновидности и смелости, а также поддержки заинтересованных сторон и рынков капитала.

Но не стоит забывать, что матерью всех преобразований станет мегасдвиг от исходного нахождения отдельно от компьютеров и устройств к состоянию перманентного контакта с ними.

Мегасдвиг 6: интеллектуализация

Основной вызов человечеству бросает тот факт, что теперь вещи тоже становятся умными.

Все окружающие нас объекты, которые раньше существовали обособленно и статично, теперь подключаются к интернету с помощью сенсорных сетей и постоянно обновляются.

Мы сможем наделить интеллектом буквально все, потому что сейчас у нас есть для этого все средства.

Глубокое обучение – основной двигатель интеллектуализации. На смену традиционному подходу к программированию машин, при котором они должны следовать инструкциям и выполнять свою работу, приходит новая парадигма – обеспечить их большой вычислительной мощностью, предоставить доступ к огромному количеству информации и набор базовых правил обучения и дать простую команду, например: «Выясни, как выиграть в любую игру в го, шахматы или нарды». Затем машина самостоятельно находит такие правила и стратегии, до которых мы сами никогда бы не додумались.

DeepMind, компания Google, занимающаяся развитием ИИ, в 2015 году продемонстрировала эффективность глубокого обучения, показав, что компьютер может самостоятельно научиться играть и выигрывать в игры Atari[45] и достичь совершенных результатов за короткий промежуток времени60.

Вскоре после этой демонстрации DeepMind разработали AlphaGo – компьютер, способный к самостоятельному обучению, который в совершенстве овладел более сложной древнекитайской игрой в го61. Это высший уровень компьютерного интеллекта: не математическое совершенство, которое продемонстрировал DeepBlue, когда обыграл Гарри Каспарова в шахматы62, а способность машины оценивать окружающие обстоятельства и самостоятельно рекурсивно выбирать наилучший ход действий. С помощью постоянного повторения этого процесса AlphaGo могут очень скоро экспоненциально усовершенствоваться.

Мегасдвиг 7: автоматизация

Экспоненциальные технологии обещают нам, что все может быть оцифровано и наделено интеллектом, а затем автоматизировано и виртуализировано. Автоматизация является главным фактором, ведущим к гиперэффективности, потому что она позволяет заменить человека машиной. Я подробнее остановлюсь на этом вопросе в четвертой главе, посвященной автоматизации общества.

Мегасдвиг 8: виртуализация

Виртуализация, говоря простым языком, представляет собой создание нематериальной цифровой версии чего-либо вместо его материальной копии. Наиболее часто используемые виртуальные сервисы – это экран рабочего стола или виртуализация серверов, где все материалы хранятся в облаке и доступ к ним можно получить только через терминал на рабочем столе или через приложение на смартфоне. Другой пример – коммуникации и нетворкинг: вместо сетевого оборудования (маршрутизаторов и переключателей) звонки и передача данных маршрутизируются в облаке с помощью программно-определяемых сетей[46]. Преимущества такой виртуализации включают в себя потенциально большую экономию средств и быстрый сервис, но в то же время она разрушает бизнес-модели глобальных игроков, таких как Cisco.

Предполагается, что облачная виртуализация может обеспечить до 90 % экономии средств63. Вместо того чтобы отправлять печатные книги адресатам по всему миру, Amazon создает виртуальный магазин и отправляет файлы читателям на их электронные книги. Таким же образом мы скоро виртуализируем процесс доставки. Представьте, сколько можно будет сэкономить, если 3D-принтер сможет распечатать вам чехол для iPhone прямо в гостиной, и все, что от вас потребуется, – это выбрать дизайн. Представьте себе 3D-принтер в будущем: он сможет напечатать даже самые сложные товары, состоящие из сотен различных материалов, прямо в вашем любимом торговом центре – все от кукол барби до кроссовок.

Виртуализации сопутствует децентрализация, так как у нас нет нужды в центральном распределительном пункте, если продукт доступен в облачном сервисе. Для работы программно-конфигурируемых сетей не нужны будут провода: включение и выключение можно будет производить дистанционно, что также позволит во многом сэкономить. Однако вместе с децентрализацией и виртуализацией активов возникает вопрос о безопасности, так как становится меньше точек физического контроля64. Это открывает большие возможности для инновационных компаний, но представляет серьезные трудности для правительства и политиков. Как мы договоримся о правилах поведения и нормах цифровой этики в этой новой технологической реальности?

В ближайшем будущем виртуализация распространится на банковское дело, финансовые услуги, здравоохранение и фармацевтику, в особенности на разработку лекарств. Цифровая терапия дополнит или даже заменит традиционную медицину, предлагая лечение с помощью поведенческих модификаций, чтобы минимизировать или полностью ликвидировать проблему со здоровьем. Другой впечатляющий пример – облачная биология, где компьютерные программы могут поглощать данные, полученные в лаборатории, и соединять их с другими данными, чтобы ускорить процесс нахождения новых формул лекарств. Теперь представьте экспоненциальный эффект, который произведет соединение виртуализации с другими мегасдвигами. Виртуальные облачные роботы смогут ускорить любой процесс и обеспечить его надежность, также как оцифровывание поведенческих изменений сможет стать альтернативой лекарствам65.

Становится очевидно, что именно виртуализация приведет к конфликту человека и технологий, который заключается в потере рабочих мест, высокой вероятности того, что «программы скоро съедят биологию», и во все возрастающем искушении виртуализировать людей с помощью загрузки сознания[47] (brain uploading) или киборгизации, что является мечтой многих трансгуманистов66.

Мегасдвиг 9: цифровые предсказатели

Компьютерам очень хорошо удается угадывать наши будущие нужды, когда мы сами еще их не сознаем. Google Now и Google Home – умные цифровые помощники от Google, часть ориентации компании на ИИ. Они смогут предвидеть любые изменения в вашем распорядке дня (задержка самолета, пробки, встречи, которые длятся дольше, чем планировалось) и использовать эту информацию, чтобы предупредить участников следующей встречи, что вы задержитесь, или даже забронировать более подходящие билеты на самолет67.

Способы предупреждения преступности, основанные на алгоритмах, набирают популярность среди сотрудников правоохранительных органов. Эти программы используют большие массивы данных: статистику преступлений, социальные сети, геолокацию мобильных телефонов и транспортные данные – для определения места потенциального преступления, с тем чтобы полиция могла находиться поблизости и предотвратить его в случае необходимости. В ряде случаев, похожих на ситуацию с провидцами из фильма «Особое мнение»[48], 68, некоторых людей навещали социальные работники или сотрудники полиции, так как система показывала, что они с большой вероятностью способны совершить преступление.

Представьте, какие обороты примет эта ситуация, когда интернет вещей распространится повсюду, соединяя сотни миллиардов предметов: светофоры, автомобили, устройства экологического мониторинга. Представьте упреждающий, предсказательный потенциал, когда у нас появятся инструменты, с помощью которых ИИ сможет разобраться во всех этих данных. При разработке лекарств ИИ, работающий на квантовом компьютере, смог бы наметить триллионы молекулярных комбинаций, моментально выбрать те, которые подходят для лечения, и даже предотвратить начало болезни.

Представьте, что случится, когда банкноты и монеты станут цифровыми, и любую, даже самую маленькую покупку можно будет отследить – эффективно, но явно нарушая границы частной жизни. Что это – выгодные технологические трансформации или «дивный новый мир»?[49]

Несмотря на заманчивые перспективы, которые, казалось бы, открывают опережающие технологии, я вижу в этом определенные этические проблемы, которые только растут, и вот основные из них:

• Зависимость – поручать программам и алгоритмам думать за нас, потому что это гораздо удобнее и быстрее.

• Неопределенность – не знать, кто ответил мне на электронное письмо – сам человек или его ИИ-помощник. Или даже не быть уверенным в том, сам ли я принял решение или мой умный помощник мной манипулировал.

• Потеря контроля – невозможность узнать, являются ли предсказания ИИ истинными или нет, потому что мы не можем отследить логику системы или понять, как работает система машинного обучения на квантовом компьютере. Другими словами, нам придется либо полностью ему доверять, либо не доверять вообще – дилемма, схожая с той, с которой сталкиваются летчики при виде автопилота.

• Отречение – поддаться искушению оставлять как можно больше задач для ИИ, который сделает все за нас: спланирует расписание, назначит встречи, ответит на простые электронные письма. В таком случае, если что-то пойдет не так, будет очень легко обвинить во всем облако, бота или ИИ.

Мегасдвиг 10: роботизация

Роботы – это воплощение всех мегасдвигов в одном механизме, где они консолидируются, и на выходе получается удивительные новые создания, которые скоро будут повсюду, нравится нам это или нет. Благодаря значительным прорывам в понимании естественного языка и распознавании изображений, растущей мощности аккумуляторов и появлению новых материалов, которые гарантируют улучшение навыков движения, мы можем ожидать падения цен на роботов, в то время как польза от них будет стремительно расти.

Некоторых роботов даже можно будет напечатать на 3D-принтерах, так же как сейчас выпускают первые автомобили, чьи части были полностью напечатаны69.

Суть заключается в том, что на пути к экспоненциальным изменениям нам также нужно обращаться к понятиям этики, ценностей и культуры. В обратном случае технологии сначала постепенно, а потом мгновенно превратятся в цель нашей жизни, а не в средство для ее поиска.

Глава 4. Автоматизация общества

Высокая производительность, растущие прибыли на фоне сокращения рабочих мест, увеличивающееся число техномиллиардеров и уменьшающийся средний класс?

Автоматизация заслуживает особого внимания среди прочих мегасдвигов, так как она во все времена была двигателем социальных изменений. Например, восстания луддитов в Англии в 1811–1816 годах, когда на смену ручным ткацким станкам пришли новые механические, происходили от страха людей лишиться средств к существованию из-за новых технологий70.

История насчитывает множество примеров, когда люди, пострадавшие от внедрения технологий в производство, впоследствии открыли для себя новые возможности благодаря техническому прогрессу. Рынки становились более эффективными, цены снижались, производство росло, открывались новые сектора экономики, и индустриальное общество не страдало от устойчивой технологической безработицы, образовавшейся в результате автоматизации71. С каждой волной индустриализации технологии создавали условия для появления новых секторов, в рамках которых на смену исчезнувшим рабочим местам создавались новые. Зарплаты увеличивались вместе с производительностью – по крайней мере, до тех пор, пока не появился интернет.

Если отмотать ход истории к периоду информационной экономики – этот устаревший уже термин раньше использовался для описания эпохи первой волны интернета, – мы заметим, что отношения между технологическим прогрессом и созданием рабочих мест приняли другой характер. В главных экономиках мира, в первую очередь в США, укреплялось неравенство, так как компаниям, располагавшим средствами и платформами для перевода своей деятельности в цифровое русло, требовалось уже гораздо меньше работников, чем раньше72, 73.

Переход от информационной экономики к экономике знаний[50] занял гораздо меньше времени и привел к более деструктивным последствиям. Сейчас, когда мы уже устремились к экономике машинного интеллекта, количество рабочих мест обещает значительно сократиться, и разрыв между производительностью и средним уровнем заработной платы будет только увеличиваться. Используя мегасдвиги, компании смогут производить более совершенные товары, тратя на их производство меньше времени и средств. Мне кажется, что сокращение рабочих мест и рост безработицы станут новой нормой, а не исключением.

Некоторые настораживающие тренды, связанные с занятостью, можно было заметить уже в начале восьмидесятых, когда мы впервые увидели новые устройства и виды автоматизации, способные выполнять нашу работу: сельскохозяйственное оборудование, сварочных роботов, автоматизированный колл-центр. Масштаб проблемы сейчас становится более очевидным. По данным Бюро трудовой статистики США, с 2011 года производительность в общем по США значительно увеличилась, в то время как уровень занятости и уровень зарплат не изменились74. В результате корпоративные прибыли выросли по сравнению с 2000 годом75.

Вместе с тем социальное неравенство продолжает расти по всему миру: по данным The Huffington Post, 62 самых богатых человека скопили больше богатства, чем 50 % населения планеты вместе взятые76.

Главный вопрос заключается в том, усугубит ли ситуацию экспоненциальный технологический прогресс или попытается каким-то образом ее разрешить.

Я считаю, что Бюро по статистике США может отметить еще один более важный тренд, который приобретет решающее значение благодаря мегасдвигам: технологический прогресс более не является катализатором роста зарплат и рабочих мест, как в индустриальную эпоху и даже раннюю эпоху интернета. Маржинальные и общие прибыли компаний растут, когда машины работают вместо людей. Однако миллионы уволенных сотрудников не видят для себя никакой выгоды от автоматизации: дальнобойщику не так-то легко переквалифицироваться в дизайнера интерфейсов!

Теперь представьте, к чему может привести автоматизация в экспоненциальных масштабах. По данным исследования Oxford Martin School 2013 года, 50 % работ могут быть автоматизированы в ближайшие два десятилетия77. Прибыли корпораций стремительно увеличатся, так как им удастся сократить число работников по всему миру, и этот опыт затем сможет применяться во всех сферах производства. Другими словами, выдвигая автоматизацию и прочие мегасдвиги на первый план, крупные компании смогут получать во много раз больше прибыли при участии гораздо меньшего количества людей.

Безусловно, появятся и некоторые новые профессии: дизайнер человеко-машинных интерфейсов[51], ученый, занятый в сфере облачной биологии, руководитель разработок в области ИИ, биоинформатик-аналитик, менеджер по защите личных данных. Однако миллионы тяжелых физических, да и самых обычных профессий исчезнут навсегда – в первую очередь однообразные, не требующие проявления уникальных человеческих качеств, таких как эмпатия, творческий подход и способность к ведению переговоров. То, что это произойдет, – несомненно; вопрос лишь когда.

В этом и заключается главная сложность взаимодействия человека и технологий: мы должны понять, как скоро совершатся экспоненциальные изменения и чем это обернется для образования, правительственных стратегий, систем социального обеспечения и государственной политики по всему земному шару.

По мере того как ИИ все быстрее замещает ученых, программистов, врачей и журналистов, возможности найти значимую работу становятся настолько редкими, что очень мало кто из нас сможет обеспечить себе рабочее место, где будет заниматься чем-то похожим на типичную современную работу. В то же время большинство вещей, необходимых для удовлетворения наших базовых потребностей по шкале Маслоу (еда, вода, крыша над головой), значительно упадут в цене. Машины возьмут на себя выполнение большинства тяжелых задач, что снизит затраты на предоставление услуг в сферах транспорта, банковских операций, общественного питания и медиа. Мы направляемся к еще не изведанным землям экономики изобилия и к концу тех времен, когда нам приходилось зарабатывать себе на жизнь. В конце концов нам придется отделить деньги от работы, и этот сдвиг может значительно пошатнуть те основания, на которых раньше строилась наша идентичность и ценностные ориентации.

Что будет хорошо, а что плохо? Чем будут расплачиваться за произведенные машинами товары и услуги те люди, которые не смогут найти работу, пусть даже эти товары будут значительно дешевле? Ознаменует ли это конец потребления как основной логики капитализма? Увидим ли мы начало конца известного нам сегодня оплачиваемого труда?

Политики, государственные должностные лица и члены правительства должны уделять больше внимания изменениям, связанным с автоматизацией, и эффективнее управлять этим стремительным процессом. Идейное лидерство станет главным требованием к представителям власти, и любой государственный служащий, несерьезно относящийся к необходимости быть «проводником будущего», серьезно ослабит свою позицию.

В ближайшем будущем главной причиной отдать голос за определенного кандидата станет его способность управляться с настоящим, то есть тем, как дела обстоят сейчас, и в то же время его исчерпывающее понимание того, что нам предстоит в дальнейшем.

Автоматизация в квадрате – пять составляющих

Я часто думаю о том, что автоматизация имеет следующие составляющие, которые изо дня в день ухудшаются.

1. Автоматизация.

2. Слепое подчинение.

3. Отречение.

4. Побочные эффекты.

5. Утрата контроля.

Автоматизация как неминуемый исход

Я считаю, что автоматизация в экспоненциальных масштабах обязательно случится хотя бы потому, что она становится наконец возможной и способствует снижению расходов, что является главной задачей практически всех компаний и организаций. Через пять-десять лет мы увидим новый тип производства, высокоэффективный и низкозатратный. Только подумайте, что в этом случае произойдет с работой и уровнем занятости. Можно ли допустить, чтобы эффективность взяла верх над человечностью? Следует ли нам все автоматизировать только потому, что мы знаем, как это сделать? Должны ли компании, которые инвестируют в замену своих работников технологиями, платить какие-нибудь налоги на автоматизацию, которые бы затем распределялись между теми, кто потерял работу? Уже скоро мы должны будем дать ответы на эти вопросы.

Давайте признаем тот факт, что совместными усилиями разных мегасдвигов, в первую очередь оцифровывания, виртуализации, интеллектуализации (глубокого обучения и ИИ), и роста популярности мобильных устройств каждый день открываются все новые возможности для автоматизации. В начале 2016-го, когда AlphaGo смог преодолеть код игры, он не был запрограммирован на то, чтобы играть в го, – он сам, с чистого листа, этому научился78.

Это уже не узкоспециализированные заранее запрограммированные ИИ-компьютеры, способные опередить человека в сферах, основанных на математике и логике, таких как игра в шахматы. Это ИИ, который способен имитировать работу человеческого мозга с помощью нейронных сетей, самостоятельно обучаться и программировать себя. Представьте себе, как такой ИИ сталкивается с очень сложными и объемными задачами и проблемами и затем выдает нам решение и способ автоматизации этих задач, таким образом превосходя нас практически в любой деятельности, связанной со знаниями.

Стюарт Армстронг[52] пишет в своей книге «Smarter than us: the Rise of Machine Intelligence»:

Если бы ИИ на сверхчеловеческом уровне обладал любой из человеческих возможностей, будь то способность к социализации, технологическому развитию или экономической деятельности, то он скоро добился бы господства над нашим миром. Как мы можем догадаться, развив эти возможности до человеческого уровня, он не остановится на пути к тому, чтобы усовершенствовать их и до сверхчеловеческих. Тем самым, если когда-нибудь компьютер запрограммируют на обладание этими навыками, то ИИ неминуемо приобретет власть над миром79.

Рассмотрим, к примеру, область социального обеспечения: выплаты больничных, пенсий, пособий по безработице, которые, вполне возможно, понадобятся миллионам людей. Вскоре после внедрения ИИ в эту сферу мы сможем располагать умным суперкомпьютером, который будет сам решать, по каким правилам следует определять размер социальных выплат, кому и как их нужно выплачивать. Это, безусловно, приведет к экономии государственного бюджета, но в то же время, вероятно, дегуманизирует население.

Продвинутый ИИ на территории США сможет определить порядок выплат с помощью сбора и анализа данных за последние 80 лет (с момента внедрения системы социального обеспечения в 1935 году)80. Он также сможет использовать и другую доступную информацию для расширения своих знаний по этой теме: медицинские карты, профили пользователей в социальных сетях, юридические нормы и основания, городские и правительственные базы данных. В результате может возникнуть динамично развивающийся ИИ-специалист по социальному обеспечению (так называемый СоцОбесБот), способный выполнять сложные операции, которого будут обслуживать только десять-двадцать процентов работников, занятых в этой сфере на сегодняшний момент. Скажите «прощай» эмпатии и сопереживанию: теперь машины будут определять размер ваших пенсий, а с ними не поспоришь.

Я часто задумываюсь о том, что случится, если эти предположения сначала постепенно, а затем резко начнут осуществляться на практике. Вероятнее всего, нас ждет то же, что сейчас происходит с избыточными социальными медиа. Если мы на каждом шагу сталкиваемся с автоматизацией, то вскоре начинаем плясать под ее дудку, признавая превосходство системы и ее воли над нами – неохотно, но с улыбкой на лице. Нам не слишком нравится то, что происходит, но мы не хотим устраивать сцен.

Затем мы и вовсе начнем отказываться от своих притязаний, как говорится, «отречемся от трона» и передадим всю власть системе. Уже скоро мы перестанем быть главным звеном в цепи – на наше место придет машина и станет новым центром притяжения, превратив нас в свое содержание. Таким образом, инструмент прогресса станет целью, а мы будем работать на то, чтобы система была довольна. Изначально «система» будет состоять из всех людей (узлов в сети), подключенных к глобальной электронной экосистеме.

Facebook сейчас представляет собой главный пример отречения: вместо того чтобы активно участвовать в политической жизни, что нам кажется неудобным и обременительным, мы просто ставим отметку «нравится» на сайте, делимся видео с друзьями, подписываем петиции или в лучшем случае жертвуем пару долларов или евро на проекты Kickstarter[53] и Causes.com[54].

Слепое подчинение

У нас уже есть некоторое представление об автоматизированных процессах, которые, по-хорошему, не должны подвергаться автоматизации. К примеру, мы можем воспользоваться специальной программой-генератором «привлекательных» текстов, благодаря которой наши посты получат больше лайков в социальных сетях. Мы часто идем на поводу у технологий, когда слепо доверяем их подсказкам, ведь это так просто и удобно. Так, люди часто добавляют в друзья человека только потому, что он является другом друга еще одного друга и недавно поставил им лайк под записью. Почему бы и нет, разве это опасно? И я бы в этом случае согласился, что на данном этапе очень сложно увидеть вред, причиняемый такими действиями.

Отречение

Но вот наступает следующая стадия, и мы начинаем замечать, как невольно перепоручаем наши обязанности технологиям. Вместо того чтобы регулярно навещать бабушку, можно установить ей Skype и видеться с ней еще чаще, но через экран. Хорошо это или плохо?

Или же, вместо того чтобы лично сопровождать бабушку на прием к врачу, мы подарим ей устройство диагностирования на расстоянии, способное измерить основные физиологические показатели в любое время и в любом месте, чтобы нам не пришлось тратить на нее свое время.

Все вокруг нас напоминает о нашем отречении от нашей собственной власти в пользу технологий. Я довольно часто пользуюсь сервисом TripAdvisor, который с уверенностью указывает мне на лучший ресторан, и мы идем именно туда, несмотря на то что нас окружают еще 25 симпатичных с виду заведений. В каком-то смысле мы доверяем машинам руководить нами и выносить за нас решения. Опять же, в случае с TripAdvisor ничего ужасного не происходит, но только представьте себе, как этот тренд увеличивается в экспоненциальных масштабах. В конце концов мы можем прийти к ощущению того, что мы вообще уже ничего не решаем и не можем ни на что повлиять, – те или иные вещи просто происходят с нами. Жизнь станет намного проще, не так ли? Идти следом гораздо легче, чем прокладывать дорогу самому.

За последние два года я уже много раз обсуждал TripAdvisor с друзьями и публикой и пришел к тому, что это просто еще одна информационная точка среди многих, и если я предупрежден о ее соблазнах (подчинении и отречении), то я смогу противостоять им и обратить этот сервис себе на пользу. Как и в других сложных случаях, главное – соблюдать баланс. Но что, если TripAdvisor превратится в ИИ, умного и всемогущего бота, и я уже не смогу с такой легкостью критически оценить его честность? Что, если он станет слишком умным, и я буду вынужден либо полностью довериться ему, либо не доверять совсем?

Карты Google – еще один пример того, как легко люди отказываются от своего «трона». Как часто вам приходилось стоять на перекрестке в чужом городе и искать на экране здание, которое находилось прямо перед вами? Но нет, мы уже не доверяем собственным глазам и глазам других людей. Мы верим тому, что нам говорит высший разум. Нужно ли брать с собой зонт на случай дождя? Google подскажет вернее, чем мое предчувствие о погоде или взгляд в окно.

Этот пример довольно безобиден, но только представьте, как эти тенденции усилятся с помощью экспоненциальных технологий. Появится ли всеобъемлющий медицинский разум, который будет решать, стоит ли нам заводить детей, основываясь на ДНК и различных других факторах? Откажут ли нам в страховке, если мы все же на это решимся, несмотря на запрет? Сможем ли мы свободно принимать решения, не основанные на логике и алгоритмах? Сможем ли мы по-прежнему совершать глупые поступки: превышать скорость, напиваться, есть вредную еду? Или свобода воли перестанет существовать?

Экспоненциальное отречение

Что произойдет, если технологии и дальше будут убеждать нас отдать им свои полномочия, ввиду того что это удобно, эффективно и как бы волшебно? Не говоря о том, что это на 95 % быстрее! Что, если мы сейчас видим только вершину айсберга отречения, находимся на пятом уровне по шкале от 0 до 100? Решимся ли мы «отречься от сознания» и позволить машинам судить о нашей морали и ценностях, как пишет Стивен Талботт[55] для The New Atlantis?81 Если, по выражению Талботта, «технологии настойчиво приглашают нас забыть самих себя», то к чему приведет применение экспоненциально более мощных технологий?

Приведет ли наша забывчивость к тому, что мы по умолчанию будем жить цифровой жизнью, как лунатики, и над нами установится глобальный цифровой феодализм, где технологии-повелители будут управлять нами, а мы даже не сможем понять, каким именно образом они это делают?

В одном можно быть уверенным: технологии и их крупнейшие провайдеры сделают все возможное, чтобы склонить нас к повиновению и отречению, случайно или преднамеренно. Вместо того чтобы изменить диету, мы принимаем лекарства от давления. Когда нам скучно, мы не тратим время на размышления, а спешим заполнить пустоту блестящими планшетами, с головой погрузиться в цифровой мир. Мы не пытаемся помочь нашим детям найти новых друзей – вместо этого мы разрешаем им играть с виртуальными друзьями: роботами-животными и куклой Hello Barbie, первой ИИ-куклой, которая разговаривает с детьми, как живая82. Это намного проще!

Станут ли в таком случае цифровые помощники Amazon Echo и Google Home такими же инструментами отречения?

В случае с социальным обеспечением, упомянутым выше, тяга к отречению может привести к тому, что государственные служащие передадут свои обязанности машинам. Представим, что этот воображаемый СоцОбесБот постепенно начинает брать на себя человеческие задачи, потому что он на 90 % дешевле и на 1000 % быстрее. Тогда, даже если он будет только на 90 % точен, правительство, скорее всего, скажет, что он все равно намного лучше справляется с работой.

Побочные эффекты

Следующим шагом вниз по этой нисходящей спирали может стать ухудшение положения оставшихся человеческих работников, пользователей и клиентов системы. Уровень фрустрации будет расти, но мы мало что сможем с этим сделать, потому что система будет намного масштабнее, быстрее, эффективнее нас. Отдельные раздражители можно будет устранить, но мы не сможем перестать пользоваться системой, принимая во внимание ее всеобъемлющее присутствие во всех сферах нашей жизни.

В который раз лучшим примером является Facebook. С одной стороны, нас очень раздражают постоянные уведомления о том, что кто-то из тех людей, которых мы едва помним, сменил статус. В то же время мы не хотим потерять связь с теми, кто действительно важен для нас. Удобство платформы, ее власть и охват лишают нас возможности изменить то, что нас в ней не устраивает.

Утрата контроля

В итоге превращение реальных людей в цифры, абстрактные данные в рамках проекта по автоматизации социального обеспечения грозит тем, что сама идея помощи людям будет безнадежно извращена и перевернута с ног на голову. Это последний этап, наиболее мрачный из пяти стадий автоматизации, до которого мы можем дойти, если не примем меры в рамках осуществления автоматизации на первых двух стадиях (подчинения и отречения).

Можно лишь надеяться, что эффективно осуществляемая и хорошо спроектированная автоматизация не приведет к таким массовым подавлениям воли и только иногда будет провоцировать приступы раздражения. Однако тот факт, что мы не сможем вовремя понять, что теряем контроль над ситуацией, пока не дойдем до поворотной точки, а потом справиться с ней уже будет не в наших силах, – вызывает беспокойство касательно экспоненциальной автоматизации.

Поиск баланса

Сложность заключается в том, чтобы соблюсти правильный баланс: что мы можем автоматизировать так, чтобы не произошло замещения машинами ценных человеческих проявлений, таких как разговоры или коммуникационные потоки? Когда вы звоните в колл-центр, чтобы изменить номер рейса, хотите ли вы, чтобы сотрудник проявил понимание и эмпатию по отношению к вам? В большинстве случаев – нет, но иногда это необходимо, например, когда возникает непонимание в рамках вежливого общения. Так, до 90 % колл-центров будут автоматизированы в ближайшие несколько лет, но в некоторых случаях нам все равно нужно будет поговорить с живым человеком. Конкретно в этом случае хорошо спроектированная и регулируемая человеком автоматизация может служить примером позитивного развития, но миллионы рабочих мест так или иначе исчезнут.

Продолжим дискуссию о самом ближайшем будущем… Путешествуя самолетом, можно ли довериться полностью автоматизированной беспилотной кабине? Или же нам будет спокойнее, если пилот все-таки будет присутствовать? Проходя медицинское обследование, хотели бы мы, чтобы к нам проявили «гуманность» и сочувствие, или же нам будет достаточно того, чтобы машина сообщила нам только факты? В случае простуды или проблемы с желудком кажется, что автоматический дистанционный диагноз может быть полезен и вполне приемлем. Однако, когда речь идет о постановке таких серьезных диагнозов, как нервное расстройство, астма или диабет, такая автоматизация безусловно дегуманизирует сферу медицинских услуг.

Автоматизации нельзя сказать «да» или «нет»; на вопросы, связанные с ней, необходимо отвечать постепенно и осторожно, стараясь сохранить баланс и всегда заботясь в первую очередь о человеке. Вопрос заключается не в том, смогут ли и как смогут технологии что-либо автоматизировать, а в том, будет ли это способствовать процветанию человечества. В том, за кого мы болеем: за команду технологий или за команду человечества.

Автоматизация внутри нас?

Вместе с вещами, которые подвергаются автоматизации вокруг нас, существует также много вещей, которые могут быть автоматизированы внутри нас и начать оказывать влияние на то, как мы думаем и что мы чувствуем. Подумайте о том, как программы и алгоритмы, умные цифровые помощники, облачные сервисы и роботы, оборудованные ИИ, забирают на себя все больше наших ежедневных дел и как некоторые из нас уже автоматизировали дружбу с помощью социальных сетей и мессенджеров.

Что случится с нашим коллективным разумом, проявляющимся в процессе живого общения, в рамках которого мы учимся, спорим, обсуждаем проблемы, принимаем решения и создаем наши общества и демократические режимы? Как будут формироваться наши решения, если все, что мы видим и слышим друг о друге, будет определяться исключительно алгоритмами, созданными для того, чтобы заставить нас увидеть как можно больше рекламных объявлений, а не людей? Что, если эти инструменты не будут подвергаться общественному контролю, надзору и управлению?.. Будут ли нами управлять машины и алгоритмы, находящиеся в собственности огромных международных интернет-платформ и технологических компаний? Станут ли они «системами виртуального распределения дофамина», запрограммированными на то, чтобы вызвать привыкание и одобрение и достигать максимальных результатов для своих владельцев, рекламщиков и других «шпионов», которые хотят анализировать и использовать наши персональные данные?

Google Новости83, так же как новостная лента Facebook84 и новостное приложение Baidu[56], 85, практически не управляются людьми. Почти во всех случаях, хотя за процессом и наблюдают люди, всю основную работу выполняют алгоритмы. В этих компаниях очень мало кто занимается контентом в журналистском смысле этого слова – вместо этого работники разрабатывают еще более умные алгоритмы и программы, способные справиться с любой новой задачей. Нет ничего удивительного в том, что девиз Марка Андриссена «Программное обеспечение съедает мир» уже превратился в «Facebook съедает интернет»86. И Facebook не хочет делиться! За исключением программистов, инженеров и исследователей искусственного интеллекта, Facebook нанимает очень мало сотрудников, в чей функционал входит прямое общение с клиентами.

Возможно, очень скоро программы будут не только «съедать», но и «обманывать» мир. Я уже чувствую, что меня обманывают или мной манипулируют, когда листаю ленту в Facebook, потому что я не могу доверять ей так же, как я доверяю The New York Times, The Economist, Der Spiegel или The Guardian, ведь ее единственная цель заключается в извлечении выгоды. Это не средства массовой информации, а средства массового обмана, но мы не можем выбраться из их сетей, хотя прекрасно об этом знаем.

Это не целиком одностороннее движение: по данным Mashable[57], Apple старается включить человеческий фактор в работу своего новостного приложения, музыкальных рекомендаций и плейлистов, но это определенно исключение, а не правило87.

Автоматизация переживает такой подъем, потому что всем уже понятно, что люди медленны, часто неэффективны и требуют значительного финансирования, в то время как машины недороги в использовании, ультраэффективны, и их показатели продолжают экспоненциально увеличиваться. Производительность вырастет в разы, но уровень трудоустройства людей неизбежно резко снизится. У нас будет работа в будущем, но, скорее всего, она будет оторвана от идеи зарабатывания на жизнь.

Также становится вполне вероятно, что мы больше не увидим того, что другой, возможно, более умный человек хотел бы до нас донести на новостных и медиаплатформах. Вместо этого содержание, которое мы должны увидеть, будет определяться ботом, ИИ, на основе миллионов фактов и отрывков данных, анализируемых в реальном времени. Мы явно рискуем потерять человеческие понятия о ценностях, морали, этике, эмоциях, искусстве и человеческую способность рассказывать истории из-за использования сервисов, которые их не воспринимают. Разумеется, ИИ уже в ближайшем будущем сможет понимать наши чувства и эмоции и даже симулировать их и нашу словоохотливость, но я не думаю, что ИИ когда-нибудь сможет стать человеком.

Я не хочу возвращаться в золотой век печатных газет – они были и остаются непрактичными, коррумпированными монополистами, которым нельзя верить. Однако в большинстве случаев в газетах трудились журналисты и редакторы, чьей работой было знать больше, чем мы, видеть контекст ситуации и определять его важность. Их целью было просветить читателя в определенной теме, хотя их мнения и были субъективными.

Очевидно, что история о якобы найденном в Ираке оружии массового уничтожения, рассказанная американским телеканалом Fox News и многими другими СМИ, показала, что телеканалы и корреспонденты также могут вводить в заблуждение, причем не всегда непреднамеренно. Но, по крайней мере, у нас была возможность выяснить, кто стоял за этим выпуском, и спросить с них. Я думаю, что это невозможно в случае с новостными ИИ-ботами. Более того, я уверен, что мы даже и не подумаем в них усомниться.

Еще одним следствием перехода на автоматизированные новостные ленты будет то, что мы будем видеть контент, отличный от того, который видят окружающие люди: наши семьи, супруги, друзья и коллеги. Их новости будут на 100 % индивидуализированы и, вероятно, поэтому будут полностью отличаться от ваших новостей. Мы, правда, уже подошли к тому этапу, когда у наших устройств появилось достаточно вычислительной мощности, чтобы сделать уникальную новостную ленту для каждого пользователя, основываясь на его личных данных.

Провоцируем ли мы тем самым обострение проблемы «пузыря фильтров»[58], когда алгоритмы создают для нас эхо-камеры[59], полные людей со схожими интересами, чтобы мы получали больше удовольствия от общения с ними? Как быть с предвзятостью подтверждения[60]? Интересует ли эта проблема такие гигантские генерирующие контент алгоритмы, как Google и Facebook? Или наше беспокойство о фильтрации и искажении информации, а также о манипуляции сознанием – это последнее, что волнует новостных провайдеров?

«Этика – это, конечно, хорошо, но у нас сейчас нет на это времени и ресурсов» – вот что я слышу от большинства компаний, когда мы обсуждаем эти вопросы. Я думаю, они совершают большую ошибку, потому что общество с неограниченной мощностью технологического прогресса без этики обречено.

Давайте представим, что этот новостной бот или ИИ-медиаспециалист теперь курирует не только онлайн новости, но и телевидение, что тоже, без сомнения, случится. Вот возможный сценарий: с помощью технологий ОТТ[61] новости, адаптированные под каждого конкретного зрителя, будут поступать прямо из интернета, минуя привычные службы трансляции и кабельные каналы. CNN или европейские каналы общественного телевещания заменят видеотрансляции в Twitter или Facebook, а приложения, боты и цифровые помощники уничтожат кабельное телевидение и стриминговые службы. Менее чем через десять лет телевидение и интернет превратятся в единое целое, что может полностью перевернуть наше восприятие медиа. И да, у ОТТ существуют и плюсы, поэтому не будем торопиться от них избавиться!

Если, как однажды сказал Кевин Келли, основатель и исполнительный редактор журнала Wired[62], «машины – для ответов, а люди – для вопросов»88, тогда куда же нас приведут машины в сфере контента, медиа и информации? Какие ответы они нам предоставят: широкий круг сверкающих подделок, основанных на анализе тех вопросов, которые у нас возникали или могли бы возникнуть, если бы нам предоставили возможность немного подумать?

Компьютеры бесполезны. Они могут только давать ответы.

– Пабло Пикассо89

Я считаю, что нас определяют такие уникальные человеческие черты, как способность задавать вопросы, представлять разные исходы событий, мыслить критически, читать между строк и видеть то, что еще только будет. И разве люди, стоящие за медиа и созданием контента, не должны стремиться к тому же?

Я боюсь наступления момента, когда все эти черты будут утеряны из-за машин, контролирующих, что и кого мы видим, на любых платформах на протяжении всего времени. Тогда мы уже будем на пути к тому, чтобы отказаться от нашего сознания и передать нашу человечность в их распоряжение. И прежде чем мы это осознаем, мы можем оказаться в программируемой реальности, принадлежащей владельцам серверов и программ.

Люди выступают в роли репродуктивных органов для технологий.

– Кевин Келли, «What Technology Wants»90

Что случится с нашей способностью принимать решения, если боты будут думать за нас и выступать от нашего лица? Если программы и умные помощники уже принимают за нас простые решения вроде выбора фильма или еды на вечер, куда тогда исчезнут сюрпризы, загадки, ошибки и интуитивные озарения? Можно ли будет запрограммировать этих умных цифровых помощников таким образом, чтобы они были по-человечески несовершенными, непоследовательными, по-своему особенными, но тем не менее могли достигать результатов? Хотели бы мы, чтобы они стали такими?

Будут ли боты голосовать за нас и станут ли представлять нас в демократических институтах, например на референдуме или даже в парламенте? Будут ли наши умные цифровые помощники собирать информацию и затем на основе анализа наших прошлых мнений, поведения и принятых решений советовать нам, за кого стоит проголосовать?

Останется ли свобода воли в прошлом, потому что в будущем все можно будет предсказать?

Свободной воли не будет ни в чем, созданном при помощи искусственного интеллекта.

– Клайд Де Суза[63]

Захватят ли кротовьи норы мир?

Технологии продолжают заманивать нас в свои сети, и я боюсь, что они тем самым говорят нам: «Мы можем предоставить быстрый доступ к любой информации, применяя ИИ, базы данных и роботов. В трудоемких, скучных и медлительных „человеческих штучках“ уже нет нужды».

Сначала они у меня в руках, затем на моем лице, в ушах и, в конце концов, в моей голове. Детям уже не нужно учиться писать, потому что компьютеры смогут слушать, фиксировать и расшифровывать все, что мы им скажем. Нет необходимости разбираться со сложностями в реальных человеческих отношениях, если можно состоять в отношениях, в том числе сексуального характера, с цифровыми эквивалентами с помощью дополненной реальности, виртуальной реальности и роботов. Не нужно учиться играть на инструментах, потому что интерфейс «мозг – компьютер» позволит мне воспроизводить музыку, просто думая о ней. Зачем учить языки, если за меня все скажет мобильный переводчик? Зачем разговаривать с людьми, если они могут просто «сбросить» нам данные? Зачем проявлять эмоции, которые только мешают грамотной работе ИИ?

С помощью автоматизации мы сможем избавиться от старого способа выполнения рутинных человеческих задач и моментально получить те же результаты – так, по крайней мере, планируется. Мы можем пролистать сотни страниц в Twitter и посмотреть многочисленные видео на YouTube, и, казалось бы, стать экспертом в какой-либо области в ничтожные сроки. Мы можем выучить все, что угодно, ровно тогда, когда это понадобится, а не «на будущее» или «на всякий случай». Для этого нам понадобится всего лишь правильная информация и подходящая программа.

Мы предпочитаем плыть по течению в потоке данных, вместо того чтобы их запоминать. В каком-то смысле мы можем стать сверхлюдьми. Или нет?

Я называю это пространственно-временными туннелями по аналогии с космическими воображаемыми путями (на которые можно попасть с помощью варп-двигателя[64] – для тех, кто смотрел «Звездный Путь»). Они символизируют быстрое достижение цели в обход всех человеческих промедлений с помощью технологий.

Но стоит помнить о том, что, слишком много путешествуя по таким туннелям, перестаешь быть человеком, потому что для этого нам требуется хотя бы частично уподобиться машинам. Как не устает напоминать нам лауреат Нобелевской премии, психолог Даниэль Канеман: «Для когнитивных способностей нужно тело, мы думаем телом, а не мозгом»92. Нам нужно понять и принять то, что человечность – это целостность, что познание связано со многими факторами, а не только с получаемыми по цифровым каналам данными, и по-настоящему стоящие решения приходят во время беседы, а не в результате клика мыши (хотя и полученные онлайн-идеи тоже могут быть полезными). Другими словами, если мы уберем процесс и оставим только результат, то это не будет тот же результат – программы нас обманут.

Взаимоотношения между людьми богаты и разнообразны и требуют усилий. И мы управляем ими с помощью технологий. Сообщения, электронная почта, посты – все это позволяет нам быть такими, какими мы хотим быть. Мы можем редактировать, и это значит, что мы можем удалять, то есть ретушировать лицо, голос, плоть, тело – не слишком сильно, не слишком мало, а в самый раз.

– Шерри Теркл[65], 93

Что случится с нашей человечностью, если мы избавимся от всех нудных человеческих процессов: разговоров, размышлений, эмоциональных проявлений? Станем ли мы полностью зависимы от этих пространственно-временных туннелей и варп-двигателей, несмотря на то что они всегда будут лишь симуляцией человеческого опыта?

Так как все мегасдвиги работают совместно (см. главу 3), комбинаторно и экспоненциально, нам предстоит столкнуться с тем, что переход на цифровой формат, автоматизация и виртуализация спровоцируют еще больший рост автоматизации. Если одно звено в цепи будет автоматизировано, то со всеми остальными придется сделать то же самое. Автоматизация первого звена приводит в действие автоматизацию второго, и автоматизация всего процесса провоцирует цепную реакцию у связанных процессов. Эту логику нельзя изменить, потому что система постарается обойти изменения.

Конечным результатом может стать то, что после автоматизации новостей и информации, покупок и торговли, финансов и медицинских услуг нам придется также автоматизировать себя, чтобы не нарушать работу системы.

Если мы позволим нашим инструментам (компьютеру, смартфону, цифровым помощникам или ИИ) стать целью, а не средствами и заставить нас передать им в руки нашу власть, тогда без нас уже скоро можно будет обойтись, ведь мы будем слабыми конкурентами машинам.

Самый весомый аргумент в пользу того, что ИИ понадобится тело, ученые обнаружат на стадии его обучения и развития – они поймут, что искусственный общий интеллект нельзя «вырастить» без тела.

– Джеймс Баррат. «Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens»94

Как же тогда провести границу между полезной автоматизацией и автоматизацией, которая зашла слишком далеко? Для начала, вот список того, что можно и нужно автоматизировать:

• бухгалтерия, заполнение форм, управление финансами;

• система безопасности в аэропортах;

•составление расписания, назначение встреч;

• прочие рутинные задачи, которые не требуют принятия решений.

Виды деятельности, которые, по моему мнению, не должны быть автоматизированы:

• новости и медиа;

•личные сообщения;

• лайки и подтверждения в социальных сетях;

• дружба (как автоматические подписки в Twitter);

• принятие на работу и увольнение персонала;

• демократические функции (например, подписывание онлайн-петиций вместо активной политической жизни);

• изменения человеческого генома;

• роды.

Напомню, что словарное определение слова «автоматизировать» – это в буквальном смысле «действовать от себя, действовать самостоятельно»95. Разумеется, существует множество задач, автоматизация которых пойдет всем только на пользу. Одни автоматизированные функции помогут большинству, другие – некоторым, а третьи в итоге всем только навредят. В «Машине времени» Герберт Уэллс[66] представил будущее, где мир делят между собой одичавшие морлоки и бездейственные, но благородные элои96. Даже если нам удастся избежать участи морлоков, насколько самодостаточными мы будем себя чувствовать в качестве элоев – пассивных представителей вида с номинальной претензией на превосходство?

Глава 5. Интернет вещей

Приведет ли интернет вещей к тому, что мы будем вынуждены отказаться от человечности и стать более похожими на машины, только чтобы с нами продолжали считаться?

Как уже упоминалось, развитие технологий приводит к появлению интернета вещей, который Cisco также называют «интернетом всего», а GE[67] – промышленным интернетом.

Его идея проста: когда все будет взаимосвязано и информацию безостановочно будут собирать отовсюду, мы получим возможность открывать новые истины и даже предсказывать и предотвращать события. Брюс Шнайер[68], эксперт по вопросам конфиденциальности и безопасности, называет этот искусственный облачный мозг взаимосвязанных между собой устройств, сенсоров, аппаратов и процессов «паутиной размером с мир»97. Такой интернет может привести к новой эре оптимизации и гиперэффективности, но как это скажется на человеческих взаимодействиях?

Интернет вещей позволит сэкономить значительные средства и приведет к переходу на устойчивую многооборотную экономику (circular economy), при которой ресурсы будут использоваться повторно или перерабатываться после первичного использования и, таким образом, отходы полностью исчезнут98. Интернет вещей станет возможным благодаря подключению датчиков ко всем предметам и установлению виртуальных связей между ними. Следующим шагом будет являться применение ИИ и предсказательной аналитики (predictive analytics), чтобы создать метаинтеллект, который сможет лучше читать, понимать и применять данные в экспоненциальных масштабах.

Из разговоров со сторонниками интернета вещей по всему миру я узнал, что если все задуманное осуществится, то расходы на логистику и перевозку грузов сократятся на 30–50 %, на индивидуальную мобильность (personal mobility) и транспорт – на 30–70 %, на электричество, отопление и кондиционирование – на 40–50 %.

Потенциальные экономические выгоды такой сети не могут не привлекать. Интернет вещей – это по-настоящему масштабное явление, и он, вне всякого сомнения, превзойдет привычный «интернет людей + компьютеров».

Все то великое, что приходит в жизнь смертных, несет с собой проклятие.

– Софокл[69]

Интернет вещей будет на порядок более мощным, чем сегодняшний интернет людей, и поэтому он с большой вероятностью вызовет некоторые нежелательные последствия. Повсеместное использование интернета вещей может оказаться раем или адом, но в любом случае курс на его развитие закладывается уже сейчас.

Может ли интернет вещей превратить нас в вещи?

Сегодня мы часто сталкиваемся с негативными последствиями интернета. Давайте предположим, что возможность слежения, потеря приватности и цифровое ожирение[70] действительно появились непреднамеренно. В таком случае нам стоит задуматься о том, насколько широкий доступ к нашей информации мы готовы будем предоставить провайдерам платформ и инструментов, посредством которых будет осуществляться интернет вещей. Также необходимо понять, как можно будет обеспечить нашу безопасность без глобальных соглашений, действенных санкций, саморегулирования и независимого надзора.

Ведущие платформы, облачные провайдеры и другие технологические компании, работающие в США, уже сейчас не могут помешать Агентству национальной безопасности, ФБР и другим государственным структурам считывать всю информацию с наших устройств. Как будут события развиваться через пять-семь лет, когда в мире будет более двухсот миллиардов подключенных к сети устройств?

В самом худшем случае интернет вещей может стать кульминацией машинного мышления – самой совершенной шпионской операционной системой, огромной сетью наблюдения, насаждающей полное подчинение и уничтожающей все оставшиеся намеки на анонимность100.

Представьте себе мир, в котором:

• автомобили, подключенные к сети, передают все данные о своем местоположении и перемещениях в реальном времени;

• все платежи осуществляются с помощью умных устройств, а наличные деньги, кошельки и кредитные карты стали достоянием истории;

• лечащий врач может легко узнать, как часто его пациент вставал со своего кресла за последнюю неделю, сколько он прошел пешком и каким было его сердцебиение, пока он дремал в самолете;

• наши «внешние мозги» (мобильные устройства) теперь напрямую подключаются к нашим обычным мозгам с помощью интерфейса «мозг – компьютер» или имплантов;

• все и вся становится информационными маячками, генерирующими тысячи гигабайтов информации в день, которая затем собирается в облако, фильтруется и анализируется такими компаниями, как Watson[71] от IBM и DeepMind от Google, которые ежесекундно применяют к ней свои ненасытные самообучающиеся глобальные ИИ-мозги.

Эффективность может с легкостью превзойти человеческие возможности во всех смыслах, и тогда нами станет управлять огромное машинное программное обеспечение, способное к самостоятельному обучению, которое в буквальном смысле будет съедать наш информационный вклад до тех пор, пока даже такое минимальное человеческое участие не перестанет быть необходимым. К этому моменту мы станем представлять меньшую ценность, чем технологии, создателями которых мы являемся.

Суверенитет, присущий человечеству на протяжении десятков тысячелетий, будет поставлен под угрозу – и не какими-нибудь пришельцами, а сторонниками технологий и их программами по гипермеханизации.

Если мы сегодня не можем определить, какими этическими принципами мы должны руководствоваться при пользовании интернетом и прочими устройствами, то как мы сможем принять решение по поводу чего-то, что в разы превышает сферу охвата нашей привычной сети? Стоит ли нам оставаться спокойными по поводу того, что нас ждет, только потому что мы можем не терять самообладание?

Кто контролирует ситуацию?

Сегодня у нас есть стандарты, инструкции и договоренности, регулирующие развитие биотехнологий и биоинженерии, например, инструкции, принятые на конференции Asilomar по рекомбинаторной ДНК в 1975 году101. У нас также есть договоры о нераспространении ядерного оружия. Тем не менее у нас еще нет похожих договоренностей в сфере данных и интеллекта, которые являются «нефтью» цифровой эры. Несмотря на то что данные уже стали самым мощным двигателем экономики, мы все еще не подписали глобальный договор, в котором бы оговаривалось, что можно, а что нельзя делать с личными данными более 3,4 миллиардов интернет-пользователей102. Договоренностей по когнитивным вычислениям[72] или искусственному интеллекту также еще не существует. За исключением появления ядерного оружия, в истории человечества произошло мало кардинальных изменений, вызвавших столь незначительную реакцию. Экспоненциальное использование данных, а также ИИ уже весьма скоро действительно превзойдет влияние ядерного оружия, но тем не менее ИИ остается почти неконтролируемой сферой.

Кто сможет проверить, насколько правильно поступают ведущие компании в области ИИ и данных? Кто проконтролирует новые замечательные интернет-вещи, чтобы они поступали правильно? И что это вообще значит – правильно? Кто это определяет? Сможем ли мы вообще понять, что правильно, а что нет?

Андроритмы и превентивные принципы

Что помешает новым хозяевам Вселенной не только обратить все процессы и аппаратное обеспечение в данные, но и превратить людей в вещи, будь то случайно или намеренно? Несмотря на восторг, который интернет вещей вызывает у всей технологической индустрии, – это риск, на который мы не можем пойти бездумно и без применения крайних мер предосторожности.

Мы должны обеспечить соблюдение баланса, который будет способствовать настоящему человеческому развитию, уравновешивая технологии, ступающие экспоненциальными шагами, беспокойством о человеческой сущности, и иногда вбрасывая отвлекающий вопрос о ней между нулями и единицами, которые начинают управлять нашей жизнью.

Я скромно предлагаю применить обновленную версию превентивного принципа (см. главу 8) к тем, кто собирается обеспечить и осуществить благое влияние интернета вещей. Он будет ограничением, гарантирующим, что интернет вещей не сможет навредить тем, кому придется существовать под его властью. Это в первую очередь относится к тем, кто будет контролировать интернет вещей; только установив, что эти лица несут ответственность, мы сможем двигаться дальше. В то же время нам предстоит проявлять активный подход к развитию этих технологий и не препятствовать инновациям.

Вопрос уже не заключается в том, чтобы выбрать «либо одно, либо другое», или в простом соединении этих двух стратегий. Homo sapiens вступают на доселе неизведанную территорию, спустя 70 лет после того, как было принято неоднозначное политическое решение и военный эксперимент по использованию ядерного оружия был реализован. Мы продолжаем идти навстречу миру больших данных, и на этот раз уже без какой-либо новой войны, которая могла бы оправдать это движение. Тем не менее мы движемся в этом направлении так легко, как будто думаем, что у нас будет возможность остановиться в любой момент. Интернет вещей сможет окружить человечество и изменить его сущность, точно так же как он сможет наделить богоподобным всемогуществом своих владельцев. Нам нужно принимать меры предосторожности и одновременно оставаться верными прогрессу – но два этих фокуса больше не могут существовать отдельно и продвигаться отдельными группами людей.

Глава 6. От магии к мании и вреду

Пока мы все отрываемся на свадебной техновечеринке, нам не помешало бы задуматься о том, какую цену придется завтра заплатить за этот банкет.

В 1961 году Артур Кларк – один из отцов-основателей футурологии, оказавший огромное влияние на мою работу, – сказал следующее: «Любая достаточно развитая технология неотличима от магии»103. Сегодня мы можем видеть, что Кларк оказался прав: в предыдущих главах мы уже отмечали достижения науки и технологий, которые выходят за рамки самых смелых фантазий.

Магические свойства технологий стали важным фактором развития коммерческой, экономической и социальной сфер, обеспечили рост и успех на рынке таких компаний, как Google, Apple, Facebook, Amazon, Baidu, Tencent[73] и Alibaba[74]. Магические силы технологий также благоприятствуют в первую очередь американским и китайским компаниям-единорогам: Baidu, Dropbox, Uber и Airbnb, появившимся на рынке сравнительно недавно.

Когда поисковик Google только начинал работать в 1988 году, найти с его помощью подходящий результат по простому запросу «дешевые билеты до Лондона» было уже своего рода магией. Так же как, например, заказать книгу из любой точки мира с доставкой буквально через несколько дней. Со следующей волной инноваций пришли новые дешевые развлекательные платформы: Netflix, Hulu[75], ViaPlay[76], Spotify и YouTube, навсегда изменившие наше отношение к медиа и стоимость медиа сервисов.

Чудеса сейчас повсюду. Включите Shazam, поднесите смартфон поближе к источнику музыки – и приложение определит, что это за песня и на какой платформе ее можно будет приобрести для дальнейшего прослушивания. Этот кажущийся сейчас простым квест по определению и поиску новой музыки раньше был гораздо более затруднительным. Теперь это стало проще, чем позвонить по телефону.

Для большинства из нас мобильные устройства и приложения воплощают чудеса технологий. Создается такое впечатление, что для решения любой проблемы в нашей жизни можно найти свое приложение, при условии, что мы располагаем достаточно мощным смартфоном с подключенным мобильным интернетом.

Только в одном Apple Appstore можно найти тысячи приложений для редактирования изображений и сотни приложений для знакомств. Существует бесчисленное множество приложений для составления расписания и назначения встреч и приложений, которые помогут при разводе. Есть также несколько полезных сервисов с уведомлениями о мокром подгузнике (Tweetpee), множество приложений, с помощью которых можно дистанционно заниматься практикой вуду, а также, что немаловажно, – все допустимые виды звуковых симуляторов выпускания газов!

Магия – вот всемирный двигатель индустрии технологий и мобильных устройств, объясняющий, почему смартфоны стали для нас важнее, чем компьютеры. Пирамида потребностей Маслоу изменилась соответствующим образом: вместе с базовыми потребностями в пище, воде, одежде и жилье мы также должны включить в этот раздел мобильные устройства, смартфоны и wi-fi – то, что теперь считается более важным, чем секс, дружба и престиж! Вероятно, в ближайшем будущем мы сможем также включить в эту последовательность наших умных цифровых помощников.

Даже повседневные и ничем не примечательные вещи и процессы обретут некую магическую силу, когда в нашу жизнь войдут интернет вещей, беспилотные автомобили, ИИ и умные помощники. Например, Libelium[77], ведущий волшебник в В2В-сегменте, хочет оживить мир с помощью внедрения умных ферм, умных городов и умной энергетики104. Это можно осуществить с помощью широкой сети датчиков, все подключенные к которой «тупые» устройства или аппараты (будь то трактор в поле или дерево в парке) станут умными.

Каждая умная труба сможет измерить свою температуру, пропускную мощность, уровень производимого ей шума и многие другие показатели. Каждый фонарь будет знать, сколько мимо него прошло людей и проехало машин, какие MAC-Bluetooth-адреса можно было обнаружить неподалеку и насколько сильно загрязнен воздух – спросите что угодно, дайте ей необходимые инструменты, и умная система сможет это определить и измерить. Учитывая возможные прибыли, нет ничего странного в том, что все технологические компании теперь инвестируют в интернет вещей.

Магический эффект выведет масштаб и темпы роста технологий за границу всех наших ожиданий. iPhone – это волшебство (по крайней мере, был таковым для большинства людей не так давно). iPad, дополненная и виртуальная реальности, машины Tesla, очки HoloLens от Microsoft… новые чудеса появляются каждую минуту.

Что важно, цены на все эти магические штучки продолжают падать, и, как и в случае с наркотиками, низкая цена и легкодоступность волшебных средств всегда влияет на то, как глубоко и быстро они распространяются. Уже через пять лет очень дорогостоящая магия (анализ генома или даже суперкомпьютерные вычисления) будет доступна за бесценок. Только представьте, как это изменит нашу жизнь: личное волшебное королевство станет доступно каждому. Все проблемы можно будет решить с помощью технологий. Мы постепенно превратимся в богов.

Волшебные люди – интеллект внутри

Сегодня магия технологий выходит за пределы аппаратов и вещей: она уже не заключается только в устройствах, гаджетах, сервисах или связи. Она все больше затрагивает нас самих, наше тело, сознание и человечность.

Многие исследователи недавно предоставили подтверждения тому, как интернет и в особенности социальные сети заставляют нас реагировать физически105. Они выяснили, что наше тело вырабатывает эндорфины и дофамин из-за того, что какой-то незнакомец за тысячи километров от нас поставил лайк под нашей записью или написал комментарий, который заставил нас почувствовать то, что нас ценят. Оказывается, что это предустановленная биологическая реакция, которую нельзя осознанно контролировать. Это объясняет растущую популярность социальных сетей у публики на фоне не столь привлекательных коммерческих сайтов и сайтов интернет-продаж.

Ключевым ингредиентом в составе ведущих социальных сетей является как раз таки подобная «ловушка удовольствия»106. Именно поэтому в январе 2016-го я решил сократить пользование Facebook, так как, постоянно подвергаясь эмоциональным и интеллектуальным манипуляциям со стороны его алгоритмов, я чувствовал, что движусь к бесчеловечности. Однако через шесть недель я понял, что 60 % посетителей моих сайтов попадают на них через Facebook, и над другими стратегиями привлечения аудитории еще придется поразмыслить. Пока что я продолжаю публиковать записи в Facebook, но я перестал использовать его как источник новостей и средство коммуникации[78].

Кроме обеспечения очевидной магической притягательности социальных сетей, эта сверхъестественная сила также ускоряет процесс внедрения различных технологий, которые раздражают наши чувства и заставляют сердце биться быстрее. Например, пересматривая видео, снятые с помощью камеры GoPro во время велосипедной поездки по горам Аризоны, мы уже как будто получаем порцию адреналина. WhatsApp творит свою магию, позволяя нам связаться с близкими в любой момент, где бы они ни находились, и разделить с ними те чудеса, которые происходят с нами.

Так в чем проблема?

Безусловно, большинство из этих технологий благоприятны, я и сам с удовольствием пользуюсь многими из них. Такие проблемы, как зависимость от технологий, их чрезмерное использование и неуверенность в социализации в реальной жизни, обсуждались в последние несколько лет, но в основном их признали несерьезными явлениями, на которые ссылаются луддиты, люди, живущие в офлайне, и сторонники цифрового детокса[79]. Меня часто спрашивают, что же страшного в привлекательности технологий. Попробую ответить.

Экспоненциальные технологии, как и атомные бомбы, провоцируют целую цепочку проблем

Я считаю, что сегодня мы находимся в точке поворота на экспоненциальной кривой и у подножия поворота истории. В какой-то степени наши ученые и инженеры-технологи сейчас оказались в той же ситуации, что в свое время Альберт Эйнштейн. Несмотря на то что он считал себя пацифистом, в 1939–1940 годах он убеждал президента Рузвельта не затягивать с разработкой атомной бомбы, чтобы не оказаться вторыми после немцев. В 1941 году Эйнштейн непреднамеренно поспособствовал развитию атомной бомбы, решив некоторые сложные математические задачи, с которыми не мог справиться Вэнивар Буш[80] и которые препятствовали развитию ядерной программы США107.

Историк Даг Лонг[81] комментирует ситуацию следующим образом:

Биограф Эйнштейна, Рональд Кларк, утверждает, что атомную бомбу создали бы и без писем ученого, но наверняка не так быстро, чтобы можно было применить ее в войне против Японии108.

В ноябре 1954-го, за пять месяцев до своей смерти, Эйнштейн так отозвался о своей роли в создании атомной бомбы:

В своей жизни я совершил одну большую ошибку. Это произошло тогда, когда я подписал письмо президенту Рузвельту и предложил создать атомную бомбу. Единственным, что оправдывает тот шаг, была опасность, что атомную бомбу сделают и немцы109.

Человеческий дух должен цениться выше достижений прогресса.

– Альберт Эйнштейн110

Аргументы, похожие на те, которые оправдывают Эйнштейна в 1939-м, сейчас звучат в поддержку разработки многообещающих экспоненциальных технологий: общего искусственного интеллекта[82], геоинженерии (с ее помощью можно будет контролировать погоду), автономных систем вооружения, редактирования человеческих генов. Самые распространенные из них звучат так: «если мы этого не сделаем, то это сделает кто-то другой (возможно, злодей) и оставит нас позади», «кроме опасностей, эти технологии также принесут миру большую пользу – глупо было бы этим не воспользоваться», «невозможно отменить изобретение или перестать изобретать совсем – стремление к творению заключено в человеческой природе».

Мой ответ всегда одинаков: технологии не являются злом или благом, они просто есть. Это мы должны определить, здесь и сейчас, как можно использовать технологии во благо и как избежать их использования во зло.

Пока вы это читаете, ученые изобретают и тестируют технологии мощнее атомной энергии и ядерного оружия. Резких прорывов не избежать, и прогресс невозможно остановить, просто указав на то, что нам необходимо применить к нему превентивный принцип и убедиться, что все эти новые технологии прежде всего безопасны (см. главу 8).

Главная сложность для меня заключается в следующем: как нам убедиться в том, что эти неизбежные технологические достижения останутся на 98 % волшебными и будут использоваться на благо человечества, а не перейдут вдруг на темную сторону? Подумайте о таких достижениях, как редактирование генома в целях предотвращения развития раковой опухоли. А теперь представьте эти же технологии, работающие на создание человеко-животных созданий и приводящие к активному появлению киборгов (человеко-машинных существ). Или людей, использующих эти технологии для внесения изменений в свой генетический код.

Эти устремления вполне могут сравниться с использованием ядерной энергии для создания атомных бомб и в будущем смогут привести к многочисленным «цифровым Хиросимам».

Какими будут этические нормы по использованию технологий? Можем ли мы вообще прийти к единому мнению относительно их этической основы? Каким образом можно склонить все страны к согласию на определение и сдерживание темных сторон технологического прогресса? Кто будет следить за нарушениями этих договоренностей? Как избежать вступления на тот путь, который приведет нас к «нашим последним изобретениям»111, по Джеймсу Баррату? Ввиду этих вопросов споры вокруг цифровой этики представляются делом первостепенной важности (см. главу 10).

Экспоненциальный рост данных, информации, возможностей подключения к сети и интеллекта представляет собой новый двигатель цифрового мира, способный привести к кардинальным изменениям во всех сферах нашей жизни. Мы сейчас в шаге от того, чтобы перейти от использования компьютеров только для выполнения некоторого набора математических вычислений и алгоритмов к возможностям, по мощности сравнимым разве что с атомной энергией.

Компьютер на основе одного кубического дюйма нанотрубок[83] в своем завершенном виде может быть в сто миллионов раз более мощным, чем человеческий мозг.

– Рэй Курцвейл. «The Singularity is Near: When Humans Transcend Biology»112

Наука и технологии уже наделили нас огромной властью. Через 20–30 лет мы сможем наблюдать точки поворота на кривой во многих сферах, которые приведут, например, к повсеместным квантовым вычислениями и возникновению так называемой сингулярности. Пока мы стремительно движемся вверх по кривой, мы будем становиться все более властными, открывая для себя новые ранее невообразимые возможности. Но, как говорили многие исторические фигуры, от Вольтера до отца Супермена: «С великой силой приходит большая ответственность»113.

Для начала: как мы сможем использовать огромную мощь экспоненциальных технологий, чтобы приблизить человеческое счастье? Как нам удостовериться в том, что мы тратим достаточно усилий для разработки правил и соглашений, которые спасут нас от пагубных последствий? Как нам определить, где заканчивается волшебство?

Поприветствуем магический взрыв?

Вместе с экспоненциальным увеличением того, что я называю магическим коэффициентом, проблемы, касающиеся использования технологий во зло, также будут постепенно обостряться, пока не достигнут критической отметки.

Несмотря на то что я в общем придерживаюсь оптимистичного взгляда на наши способности управляться с мощью экспоненциальных и комбинаторных изменений, я осознаю, что в отдельных случаях мы рискуем перейти от магии к мании и вреду в достаточно короткие сроки.

Поэтому мы просто не можем себе позволить следовать за плохими проводниками. Каждый день человечество сталкивается с новыми вызовами, магический коэффициент ускорения развития технологий вот-вот начнет стремительно расти и до мании останется рукой подать.

Вопрос не «что, если» и «как», а «почему»?

Как уже упоминалось, мы сейчас находимся у поворотной точки на кривой экспоненциальных и комбинаторных изменений, где все человеческое благосостояние может быть либо значительно улучшено благодаря технологиям, либо значительно ухудшено. Скоро вопрос уже будет не в том, может ли (и если да, то каким образом) магия технологий быть реализована – ответ всегда будет положительным. Вопросы, которые мы начнем себе задавать, будут следующими: «Почему это нужно делать?», «Кто будет нести за это ответственность?» и «Что это может значить для будущего человечества?»

Чтобы сохранить среду, благоприятную для процветания человека, нам придется думать о незапланированных последствиях и считаться с издержками. Нам нужно будет приглядываться даже к тем из них, которые изначально не входят в бизнес-модель, как, например, глобальное потепление вследствие нашей зависимости от ископаемых видов топлива. Мы должны включить эти потенциальные проблемы в нашу повестку, и целостное мышление должно стать нашим главным подходом к их решению.

Магический взрыв вот-вот случится на фоне супермощных и супербыстрых технологий, которые наделяют нас божественными полномочиями. Умные цифровые помощники скоро станут суперумными, вездесущими, невидимыми, дешевыми и внедренными во все, что можно, включая нас самих.

То место, которое мы занимаем сейчас, в смысле технологического прогресса кардинально отличается от предыдущих фаз развития технологической магии. Экспоненциальные и комбинаторные изменения произведут магические манипуляции другого масштаба – большего, чем мы можем себе вообразить. Забронировать отель через поисковик – это одно дело, но, когда умный помощник (Siri от Apple, Cortana от Microsoft, M от Facebook или Amelia от IPSoft) планирует за нас все путешествие от начала до конца – это уже совсем другой уровень. И это все – учитывая тот факт, что современные умные помощники в будущем можно будет сравнить с фордовским Model T[84], на смену которому пришли Ferrari и Tesla. То ли еще будет!

Технологии проникают внутрь нас, отчуждая нас от мира и человеческого опыта

Привычная поисковая система представляет собой инструмент, и мы просто пользуемся им, как пользуемся молотком при строительстве дома. В случае с умными помощниками все наоборот – как если бы мы позволили молотку самостоятельно разработать его дизайн. Становится все труднее определить, где заканчиваются инструменты и начинаемся мы.

В последнее время перекладывать работу на плечи умных помощников становится общепринятой практикой. Siri может отвечать на вопросы и моментально соединять нас с источником информации, Alexa[85] – заказать книгу и прочитать ее вслух, Amelia – забронировать путешествие. Умные цифровые помощники – это приложения нового поколения, и их популярность еще больше вырастет в ближайшие несколько лет.

А теперь представьте себе, насколько мы можем отдалиться друг от друга, сколько навыков мы можем потерять из-за наших бесплатных, вездесущих и гиперумных помощников:

• Они будут знать о нас все: любую информацию, все наши коммуникации, передвижения, все, что мы храним в цифровом формате.

• Они будут знать буквально все о наших интересах, намерениях и желаниях в любой момент времени, независимо от того, связаны они со сделками, организацией встречи или чем-либо иным.

• Они смогут контактировать с миллионами других помощников, чтобы создать мощную сеть – глобальный облачный мозг.

• Они смогут общаться на более чем 50 языках от нашего лица. И это только начало.

Диджифрения – то, как медиа заставляют нас быть более чем в одном месте одновременно.

– Дуглас Рашкофф[86]. «Шок настоящего: когда всё происходит прямо сейчас»114

Нет никаких сомнений в том, что перед скоростью, мощностью, удобством и развлекательным потенциалом этих помощников будет просто невозможно устоять, и я думаю, что это точно приведет к массовой деквалификации и эмоциональному отдалению людей друг от друга. Помощники будут продолжаться там, где заканчиваются смартфоны, врываясь в частное пространство наших мыслей, ожиданий и привычек. С этого момента уже будет недалеко до прямого нейронного и гибридного интерфейсов.

Подумайте о 3D-принтере: если бы можно было моментально распечатать любое вкусное блюдо, продолжили бы мы готовить? Если бы у нас было устройство с моментальным встроенным переводчиком, стали бы мы по-прежнему изучать иностранные языки? Если бы мы могли управлять компьютером с помощью мозговых волн, учились бы мы печатать? Если необходимость – мать изобретений, то выбор – отец отречения?

Способность уместить в одной руке мощность компьютера, который в 1970-х занимал целую комнату, доступная нам сегодня благодаря iPhone и Android, сама по себе невероятна. Представьте себе квантовую мощность миллиона таких устройств, доступную в умном облаке, которой можно управлять с помощью голоса, жеста или даже мысленной команды через интерфейс «мозг – компьютер».

Когда этот магический технологический переворот наконец свершится:

• Практически все товары превратятся в услуги ввиду всеобщей автоматизации, интеллектуализации и перехода на цифровой формат. Это повлечет за собой серьезные экономические последствия, так как во всех сферах настанет изобилие: сначала в музыке, фильмах и книгах, затем в транспорте и финансовых сервисах, и в конце концов в медицине, пищевой промышленности и энергетике. Я думаю, что изобилие в итоге приведет к развалу капитализма, каким мы его знаем, и началу новой эры посткапитализма.

• Мы, люди, станем почти всесильными и в то же время очень зависимыми от наших технологических инструментов и не сможем без них функционировать, как сейчас не можем обходиться без еды и воды.

• Нам постоянно будет хотеться свести к минимуму наши человеческие странности, такие как склонность к размышлениям и воображению, или даже полностью от них отказаться, потому что они будут нас только замедлять (и всех окружающих вместе с нами).

• Мы станем легкой мишенью для манипуляций и злоупотребления влиянием со стороны тех, кто умеет пользоваться системой.

• Мы окажемся на полпути к превращению в машины, чтобы лучше вписываться в новый механизированный мир.

• Благодаря технологическим достижениям в биологии наши биологические системы станут легко заменимыми, лишними и в итоге превратятся в рудименты.

• Технологии станут доминировать над миром, у них будет своя, единственная правда, и все наши различные культуры, символы, модели поведения и ритуалы, передающиеся из поколения в поколение, могут кануть в небытие.

Вопрос заключается в том, останутся ли экспоненциальные технологии инструментами. Я думаю, что нет, потому что в случае с молотком и даже с электричеством и интернетом, если они вдруг исчезнут, не без труда, но мы сможем без них обойтись. Электричество и доступ к интернету вовсе не так важны, как вода и кислород, они просто делают нашу жизнь легче.

Экспоненциальные технологии, напротив, по свойствам больше напоминают кислород и поэтому уже не могут рассматриваться как инструменты. Они станут необходимыми условиями существования нас уже в другом качестве, не полностью человеческом. И вот здесь, я считаю, нам стоит подвести черту. Ведь тогда мы сами обратимся в технологии, потому что они будут важны для нас, как воздух. Эту черту нам не следует переступать – по крайней мере, добровольно или случайно. Одно дело частично превратиться в машину в результате аварии или болезни – это разумный выход, и совсем другое – сделать это по собственной воле или будучи запрограммированным.

Представьте себе жизнь после этого магического переворота: новые инструменты, в миллион раз более мощные, чем сегодня, почти бесплатные, доступные где угодно и когда угодно. Непостижимые. Привлекательные. Перед ними невозможно устоять. Нужно ли нам просто уступить прогрессу и принять неизбежное, соединив воедино человека и машину, или стоит занять более активную позицию и самим повлиять на формирование того, что мы будем или не будем изобретать?

Суждено ли нам самим стать технологиями, потому что их волшебство скоро проникнет в наши тела? Давайте ответим на несколько простых вопросов. Кто захочет жить без этих суперспособностей? Будем ли мы чувствовать себя неполноценными, если не сможем пользоваться нашими магическими технологиями? Будем ли мы чувствовать себя так, как будто остались без слуха или зрения? Готовы ли мы будем принять эти технологии в качестве продолжения себя, как мы это уже сделали в случае со смартфонами? Затуманится ли полностью наше понимание того, где мы, а где не мы (то есть Они или Оно)? Что будет означать эта тотальная медиазация для нашего мировосприятия, способности принимать решения, эмоционального мира?

Как же мы будем реагировать?

Я обеспокоен тем, что мы уже сейчас начинаем путать волшебные возможности инструментов-технологий с наркотическим эффектом, возникающим от постоянного подключения к сети, медиазации, перехода на экраны, моделирования и виртуализации. Магия превращается в манию, которая вызывает зависимость, искушает нас и многого требует в ответ. Так что же произойдет, когда магический коэффициент достигнет 1000, когда технологии станут бесконечно мощными, дешевыми и неотъемлемыми от нас?

Сначала мы создаем инструменты, затем инструменты создают нас.

– Маршалл Маклюэн115

Я боюсь, что мы вступаем в тот период экспоненциального роста, когда, если он ничем не сдерживаем, он уже не может привести к счастью человечества, как его определял Аристотель в эвдемоническом смысле человеческого единения и вклада в общее дело (см. главу 9). Я боюсь, что новые технологии ограничат нас, а не послужат нашему развитию, будут представлять собой не ключ к расширению возможностей, а орудие порабощения, замаскированное под подарок – троянского коня огромных размеров.

От магии к мании и вреду

Становится ясно, что переход от магии к мании и вреду может совершиться стремительно, с неожиданными последствиями, трагическими и пагубными. Удовольствие и ощущение чуда, которое у нас возникает, когда мы делимся изображениями с семейного отдыха на Flickr[87], разделяют миллионы людей. Этот сервис был доступен еще до появления iCloud, Dropbox и Facebook (самой большой мания-платформы, которую я могу себе представить), благодаря которым делиться своими материалами стало еще проще.

Тем не менее Flickr может спровоцировать сильные негативные эмоции, когда кто-то использует в своих целях те файлы, которые я размещаю для семьи и друзей, вырывая их из контекста и представляя в абсолютно другом свете. Например, когда в 2015 году голландская компания Koppie-Koppie хотела выпустить линейку кружек с милыми изображениями детей, они обратились к Flickr, чтобы бесплатно воспользоваться доступными изображениями семей по лицензии Creative Commons[88], 116.

Если изображения были загружены под этой лицензией, то, как считает Flickr, такое их использование правомерно. Приятный сюрприз? Большинство детей на этих фотографиях и их родители считают иначе. Без сомнения, это именно тот случай, когда технологии используются вопреки своему изначальному предназначению. Нежелательные последствия могут очень быстро разрастись, когда этому способствуют сетевые технологии.

Магия Flickr для многих пользователей была разрушена из-за различных интерпретаций прав использования изображений и их бесчестной эксплуатации в неожиданных контекстах. Возможно, это и не нелегально само по себе, но это настораживает. Случай с Koppie-Koppie – яркий пример того, как магия может обратиться во вред.

Нежелательные последствия будут увеличиваться прямо пропорционально экспоненциальным технологиям, их порождающим

То, что произошло с Koppie-Koppie, можно назвать случайной неприятностью (если это, конечно, не коснулось изображений ваших детей), которая принесла небольшой осязаемый ущерб. Однако это заставляет задуматься: а если наша общая принадлежность к чему-то, что кажется очень удобным и полезным для всех, наделяет это что-то такой властью, что оно станет способно к самостоятельному целеполаганию, сможет найти себе причину для существования и жить своей жизнью? Facebook служит примером такого развития, и поэтому я максимально ограничил для себя его использование.

Что, если эта инстанция, наделенная сверхвластью, начнет посягать на наши негласные желания сохранить личное личным, а мы не сможем этому противиться, потому что станем слишком зависимы от нее? Что, если мы настолько погрузимся в эту новую субстанцию, что забудем, где заканчиваемся мы и начинается она?

Что, если технологические способности систем и уровень их интеллекта вырастут в тысячи, в миллионы раз, как нам обещают квантовые и когнитивные компьютеры (в миллион раз более скоростные, чем обычные) и программное обеспечение, которое не надо будет программировать, потому что оно всему научится само?

Какими будут нежелательные последствия такого развития? Станут ли эти посредники и платформы впоследствии использовать наши данные в своих интересах, чтобы получать большую прибыль от нашего участия и оправдать финансовые ожидания своих владельцев и публичных рынков? Учитывая почти полное отсутствие надлежащего регулирования онлайн-платформ, неясно, смогут ли эти всевластные организации удержаться от того, чтобы не перейти границу между случайным и запланированным злоупотреблением данными.

Почему мы думаем, что этого не случится? Мы просто обязаны учитывать эти неприятные сценарии, потому что мы уже встали на путь развития экспоненциальных технологий. Власть социальных сетей в эпоху веб 2.0 (Web 2.0)[89] покажется пустяком по сравнению с могуществом, которое возникнет, когда мы подсоединим всех к единому мощному облачному хранилищу интернета вещей, содержащему постоянно самообучающиеся ИИ-системы наподобие Watson от IBM и DeepMind от Google. Абсолютно все наши данные, включающие даже самые личные медицинские и биологические сведения, станут доступными, и мы и моргнуть не сможем без того, чтобы об этом не узнали как в цифровом, так и в реальном мире.

Я думаю, что технологии и те, кто их обеспечивает, станут гораздо лучше определять, кто мы, что мы думаем и как нами управлять, – и это все без особых затрат. Поэтому нам нужно уделять особое внимание разграничению того, где заканчиваемся мы и где начинаются они, т. е. тому, где наша человечность пересекается с их технологичностью, пока они не стали совсем неотделимы друг от друга.

В таком мире совершенно точно возникнут определенные проблемы. Например, как изменится наше восприятие из-за пузырей фильтров, которые приведут к тому, что мы будем читать и видеть только то, что нам подобрали алгоритмы? Как мы справимся с рисками предвзятости и манипуляции, если даже не будем знать, по какой логике выбирается то, что мы видим и что не видим?

Мы должны начать оттачивать свои навыки наблюдения и оспаривания для того, чтобы власть имущие больше считались с нашими требованиями. Как это повлияет на ожидания от политиков и государственных деятелей?

Умные цифровые помощники и облако как продолжение нас

Сегодня мы уже пользуемся простыми формами машинного интеллекта, например мобильными картами, программами электронной почты или приложениями для знакомств. Но пока еще приложения вроде TripAdvisor лишь могут нам сказать, что другие люди думают о том или ином ресторане, не обладая при этом самостоятельным знанием нашей кулинарной истории за последние 20 лет. Они пока не могут заглянуть внутрь нашего холодильника, монитора или туалета, что позволяет сделать новый японский сервис117, не могут связать между собой все эти данные и сравнить их с 500 млн других информационных точек других доступных пользователей. Тем не менее TripAdvisor все же весьма полезен, и там зарегистрированы почти все отели и рестораны. Если помнить о контексте его рейтингов и рекомендаций, это очень удобный сервис, несмотря на его низкий интеллект.

Этот прямолинейный и механический уровень сервиса скоро будет неминуемо превзойден быстроразвивающимися цифровыми помощниками. Следующее поколение помощников будет «жить» скорее в облаке, чем собственно внутри устройств, и они будут отслеживать все, что мы делаем, через наши мобильные гаджеты, системы домашней автоматизации, датчики и компьютеры. Только представьте квантовую мощность Watson от IBM, доступную на мобильном устройстве – не нужно даже касаться клавиатуры, можно просто задать вопрос. Затем все, что нам надо будет сделать, – это подумать и отправить команду через интерфейс «мозг – компьютер». Появления суперчеловека осталось ждать недолго.

В 2016 году Siri, Google Now и Cortana были уже способны отвечать на простые вопросы о погоде или местах, где можно найти определенные вещи, а ИИ от Gmail мог самостоятельно ответить на некоторые электронные письма. Скоро они без всякого контроля смогут назначать встречи и бронировать авиаперелеты. Они станут нашим другом-в-облаке, а потом мы не сможем без них обходиться, как без глаз и ушей. Но главный вопрос заключается в том, смогут ли они сделать нас счастливыми. И вообще, что такое счастье (см. главу 9)?

В опубликованной в 2015 году статье «Является ли Cortana опасным шагом к искусственному интеллекту?»[90] писатель Брэд Джонс[91] объясняет:

ИИ формируют свою собственную личность и становятся все более умными, собирая данные и информацию из окружающего мира. Однако новые знания постепенно заполнят все доступное пространство, и, когда это случится, ИИ станет неуправляемым. В этом состоянии ИИ будет считать себя выше людей, создавая у себя иллюзорное ощущение собственной силы и ума118.

Неясно, смогут ли эти помощники выполнять задачи, на которые они изначально не были запрограммированы. Этого результата, как мы уже упоминали, ждут от глубокого обучения – машины, способной к самостоятельному обучению, думающей, а не просто следующей коду.

Эти «продолжения нас» будут использовать экспоненциальные мощности нейронных сетей, глубокого обучения и когнитивных вычислений, чтобы обеспечить нас эффективными, персонализированными и упреждающими сервисами. С течением времени у них неминуемо начнут развиваться прекогнитивные способности. Добавьте ко всему ДР/ВР и интерфейсы «мозг – компьютер» – и не будет предела для достижений цифровых умных помощников будущего.

В тот момент, когда мой умный помощник будет знать всю мою историю и любую информацию обо мне в реальном времени, а также сможет сравнить ее с данными миллионов других помощников, подключенных к одной сети, он сможет с уверенностью предсказывать мои действия и реакции. Добро пожаловать в программу профилактики преступлений, где правонарушения можно будет предотвратить на основании собранных ботами данных о зарождающихся намерениях людей, даже если сам человек не будет о них знать. Британская компания Precobs уже тестирует подобные программы в работе местной полиции119.

И также добро пожаловать в мир потенциальных глобальных политических манипуляций через цифровой контент и медиа, в которых цифровые помощники будут нашими официальными представителями, а может быть, из практических соображений – даже нами самими. Может ли умный помощник стать жертвой манипуляций или умышленно вступить в сговор с целью повлиять на мои решения?

Как говорила еще в 2013 году компания Gartner, мобильные устройства синхронизируются со мной, видят меня, знают меня… и скоро они превратятся в меня120. И снова я задаю себе вопрос: приведет ли это к процветанию человечества? Я сильно в этом сомневаюсь.

В ближайшем будущем мы уже сможем наблюдать, как наш цифровой помощник пытается договориться с цифровым помощником авиакомпании, чтобы нам в ближайшие шесть минут были оформлены лучшие по цене и качеству билеты на Гавайи. И, разумеется, помощник будет совершать за нас большую часть покупок, ведь он сможет сделать это более эффективно, постоянно собирая сведения о подарочных купонах и распродажах, анализировать ситуацию и мгновенно принимать лучшие решения. Все, что мне нужно, – это подумать о покупке, и она уже ждет меня. Моментальное удовлетворение потребностей в мире полного изобилия. Но в то время как снаружи нас ожидает это самое изобилие, внутри нас все сильнее будет проявляться нехватка чего-то важного: отношений, общества, ценностей, духовности, убеждений.

Для многих ученых и технологических детерминистов из Кремниевой долины растущая мощность умных цифровых помощников ближайшего будущего не представляет собой никакой опасности – что плохого в том, чтобы использовать помощников, которые справляются с задачами чуть лучше, чем мои сегодняшние приложения, верно? В таком случае давайте рассмотрим более настораживающие возможные сценарии будущего.

Подумаем о том, что для того, чтобы быть великолепными, быстрыми и интуитивно предугадывать все наши желания, умным цифровым помощникам (нашим блистательным устройствам и продолжениям нас самих, личным облачным роботам) придется знать действительно многое о нас. На самом деле им, вероятно, придется знать о нас абсолютно все, отбирать информацию в реальном времени из всех доступных источников и постоянно обновлять ее. И многие из нас будут считать, что не имеют ничего против того, чтобы такая система располагала этими данными. Это позволит постоянно улучшать качество услуг, что сделает нашу жизнь еще проще: действительно, как ничтожна цена, которую нужно заплатить за это удивительное удобство и наши возрастающие силы!

Мы добровольно соглашаемся на то, чтобы за нами следили, – примерами тому могут послужить наши две любимые функции «сохранить» и «поделиться», обеспечивающие наш постоянный контакт с платформой. Google мастерски удается таким образом удерживать нас в своей постоянно расширяющейся вселенной, и Google – это лишь один пример такой глобальной платформы, которая хочет стать чем-то вроде всемирного мозга, дублирующего информацию о каждом пользователе в своем облаке. Возможность следить за нами – это как деньги в банке для компаний, работающих исключительно на данных: Google, Baidu, Alibaba, Facebook – компаний, которые не предлагают нам никаких материальных товаров, но специализируются на обработке данных и продвижении рекламы и информационных суперузлах. Представьте их мощность, в тысячи раз увеличенную с помощью ИИ и интернета вещей, – и увидите, как их доходы станут заоблачными.

Кто хочет тотальную слежку?

Итак, какие же проблемы могут возникнуть из-за умных цифровых помощников? Вот несколько примеров того, что они могут спровоцировать.

• Обострение проблем с безопасностью и настройками приватности.

Умного помощника могут взломать, обмануть, запугать или подкупить – тем или иным способом заставить его передать информацию о пользователе другому ИИ, которого он встретит на просторах сети. Например, он может разгласить пароли, с помощью которых третьи лица смогут отправлять электронные письма, делать покупки и пользоваться социальными медиа от лица своего владельца. Масштаб бедствия, следующий за такой комплексной утечкой информации, может привести к непоправимому ущербу, а владелец помощника может при этом оставаться в полном неведении!

• Экспоненциальное слежение.

Цифровой помощник будет фиксировать все, что происходит в нашей виртуальной и реальной жизни, 24 часа в сутки, семь дней в неделю и 365 дней в году. Любой человек или устройство с соответствующими полномочиями или правами (настоящими или поддельными) сможет получить доступ к этой информации. Это означает, что любое лицо, обладающее некоторыми навыками взлома интернет-ботов, сможет сгенерировать наш профиль или повесить на нас ярлык подозреваемого, диссидента или опасного элемента. Они смогут использовать разрозненные и вырванные из контекста обрывки информации, чтобы манипулировать нами. Представьте, как объемы данных, доступные боту-помощнику, расширяются и углубляются путем соединения их с другими потоками данных, например с лентами новостей в социальных сетях. Результаты могут превзойти даже самые антиутопические предсказания Джорджа Оруэлла[92].

Таким образом, неконтролируемое использование облачных ботов и умных помощников волей-неволей приведет к злоупотреблениям и преследованию, особенно в тех странах, где нет четкой политики по защите персональных данных или где правительство уже продемонстрировало полное безразличие к праву своих граждан на неприкосновенность частной жизни. Другой повод для беспокойства заключается в том, что правительства смогут получить доступ к умным цифровым помощникам и нашим «цифровым эго»: либо легально, через парадную дверь, либо в скрытом режиме – через заднюю дверь, лазейку в коде. Соответственно и любая другая хакерская организация сможет сделать то же самое. Я боюсь себе представить, что может произойти, если мы станем до такой степени «обнаженными» в нашей цифровой жизни.

• Растущая деквалификация.

Представьте, что я так часто обращался за помощью к помощнику, что разучился делать некоторые вещи самостоятельно: ориентироваться в незнакомом городе, искать достоверную информацию онлайн, бронировать билет на самолет, работать с электронными таблицами, писать от руки – все это вполне вероятно. Логично предположить, что так можно очень скоро потерять те навыки, которые формируют бытие человека, например, навык общения без посредников, каким бы медленным оно ни было и к каким бы ошибкам ни приводило. Сделаем ли мы людей легко заменимыми? Стоит ли нам все автоматизировать только потому, что можем?

• Диджифрения (замечательный термин, который ввел Дуглас Рашкофф, чьи книги я советую вам почитать)121.

Одной из движущих сил человеческой деквалификации является наше всевозрастающее желание находиться в разных местах одновременно. Такие технологии, как телеприсутствие (telepresence), обмен сообщениями и социальные сети, в какой-то степени нам это позволяют, и многие ради них готовы поступиться своей реальной жизнью.

Цитата Дугласа:

Диджифрения – это попытка существования одновременно в нескольких местах. У нас есть Twitter, Facebook, почтовый ящик. В этих мини-инстанциях мы действуем одновременно и параллельно. И для большинства людей это не очень удобная позиция122.

• Взаимодействие с машинами и экранами, а не с людьми.

Многие задачи и процессы, выпадающие на долю людям, подразумевают общение с другими, будь то поход за продуктами или встреча, посвященная организации мероприятия. Безусловно, некоторые из этих взаимодействий не являются особенно ценными, как, например, разговор с турагентом по поводу брони билетов или звонок работнику банка по поводу выбора оптимального варианта для инвестиций – лично я вообще не вступаю в такие взаимодействия.

Так что да, некоторые из простых задач могут взять на себя машины без ущерба для человеческих отношений – я не думаю, что нам действительно нужно становиться друзьями с работником банка, чтобы узнать, куда вложить 5000 евро. Тем не менее нам нужно лишний раз подумать, прежде чем автоматизировать прочие, более человечные взаимодействия, как, например, поход к доктору, даже если мы обратились к нему с простудой, а не с эмфиземой. В некоторых случаях действительно удобнее было бы узнать свой диагноз, не выходя из дома. В других случаях это привело бы к дегуманизации отношений между врачом и пациентом, потому что взаимодействия, которые действительно имеют большое значение, не должны подвергаться автоматизации.

Представьте себе, что большая часть наших взаимодействий с коллегами по работе подверглась автоматизации, что уже становится возможным благодаря таким стартапам, как X.ai[93], разработавшим приложение, выполняющее роль автоматизированного ассистента123.

Хотя автоматическое внесение поправок в групповой календарь ничем не грозит, получать электронные письма, по которым нельзя определить, кто их написал – сам человек или его цифровой помощник, – уже менее безобидно. Дальше хуже: как бы мы себя почувствовали, если бы наши родители стали общаться с нами через помощника?

К чему это приведет? Как далеко мы собираемся зайти? Кто определяет, где заканчивается ИИ и начинается человек? Придем ли мы к тому, что цифровой помощник будет приглашать людей к нам на день рождения, заказывать еду, выбирать музыку, составлять милую подборку фотографий и даже создаст сайт специально для этого события? А затем расскажет мне, как правильно радоваться на моей собственной вечеринке? Поможет ли мне это в установлении контактов с другими, или я упрощу себе эту работу только для того, чтобы потерять ее смысл? Будем ли мы всё больше общаться с машинами из соображений удобства?

• Манипуляция в невообразимых масштабах.

Если мы доверим принятие решений нашим помощникам, то в первую очередь это затронет медиа и контент. Это и так уже происходит на базовом уровне в социальных сетях. Наши помощники смогут находить и фильтровать для нас новости, подбирать фильмы и в целом разбираться в наших социальных медиа. Технологии уже сейчас могут решать, что нам лучше смотреть, читать и слушать. Но облачный разум при поддержке экспоненциальных технологий во много раз превзойдет то, что мы имеем сегодня.

В будущем то, что видят миллионы людей и на что они обращают внимание, будет контролировать небольшая группа ботов и ведущие производители цифровых помощников. Сложно представить, какую цену бренды и рекламщики готовы будут заплатить за то, чтобы их заметили правильные пользователи в подходящее время и в нужном месте.

Рост популярности цифровых помощников вызывает у меня следующие вопросы:

1) Что, если эта цифровая копия меня передаст мою информацию не в те руки, например страховой компании или органам социального обеспечения, которые будут использовать ее для принятия решения о выплате или невыплате пособия?

2) Что, если мой цифровой помощник будет лучше меня принимать решения, и поэтому я доверю ему решать также, на ком мне жениться, куда переезжать, заводить ли детей, куда отправить их учиться?

3) Что, если мой помощник будет фильтровать все новости и информацию таким образом, что я никогда больше не увижу противоположные точки зрения, и что, если логика, по которой он фильтрует информацию, будет задаваться специальными кампаниями, чьей целью будет повлиять на мнение избирателей?

Gartner предсказывают, что к концу 2016-го сумма всех покупок, совершаемых цифровыми помощниками, включая комплексные покупки, как, например, набор «собери ребенка в школу», составит два миллиарда долларов в год. Это значит, что примерно 2,5 % пользователей мобильных устройств доверяют своим помощникам 50 долларов в год.

– «The World of Digital Assistants – Why Every day AI Apps Will Make up the IoT»124

Стремительное развитие цифровых помощников подводит меня к тому, чтобы обновить свое любимое выражение: «Google знает о нас больше, чем наши жены и мужья». Когда такой помощник, как Google Now, собирает всевозможные данные обо мне: местонахождение, историю браузера, покупки, лайки, электронные письма, карты, просмотры на YouTube, – ставки увеличиваются. Как я обычно говорю, по шкале от 0 до 100 всего того, что может быть автоматизировано, мы находимся на пяти… и мы уже близки к тому, чтобы потерять контроль над ситуацией.

Я постоянно возвращаюсь к концепции «то ли еще будет». Увеличение масштабов интернета вещей будет дополнительно способствовать росту умных цифровых помощников, генерируя еще больше данных, которые можно будет загрузить в глобальный мозг, объединяющий все эти системы. Все больше «тупых» кусков аппаратуры, как дрели, фермерское оборудование, трубы, переключатели и коннекторы, будут оборудованы датчиками и беспроводными сетевыми соединениями. Уже скоро можно будет получить реальные данные, подключившись к любому окружающему нас предмету.

Недавнее исследование утверждает, что социальные сети – настоящие, состоящие из людей, которых вы знаете в реальной жизни, а не в Facebook и Twitter, – так же важны для здоровья, как физические нагрузки и правильное питание. Более того, состояние здоровья напрямую зависит от количества социальных связей.

– Чарли Соррел. «Прекрати быть одиночкой, это убьет тебя»125

Так почему же так мало людей обеспокоено этой проблемой?

Существует множество причин, по которым критики в адрес перехода от мании к магии и вреду почти не слышно. Ниже представлены три из них.

1. Огромные прибыли. Соединять людей, извлекать выгоду из экспоненциального технологического прогресса и обеспечивать потребителей дешевыми и вызывающими зависимость мобильными устройствами – лучших возможностей для бизнеса не придумаешь. Обеспечение людей чудесами цифровой техники, также известное как экономика данных, скоро превзойдет секторы транспорта и энергетики, и никто не хочет этому мешать126. В обществе, где прибыль и рост служат мерилами успеха, пагубные побочные эффекты считаются издержками, а не проблемами.

2. Отсутствие регулирования и бездействие политиков. В отличие от таких сфер, как использование и поставка природных ресурсов (воды, газа, нефти), применение ИИ, вызывающих зависимость технологий, использование больших массивов наших личных данных в коммерческих целях в социальных сетях почти никак глобально не регулируется. Это большое упущение, которым необходимо заняться.

3. Зависимость от технологий («мобильные устройства вместо сигарет»). Экспоненциальные технологии, которые стремятся сделать нашу жизнь проще, паразитируя на нашей лени и желании всем нравиться, вызывают зависимость и оказывают эффект, схожий с наркотическим. Привычки формируются очень быстро: Вы тоже проверяете свою электронную почту последний раз перед тем, как лечь спать? Чувствуете себя одинокими без подключения к своей любимой социальной сети и беззащитными без карт Google и мессенджеров?

Суть проблемы заключается в том, что, продавая чудеса цифровых технологий и добавляя сверху эффект зависимости и вредные последствия, компании открывают для себя величайшие возможности цифровой эры, и в любом случае это ничем не отличается от того, как производители фастфуда и сигарет добавляют в свою продукцию вызывающие зависимость компоненты. При экспоненциальных темпах развития нам нужно будет пересмотреть и, вероятно, свернуть эту стратегию, если мы хотим прийти к обществу, где человеческое счастье является высшей ценностью.

Чего хотят технологии: превратиться из второй натуры в просто природу

Мы часто используем фразу «это стало моей второй натурой» для описания инструментов или технологий, которые кажутся естественными. Например, люди говорят: «Всегда носить с собой мобильный стало моей второй натурой» или «Контактировать с друзьями через Facebook – это вторая натура». Эта фраза характеризует то, что вошло в привычку, то, что делается само собой без лишних мыслей.

Ставить лайки на Facebook, делиться изображениями и видео по WhatsApp и быть постоянно на связи с помощью мобильных устройств – все это составляет нашу вторую натуру. К ней же относятся карты Google и Siri (для пользователей Apple iPhone). Она не подразумевает долгих раздумий, это уже сформировавшаяся привычка (почти как естественный процесс, вроде дыхания), которую мы не подвергаем сомнению, а просто действуем на автомате. В большинстве случаев это уже превратилось в манию на грани фола: как часто вам чудилось, что карман вибрирует, несмотря на то что телефон остался дома?

Сейчас, когда мы вступили в круговой водоворот экспоненциальных технологических изменений, мы можем наблюдать, как технологии (или их владельцы) претендуют на то, чтобы стать нашей первой натурой, т. е. природой, естеством. Разумеется, это еще одна отличная возможность для бизнеса. Если быть «просто человеком» станет недостаточно или слишком обременительно, почему бы не обратиться к технологиям, чтобы «прокачать» или «обновить» себя? Почему бы не сделать из технологии природу и не сравняться с машинами?

Идея дополнения людей технологическими особенностями относится к сфере интересов бизнеса, стремящегося обратить в деньги наше желание стать более совершенными и в то же время сделать нашу жизнь проще. Для многих людей уже вошло в привычку носить Fitbit[94] и пользоваться другими приложениями для здоровья, браслетами, компьютерными устройствами и датчиками, которые прикрепляются к курткам и рубашкам («Да, конечно, я слежу за состоянием моего тела и всех моих физиологических показателей с помощью этих устройств – это очень удобно и естественно»). Так называемое измерение себя становится очень популярным и превращается в целую индустрию. И я очень боюсь, что этот тренд может скоро привести к «порабощению себя» или, еще хуже, к «отуплению себя», так как, позволяя внешним технологиям думать и чувствовать за нас, мы провоцируем деквалификацию.

Представьте, какие другие человеческие надстройки могут стать частью нашей природы, потому что они слишком хороши для того, чтобы от них отказываться, и при этом легкодоступны и практически бесплатны. Это могут быть устройства дополненной и виртуальной реальностей (например, Microsoft HoloLens) и голограммы, позволяющие нам перемещаться в виртуальное пространство, где мы сможем взаимодействовать друг с другом совсем как в жизни127. Эти устройства могут пригодиться нам для похода в музей, хирургам во время операции, пожарной бригаде при входе в неизвестное здание. Но я думаю, нам не стоит делать их своей второй природой (и ни в коем случае не первой).

Не будем заблуждаться: многие из этих устройств, платформ, сервисов – открыто и намеренно или непредумышленно – стремятся стереть границу между нами (человеческой природой) и ними (второй природой) только потому, что это сделает их незаменимыми и очень выгодными для коммерческих целей.

Я больше не смогу быть здоровым без всех этих отслеживающих приложений – страшно подумать, как мы вообще раньше могли без них существовать! Миссия выполнена.

Я настаиваю на том, что мы не должны подпускать технологии ближе чем на уровень второй натуры, хотя уже сейчас почва плывет у нас под ногами. Если технологии станут нашим естеством, то это будет означать, что и мы в свою очередь стали технологиями, а это плохой путь к счастью, как я неоднократно утверждаю на протяжении этой книги.

Следующий отрывок из интервью Стивена Талботта для Nature Institute как нельзя лучше комментирует эту непростую ситуацию:

Мы сможем сохранить баланс между нами и технологиями, только если будем подходить с особенным вниманием к нашим особенностям, качественным показателям, к тому, что происходит вокруг нас здесь и сейчас. Вот основное правило, в первый раз озвученное, если я не ошибаюсь, Рудольфом Штейнером[95]: так же, как мы вовлечены в существование, поддерживаемое машинами, мы должны обратиться к и собственным глубинам, иначе мы все потеряем свою человечность128.

То, как мы используем технологии, делает возможность перехода от магии к мании и вреду весьма вероятной, учитывая все новые их экспоненциальные достижения. Как часто мы ловим себя на мысли, что провели в интернете или играли с новым приложением целый час и даже не можем вспомнить, что же мы хотели там найти? Спуститься в кроличью нору могут и отдельные люди, но что произойдет, когда все общество отправится вслед за ними? И от каких уникальных человеческих впечатлений мы уже отказались в пользу интернета, мобильного телефона, облачных сервисов, ботов и умных помощников?

Как нам определить, в какие моменты мы переступаем границу между магией и манией? Когда мания превращается во вред? И каким будет этот вред, когда от него придется спасать не отдельного человека, а всю человеческую культуру? Теперь, когда techne становится самостоятельным субъектом, а не только средством, сможем ли мы быть достаточно сильными и осведомленными для того, чтобы очнуться?

Глава 7. Цифровое ожирение: наша новая пандемия

Мы барахтаемся в избытке новостей, обновлений, алгоритмически сгенерированной информации, которые могут быть любыми, и «объедаемся» ими, но таким образом мы занимаем себя в растущем технологическом пузыре сомнительных развлечений.

Ожирение – глобальная проблема, и по мнению консалтинговой компании McKinsey, в одних только Соединенных Штатах она обходится примерно в 450 млрд долларов США в год, учитывая как затраты на здравоохранение, так и снижение производительности труда. Сто тридцать центров по контролю и профилактике заболеваний заявили в 2015 году, что более двух третей американцев имеют лишний вес, а около 37,5 % страдают ожирением.

Я уверен: мы приближаемся к такой же или даже более серьезной проблеме «переедания» технологиями и уже совсем скоро столкнемся с цифровым ожирением.

Я определяю цифровое ожирение как психическое и техническое состояние, при котором данные, информация, СМИ и всеобщее цифровое единение распространены до такой степени, что однозначно негативно сказываются на здоровье, самочувствии, настроении и жизни в целом.

Наверно, неудивительно, что, несмотря на шокирующие факты о здоровье, в мире до сих пор не слишком-то поддерживаются меры по ужесточению регулирования пищевой промышленности, которые призваны ограничить использование химических добавок, вызывающих привыкание, или прекратить маркетинговые кампании, способствующие перееданию. В непрекращающейся американской войне с наркотиками на вредные продукты питания и сахар не обращают особого внимания. Подобно тому как органические продукты – преимущественно прерогатива хорошо обеспеченных и богатых людей, анонимность и конфиденциальность тоже могут стать роскошью, недоступной для большинства граждан.

Потребители покупают весьма полезные гаджеты и приложения, которые должны помочь им сократить потребление пищи и улучшить их физическую форму, такие как Fitbit, Jawbone, Loseit, а сейчас еще Hapifork, который предупреждает вас вибрацией, что вы едите слишком быстро. Судя по всему, идея состоит в том, чтобы покупать (загружать) и потреблять еще один продукт или услугу, которые чудесным образом и без особых усилий поможет справиться с проблемой чрезмерного потребления.

Жажда обладания означает процветание

Ключевой момент заключается в том, что чем больше люди едят, тем лучше это для тех, кто производит и продает нашу еду, – например, для фермеров, предприятий пищевой промышленности, продуктовых магазинов, супермаркетов, сетей быстрого питания, ресторанов, баров, отелей. Помимо всего прочего, может шокировать тот факт, что среднестатистический потребитель ежегодно неосознанно поглощает примерно 150 фунтов (около 68 кг) пищевых добавок – в основном сахар, дрожжи, антиоксиданты и такие по-настоящему неприятные вещи, как глутамат натрия. Они не только помогают сделать еду более аппетитной и увеличить срок ее хранения, но и делают ее вкуснее – хотя это всё также весьма спорно. Потребителей осознанно подсаживают на жажду большего, так что становится сложно найти выход из этого бесконечного счастливого царства потребления. Если вы сейчас подумали про Facebook или смартфон, вы понимаете, о чем я. Пищевая промышленность вызывает жажду обладания. В мире технологий маркетологи называют это волшебством, «липучкой», необходимостью или, более благозвучно, привлечением потребителей.

Пристрастие и зависимость – технологическая бизнес-модель

Создание такого рода пристрастий, или подпитывание нашей цифровой зависимости таким, казалось бы, безобидным способом, очевидно представляет из себя очень мощную бизнес-модель135. Очень просто применить концепцию жажды обладания к ведущим социально-локально-мобильным (SoLoMo) суперузлам, таким как Google и Facebook, или к таким платформам, как WhatsApp. Многие из нас буквально жаждут связи в повседневной жизни, а когда мы в этом ограничены, то чувствуем себя неполноценными. И тем не менее любопытно, могут ли интернет-компании действительно быть заинтересованы в возникновении проблем цифрового ожирения у многочисленных пользователей? Действительно ли это наилучшим образом отвечает интересам технологических и интернет-гигантов, преимущественно принадлежащих США?136 В то же время мы не должны недооценивать искушение сделать потребителей зависимыми от изумительной цифровой еды – от этой волны лайков, комментариев и обновлений друзей, вызывающих всплеск гормонов счастья в крови.

Подумайте про 2020 год и представьте, как миллиарды связанных между собой пользователей становятся подвержены цифровому ожирению, подсажены на непрерывный поток информации, СМИ, данных – и их собственной обратной связи. Это чрезвычайно заманчивая возможность для бизнеса, которая намного превзойдет рынок пищевых добавок во всем мире: по прогнозам аналитической компании Transparency Market Research, к 2018 году его стоимость составит 28,2 млрд долларов США137.

Составить представление о масштабе поможет следующая информация: по оценкам Всемирного экономического форума, в течение следующих десяти лет общая стоимость перехода в цифровую среду составит 100 триллионов долларов. Его эксперты предполагают, что это лишний раз свидетельствует о возможности «создать перспективную рабочую силу будущего, в котором люди и умные машины трудятся вместе на благо Земли и человечества138. Должен признаться, эта мысль мне нравится, но я не представляю, как мы сохраним свои человеческие качества в таком чрезвычайно машиноцентричном мире.

На ком лежит ответственность за ожирение?

Возвращаясь к теме еды, можно задать следующий вопрос: если пищевая промышленность получает такую большую прибыль с помощью слегка аморальных (а иногда даже дьявольских) методов подсаживания нас на постоянное потребление, зачем беспокоиться о тех немногих потребителях, которые не могут самостоятельно справиться с этими соблазнами? Разве это не их вина и ответственность? Нет смысла спорить с тем, что никто, кроме самого потребителя, в конечном итоге не должен быть ответственен за потребление продуктов питания. В конце концов, мы живем в свободном мире, и это их собственное желание, верно? Проблема в том, что в наступающей эпохе экспоненциально возрастающих объемов информации и избыточной связи эта стратегия невмешательства нестабильна прежде всего потому, что мы находимся лишь в точке поворота экспоненциальной кривой – самые большие потрясения только предстоят.

Две ключевые проблемы заключаются в том, что, во-первых, «цифровая еда» в основном бесплатна или почти бесплатна, быстро распространяется и становится мгновенно доступной при нулевых затратах, то есть распространена даже более чем обычная пища. Во-вторых, очень мало очевидных побочных эффектов и физических тревожных звоночков. Большинство потребителей не поймут, в чем дело, и не займутся вопросами цифрового потребления и излишней коммуникации до тех пор, пока не возникнет настолько очевидная проблема, как игровая зависимость подростков в Корее139. Когда страдаешь ожирением, очень сложно изменить мировоззрение.

Я считаю, что нам срочно нужна четкая и в то же время легко реализуемая государственная политика; новые социальные контракты; мировые стандарты цифрового здравоохранения; гибкое регулирование, учитывающее местную специфику; и бо́льшая степень ответственности и вовлеченности маркетологов и рекламодателей. Поставщики технологий должны (и я уверен, что многие из них уже хотят) поддержать взвешенный общемировой манифест цифровых прав и цифрового здоровья, принять проактивные меры самоконтроля и переключиться на более комплексную бизнес-модель, которая, действительно ставит интересы людей на первое место. Гиперкоммуникабельность, помимо всего прочего, разумеется, не станет конечным пунктом назначения, так же как гиперэффективность не может стать единственной целью бизнеса. Выдвижение людей на первый план значит выдвижение на первый план и счастья. Я считаю, это единственный способ создать долгосрочные преимущества как в бизнесе, так и в обществе.

Отличие технологии от рабства: рабы отлично понимают, что они не свободны.

– Нассим Николас Талеб[96],140

Надвигается цунами данных

Количество данных, информации и СМИ растет экспоненциально, поэтому сегодня проблема цифрового ожирения принимает угрожающие масштабы. Необходимо отнестись к ней серьезно и преодолеть ее, так как цифровое давление будет еще более вредоносным, чем физическое ожирение. В нашей жизни уже и так слишком много общения и информации (на самом деле, разумеется, она бесконечна), и парадокс выбора бесконтрольно разрастается141.

Нам предоставлено огромное количество возможностей в любое время, в любом месте, и они слишком привлекательные, слишком дешевые и слишком дорогие. Не проходит ни дня без того, чтобы нам не предложили еще больше обновлений от растущего количества друзей, больше способов помешать непрестанными уведомлениями практически на любой платформе, – об этом свидетельствует растущая популярность умных часов, которых теперь продают больше, чем швейцарских142. Мы сталкиваемся с экспоненциальным ростом потребления: больше новостей, больше музыки, больше фильмов, больше, лучше и дешевле выбор мобильных устройств, – и, похоже, всеобщей социальной коммуникацией.

Мы утопаем в море приложений – для знакомств, для разводов, для сообщений о выбоинах на дороге и даже (как мы видели) для контроля за подгузниками. Нас 24 часа в сутки 7 дней в неделю атакуют оповещения и сообщения, основанные на определении местонахождения, такие как iBeacons, электронные купоны, новые способы отправки и получения сообщений с нулевыми затратами, 500 миллионов твитов в день144, 400 часов видео, загружаемых на YouTube каждую минуту145, – и этот список можно продолжать бесконечно. Настоящее цунами информации, оно создает изобилие снаружи, но приводит к дефициту или отсутствию смысла внутри. Другими словами, у нас есть все больше вариантов по более низкой цене, но нас постоянно беспокоит возможность упустить что-то и постоянные мысли о том, что мы «могли бы» сделать. К чему это приведет?

Изобилие снаружи, дефицит внутри – велосипед для разума или пули для души?

На нас обрушивается поток информации, и, по большому счету, мы объедаемся, как когда-то объедались в кафе Лас-Вегаса «все по 9,99 долларов США». Такие компании, как Google и ее китайские соперники Baidu и Alibaba, несомненно, являются королями цифрового питания. Гениальность компании Google заключается в создании рая или как минимум безупречного королевства кросс-потребления, основанного на огромном количестве навязчивых и вирусных платформ, таких как Gmail, Google Maps, Google+, Google Now, YouTube, Android и Google Search. Вселенная Google настолько сверхэффективна, настолько удобна и настолько притягательна, что угрожает привести к ожирению наших мозгов, глаз, ушей и даже наших сердец и душ. Мне нравится сравнивать проблему изобилия снаружи / дефицита внутри с велосипедом для разума / пулей для души: в то время как наш мозг начинает работать с какой-то молниеносной скоростью, потому что подпитывается с помощью Google и др., наши артерии закупориваются тем мусором, который производится бесконечными цифровыми потоками, на сердце становится тяжело от слишком большого количества бессмысленных отношений и опосредованных связей, которые существуют только на экране.

Если действительно «Google знает меня лучше, чем моя жена», обязательно нужно задуматься о том, кто кому служит146. Цифровое ожирение как часть системы – это скрытый мотив или просто непредвиденное последствие действий тех немногих компаний, которые теперь управляют нашими цифровыми жизнями?

С неврологической точки зрения мы становимся тем, о чем думаем.

– Николас Карр147

«Чем больше страдающий человек концентрируется на своих симптомах, тем глубже они проникают в его нейронные связи», – утверждает американский писатель Николас Карр в книге «Что интернет делает с нашими мозгами».

В самых печальных случаях мозг, в сущности, тренирует себя быть постоянно больным. Укрепление пластичных путей в мозге может приводить к усилению различных видов зависимости. Даже очень малые дозы наркотиков, вызывающих привыкание, способны значительно изменить поток нейромедиаторов в синапсе человека, что приводит к долгосрочным изменениям в карте мозга и его функционировании. В некоторых случаях повышение уровня нейромедиаторов определенного типа, таких как дофамин (близкий родственник адреналина, отвечающий за формирование чувства удовольствия), может запустить процесс включения или выключения тех или иных генов, что приводит к дальнейшему росту тяги к наркотику. Жизненный путь заводит нас в тупик148.

Новые интерфейсы, например, дополненная и виртуальная реальность, добавляют проблем

Соблюдать сбалансированную «цифровую диету» становится еще сложнее, поскольку связь, устройства и приложения становятся экспоненциально более дешевыми и быстрыми, а интерфейсы для передачи информации обновляются. Вместо того, чтобы что-то читать или смотреть на экране, мы будем разговаривать с машинами или даже управлять ими просто посредством мысли. Одним словом, мы перейдем из GUI в NUI (из графического в естественный пользовательский интерфейс).

В какой-то момент в недалеком будущем, возможно, нам придется задаться вопросом: это мы живем внутри машины, или машина живет внутри нас?

Данные – новая нефть: плати или становись контентом

Это было сказано уже много раз, но заслуживает повторения: данные по-настоящему становятся новой нефтью. Компании, которые кормятся на больших массивах данных, и так называемое сетевое общество превращаются в преемников нефтяных гигантов типа Exxon-Mobil, с охотой предоставляя массам новый опиум: «цифровую еду», всеобщую связь, мощные мобильные устройства, бесплатный контент, заманчивую концепцию «СоЛоМо», реализуемую через ботов и интеллектуальных цифровых помощников (IDA).

Они предоставляют питание, которое мы, люди, ранее называемые потребителями, фактически создаем и распространяем одним своим присутствием и участием149.

Тем не менее большинство из нас очень комфортно себя чувствует в этих красиво обнесенных стеной садах Google, Facebook, Weibo, LinkedIn и многих других. Мы потребляем столько, сколько можем, охотно становясь пищей для других. Как недавно заявил автор Скотт Гибсон в блоге Forbes: «Если ты не платишь, ты становишься контентом»150. Мы пичкаем друг друга информацией как никогда раньше, и многое из этого невероятно обогащает, удовлетворяет и вызывает зависимость. Но что это: нирвана, хитроумная сделка Фауста или путь к катастрофе? Или все зависит от того, кто это спрашивает?

Перспективы цифрового ожирения в 2020 году

Американская компания Cisco прогнозирует, что к 2020 году интернетом будет пользоваться 52 % мирового населения – примерно четыре миллиарда человек151. К тому времени каждая частичка информации, каждая фотография, каждое видео, каждое ядро данных, каждое место и каждое высказывание каждого подключенного человека, вероятно, будут отслеживать, собирать, соотносить и дополнять средства массовой информации, большие массивы данных и business intelligence[97]. Искусственный интеллект, работающий на квантовых когнитивных компьютерах, будет генерировать ошеломительные идеи из зеттабайт (один секстильон (1021) / 270 бит) данных в реальном времени. Ничто не останется незамеченным надолго.

Очевидно, что это может стать для вас раем, если вы маркетолог, продавец программ, выполняющих эти задачи, или являетесь чрезмерно нетерпеливым правительственным агентством или просто супергиком. Однако это может быть и адом, учитывая вероятность того, что тот же самый заряд информации создает условия для постоянного глобального контроля, что стало понятно с 2013 года, из откровений Сноудена152.

Мало того, что мы, вероятно, будем страдать ожирением из-за избытка информации, мы еще и будем голыми – не слишком приятное зрелище!

Речь идет уже не о том, «сможем ли мы», а о том, «нужно ли нам»

Я предполагаю, что вопрос «могут ли технологии что-то делать» скоро заменит более актуальный: «Нужно ли нам делать то, что позволяют технологии на сегодняшний день, и почему?» Это прежде всего касается многих нововведений и последних тенденций, таких как социальные медиа, количественная самооценка (Quantified Self), Google Glass, 3D-печать или предположительно неизбежная сингулярность (см. главу 1).

В контексте цифрового ожирения главный вопрос заключается в следующем: просто потому, что все эти средства массовой информации, данные, знания и даже мудрость в одно мгновение становятся доступными, должны ли мы все время погружаться в них? Действительно ли нам нужно приложение, чтобы указать, где находится музыкальный раздел; действительно ли нам нужно делать перекрестную проверку наших геномов, прежде чем пойти на свидание, и действительно ли нам нужно подсчитывать шаги для того, чтобы обновить наш фитнес-статус в социальной сети?

От «чем больше, тем лучше» к «чем меньше, тем лучше»

В конце концов все сводится к следующему: как в случае с едой, когда ожирение более осязаемо, так и в случае «цифрового режима питания» необходимо срочно найти личный баланс. Нужно определить для себя, когда, что и сколько мы подключаем и потребляем в плане информации. Когда мы должны сократить потребление, найти время, чтобы усвоить полученную информацию, жить настоящим или даже оставаться голодными? Да, здесь есть реальные возможности для бизнеса: офлайн – это новая роскошь.

Я надеюсь, что в ближайшие несколько лет в наших привычках цифрового потребления произойдет переход от традиционного офлайна и версии интернета 1.0 «чем больше, тем лучше» к концепции «чем меньше, тем лучше». Для обеспечения критически важного баланса между невежеством и всезнанием – поскольку крайние проявления ни одного, ни другого нежелательны – можно взять пример с Альберта Эйнштейна, который сказал: «Всё следует упрощать до тех пор, пока это возможно, но не более того»153.

Глава 8. Меры предосторожности против активных действий

Самое безопасное и многообещающее будущее – это то, в котором мы не только не откладываем инновации, но принимаем во внимание возможные увеличивающиеся риски, которые сейчас «на совести кого-то другого».

Поскольку мощность технологий стремительно растет, я уверен, что необходимо установить баланс между мерами предосторожности и проактивностью. Первое означает, что необходимо активно изучать возможные последствия и непредвиденные результаты, прежде чем мы приступим к научному исследованию или развитию технологий. Этому противопоставляется подход, основанный на активных действиях, который выступает за движение вперед для достижения прогресса, прежде чем все потенциальные риски и последствия будут ясны.

Должны ли мы сдерживать науку, изобретателей и предпринимателей, если полученные изобретения могут оказать существенное негативное влияние на человечество? Обязательно. Должны ли мы останавливать или запрещать научные скачки, которые могут быть по большей части полезными для общества, но потребуют регулирования для достижения сбалансированного результата? Абсолютно точно нет. В действительности запретить такие достижения, может быть, даже невозможно.

Ответ на это, естественно, заключается в разумном и целостном балансе между этими двумя подходами, в требовании к нам быть еще более ответственными за наше будущее.

Давайте рассмотрим оба подхода более детально.

Первоначально, исходя из экологических соображений, принцип предосторожности предполагает, что те, кто создает вещи, которые могут привести к катастрофическим последствиям, должны сначала доказать, что любые непредвиденные последствия действительно можно будет контролировать. Другими словами, бремя доказательства, что эта рискованная затея в действительности не опасна, ложится на плечи того, кто хочет ее реализовать.

Этот принцип был применен в исследованиях рекомбинантных ДНК (на конференции в Асиломаре), и его трактовка непосредственно повлияла на работу, проделанную на Большом адронном коллайдере в ЦЕРНе[98] в Швейцарии, для решения проблем, которые могут случайно привести к образованию черной дыры154, 155. Как и в случае с Большим адронным коллайдером, коллективная осторожность в отношении технологических разработок должна явно превосходить потенциально катастрофические нововведения, которые могут быть слишком опасны для человечества. В Декларации в Уингспреде (1999)[99] предупредительный принцип излагается следующим образом:

Если результат деятельности создает угрозу для здоровья человека или окружающей среды, следует принять меры предосторожности, даже если некоторые причинно-следственные связи не установлены научно. В этом случае бремя доказательства несет инициатор деятельности, а не общественность156.

В Рио-де-Жанейрской декларации по окружающей среде и развитию 1992 года предложен еще более жесткий принцип: «В тех случаях, когда существует угроза серьезного или необратимого ущерба, отсутствие полной научной уверенности не используется в качестве причины для отсрочки принятия экономически эффективных мер по предупреждению ухудшения состояния окружающей среды»157.

Я думаю, что оба эти утверждения справедливы, если принимать во внимание искусственный интеллект, машинный интеллект, автономные системы, редактирование генома человека и геоинженерию. Наоборот, принцип проактивности объясняет, что человечество всегда изобретало технологии и очень рисковало. Поэтому мы не должны вводить чрезмерные ограничения для того, что люди могут или не могут изобрести. Кроме того, этот принцип предусматривает, что мы должны учитывать и затраты на потенциальные ограничения, и затраты на упущенные возможности.

Принцип проактивности был введен философом-трансгуманистом Максом Мором[100], 158 и далее был сформулирован британским социологом Стивом Фуллером[101], ii, 159. Поскольку сама идея трансгуманизма основана на концепции преодоления наших биологических возможностей, то есть возможности, по крайней мере, частично стать машиной, то неудивительно, что беспрепятственная активная деятельность является естественной частью этой истории.

Продуманный и гуманистический баланс

Вот что я предполагаю: избыток мер предосторожности может парализовать нас страхом и создать самоусиливающийся цикл сдержанности. Такое изгнание передовых научных, технологических, инженерных и математических (система STEM) видов деятельности или игр в подземелье, скорее всего, сделает преступниками тех, кто вовлечен в них. Очевидно, это не лучший подход к решению проблемы, потому что фактически мы можем обнаружить, что есть вещи, дальнейшее исследование которых будет нашей обязанностью, например, борьба с раком. Вещи, помогающие человечеству процветать, обязывают нас предоставить им свободу.

Однако сугубо проактивный подход не сработает в этом случае, потому что на кону стоит слишком много, учитывая экспоненциальный, комбинаторный и взаимозависимый характер технологических достижений, которые мы сейчас испытываем. Одни опасаются, что технологии практически точно в конечном итоге превзойдут человечество, если мы просто будем придерживаться проактивного подхода, как это происходит на сегодняшний день. Подобно тому как слишком много мер предосторожности будут душить прогресс и инновации, слишком большая активность освободит мощные и, вероятно, неконтролируемые силы, которые на данный момент мы должны хранить «под замко́м».

Наша задача, как всегда, будет заключаться в том, чтобы найти и сохранить этот баланс – между ящиком Пандоры и лампой Аладдина.

Мы находимся на экспоненциальном и комбинаторном пути во многих связанных с системой STEM дисциплинах. Многие традиционные подходы к обеспечению безопасности окажутся бесполезными, потому что скорость изменений и масштабы потенциальных нежелательных последствий значительно увеличились с тех пор, как кривая достигла точки поворота в 2016 году, когда мы начали увеличивать их с четырех до восьми (не до пяти) и сделали этот первый по-настоящему огромный шаг.

Подход, который отлично работал, когда мы удваивали показатель с 0,01 до 0,02 или даже с одного до двух, может не сработать, когда мы постепенно увеличиваем показатели с четырех до 128 – просто-напросто ставки крайне высоки, а последствия слишком сложны для осознания людьми.

Представьте последствия, если мы будем активно использовать ИИ, геоинженерию и редактирование генома человека. Представьте участие в гонке вооружений с системой управления и ИИ, способными убивать без контроля со стороны человека. Представьте, что государства-изгои и негосударственные субъекты контролируют погоду и могут стать причиной непоправимого ущерба для атмосферы. Представьте, что исследовательская лаборатория в стране с не слишком прозрачной политикой разработает формулу для программирования суперлюдей.

Джеймс Баррат в своей книге «Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens» резюмирует:

Мы не хотим получить ИИ, который выполнил бы наши краткосрочные задачи (пожалуйста, спаси нас от голода) при помощи мер, вредных в долгосрочной перспективе (к примеру, поджарив одновременно всех кур на планете), или таких, против которых мы возражали бы в принципе (убив нас всех после ближайшей же трапезы).

Слишком много поставлено на кон, чтобы следовать полному и неограниченному технологическому энтузиазму или просто сказать, что это неизбежно или такова наша судьба.

Стоит прочитать оригинальное заявление трансгуманиста Макса Мора по этой теме в 2005 году:

Принцип предосторожности, хоть и связанный с благими намерениями многих его сторонников, по своей сути приводит к смещению институтов принятия решений в сторону статус-кво и отражает реактивный, чрезмерно пессимистический взгляд на технический прогресс. И наоборот, принцип проактивности призывает все стороны обязательно учитывать последствия их деятельности – как хорошие, так и плохие – и применять меры предосторожности к реальным угрозам, с которыми мы сталкиваемся. В то время как предосторожность сама по себе предполагает прогнозирование для приготовления к возможным угрозам, принцип, сформировавшийся вокруг этого явления, угрожает благополучию людей. Принцип предосторожности закреплен во многих международных природоохранных договорах и нормативных актах, что обуславливает острую необходимость предложить альтернативный принцип и набор критериев. Потребность в принципе проактивности станет ясна, если мы поймем недостатки принципа предосторожности161.

С одной стороны, я не могу не согласиться с большей частью аргументов Мора, особенно учитывая мой прошлый опыт в Кремниевой долине как интернет-предпринимателя, пытающегося продвигать инновации. Но с другой стороны, Макс написал это в 2005 году, почти за десять лет до того момента, когда мы достигли точки поворота в развитии быстрорастущих технологий. То, что тогда могло показаться разумным, но немного технико-ориентированным, могло бы привести к опасным решениям сегодня. Вы действительно хотите, чтобы ваше будущее определяли неподотчетное правительство с непрозрачной политикой, руководители Кремниевой долины, жадные венчурные капиталисты или военные организации, такие как Управление перспективных исследовательских проектов Министерства обороны США (DARPA)?

Глава 9. Счастливая случайность

С тех пор как технологии создают ощущение гедонистического удовольствия, как мы можем сохранить более глубокое чувство счастья, которое включает в себя сопереживание, сострадание, самосознание?

Счастье: везение или удача в жизни или в конкретном деле; успех, процветание.

Случайность: случайное событие; совпадение.

– Оксфордский словарь английского языка

Что же такое счастье?

В этой книге я пишу о том, что главной целью технологий должно стать стремление сделать людей максимально счастливыми. Стремление к счастью – это неотъемлемая часть человеческой натуры, то, что объединяет всех нас. Подобно имеющейся у нас морали (и это не только религия), стремление к счастью – универсальный императив, разделяемый всеми людьми, независимо от культуры или системы убеждений. На протяжении всей жизни мы все находимся в постоянной погоне за счастьем. Каждый день при принятии решений мы руководствуемся желанием получить впечатления, которые приносят радость и удовлетворение.

Когда мы столкнемся со слиянием человека и машины, мне кажется, важно не спутать везение со счастьем. Везение больше связано со случайностью, а причиной счастья является правильно заложенная основа. Я твердо убежден, что мы должны стремиться к счастью и процветанию человечества в центре этого спора человека и машины. В чем цель технологий, если они не приведут к процветанию человека? И я считаю, что возможно спланировать наше будущее таким образом, что мы не просто будем зависеть от везения, а сможем создать наилучшие условия для счастья (подробнее об этом далее).

Попытка дать определение счастью может оказаться сложной задачей, потому что это абстрактное и субъективное понятие. В «Википедии» предлагается следующее определение:

Счастье – это психологическое или эмоциональное состояние благополучия, определяемое положительными, приятными эмоциями, от удовлетворенности до сильной радости162.

Исследуя, что же такое счастье, я постоянно сталкивался с разграничением двух видов счастья. Первое, гедоническое счастье – это пик положительных эмоций, обычно временный, часто описывается как удовольствие. Оно может быть мимолетным, оно может быть кратковременным, и оно часто приводит к формированию привычек. Например, некоторые из наших гедонистических удовольствий могут привести к перееданию, алкоголизму, нарко- и никотинозависимостям. Социальные сети, например Facebook, часто называют «ловушками удовольствия», механизмом гедонистской самопрезентации и стимулирования удовольствия.

Второй вид известен как эвдемонистическое счастье – это более глубокое чувство счастья и удовольствия. В «Википедии» эвдемонизм объясняется следующим образом:

Эвдемонизм – это греческое слово, которое обычно переводится как счастье или благополучие163.

«Процветание человека» – еще одно популярное определение эвдемонизма, и для целей нашей книги оно более точное.

Когда я был учеником лютеранского факультета богословия в Бонне в начале 1980-х годов (удивлены?), я был глубоко погружен в учение древнегреческого философа Аристотеля. Когда около 2300 лет назад он написал, что «счастье – это смысл и цель жизни, цель и конец человеческого существования», – он имел в виду эвдемонизм.

Эвдемонизм, как известно, является центральной концепцией философии Аристотеля наряду с терминами арете (ἀρετή, добродетель или превосходство) и фронезис (φρόνησις, практическая или этическая мудрость). Эвдемонизм, арете и фронезис – простите мой греческий – с тех пор стали неизменными целями моей работы, и я думаю, что они являются ключом к пониманию того, по какому пути должно пойти человечество, потому что стремительный технический прогресс идет на него на всех парах – или лучше сказать паропанком[102]. Другими словами, мы уже заблудились там, где человечество еще никогда не оказывалось. Однако, как сказано выше, сохранилась связь с древней мудростью, которая еще способна помочь нам выбраться из этого техноцентричного лабиринта, в котором мы всё чаще теряемся.

Что делает нас счастливыми?

Если бы процветание человека означало жизнь, которая приносит все больше удовольствия: более успешный и эффективный бизнес, большую прибыль и устойчивый рост, обеспеченный технологиями, – тогда для достижения счастья можно было бы использовать машины и алгоритмы. И некоторое время, пока мы продолжаем двигаться по направлению к неизбежной гиперэффективности и, скорее всего, изобилию, которое уничтожит капитализм, это, возможно, и будет работать.

Если мы дадим слишком узкое определение процветанию, преимущественно с экономической и финансовой точек зрения, – в конечном итоге столкнемся с устаревшими понятиями, такими как валовой внутренний продукт (ВВП) и валовой национальный продукт (ВНП) вместо более широкого показателя, такого как валовое национальное счастье (ВНС).

ВНС – это термин, появившийся в 1970-х годах в Бутане (в стране, которую мне удалось посетить прямо перед завершением этой книги). Он означает применение гораздо более широкого, более целостного, экосистемного подхода при оценке состояния нации. Иногда в контексте политического счастья ВНС основывается на традиционных ценностях буддизма, а не на западных ценностях, которые обычно являются показателями ВВП и ВНП, такими как экономический рост, объем и доходность инвестиций и занятость населения. Четыре столпа философии ВНС отражают эту совершенно иную концепцию: устойчивое развитие, сохранение и популяризация культурных ценностей, охрана окружающей среды и обеспечение надлежащего управления164.

Что касается принятия будущих решений о взаимоотношениях технологий и человечества, то, мне кажется, ВНС может быть очень интересным параллельным подходом, потому что он ставит счастье непосредственно в центр при оценке прогресса и ценностей. Экономические факторы не должны затмевать вопросы, связанные со счастьем, – это очевидный критерий, и производительность никогда не станет более важной, чем человечество. Это является одним из десяти ключевых правил, приведенных в конце этой книги.

Другим способом оценки успешности нации является индикатор подлинного прогресса (GPI), который рассчитывается на основе 26 показателей, связанных с экономическим, социальным и экологическим прогрессом165. GPI полезен тем, что он в полной мере учитывает внешние факторы. Последствия – это часть уравнения: именно такую мысль я хотел бы донести, когда писал о непредвиденных последствиях технологий.

Экономические показатели GPI включают в себя неравенство и издержки, связанные с безработицей; экологические показатели включают в себя издержки, связанные с загрязнением, изменением климата и невозобновляемыми энергетическими ресурсами, в то время как социальные показатели включают в себя стоимость домашнего труда, высшего образования и волонтерского труда.

Что могло бы произойти, если мы применили сочетание GPI и ВНС, чтобы получить оценку прогресса, более ориентированную на интересы человека? Этот вопрос окажется важным, потому что, если мы продолжим измерять неправильные вещи, то, скорее всего, продолжим делать неправильные вещи. Это было бы кардинальной ошибкой в век стремительного технологического прогресса. Во-первых, такие ошибки в результате приведут к гораздо более непредвиденным последствиям, а во-вторых, если мы будем наступать на те же грабли, технологии получат слишком много власти, а люди – слишком мало. Если бы мы получали точные данные о любой деятельности, например о продажах какого-нибудь сотрудника, то мы также получили бы необъективные выводы. На практике непросто измерить ни один из уникальных человеческих факторов – например, с каким количеством ключевых клиентов работает менеджер и с участием ли он относится к их проблемам и задачам.

Чем больше мы делаем вид, что наши данные и искусственный интеллект, который обучается на них, сгенерированы на 100 % в интересах человека, тем более ошибочные выводы делает система. Мы склонны игнорировать андроритмы в пользу алгоритмов, потому что нам нравятся легкие пути и упрощения.

Если измерить, насколько более эффективными могли бы стать бизнес или страна благодаря оцифровыванию и автоматизации, может получиться очень перспективная экономическая ситуация. Однако если измерить, насколько будут счастливы сотрудники и граждане после того, как все будет автоматизировано и роботизировано, может возникнуть совершенно другая социальная перспектива.

В 1968 году сенатор США Роберт Кеннеди уже считал ВВП плохо управляемым показателем, который «измеряет все, кроме того, ради чего стоит жить»166. Для меня это является важнейшей мыслью: алгоритмы могут измерять или даже спроектировать всё, кроме того, что действительно важно для людей. Говоря это, я не хочу умалять того, что алгоритмы и технологии в целом могут сделать для нас. Я просто считаю, что важно поставить технологии на свое место, то есть применять там, где это полезно, и не применять там, где это вредно.

Неправильное определение процветания человечества только укрепит положение машин

К сожалению, мы с большим запозданием осознаем, что слишком долго неправильно определяли процветание человечества. Мы посчитали гедонистические удовольствия полезными и правильными, потому что зачастую их можно изготовить, организовать или предоставить с помощью технологий. Социальные сети служат отличным примером: мы действительно можем испытывать удовольствие, если мы нравимся другим людям, – что, скажем прямо, своего рода гедонизм… ловушка цифрового удовольствия. Но мы вряд ли почувствуем себя счастливыми при важном личном общении (в модели счастья PERMA Мартина Селигмана – ключевой термин, который будет разъяснен далее)[103],[104], 167.

Может быть, мы по-настоящему поймем разницу только в последний момент, когда каждая функция, которая делает нас людьми, будет либо заменена, либо практически утрачена для выполнения из-за гиперэффективных и необходимых технологий, когда мы забудем и растеряем наши навыки делать так, чтобы что-то работало само. Я, конечно, надеюсь, что такого не произойдет; но, столкнувшись с этим стремительным технологическим прогрессом, мы поняли, что нужно начинать определять «процветание человечества» как здоровое развитие. Это означает развитие более целостного представления о нашем будущем, которое выходит за рамки просто механистических, упрощающих и часто гедонистических подходов к счастью, популярных среди многих изобретателей новых технологий.

Психолог Мартин Селигман утверждает, что истинное счастье связано не только с внешними, мгновенными удовольствиями. Он использует модель счастья PERMA, чтобы обобщить главные результаты своих исследований в области позитивной психологии168. Люди, в частности, чувствуют себя счастливее, если у них есть:

• удовольствие (вкусная еда, горячая ванна);

• вовлеченность (состояние поглощенности захватывающей активностью);

• взаимоотношения (социальные связи оказались чрезвычайно достоверным показателем счастья);

• смысл (ощущение поиска и причастности к чему-то большему);

• достижения (реализация реальных целей).

Ценность технологий для получения удовольствия и достижений и, возможно, для вовлеченности действительно может быть высока. В то же время я не считаю, что технологии могут оказать существенную помощь в развитии хороших взаимоотношений или понимания цели, смысла. В действительности всё может быть даже наоборот, потому что технологии зачастую могут быть разрушительными для отношений, например, если мы уткнулись в наши мобильные устройства на семейном ужине.

Технологии могут путать смысл и цель (что вызвано перегрузкой данными и небрежной автоматизацией), приводят к появлению более экстремальных фильтров-пузырей («кормление» нас только тем содержимым, которое должно нам понравиться) и облегчают дальнейшие манипуляции СМИ.

Конечно, технологии – как инструмент, а не как цель – приносят и будут приносить пользу во всех областях, но при нашем продвижении дальше по экспоненциальной шкале чрезмерное использование и зависимость от технологий могут быть одинаково вредными.

Я часто задаюсь вопросом: что произойдет, когда действительно появятся быстрорастущие технологии? Станет ли наша жизнь более гедонистической или эвдемонической, более импульсивной или имеющей более глубокий смысл? Станем ли мы жертвами даже поверхностных удовольствий, которыми управляют машины, или будем стремиться к исключительно человеческому счастью?

Сострадание – уникальная черта, связанная со счастьем

Важным человеческим фактором, который следует учитывать в этом контексте, является сострадание. В своей книге «Больше, чем религия. Этика для всего мира» Далай-лама рассказывает о взаимосвязи счастья и сострадания:

Если вы желаете счастья другим – практикуйте сострадание; а если вы сами хотите обрести счастье, то практикуйте сострадание169.

Сострадание – проще говоря, «сочувствующая забота о страданиях или несчастьях других» – это одна из самых сложных вещей для понимания, и, безусловно, одна из самых трудных для практики. Сострадание гораздо сложнее, чем ум и интеллектуальное мастерство.

Можете ли вы представить себе компьютер, приложение, робота или программный продукт, испытывающий сострадание? Машину, которая чувствует то, что вы чувствуете, которая резонирует с вашими эмоциями и которая страдает, когда вы страдаете? Конечно, мы можем предвидеть появление машин, которые смогут понимать эмоции или даже распознавать сострадание в человеческих лицах и языке тела. Мы также можем представить себе машины, которые смогли бы подражать человеческим эмоциям, просто копируя или обучаясь у нас, и, следовательно, будет казаться, что они на самом деле испытывают эмоции.

Однако главное отличие состоит в том, что у машин никогда не будет чувств. Они не могут испытывать сострадание, они могут в лучшем случае хорошо его имитировать. Это, безусловно, ключевое различие, о котором мы должны задуматься более подробно, когда рассматриваем технологическое цунами, стремящееся поглотить нас. Если бы мы и дальше путали хорошо выполненное моделирование с реальным существом, ошибочно принимая алгоритмический вариант чувства за фактическое сознание, мы бы попали в серьезную беду.

Эта путаница и есть главный недостаток трансгуманизма.

На мой взгляд, машины станут чрезвычайно хорошими, быстрыми и дешевыми при моделировании или дублировании человеческих черт, но на самом деле они никогда не будут людьми. Реальная задача для нас будет заключаться в том, чтобы противостоять искушению счесть эти симуляции «достаточно хорошими» и позволить им заменить уникальные человеческие взаимодействия. Было бы глупо и опасно отказываться от действительно человеческого опыта эвдемонизма в пользу вездесущих, доступных и быстрых гедонических удовольствий, предоставляемых машинами.

В книге «Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens» Джеймс Баррат пишет:

Мощная ИИ-система, цель которой – обеспечить вашу защиту, может попросту запереть вас дома и никуда не выпускать. Если вы попросите счастья, она может подсоединить вас к системе искусственного жизнеобеспечения и все время стимулировать центры удовольствия в вашем мозгу. Если вы не обеспечите ИИ очень большой библиотекой приемлемых вариантов поведения или надежнейшим средством выбора предпочтительного для вас варианта, вам придется терпеть тот вариант, который он выберет сам. А поскольку ИИ – чрезвычайно сложная система, вы, возможно, никогда не сумеете понять ее достаточно хорошо, чтобы быть уверенным в правильности своих представлений о ней.

Счастье против денег: впечатления против материальных вещей

Люди часто отмечают, что счастье, основанное на материальных вещах или финансовом положении, в действительности не имеет большого значения. На самом же деле в так называемых развитых странах общий уровень счастья возрастает, когда люди зарабатывают больше денег, но только до определенного момента: исследования показывают, что все суммы, превышающие 50 000–75 000 долларов США в год, на самом деле едва ли добавляют счастья в жизни людей. Взаимосвязь между доходом и благополучием сводится на нет171.

Счастье нельзя приобрести или купить, и поэтому его было бы невозможно поместить в приложение, бот или какую-либо другую машину.

Имеющиеся данные свидетельствуют о том, что впечатления намного дольше влияют на общий уровень счастья, чем материальные вещи172. Впечатления являются личными, контекстуальными, своевременными и материализованными. Впечатления основаны на тех исключительных качествах, которые делают нас людьми, – наших андроритмах.

Как отметила доктор Джанксин Лей, начальник отдела инновационных продуктов в HopeLab, в блоге The Huffington Post в апреле 2015 года:

Ученые из университета Вирджинии, университета Британской Колумбии и Гарвардского университета в 2011 году опубликовали исследование после изучения многочисленных научных работ, содержащих очевидное противоречие: когда людей просят подвести итоги своей жизни, те, кто имеет много денег, сообщают, что они более удовлетворены. Но когда их спрашивают, насколько они счастливы в данный момент, люди с большим количеством денег едва отличаются от тех, у кого их меньше173.

Счастье человека является – или должно являться – главной целью технологий

Люди всегда создавали технологии – слово произошедшее от греческого techne (метод, инструмент, навык, ремесло) и logia (знания от богов), – чтобы улучшить свое благосостояние, но сегодня кажется, что вскоре технологии будут использовать, чтобы улучшить самих людей.

Технологии использовались для улучшения условий нашей жизни, чтобы неожиданное счастье стало более вероятным и распространенным. Например, Skype, Google Talk и всевозможные приложения для обмена сообщениями позволяют нам связаться практически с любым человеком, в любое время, в любом месте и бесплатно. Однако теперь благодаря стремительному и комбинаторному технологическому прогрессу технологии все чаще сами по себе становятся целью. Мы пытаемся получить больше лайков на Facebook или постоянно реагируем на уведомления и оповещения, потому что система требует внимания.

Что делать, если инструменты становятся смыслом, как это уже произошло с Facebook? Что, если они настолько неотразимы и удобны, что мы даруем им собственную волю? Что, если эти смартфоны и смарт-экраны, умные часы и очки виртуальной реальности станут когнитивными сами по себе и выйдут за рамки просто наших инструментов? Что, если наш «внешний мозг» сможет напрямую соединиться с нашим собственным неокортексом?

У технологий нет этики, они существуют в облаке нигилизма, в пространстве без убеждений

Как бы многие из нас ни любили технологии, сейчас нам нужно признать тот факт, что они не учитывают, никогда не будут, да и не должны естественным образом учитывать наши ценности, убеждения и этику. Они будут рассматривать наши ценности только как каналы данных, объясняющие наше поведение.

Боты и интеллектуальные цифровые помощники (IDA) будут все больше высасывать, читать и анализировать десятки миллионов каналов данных обо мне и пережевывать каждую цифровую крошку, которую я бросаю. Однако независимо от того, сколько данных о расходах на исследования и разработки они соберут и проанализируют, программное обеспечение и машины никогда не смогут по-настоящему понять мои ценности или этику, потому что они не могут быть такими же людьми, как я. Они всегда будут приближениями, моделями и упрощениями. Полезными – да. Реальными – нет.

Давайте я приведу несколько примеров этических проблем, связанных с технологическим прогрессом.

Многие физики-ядерщики не предполагали, что будет создана атомная бомба, когда впервые работали над фундаментальными научными и математическими проблемами. Эйнштейн считал себя пацифистом, но все же призвал правительство США создать бомбу раньше Гитлера. Как уже было сказано выше, Дж. Роберт Оппенгеймер, широко известный как отец атомной бомбы, сожалел о своем изобретении после Хиросимы и Нагасаки174. Однако этика военно-политического комплекса, в котором они эффективно функционируют, сделала их обоих причастными к созданию оружия массового уничтожения.

Интернет вещей является еще одним прекрасным примером: он, несомненно, принесет большую пользу в сборе, подключении и объединении огромных объемов данных из сотен миллиардов объектов, подключенных к сети. Таким образом, он может стать потенциальным решением многих глобальных проблем, таких как изменение климата и мониторинг окружающей среды.

Идея заключается в том, что, когда все будет продумано и взаимосвязано, мы сможем сделать многие процессы более эффективными, сократить издержки и добиться больших успехов в защите окружающей среды. Хотя речь идет об умных идеях, нынешние схемы реализации интернета вещей почти полностью лишены внимания к человеческим соображениям, проблемам и этике.

Совершенно неясно, как будет сохранена конфиденциальность в этом глобальном мозге в облаке, как будет предотвращен тотальный контроль и кто будет отвечать за все эти новые данные. В настоящее время внимание в основном уделяется чудесам производительности и гиперкоммуникабельности, в то время как нежелательные и негативные последствия, похоже, никого не беспокоят.

В сфере здравоохранения эксперт Кремниевой долины по экспоненциальному изобилию Питер Диамандис (чью работу я в целом оцениваю очень высоко) позитивно высказывается о Human Longevity, Inc. – его новом стартапе, созданном с пионером генома человека Крейгом Вентером, и о том, как он позволит нам жить гораздо дольше – возможно, вечно175. Однако он, кажется, абсолютно игнорирует большинство этических или моральных вопросов, связанных со спорами вокруг старения, долголетия и смерти.

Кто сможет позволить себе эту терапию? Только богатые будут жить больше 100 лет? Что значит покончить со смертью? Действительно ли смерть является болезнью, как говорит Диамандис, или она является неотъемлемой и неизменной частью человеческого бытия? Вопросов предостаточно, но, точно так же как и в первые дни исследований ядерного оружия, многие инженеры-технологи Кремниевой долины, похоже, предпочитают продолжать разработки в этих направлениях настолько быстро, насколько это возможно, не особенно рефлексируя на тему последствий применения их открытий.

Я считаю, что смерть – это великая трагедия… глубокая потеря… Я не принимаю ее… Я считаю, что люди обманывают себя, когда говорят, что им комфортно со смертью.

– Рэй Курцвейл176

Ключевой посыл здесь заключается в том, что технологии, как и деньги, не могут быть ни хорошими, ни плохими. Они просто существуют как средство. В 1950-х годах Октавио Пас, великий мексиканский поэт, хорошо резюмировал:

Нигилизм технологий заключается не только в том, что они являются наиболее совершенным выражением воли к власти… а также в том, что им не хватает смысла. «Почему?» и «С какой целью?» – вопросы, которыми не задаются технологии177.

Интересно, будет ли нигилизм экспоненциальных технологий таким же экспоненциальным? Тысячу раз таким же нигилистическим, и, возможно, таким же эгоистичным? В конечном счете будем ли мы видом, полностью лишенным сознания, тайны, духовности и души, просто потому, что для этих андроритмов в этой грядущей эпохе машин нет места?

В связи с этим важно рассмотреть две вещи:

1. По-настоящему великие технологии всегда должны в первую очередь быть направлены на дальнейшее счастье человека, т. е. не просто привести к росту и прибыли, потому что одно только стремление к экспоненциальному росту и прибыли, скорее всего, превратит нас в машины слишком скоро. Эта новая парадигма будет представлять собой радикальный сдвиг для каждого бизнеса и каждой организации.

2. Технологии с потенциально катастрофическими последствиями, такие как геоинженерия или всеобщий искусственный интеллект, должны управляться и контролироваться теми, кто доказал, что обладает житейской мудростью, то, что древние греки называли фронезисом. Управление этими технологиями не должно зависеть от разработчиков технологий, корпораций, военных бюрократов, венчурных капиталистов или крупнейших в мире интернет-платформ.

Каким будет технологический прогресс, если мы как биологический вид не будем процветать, если мы не достигнем чего-то, что действительно поднимет всех нас на другую ступень счастья? Следовательно, при оценке новых технологий или последних достижений науки, технологий, инженерного дела и математики (STEM) мы всегда должны задаваться вопросом о том, действительно ли конкретное нововведение будет способствовать коллективному благосостоянию большинства сторон, участвующих в его реализации.

Будут ли более дешевые и быстрые технологии, растущие удобства и изобилие, более легкое потребление, сверхчеловеческие силы или дальнейшие экономические выгоды действительно делать нас счастливыми? Будут ли лучшие приложения, боты, интеллектуальные цифровые помощники, мощная дополненная и виртуальная реальность или мгновенный доступ к глобальному мозгу через новый нейрокомпьютерный интерфейс (BCI) в действительности означать, что мы как биологический вид и каждый по отдельности действительно процветаем? Или пожинать плоды в первую очередь будут те, кто создает и продает инструменты и платформы, а также те, кто владеет ими?

Благополучие человека должно стать целью

В частности, обсуждая будущее технологий, я чувствую, что благополучие, то есть состояние комфорта, здоровье или счастье, становится ключевым словом. Благополучие подразумевает более целостный подход, который выходит за рамки измерения функций нашего организма, наших умственных вычислительных способностей, или количества синапсов в нашем мозге. Он выражает воплощение, контекст, своевременность, связанность, эмоции, духовность и тысячу других вещей, которые нам еще предстоит объяснить или даже понять. Благополучие не алгоритмическое – оно андроритмическое, основанное на таких сложных вещах, как доверие, сострадание, эмоции и интуиция.

Технологии часто отлично справляются с созданием так называемых прекрасных моментов, например, таких как возможность позвонить любимому человеку в любом месте когда угодно. Однако благополучие – это то, что в значительной степени превосходит технологическое упрощение. Погрузившись в интернет-предпринимательство и занимаясь цифровыми музыкальными стартапами уже почти десять лет, только после неожиданного развала моего предприятия dotcom в 2002 году я понял, что целостное благополучие действительно происходит от отношений, от смысла, от цели и от контекста. Счастье не может быть автоматизировано!

Могут ли технологии производить счастье?

Экспоненциальные технологии, такие как ИИ, несомненно, будут пытаться создать условия, способствующие возникновению человеческого счастья или даже благополучию. Кто-то будет также активно стремиться производить его для нас – или, по крайней мере, его цифровое подобие. Всё чаще говорят, что счастье может быть запрограммировано или иным образом организовано или координировано при помощи очень умных технологий. Ключевым аргументом техно-прогрессивных мыслителей является то, что быть счастливым – это всего лишь результат того, что правильные виды нейронов срабатывают в нужное время, в правильном порядке. Они рассуждают, что счастье – это все просто биология, химия или физика, а значит, оно может быть понято, изучено и полностью скопировано компьютерами.

Мы наблюдаем, как общество становится всё более зависимым от машин, но в то же время всё менее способным создавать или даже эффективно использовать их.

– Дуглас Рашкофф. «Программируй или будь программируемым: десять команд Цифровой эры»[105],178.

Может быть, мы сможем создать своего рода машину счастья, которая будет управлять нами, контролировать и программировать нас и нашу среду обитания. Может быть, есть приложение для этого – или, по крайней мере, должно быть! Взгляните на , чтобы увидеть, что идея организации счастья уже продается – это программный инструмент, который учит вас счастью! Можно только представить себе, что может произойти к 2025 году – приложение, которое будет напрямую связано с нашим мозгом через нейрокомпьютерный интерфейс или через крошечные импланты, чтобы быть уверенным, что мы все время счастливы и – главное – мы все время потребляем счастье!

Иногда мне кажется, что предприниматели, преследующие эти амбициозные цели, думают, что человеческие эмоции, ценности и убеждения должны быть подвержены еще более экспоненциальному прогрессу в STEM. Логическое обоснование, по-видимому, заключается в том, что как только мы продвинемся по этому пути достаточно далеко, все это будет подлежать программированию нами, в том числе (как вы догадались) мы сами. Тогда мы наконец избавимся от наших биологических ограничений и станем действительно универсальными существами – жду не дождусь!

Боты настроения и технологические удовольствия

Технологии уже способны создавать, программировать или управлять приятными для нас моментами (т. е. гедоническим счастьем), и это бизнес, который, безусловно, будет на подъеме в ближайшем будущем. Это уже происходит в ленте новостей Facebook, которая отображает только то, что вам нравится и заставляет хорошо себя чувствовать. Это происходит в сфере электронной торговли на сайтах, которые нанимают полчища нейробиологов для разработки новых цифровых механизмов мгновенного удовлетворения. Это делается в сфере здравоохранения с ноотропами (так называемыми умными лекарствами и когнитивными усилителями), которые должны максимально развить ваши умственные способности.

И вскоре это воплотится в жизнь посредством очень умелого манипулирования нашими чувствами с помощью контроля за жестами и голосом во время разговоров, которые мы будем вести с нашими вездесущими цифровыми помощниками. То же самое будет проходить с помощью таких AR/VR-устройств, как OculusRift от Facebook и новые виды человеко-компьютерных интерфейсов и нейронных имплантов. Компьютеры будут пытаться делать нас счастливыми. Они будут стараться стать нашими друзьями. И они захотят, чтобы мы их любили.

И всё станет только хуже (или лучше, в зависимости от вашей точки зрения).

В статье от 2015 года в научном журнале «Nautilus» Адам Пиор обращает внимание на то, как могут функционировать эти боты.

Джеймс И. Хьюз, социолог, писатель и футурист в Хартфорд Тринити-колледже в городе Хартфорде, представляет ближайшее будущее, когда мы разгадаем генетические детерминанты ключевых нейромедиаторов, таких как серотонин, допамин и окситоцин, и сможем управлять генами счастья – если не геном переносчиком серотонина 5-HTTLPR, то чем-то подобным – с точными нанотехнологиями, которые сближают робототехнику и традиционную фармакологию. Эти «боты настроения», когда-то проглоченные, будут перемещаться непосредственно в определенные области мозга, переворачивать гены и вручную регулировать заданное значение счастья, раскрашивая наше мировосприятие.

«По мере того как нанотехнологии будут становиться все более продуманными, мы сможем влиять все более точными методами на настроение обычных людей», – говорит Хьюз, который также является исполнительным директором Института этики и новых технологий и автором книги «Гражданин киборг: почему демократичные общества должны отреагировать на обновленного человека будущего» 2004 года179.

Я бы сказал, что цифровые технологии уже довольно хорошо обеспечивают гедонические удовольствия для своих пользователей. Просто подумайте о приложениях, личных цифровых помощниках и социальных сетях в целом, где вся цель коммуникации с другими часто сводится просто к резкому повышению уровня дофамина, вызванного ответами совершенно незнакомых людей. В некотором смысле социальные сети уже представляют собой восхитительные «генераторы гедонистического счастья».

Но, конечно, ключевой вопрос заключается в том, что могли бы сделать экспоненциальные технологические достижения, чтобы стать источником или поддержкой эвдемонизма (счастья как смысла и цели жизни, как цели человеческого существования), или поддержать наше стремление к благородной цели, или понять смысл жизни? Это представляется мне невозможным просто потому, что технологии не задаются вопросом о цели вообще. И почему они должны это делать?

Затем встает вопрос о том, может ли такое эвдемоническое счастье быть спланированным, управляемым или даже заранее организованным, независимо от того, является ли оно цифровым. Эту концепцию Виктор Франкл, австрийский психолог и основатель логотерапии, рассматривает в своей книге 1946 года «Человек в поисках смысла»:

Счастье не может быть достигнуто; оно должно возникнуть, и оно происходит только как побочный эффект личной преданности делу, большему, чем ты сам, или как побочный продукт своей преданности другому человеку. Чем больше мужчина пытается демонстрировать свою сексуальную потенцию или женщина – свою способность испытывать оргазм, тем меньше они способны добиться успеха. Удовольствие является и должно оставаться побочным эффектом или побочным продуктом, и оно разрушается и портится, если само по себе становится целью180.

Мысль о том, что гедонические удовольствия – это побочный продукт большего процветания (эвдемонизма), очень значима для меня. Таким образом, я считаю, что мы должны использовать технологии – и получать от этого удовольствие, – а не становиться технологиями, потому что тогда опыт реального счастья будет невозможен.

Будьте осторожнее с желаниями

Спор о том, следует ли нам резко продлить продолжительность жизни людей – и добиться исчезновения смерти – это прекрасный пример того, насколько сложно определить, приведет ли тот или иной технологический прогресс к процветанию человечества. Это также указывает на одну из самых сложных дилемм, с которой мы можем столкнуться в ближайшее время: если что-то может быть сделано, означает ли это, что это должно быть сделано? Должны ли мы рассмотреть возможность не делать какие-то вещи, потому что они также могут негативно отразиться на процветании человечества?

Революционные технологии редактирования генов, такие как CRISPR-Cas9, могут в конечном итоге помочь покончить с раком или болезнью Альцгеймера и, несомненно, поспособствовать нашему коллективному благополучию. Тем не менее другое применение этой научной магии может также привести к программируемым младенцам, невероятному долголетию или даже исчезновению смерти как явления для человечества, но, вероятно, только для тех немногих, кто обладает большими средствами, которые, несомненно, потребуются! Как мы добьемся того, чтобы прогресс был на 95 % позитивным для человечества и не вызывал социальных потрясений, терроризма или стремительно увеличивающегося неравенства?

В Кремниевой долине, эпицентре сближения человека и технологий, Питер Диамандис любит говорить так: «Вопрос в том, захотят ли люди потратиться на 20, 30, 40 лет здоровой жизни – это огромные возможности»181. Этот комментарий красноречиво свидетельствует о философии Кремниевой долины: всё является возможностями для бизнеса, даже счастье людей!

Задумайтесь о том, что научный писатель Эми Максман утверждает в журнале Wired в июле 2015 года в статье под названием «The Genesis Engine», то есть «Концепция редактирования человеческой ДНК»182.

Первым шагом будут проанализированы ДНК миллиардов людей, чтобы выявить гены, которые отвечают за различные состояния и заболевания. Потребуются «грубая» вычислительная мощность и широкая общественная поддержка концепции. Во-вторых, как только будет выявлен ген, ответственный за что-то столь же вредное, как рак (при условии, что это будет так просто), следующим шагом станет поиск способов удаления или подавления этого гена, чтобы болезнь не развивалась. В-третьих, появится идея программировать людей, так же как программное обеспечение или приложения – удалять все ошибки и добавлять новые функции.

Вам видится это многообещающим будущим? Большинство людей ответят громким «Да!», потому что это всё звучит слишком хорошо, чтобы быть правдой. Однако уму непостижимо, что может означать претворение в жизнь таких научных чудес в более широком контексте: кто сможет позволить себе такую терапию? Кто будет регулировать, где они могут или не могут быть применены? Разве мы откроем все двери для сверхлюдей и закроем для простых людей? Станем больше похожими на машины? Будет ли возможность программирования генов означать, что мы непроизвольно будем стремиться стать более похожими на машины?

С одной стороны, редактирование генома человека с целью прекращения существования болезней, безусловно, приведет к повышению уровня благополучия и счастья, но те же самые возможности могут легко привести к гражданским войнам или терроризму. Представьте себе, что только очень богатые люди смогут избежать всех опасных для жизни заболеваний и дожить до 150 лет, в то время как все остальные будут умирать в возрасте до 90 или даже не смогут позволить себе базовое здравоохранение. Вот вам и основания для возникновения гражданских беспорядков – полное отчаяние. Как мы можем представить себе такие возможности без предварительного рассмотрения этих скользких этических и социальных вопросов? Зачем нам тратить триллионы евро на SТЕМ, но вкладывать так мало в то, что я называю ГЛАВНЫМИ вопросами человечества: в творчество и сострадание, индивидуальность, взаимность, ответственность и эмпатию?

Положительный пример

Нам не нужно обращаться к слишком экстремальным примерам, чтобы найти убедительный аргумент за или против цифрового опосредованного человеческого опыта. Рассмотрим в качестве примера «Википедию», некоммерческую глобальную базу знаний и положительный пример повышения уровня коллективного благополучия благодаря технологиям. Создание «Википедии» в значительной степени способствовало улучшению общества. В то время, когда знания и информация были доступны не для всех, «Википедия» открыла доступ для всех, повсеместно – без затрат на оплату старомодных словарей, библиотек или коммерческих и контролируемых правительствами баз данных.

Следует признать, что люди во всем мире рады, что существует «Википедия», а ее сооснователь Джимми Уэллс широко почитается как человек, посодействовавший коллективному прогрессу благодаря такому нововведению. К тому же такое нежелательное последствие создания «Википедии», как гибель печатной версии Британской энциклопедии, может рассматриваться как нечто незначительное.

«Википедия», таким образом, представляет собой хороший пример того, как технологии способствуют благополучию и процветанию людей, но, естественно, она небезупречна. В частности, англоязычный список автора этой книги был исключен из «Википедии» в 2011 году из-за его недостаточной известности.

В то же время такие инновации, как Tinder[106], Google Maps или Apple Watch, на самом деле не являются дополнительным коллективным благополучием так же, как в случае с «Википедией», несмотря на то что они все вполне полезные и даже располагающие к себе – они просто представление коммерческого подхода к технологиям, связанным с образом жизни «да, мы можем». Полезны ли они? Да. Способствуют ли общему благополучию – вероятно, нет или, по крайней мере, не в той же степени, что «Википедия».

Торговля счастьем ради высокотехнологичного гедонизма?

Представьте, если можно было бы имитировать чувство близости с партнером с помощью привлекательного, сложного секс-робота, управляемого искусственным интеллектом (эта отрасль, кстати, стремительно развивается)183.

В любом случае секс с роботами определенно квалифицируется как гедонистический. Возникает вопрос: будем ли мы также заинтересованы в достижении истинного счастья и полноценного сексуального опыта в настоящих, реальных отношениях между людьми, где нам действительно нужно бороться, чтобы всё заработало? Или мы привыкнем к легкости, с которой секс-роботы будут доступны, и тогда просто выберем удобство? Как заманчиво было бы прибегнуть к такому потребительскому отношению к сексу? И, напротив, кто мы такие, чтобы лишить людей права пользоваться тем, чем они хотят?

Разумеется, вы могли бы сказать, что мы всё равно будем замечать разницу, и с этим не поспоришь. Но насколько нас, наше сознание изменит постоянное использование секс-роботов? Не вызовет ли это путаницу в голове и не исказит ли восприятие реальности – понимание того, каким является мир на самом деле?

Исследования людей, которые регулярно смотрят порнографию, показали, что такие частые просмотры оказывают значительное влияние на стимуляцию, необходимую для возбуждения, и на то, что требуется для достижения оргазма184. Только представьте, насколько могут усугубить проблему секс-роботы, которые наверняка станут очень умными, дешевыми и невероятно похожими на людей, – просто посмотрите несколько серий «Людей» телеканала AMC, чтобы понять, к чему это может привести185.

Означает ли это, что мы должны запретить секс-роботов, потому что они ведут нас к бесчеловечной практике? Я бы предположил, что не будет никакого вреда, если запретить следующие поколения человекоподобных роботов в социальном и ином плане, но, конечно, это вряд ли сделает их менее доступными. Это всего лишь один пример того, как экспоненциальные технологические достижения (в данном случае искусственная кожа, робототехника и ИИ) могут повести нас к пути гедонистического счастья всё более быстрыми темпами, с меньшими затратами и широкой доступностью.

Таким образом, ключевой вопрос заключается в том, будут ли экспоненциальные технологии способствовать нашему благополучию, и если будут, то кто будет отвечать за то, чтобы они не сошли с ума, непреднамеренно или из-за дизайна? Кто решает, что считать человеком, а что нет, и в какой момент мы пересекаем линию, которая отличает нас от инструментов, которые мы создали?

Эти внутренние противоречия между человеком и машиной, которые не смогут разрешить технологии, даже если весь человеческий мозг и его 100 миллиардов нейронов в конечном итоге удастся смоделировать. Сострадание и счастье, как и сознание, не могут просто существовать в биологическом или химическом плане – они существуют в целостном взаимодействии всего человеческого.

Машины никогда не смогут испытать этих чувств, даже если научатся идеально их имитировать. Безусловно, компьютерные программы уже могут измерить и считать сострадание с помощью методов распознавания лиц, а программное обеспечение, вероятно, может имитировать сострадание после рассмотрения триллионов вариаций мимики и лингвистических показателей.

Попытки сначала определить и затем спрограммировать такую человеческую характеристику, как сострадание или что-то такое же таинственное, как сознание, кажутся неправдоподобной и неосуществимой идеей в обозримом будущем. Но опять же: возникнет ли реальная опасность того, что такая имитация вполне сможет удовлетворять потребности большинства из нас?

Меня все больше беспокоит мысль о том, что рано или поздно нас может устроить, если у нас просто будет что-то похожее.

Поставить технологии на свое место

Я абсолютно уверен, что компьютеры, компьютерные программы, алгоритмы и роботы вряд ли когда-либо смогут развить сострадание и сочувствие, как у людей. Роботы и искусственный интеллект отлично могут функционировать в качестве помощников и прислуги, но конечно, никак не в качестве хозяев.

Действительно ли нужно пытаться использовать математические модели или машинный интеллект для оптимизации эмоциональных результатов? И действительно ли нужно в условиях машинного мышления пытаться применять лучшие технологии для того, чтобы решить социальные или политические проблемы – например, использовать государственные методы слежения, чтобы положить конец терроризму?

Сложные андроритмические ценности должны оставаться в сфере человеческих взаимоотношений, во-первых, потому что мы лучше формируем их детальное выражение, во-вторых, потому что непосредственное участие в этих проблемах является ключом к развитию эвдемонизма – более глубокого ощущения счастья.

Я часто задаюсь вопросом, будет ли экспоненциальный технологический прогресс обеспечивать экспоненциальное счастье для всех людей, а не только для 1 % – тех, кто будет создавать, владеть такими потрясающими чудо-машинами и получать от них прибыль. Добродетельной ли целью является создание совершенной человеческой машины, которая может быть освобождена от всех ее недостатков и неэффективности, чтобы мы могли наконец стать богами, что бы это ни значило?

Не знаю, как вы, но это не тот мир, который я бы хотел построить. Предложить нам последовать по этому пути – как играть в азартные игры с нашим будущим и потенциально отравлять благополучие наших детей и будущих поколений.

Счастье нельзя запрограммировать в машинах, автоматизировать или продать. Его нельзя скопировать, кодифицировать или тщательно изучить. Оно должно исходить от нас и расти внутри нас и между нами, и технологии нужны здесь, чтобы помочь нам – как инструмент. Мы биологический вид, который пользуется технологиями, а не вид, которому суждено быть (стать) технологиями.

Наконец, подумайте о следующем: само слово «счастье» происходит от слова викингов, обозначавшего удачу. Это также относится к понятию случайности, или случая. Апологеты технологий могут утверждать, что они устраняют негативные проявления случайности из человеческих жизней – а имя им легион, от болезней и нищеты до смерти. Однако при этом они могут систематически менять способность людей испытывать ощущение счастья на более глубоких уровнях, которые не зависят от поддающихся измерению обстоятельств. Да, давайте обязательно пользоваться технологиями, чтобы устранить риски для человечества на планете Земля. Но давайте не станем инструментами для наших инструментов и не отдадим свое сознание и суверенную волю кучке безделушек и дешевых острых ощущений, как невинные выходцы из какого-то Нового Света.

Глава 10. Цифровая этика

У технологий нет этики, но человечество зависит от них

Давайте произведем некоторые экспоненциальные расчеты. Если мы продолжим идти тем же путем, то всего за восемь или 12 лет – в зависимости от того, когда начнем считать, – общий технологический прогресс совершит скачок от сегодняшней точки разворота от четырех до 128. В то же время сфера нашей этики будет продолжать ограничиваться линейным, поэтапным и человеческим масштабом улучшения, от четырех до пяти или шести, если повезет, ситуация немного изменится, когда мы адаптируемся к новой структуре.

Даже если закон Мура в конечном итоге перестанет действовать для микрочипов, многие из технологических областей, от рабочих частот канала связи до искусственного интеллекта (ИИ) и глубинного обучения, по-прежнему будут расти как минимум экспоненциально и с комбинаторными эффектами – изменения усиливают друг друга186.

Пройдет еще десять лет, и в итоге мы действительно сможем стать на 95 % более автоматизированными, гиперсвязанными, виртуализированными, крайне эффективными – и гораздо менее человечными, чем можно представить себе сегодня. Возникнет общество, которое, не отдавая себе отчета, следует по экспоненциальному пути мегасдвигов (см. главу 3). Общество, которое не останавливается, чтобы оценить последствия для человеческих ценностей, убеждений и этики. Общество, которым управляют технологи, венчурные капиталисты, фондовые рынки и военные. Такое общество, скорее всего, вступит в истинно машинную эпоху.

Так что же такое этика? Если не ограничиваться простым ответом – то, как человек должен жить, – греческое слово «этос» означает обычай и привычку187. Сегодня мы часто используем слово «этика» как синоним или условное обозначение для нравственности, ценностей, предположений, целей и убеждений. Главная задача этики состоит в том, чтобы задаваться вопросом, правильным ли является поступок или нет в каждом конкретном случае. Ваша этика определяет, что вам кажется правильным, и во многих случаях трудно объяснить, почему вы считаете именно так или иначе. Это, безусловно, одна из проблем, которые мешают согласовать даже самые элементарные этические правила для экспоненциальной эпохи, в которую мы вскоре вступим. Тем не менее дальше я попытаюсь сформулировать некоторые этические правила или принципы руководства развитием технологий.

Сегодня самая неотложная задача состоит в том, чтобы осознать различие между нами и машинами и понять: мы не найдем в машинном мире наших идеалов – их надо искать внутри нас самих.

– Стивен Талбот188,[107]

Биоэтик Лэрри Черчилль говорит, что «этика, понимаемая как способность критически осмыслять нравственные ценности и управлять нашими действиями с позиции таких ценностей, является общим потенциалом человечества»189.

Так, если этика означает способность критически осмыслять нравственные ценности и управлять нашими действиями в соответствии с ними и действительно является общим потенциалом человечества, то должны ли мы 1) не надеяться, что машины и компьютеры смогут по-настоящему понять их, или 2) пытаться кодировать какую-то базовую этику в программное обеспечение и научить машины хотя бы немного понимать и уважать их – это тема так называемой машинной этики?190 Это важный вопрос, на который мы здесь постараемся ответить.

Что происходит с нашей этикой, когда машины становятся самообучающимися? Этические вопросы быстро возникают по ходу экспоненциального развития технологий: например, в случае беспилотных автомобилей – кто должен управлять автомобилем, если авария абсолютно неизбежна? Что касается роботов-помощников – что должен делать робот, если пациент отказывается принимать лекарство? Когда машины перестанут следовать предварительно запрограммированным алгоритмам решений и сами начнут узнавать что-то новое, будут ли они также узнавать то, что даже люди не могут выразить и кодифицировать?

Люди не так то просто принимают трудные решения, такие, например, как «если у этой пациентки есть 35 %-ная вероятность возникновения опасной для жизни медицинской проблемы, то она должна принимать эти лекарства, даже если потребуется сила». Поэтому, конечно, люди в подобных ситуациях каждый раз ведут себя по-разному и порой ошибаются. Позволительно ли это было бы для робота, и приемлемо было бы для нас такое его отношение?

В своем рассказе «Хоровод» (1942) писатель-фантаст Айзек Азимов[108] сформулировал три закона робототехники, не слишком популярных в наши дни:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.

3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму законам.

Будут ли эти законы и далее актуальными, или утратят свое значение вместе с появлением самообучающихся машин? Может быть, робот-помощник должен будет причинить вред человеку (хоть и незначительный), потому что другой, имеющий больше полномочий человек (например врач) приказал ему обеспечить прием лекарств. Как робот узнает, с чего начать и в какой момент остановиться? Будет ли программа блокировать холодильник, если мы будем придерживаться строгой диеты? Отключит ли она телефон и интернет, чтобы мы не заказывали пиццу? Будет ли наблюдать за туалетом, чтобы выявить признаки незапланированного потребления?

В этом контексте довольно очевидно, что ни один искусственный интеллект никогда не станет по-настоящему умным без этической управленческой модели, потому что без нее ИИ, вероятнее всего, упустит несколько последних частичек этической головоломки, о которых знают люди, и поэтому будет терпеть неудачу в самые важные моменты. Представьте себе ИИ, который управляет вашим автономным транспортным средством, не зная, в каких случаях можно и когда нельзя убить животное, переходящее через дорогу.

Тем не менее, даже если мы должны были сделать роботов умными в плане обучения и принятия решений, основанных на собственном опыте, сегодня они все еще близки к нулю в плане эмоционального и социального интеллекта – два термина, которые сами по себе очень трудно объяснить или даже измерить.

Проблема обучаемых машин – одна из самых важных для меня, когда дело касается этики. Глубинное обучение – это область ИИ, которая получала наибольшие инвестиции с 2015191 года, и, скорее всего, эта тенденция сохранится в ближайшие несколько лет. Мы вряд ли застанем еще одну «зиму» ИИ, когда инвесторы вновь заморозят финансирование проектов ИИ из-за того, что они получили меньше, чем ожидали.

Только представьте себе, что будет, если (когда?) бесконечно мощные машины и суперкомпьютеры смогут научиться решать практически любую проблему, основываясь только на огромном потоке реальных данных, т. е. без каких-либо предварительных команд или программирования. Победа AlphaGo от Google DeepMind, обсуждавшаяся ранее, является наглядным примером таких возможностей обучения в действии192.

Благодаря глубинному обучению мощные машины смогут обнаружить основополагающие рекомендации, принципы и правила, и поэтому смогут понять их и, возможно, даже подражать им. Однако, если это суждено стать следующим важным событием в компьютерной сфере (как американская компания IBM любит говорить, «когнитивных вычислениях»), мы, простые люди, не сможем оценить, правильные ли рекомендации дает нам ИИ или нет, потому что вычислительные возможности машин значительно превысят наши собственные. Действительно злободневная проблема: если мы изобретаем машины, которые на несколько порядков превосходят наши собственные возможности, с IQ 50 000 и выше, как мы поймем, что им можно доверять? И кто может их контролировать? Станут ли они в конце концов разумными в новом понимании? Должны ли мы встраивать в них ряд желательных этических норм, и как это возможно?

В журнале AI Magazine в статье «Вопрос ответственности» (1987) Митчелл Уолдроп писал:

Ясно одно… умные машины воплотят в себе ценности, предположения и цели, независимо от того, сознательно ли их так запрограммируют или нет. Таким образом, по мере того как компьютеры и роботы становятся все более и более умными, становится необходимым внимательно и четко думать о том, что это за встроенные ценности193.

Эта проблема еще более актуальна сейчас, когда мы входим в экспоненциальную эпоху, потому что теперь нам надо проанализировать, какими должны быть этические рамки для всех экспоненциальных технологий, включая ИИ, геоинженерию, когнитивные вычисления и, конечно, редактирование генома человека. Это включает в себя как рамки, которые люди-изобретатели или сборщики (не)преднамеренно программируют в машинах, так и те, которым машины сами могут обучиться и развить с течением времени.

Если суперкомпьютер Watson фирмы IBM действительно умеет думать, как он будет разбираться с критериями и ценностями людей, непонятными, двоякими или используемыми по умолчанию даже для людей? Будет ли этика ИИ предварительно запрограммирована или развита и адаптирована с использованием глубинных обучающих нейронных сетей, которые стремятся имитировать методы приобретения мозгом новой информации? А если они самообучаемые, как люди смогут проверять, контролировать и корректировать их? Как эти системы будут удовлетворять множеству культурных изменений в этике людей?

Более теоретические вопросы об ИИ и глубинном обучении, такие как техническая осуществимость управления такими новыми интеллектами, на данный момент не рассматриваются автором в этой книге, но в любом случае очевидно, что перед нами стоит огромная задача. Действительно, в самом ближайшем будущем роль специалиста по цифровой этике вполне может стать одной из самых востребованных профессий наряду со специалистом по анализу и обработке данных. Может быть, это хорошая работа и для ваших детей?..

И никакой религии?..

Нам также очень важно помнить, что этика и религия – это не одно и то же. В вышедшей в 2011 году крайне важной книге «Больше чем религия» Далай-лама заметил, что у всех есть этика, и только у некоторых людей есть религия, а затем призвал установить глобальную светскую этику, чтобы управлять нашими самыми элементарными решениями, например, касающимися автономных систем вооружения, способных убивать без контроля человека194. Этика и религия – существенно разные понятия, и мы должны помнить об этом различии при обсуждении злободневных тем, таких как редактирование генома человека или небиологические дополнения людей. Я предлагаю по возможности избегать вовлечения религии в эти споры, во-первых, потому что религиозные взгляды не настолько единообразны и повсеместны, как самые элементарные этические нормы и ценности, и во-вторых, потому что в них порой отражается слишком много пережитков прошлого.

Артур Чарльз Кларк обратил особое внимание на это критическое различие в своем интервью 1999 года:

Все считают, что религия и мораль связаны между собой. Однако основа морали очень проста и вовсе не требует никакой религиозности: не поступай с другими так, как не хочешь, чтобы поступали с тобой199.

Создание Глобального совета по вопросам цифровой этики. Какое определение мы дадим этике, подходящее для экспоненциальной эпохи?

Я хотел бы затронуть две основные проблемы. Во-первых, попытаться определить, какой глобально приемлемый ряд этических норм может подойти для экспоненциальной цифровой эпохи. И, во-вторых, попробовать понять, что нам нужно сделать, чтобы убедиться, что благополучие людей и этические проблемы в действительности остаются на повестке дня в мировом масштабе и не поглощены машинным мышлением.

Нам необходимо определить ряд реалистичных этических норм, которые подходят для цифрового века: достаточно открытые, чтобы не тормозить прогресс или препятствовать инновациям, но достаточно сильные, чтобы защитить нашу человечность. Нормы, которые станут компасом, а не картой для будущего, в котором более мощные технологии сначала расширят свои возможности, затем дополнят их, а затем станут еще сильнее угрожать человечеству.

С этой целью я предлагаю создать Глобальный совет по вопросам цифровой этики, которому будет поручено определить, какими должны быть основные правила и основополагающие и универсальные ценности для совершенно нового, полностью цифрового общества.

По большому счету, в настоящее время мы согласны с тем, что ни у каких государств-изгоев не должно быть ядерного потенциала, даже если они могут себе это позволить. Это по-настоящему сложная ситуация, сопряженная с ложью и обманом, – и она постоянно меняется, но необходимое понимание остается, и оно усиливается, потому что альтернатива сопряжена с немыслимым риском.

Точно так же нам нужно согласовать ограничения и независимый контроль масштабов, развития искусственного интеллекта, редактирования генома и других экспоненциальных технологий будущего.

Чтобы начать этот разговор, я использовал прием подмены тезиса. Я знаю, что это сложная задача, и, конечно же, это может быть даже самонадеянно. Но нам нужно начать, даже если я местами и окажусь неправ!

Чтобы поддержать Глобальный совет по вопросам цифровой этики, нам также необходимо разработать простой манифест по цифровой этике, своего рода глобальный договор по экспоненциальным правам человека во все более цифровом мире. Такой манифест и последующий договор могли бы служить руководством для тех компаний, которые изобретают, производят и продают эти технологии (и их директоров), и привлекать их к ответственности. Это действительно важно, потому что последствия экспоненциальных технологических изменений для человеческого существования больше не могут рассматриваться лишь как внешние факторы, как побочный эффект, который не имеет непосредственного отношения к тем, кто его вызывает.

Глобальный совет по вопросам цифровой этики, как мне кажется, должен состоять из хорошо информированных и глубоко мыслящих людей из гражданского общества, академических кругов, правительства, бизнеса и технологий, а также независимых мыслителей, писателей, художников и идейных вдохновителей. (Я и сам был бы рад присоединиться!) Он должен быть глобальным с самого начала и, со временем Совету могут потребоваться аналогичные или даже более широкие полномочия по сравнению с теми, которыми обладают сегодня специальные эксперты ООН по правам человека, а именно – право контролировать, консультировать и публично сообщать о проблемах и нарушениях196.

Как и в случае с устойчивым развитием, этика часто является последним, чисто номинальным пунктом на повестке дня, который могут исключить всякий раз, когда происходит что-то более срочное. Это принципиально ошибочный и очень опасный подход к охране нашего будущего. Так как мы вступаем в эпоху, когда важнейшие события будут происходить поначалу постепенно, а потом ситуация будет развиваться стремительно, у нас просто не будет взлетно-посадочной полосы, чтобы обдумать этические вопросы в тот момент, когда они уже будут безвозвратно раздавлены думающими машинами. Принцип «поживем – увидим» просто-напросто означает отречение человечества от престола.

Новое моральное исчисление

Мы должны тратить столько же времени и ресурсов на цифровую этику, сколько мы тратим на экспоненциальные технологии. Изучение неожиданных последствий экспоненциальных технологий и предотвращение ущерба человечеству, выходя далеко за пределы экзистенциальных рисков, требуют такой же поддержки, какую мы оказываем наукам, которые сейчас движут этими изменениями. Человеческий фактор требует такого же финансирования и продвижения, как и наука – действительно, «древо» познания (наука, техника, инженерия и математика) не может существовать без «корней» (креативность, оригинальность, взаимность и сочувствие).

«Homo roboticus? Люди и машины в поисках взаимопонимания»

В своей книге «Homo roboticus? Люди и машины в поисках взаимопонимания» (2015) журналист The New York Times Джон Маркофф подчеркивает необходимость этого нового морального исчисления:

Оптимисты надеются, что возможность злоупотребления компьютерными системами будет сведена к минимуму, если применение искусственного интеллекта, генной инженерии и робототехники останется сосредоточенным на людях, а не на алгоритмах. Но у технической индустрии нет такой репутации, которая свидетельствовала бы о нравственном просвещении. Было бы замечательно, если бы Кремниевая долина отказалась от прибыльной технологии по этическим соображениям. Однако сегодня решения о внедрении технологий принимаются в основном из соображений рентабельности и эффективности. Необходимо новое моральное исчисление197.

Пять новых прав человека в цифровую эпоху

Вот эти пять основных прав человека, которые, как я скромно предполагаю, могут стать частью будущего манифеста цифровой этики.

1. Право оставаться естественным, то есть биологическим, – у нас должно быть право жить в государстве без автоматизированных систем. Мы должны сохранить за собой право работать, пользоваться государственными услугами, покупать вещи и функционировать в обществе без необходимости размещать дополнительные устройства на наших телах или внедрять их в наши органы. Эти страхи #Подключайся Или Увольняйся уже стали проблемой в отношении мобильных устройств и социальных сетей (хотя и считаются в основном неопасными). Тем не менее можно легко представить себе будущее, в котором нам придется носить очки дополненной или виртуальной реальности, козырьки или шлемы, чтобы получить работу, или даже хуже – будет необходимо использовать или вживить специальные приложения для человеческого организма для трудоустройства. Люди сами по себе больше не будут достаточно хороши – и это нежелательное будущее.

2. Право быть низкоэффективными там где низкая эффективность определяется нашими физиологическим ограничениями, – у нас должно быть право быть медленнее технологий. Мы не должны ставить производительность выше человечества. Вскоре может оказаться намного эффективнее и дешевле использовать цифровую диагностику здоровья с помощью таких платформ, как Scanadu, чем обращаться к врачу каждый раз, когда есть медицинская проблема. Я считаю, что эти технологии в целом приведут к прогрессу и могут быть одним из ключей к снижению стоимости здравоохранения. Тем не менее означает ли это, что мы должны наказывать людей, которые решают поступить иначе, или принуждать к соблюдению новых правил тех, кто не хочет, чтобы их данные о здоровье находились в облаке?

3. Право не быть постоянно на связи – мы должны сохранить за собой право «отключиться», «уйти в тень» в сети и приостановить связь, отслеживание и контроль за нами и нашим местоположением. Можно ожидать, что многие работодатели и компании сделают гиперкоммуникацию с помощью технических средств стандартным требованием в ближайшем будущем. Как работник или застрахованный водитель вы можете понести ответственность за прерывание связи без разрешения, если вы и/или ваш автомобиль больше нельзя будет отследить в сети.

Быть самодостаточным и технически «отключенным» в разное время по собственному желанию – это принципиально важное право, потому что «отключение» позволяет нам оставаться в нашей реальной среде и наслаждаться жизнью. Это также снижает риск цифрового ожирения (см. главу 7) и уменьшает вероятность случайной слежки. Офлайн может стать новой роскошью, но он должен оставаться основным правом.

4. Право быть анонимным – в приближающемся будущем с гиперсвязанным миром у нас все равно должна быть возможность не опознаваться и не отслеживаться, например при использовании цифрового приложения или платформы, а также при комментировании или критике, если это безопасно для других и не нарушает ничьих прав. Безусловно, в некоторых очевидных случаях настоящая анонимность будет невозможна, и, вероятно, этого неразумно ожидать, например, когда дело касается банковских операций в цифровой среде. Тем не менее мы должны быть уверены в том, что защищенные пространства сохраняются там, где не требуется и не считается нормой полное отслеживание, например, когда вы высказываете политические взгляды, обмениваетесь личными фотографиями или получаете медицинскую консультацию. Анонимность, тайна, беспринципность и ошибки являются важнейшими человеческими атрибутами, которые мы не должны пытаться устранить с помощью технологических средств.

5. Право нанимать или привлекать людей вместо машин – мы не должны позволять компаниям или работодателям оказаться в невыгодном положении, если они захотят использовать людей вместо машин, даже если они более дорогие и менее производительные. Вместо этого мы должны предоставлять налоговые льготы тем, кто это делает, и предусмотреть налоги на автоматизацию для компаний, которые значительно сокращают число сотрудников в пользу машин и программного обеспечения. Эти налоги должны быть направлены на переподготовку людей, ставших жертвами технологической безработицы.

Важно заметить, что многие из этих прав затрагивают важный вопрос, находящийся в центре этих споров: сколько свободы мы готовы пожертвовать, чтобы стать или более производительными, или более безопасными? Также нужно задуматься: какой должна быть этика безопасности и как технологии будут решать этот важнейший вопрос?

15 ошибок, которые следует избегать

В целях развития и внедрения четкой и согласованной на глобальном уровне цифровой этики приведем несколько конкретных примеров технологических ошибок, которых нам следует избегать, если мы хотим, чтобы человечество одержало победу.

Я прекрасно понимаю, что в качестве пищи для обсуждения, некоторые из предложенных заповедей могут оказаться слишком упрощенными, идеалистическими, непрактичными, утопическими, неполными и противоречивыми. Поэтому я с вашего позволения представляю их просто в духе отправной точки для дискуссии.

1. Мы не будем требовать или планировать, чтобы люди постепенно сами становились технологиями, только из-за того, что это будет выгодно для технологий или технологических компаний и/или стимулировать рост.

2. Мы не будем позволять, чтобы людьми управляли или, по сути, руководили такие технологии, как искусственный интеллект, интернет вещей или робототехника.

3. Мы не должны изменять природу человека, программируя или производя новых существ с помощью технологий.

4. Мы не будем «дополнять» людей, чтобы достичь сверхъестественных способностей, которые устранят четкое различие между человеком и машиной.

5. Мы не должны наделять машины полномочиями расширять свои права и возможности и таким образом избежать контроля со стороны человека.

6. Мы не будем пытаться заменить доверие слежкой при общении и в личных отношениях только из-за того, что технология делает это возможным всегда и везде.

7. Мы не будем планировать, оправдывать или желать тотального контроля из-за предполагаемой потребности в полной безопасности.

8. Мы не позволим ботам, машинам, платформам или другим умным технологиям взять на себя основные демократические функции в нашем обществе, которые все-таки должны выполнять сами люди.

9. Мы не будем пытаться уменьшить или заменить реальную человеческую культуру алгоритмическим, дополненным или виртуальным моделированием.

10. Мы не будем пытаться свести к минимуму человеческие недостатки только для того, чтобы больше соответствовать технологиям.

11. Мы не будем пытаться покончить с ошибками, тайнами, несчастными случаями и случайностями, используя технологии для их прогнозирования или предотвращения, и мы не будем стремиться сделать все явным только из-за того, что технологии это позволяют.

12. Мы не будем создавать, проектировать или распространять какие-либо технологии с главной целью вызвать зависимость от них.

13. Мы не будем требовать, чтобы роботы принимали нравственные решения, или оснащать их так, чтобы они оспаривали наши решения.

14. Мы не будем требовать или ставить условие, чтобы люди также были экспоненциальными по своей природе.

15. Мы не будем путать чистый алгоритм с точной картиной реальной жизни людей («программное обеспечение обманывает мир»), и мы не будем наделять технологии излишней властью, из-за того что они приносят экономические выгоды.

Что касается конкретного вопроса о том, что все становится явным, социальные сети преподают нам хороший урок: вещи, которые раньше были невысказанными и существовали между строк, теперь незаметно оказались в центре внимания и стали очень четко высказаны, а также усилены групповым мышлением. Хотя мое одобрение некоторой группы гражданских прав, политической организации или социальной задачи могло быть явно выражено в прошлом, все же эта информация не была доступной для всех. Теперь, когда все связано, все мои комментарии можно мгновенно увидеть, изучить и собрать вместе.

Производительность не должна ставиться выше человечества

Экспоненциальные технологии быстро делают более эффективным все, что нас окружает. В результате все становится сервисом, все находится в облаке, и теперь все становится умным. Даже у самого глупого компонента аппаратуры будут датчики, вносящие свой вклад в глобальное цунами данных, которые в паре с искусственным интеллектом могут найти решение практически для любой проблемы198.

Давайте представим себе, каким станет мир в 2030 году. Если буквально все будет отслеживаться, измеряться и быть гиперэффективным, то что случится с вещами, которые не так легко поддаются количественной оценке? Как быть с эмоциями, неожиданностью, стеснением, неуверенностью, созерцанием, тайной, ошибками, несчастными случаями, интуицией и другими отличительными чертами человека? Станут ли они нежелательными, потому что алгоритмы и машины идеальны, они запрограммированы, чтобы не допускать ошибок, работать 24/7/365, не иметь профсоюзов и по большому счету делать то, что им говорят? (По крайней мере, те, которых не научат думать самостоятельно…)

Будет ли ускорение темпов технического прогресса означать, что люди, которые проявляют слишком много не считываемых машинами черт, будут считаться пустой тратой времени, или, что еще хуже, их будут считать помехой высокой производительности?

Будем ли мы все больше приспосабливаться и менять свое поведение, чтобы казаться более эффективными или, по крайней мере, притворяться таковыми? Станет ли идея общей эффективности мощным стабилизирующим фактором, заставляющим нас вести себя более единообразно? Отменит ли в конечном итоге одержимость технологией с ее абсолютной эффективностью молчаливое признание человеческой неэффективности и различий? Такое развитие событий часто кажется мне вероятным, даже если это займет больше времени здесь, в Европе, и, возможно, еще больше в отдельной взятой Швейцарии!

Если достижение максимально возможной эффективности будет оставаться главной задачей, то стремительный рост производительности машин в экспоненциальной эпохе означает, что люди в скором времени, вероятно, не будут участвовать вообще ни в чем. Переход от четырех к 128 в масштабе технологии в следующем десятилетии или около того предполагает, что многие задачи могут быть решены в 32 раза быстрее, чем сегодня. Можете ли вы представить себе, что розничная торговля, банковское дело и транспорт станут в 32 раза эффективнее, чем сегодня? Будут ли они в 32 раза дешевле, и если да, то что это будет означать для нашей экономики?

Нам нужно будет быть очень осторожными при принятии решений, основанных исключительно на эффективности, которая почти наверняка приведет к ликвидации рабочих мест для людей, устранит полномочия людей или иным образом заставит их автоматизироваться, уступить и «отречься от престола» (см. главу 4).

Во многих случаях нам, возможно, придется смириться с этими ужасающими недостатками и признать, что они являются просто частью человеческой жизни, даже если создают препятствия для автоматизации. Альтернативой было бы безжалостно обеспечить эффективность и покончить с теми, кто не соблюдает эти правила: если вы хотите увидеть своего врача лично, а не использовать устройство удаленной диагностики, вы заплатите штраф. Если ваш автомобиль не будет постоянно отслеживаться, то это будет означать, что вы потеряете страховое покрытие. Отказ от имплантации чипа будет означать, что вы не сможете работать в этой компании.

В медицинской сфере есть несколько полезных прецедентов для предстоящих споров. Некоторые люди уже давно утверждают, что кесарево сечение более эффективно, чем естественные роды, и поэтому мы должны полностью отказаться от этой привилегии – явный пример того, чтобы поставить эффективность выше человечества199. Наблюдая за экспоненциальной мощью технологий, я догадываюсь, к чему это может привести: экзогенез – беременность вне матки, дети, рожденные в лабораториях.

Эффективно ли отслеживать ваш автомобиль или любые другие транспортные средства 100 % времени по каждому параметру, такому как скорость, направление, ускорение, внутренняя температура и качество наружного воздуха?

Ответ – да. Но послужит ли это цели, достойной человека? Во многих отношениях ответ также утвердительный: использование автономных транспортных средств и анализ данных отслеживания может помочь значительно уменьшить загрязнение окружающей среды и положить конец большинству аварий. Но во многих других отношениях постоянное отслеживание также было бы пагубным, потому что это был бы самый совершенный инструмент наблюдения, когда-либо изобретенный, и он заставил бы нас ежесекундно действовать в соответствии с требованиями.

Нам необходимо срочно задать себе вопрос, действительно ли мы хотим заменить наши врожденные человеческие чувства и возможности обещанием совершенных функциональных возможностей машины и постепенно потерять сам смысл человеческого бытия? Мы можем в конечном итоге сделать окружающие нас вещи чрезвычайно эффективными, но лишим себя всех целей.

Что делать, если только самые богатые 2 % людей получат доступ к новым генетическим методам лечения, которые обещают резкое продление жизни и долголетие, в то время как у остальных не будет такой возможности? Возникнет ли еще больше гражданских беспорядков и терроризма из-за еще более глубокого неравенства, обусловленного экспоненциальными технологическими достижениями? Только представьте, что произойдет, если появится такое «ДНК-исправление» старения, но только миллионеры смогут позволить себе оздоровительные процедуры, чтобы дожить до 150 лет, в то время как все остальные будут жить более или менее столько, сколько обычно. Кажется очевидным, что наши нынешние этические парадигмы не могут ответить на эти дилеммы под давлением привычного капитализма и ожиданий фондового рынка.

Жизнь вне алгоритма

Итак, что мы можем сделать с технологиями, взявшими на себя руководство там, где не должны? Как мы можем защитить себя от того, чтобы просто стать объектами подпитываемой ботами гиперэффективности, вскармливая гигантский ИИ, который, в свою очередь, диктует нам, как жить, и говорит, что мы больше не можем делать?

Нам необходимо как можно чаще задавать себе вопрос, делаем ли мы что-то, потому что оно неэффективно для машин или потому что оно позитивно для пользователей. Мы должны задавать себе этот вопрос, когда голосуем за новые законы, когда начинаем бизнес и когда отдаем наши деньги технологическим компаниям. Голосование своим кошельком – это мощный инструмент, который потребители используют недостаточно, когда речь идет о цифровой этике. По иронии судьбы, с технологиями это право будет все легче реализовать.

Этический вопрос, вопрос о цели и значении, нужно задавать перед вопросом о целесообразности и стоимости. В будущем главный вопрос в сфере технологий будет не о том, можно ли что-то сделать, а о том, почему, когда, где и кем это должно быть сделано.

Как вариант, можно просто говорить «нет», чаще отказываться от участия, отвергать технологии и процессы, приложения и программное обеспечение, которые явно не подходят для использования человеком, а просто усиливают мощность алгоритмов. Может быть, нам нужно создать наклейку для предупреждения о вреде здоровью или штамп, как на сигаретных пачках сегодня, которые будут сообщать нам, что программа, приложение или устройство «точно не способствует дальнейшему человеческому счастью».

Хотя эффективность и увеличение прибыли иногда являются достойной целью и в конечном счете одним из краеугольных камней капитализма, мы не должны использовать технологии для распространения примитивных убеждений, которые предполагают, что эффективность существует только для того, чтобы быть самой важной и достойной человеческой целью. Это машинное мышление, которое не будет служить нам в долгосрочной перспективе.

Глава 11. Земля 2030: рай или ад?

В то время, когда нужно радоваться большей части колоссальных перемен, появившихся на горизонте, – например, работать ради удовольствия, а не ради денег, – ряд основных привилегий, которые мы принимали как должное – например, свобода выбора в потреблении и свобода воли при выборе образа жизни, – могут стать рудиментарными отголосками или заповедниками для чрезвычайно богатых людей.

Рай это или ад?

Как я писал в 2016 году, мы уже на том этапе, когда многое из того, что раньше считалось научной фантастикой, становится научным фактом.

Мы уже сталкиваемся в жизни с научной фантастикой, а иногда и с негативными последствиями выбора предыдущих поколений: автоматизированный перевод, практически беспилотные автомобили, нанороботы в кровеносной системе, искусственный интеллект, который может вести кибервойны в наших интересах, и холодильники, которые разговаривают со смартфонами, которые, в свою очередь, отправляют данные нашим врачам.

Давайте перенесемся в 2030 год, представим возможные перспективы для мира, который изменят экспоненциальные технологии, и подумаем, какими могут быть варианты развития событий адского рая. Ниже приводится хронология возможных вариантов развития событий на период до 2030 года.

2020: гиперсвязанность и гиперманипуляция

Поскольку сейчас все является гиперсвязанным, все десять основных глобальных мозгов – ранее известных как интернет-платформы и медиакомпании – используют алгоритмы для измерения и определения того, что я должен увидеть, когда и как.

Еще в 2016 году всеми любимая небольшая компания под названием Facebook использовала алгоритмы для подбора новостей, идеально соответствующих моему профилю, чтобы обеспечить мое как можно более длительное взаимодействие с платформой, ограждая меня от враждебных мнений и негативных сообщений.

Сегодня, когда шесть миллиардов людей «всегда на связи» по всей планете, мы все постоянно видим различную информацию и контент. Мы взаимодействуем с этими платформами с помощью дополненной и виртуальной реальности и голографических экранов или с помощью интеллектуальных цифровых помощников и ботов, старомодных приложений и того, что раньше называлось веб-сайтами. В 2020 году традиционные веб-сайты исчезнут так же быстро, как автомобили с бензиновым двигателем, потому что ИИ в облаке теперь делает работу за нас, а ему не нужны привлекательные графические интерфейсы или толковый дизайн.

Редакторы-люди тоже попрощаются с нами, потому что массивы больших данных, умные облака и искусственный интеллект оказались гораздо более эффективными, популярными и почти бесплатными. Кроме того, они ни на что не возражают – и рекламодатели, бренды и политические партии могут более эффективно использовать эти системы и расходовать свои маркетинговые бюджеты.

Алгоритмы прогнозирования помогают предотвратить преступления. Используя общедоступные каналы данных полиции, дорожного движения, общественных работ, социального обеспечения и отделов планирования, города могут определить проблемные места. В дальнейшем они могут перекрестно ссылаться на эту информацию с данными, взятыми из каналов социальных сетей, писем, беспроводной передачи информации и многого другого. ИИ анализирует данные, обнаруживает новые взаимосвязи и предлагает меры, которые могут предотвратить совершение преступлений: увеличение числа полицейских патрулей, изоляция рецидивистов или оповещение потенциальных преступников о том, что за ними ведется слежка.

В 2020 году мир станет гиперсвязанным, автоматизированным, гиперумным – и все будут в выигрыше.

2022: мой лучший друг – в облаке

Множество индивидуальных цифровых помощников и программных ботов живут в облаке, заботясь о выполнении множества повседневных задач.

• Больше не нужно искать лучшие рестораны или отели – наши туристические боты уже сделали это для нас.

• Больше не нужно оповещать нашего врача, если что-то не так, – наши боты здоровья уже проинформировали его или, что более вероятно, его бота.

• Больше не нужно выяснять, как добраться из одного места в другое, – транспортные боты уже обо всем позаботились для нас.

• Больше не нужно ничего искать – наши боты знают нас и наши желания и сообщают о них намного больше, чем все, что мы можем узнать, вводя запросы в компьютере. Буквально каждый поисковый запрос уже ожидаем, и ответы готовы к тому моменту, когда они нам нужны.

Мое цифровое эго в облаке стало настоящей копией меня самого благодаря сочетанию быстрых, дешевых и ультрамощных инструментов, включая мобильные облачные технологии, персонализацию, распознавание голоса и изображений, анализ чувств и настроений. У него еще нет тела, но оно считывает данные моего тела – постоянно. У него нет настоящих чувств, но оно определенно считывает мои. Эта цифровая копия самого себя стала известна как HelloMe.

HelloMe слушает, наблюдает, синхронизирует и подражает мне, и, что касается моих данных, он знает меня намного лучше, чем любой человек. Мое цифровое эго связано с другими ботами и искусственными интеллектами, которые стали очень хорошими компаньонами. Если мне нужна информация, рекомендации и общение, я или мой интеллектуальный цифровой помощник спрашивают облако; если мне одиноко, я прошу HelloMe поговорить со мной так же, как я поговорил бы с другом, но без всяких историй, обязательств и хлопот по согласованию времени и места. Мобильные устройства размещены на моем теле и в нем, они накладывают изображение AR/VR на стекла очков, смотровые козырьки или контактные линзы, и очень скоро мы будем пользоваться нейроимплантами, чтобы вообще освободиться от любого внешнего интерфейса.

То, чем в 2015 году для детей была HelloBarbie, сегодня для нас HelloMe – умный, дружелюбный и вездесущий голос свыше, который действительно понимает меня, и это делает мою жизнь намного проще.

Со временем у меня сложились отношения с HelloMe, и теперь я считаю его дорогим другом. Я с нетерпением жду, когда HelloMe сможет воспроизводить эго других людей, которые больше недоступны, например, если они умерли или больше не общаются со мной, как это произошло с моей бывшей девушкой. Вскоре HelloMe сможет общаться точно так же, как тот человек – в любое время и в любом месте, – что оставит в прошлом утомительный и трудоемкий процесс выстраивания отношений.

Также мы добавили к уравнению роботизированное тело… Парализованные люди теперь могут управлять внешними экзоскелетами, так что они снова могут ходить, и затраты резко сокращаются. Для управления самолетами и гигантскими контейнеровозами используются интерфейсы «мозг – компьютер». Превращение наших мыслей и связанной с ними мозговой деятельности в триггеры для компьютеров меняет то, как мы взаимодействуем с машинами во всех сегментах бизнеса и культуры. У нас есть больше свободы, чем когда-либо, чтобы созерцать, создавать, задавать вопросы и размышлять.

Вместо того чтобы принимать лекарства для предотвращения наиболее серьезных последствий таких состояний, как высокий уровень холестерина, высокое кровяное давление или диабет, мы все больше и больше пытаемся определить, что вызывает болезнь в первую очередь. Мы начинаем использовать нанотехнологии, ИИ и облачную биологию для решения основных проблем здравоохранения. Мы определили гены, которые могут контролировать возникновение определенных видов рака. Как только мы будем знать, как безопасно управлять этими генами, мы окажемся на пути к разработке способов борьбы с этими заболеваниями. Рай это или ад?

В 2022 году мое цифровое эго переместилось в облако и строит собственную жизнь.

2024: прощайте, конфиденциальность и анонимность

Технологии стали настолько быстрыми, мощными и широко распространенными, что у нас не получится избежать отслеживания, наблюдения, записи и контроля. Интернет вещей связывает наши автомобили, дома, бытовую технику, парки и города, товары народного потребления, лекарства, наркотики и, конечно, наши гаджеты и машины. Интернет всего связывает наш разум с сетью. Некогда полностью футуристическая концепция второго неокортекса – прямая связь с внешним мозгом в облаке – постепенно становится реальностью. Новые задачи для стартапов лежат в области разработки и создания дополнений и резервного копирования услуг для компьютеризированных нейронных сетей, которые будут подключаться напрямую непосредственно к нашему собственному неокортексу через интерфейсы «мозг – компьютер».

Мобильные устройства теперь перешли почти полностью на управление голосом и жестами. Большинство компьютеров стали невидимыми, всегда находясь рядом, всегда наблюдая, всегда слушая и всегда в нашем распоряжении.

Подключение повсеместно: 90 % населения подключено с очень высокой скоростью и очень низкой стоимостью. Ничто и никто никогда не находится офлайн – если вы не можете позволить себе роскошь «отключиться» или посетить один из миров офлайна, таких как швейцарские Альпы, ставшие популярными курортами для «цифровой детоксикации». Офлайн – это новая роскошь, в этом нет сомнений.

«Отключение» или отказ от передачи персональных данных является социально неприемлемым и экономически наказуемым. Штрафы могут включать в себя резкое сокращение доступа к основным услугам, таким как навигация, транспорт и мобильность, а также высокую плату за такие услуги, как страхование и здравоохранение. Если вы не предоставляете свои данные, вы не получаете услугу. Настоящая конфиденциальность в стиле «эпохи до интернета» существует только для очень богатых, потому что лишь они могут себе позволить использовать технологии, которые управляют их цифровой жизнью и приносят выгоду, не вызывая эффект паноптикума[109] (наблюдения за всем происходящим). Цифровые копии – воплощенные боты, представляющие реальных людей, – это всё безумие, но чрезвычайно дорогое безумие, а статус и законность этих копий часто неясны.

Вы либо на связи, либо будете уволены. Поскольку всё вокруг нас на связи, отслеживается и контролируется, теперь необходимо быть всегда на связи во время работы. И быть «на работе» больше не означает находиться за определенным столом в определенном здании. Многие люди, усомнившиеся в такой рабочей среде, теперь не работают, потому что они отстают в рейтингах производительности, которые, конечно же, контролируются ботом!

Работодатели считают повышение эффективности неотвратимым. AR, виртуальные устройства и приложения теперь позволяют легко масштабировать большие объемы данных или мультимедиа. Множество инструментов может обеспечить глубокое мультисенсорное погружение в сложные темы, которые раньше занимали десятки людей и много дней работы. Как будто наш мозг связан со вторым неокортексом в облаке, что позволяет нам войти в совершенно новое нейронное пространство производительности, превосходящее все наши прошлые ограничения.

Секретов больше нет. Всё, что нам нужно сделать, – это поговорить с машиной в любое время и в любом месте, и она найдет ответы для нас – в основном бесплатно, но некоторая информация будет доступна только за очень высокую плату. Прогнозирование и профилирование бизнеса переживают бум, в результате чего оборудование для интеллектуального анализа данных 2016 года сравнивается с каменным веком. Технология сканирования лиц настолько продвинута, что можно считывать тысячи лиц в доли секунды, архивировать эмоциональные выражения и создавать полные карты выражений лиц, передающих наши чувства, в любом месте и в любое время.

Глобальный мозг, построенный 14 ведущими крупными технологическими компаниями и платформами, постоянно, везде собирает данные о шести миллиардах подключенных пользователей. Чрезвычайно мощный ИИ обобщает наши профили, затем делает вывод о том, кто мы и что мы можем делать дальше. Это золотой рудник для служб безопасности, полиции и правительств, и это «турбонаддув» маркетинга, рекламы и бизнеса в целом.

Деньги стали полностью цифровыми, уничтожив последнее убежище анонимности. Платить наличными – это прошлый век и в основном запрещено. Каждая мятная жевательная резинка, латте маккиато, билет на автобус или дополнительный бокал виски регистрируются (точнее, находятся в облаке), где-то записываются, где-то ими делятся, где-то поднимают флаги, и это способствует тому, что глобальные мозги знают о вас всё. Цифровые деньги также сделали невозможным получение наличных денег у кого-либо – больше никаких тайных подработок, никаких советов по освобождению от уплаты налогов, никакой лжи во благо в вашей налоговой декларации.

Банки теряют огромные потоки доходов, которые раньше поступали от возмутительных комиссий за перевод денег, сборов за обработку данных и невежественных инвестиционных советов, но теперь они также вовлечены в бизнес данных и платформ. Теперь продавать можно гораздо больше, чем просто финансовые услуги; данные потребителей стали новой валютой финансовых учреждений. Данные – это не только новая нефть, но и новые деньги.

Преступления и войны теперь тоже цифровые. Теперь, когда все и всё на связи и является источником данных в реальном времени, мы стали полностью зависимы от подключения. Все, что нарушает его, считается нападением на «систему». Атаки на технологическую инфраструктуру, несанкционированный доступ к нашим данным и манипулирование информацией стали постоянной угрозой, и более 50 % военного бюджета каждой страны используется для борьбы с нарушениями безопасности, киберпреступностью и различными цифровыми сражениями. Поле битвы цифровое, а ИИ – новые солдаты.

Вскоре даже мышление больше не будет частным актом. Дешевые и простые в использовании интерфейсы «мозг – компьютер» и импланты начинают появляться повсюду, позволяя общаться непосредственно с нашим мозгом, расширяя наш неокортекс в облаке. Каждая мысль вызывает физические реакции в мозге и теле, которые очень скоро смогут быть записаны и по крайней мере частично использованы для личного здоровья, развлечений и безопасности.

В 2024 году мы будем постоянно подключены к машинам, а они будут все лучше и лучше читать наши мысли.

2026: автоматизация всего и основная гарантия дохода

Прошли те дни, когда рутинные задачи – задачи «синих» или «белых воротничков», ручного или умственного труда – совершались человеком. Машины научились понимать языки, изображения, эмоции, убеждения. Машины также могут говорить, писать, рисовать и подражать человеческим эмоциям. Машины не могут быть, но они могут думать. Сотни миллионов рабочих мест передаются машинам в колл-центрах, бухгалтерском учете, сфере обслуживания, юридических, розничных, производственных и финансовых услуг. Исследования и разработки теперь выполняются также машинами. Мы видели первые примеры ИИ, работающих в качестве ученых примерно десять лет назад. К 2020 году они начали опережать ученых-людей в скорости научных открытий. Роботы теперь регулярно обрабатывают миллиарды данных и проводят эксперименты в облаке, что приводит к появлению совершенно новых подходов к фундаментальным научным задачам.

Рабочие места только для людей становятся все большей редкостью, но в целом все, что невозможно оцифровать, автоматизировать, виртуализировать или роботизировать, становится все более ценным. Сопряжение людей с машинами – это новая норма: в большинстве случаев машина, работающая с человеком, по-прежнему опережает любую машину, работающую без участия человека.

Доход больше не привязан к работе, а вознаграждение не зависит от количества отработанных часов. Оплата за результаты и производительность труда становится преобладающей моделью вознаграждения. Работать меньше в итоге становится новой нормой (безусловно, рай для многих).

Затраты на большинство потребительских товаров и услуг, таких как транспорт, жилье, средства массовой информации и коммуникации, резко сокращаются, потому что машины выполняют всю тяжелую работу и делают большинство продуктов и услуг намного дешевле. Единственное, что становится все дороже, – это выбрать, чтобы за вами ежесекундно не следили и не контролировали вас.

Постепенно пропадает принятая в экономике логика зарабатывать на жизнь; вместо этого мы начинаем работать ради определенной цели. Гарантия базового дохода уже применяется в 12 странах, включая Швейцарию и Финляндию, и ожидается, что она станет глобальным стандартом в ближайшие два десятилетия, в новую посткапиталистическую эпоху.

Когда машины выполняют всю тяжелую работу, все больше людей занимаются тем, чем хотят, а не просто оплачивают счета. Гарантия базового дохода стала ключевым фактором социального счастья, подпитывая новый бум в области декоративно-прикладного искусства, предпринимательства и появления новых работ известных мыслителей.

В 2026 году широко распространена автоматизация, сокращаются рабочие места, переписываются социальные нормы.

2028: свобода воли только для богатых

Из-за того, что все, что мы делаем, говорим, видим и, более того, что чувствуем и чем увлекаемся, можно отследить и измерить, мы наблюдаем снижение важности свободы воли, унаследованной способности принимать собственные решения без внешнего давления, вынуждающего нас подчиняться. Мы больше не можем с легкостью не обращать наше внимание на то, что система считает лучшим для нас, потому что все отслеживается. Это необходимо для более здоровой и ответственной жизни, снижает затраты на медицинское обслуживание и делает возможной почти полную безопасность. Тем не менее многие из нас не уверены, рай это или ад.

Мы больше не контролируем наш собственный рацион, потому что ожирение и чрезмерное потребление оказались основным бременем для общественного здравоохранения во всем мире. Сахар, табак, алкоголь и кофеин – строго контролируемые вещества. Каждый должен регулярно проходить процедуры контроля в отношении как потребления еды, так и отходов жизнедеятельности.

3D-принтеры давно стали такими же дешевыми, как струйные, причем самыми дорогими являются чернила и вещества, необходимые для их работы. Пищевые принтеры теперь используют органические и полезные компоненты для печати пиццы, тортов, хлеба и десертов по требованию, и многое другое возможно с использованием искусственных компонентов. Еда становится такой же обильной, как информация, музыка и видео.

Тем не менее наш список покупок определяется тем, что нам разрешено потреблять, а это зависит от наших данных в облаке здоровья. Холодильники не откроют свои продуктовые отсеки до определенного времени, а рестораны не будут подавать нам еду, информации о которой нет у их умных цифровых помощников.

В конце концов это будет лучше для всех: люди становятся здоровее, правительства экономят деньги, и у быстро развивающихся компаний потребительских товаров теперь есть прямой способ продать 100 % персонализированный продукт каждому потребителю.

Если, конечно, у вас нет неограниченных ресурсов для установки системы, покупки или создания поддельных цифровых личностей, получения доступа к одному из этих действительно дорогих пищевых 3D-принтеров или источникам продовольствия на черных сетевых рынках, таких как Молочный путь – преемник сайта черного рынка Шелкового пути начала XXI века.

Но, как мы теперь знаем, значимость свободы воли всегда переоценивали!

В 2028 году наша жизнь стала отслеживаться, управляться и курироваться; свободная воля и свободный выбор стали прерогативой сверхбогатых.

2030: 90 – это новые 60

К 2030 году технологии и фармацевтика почти полностью объединились. Самые серьезные болезни человечества, включая рак, диабет, болезни сердца и СПИД, решаются с помощью передовой биоинженерии. В настоящее время мы очень редко принимаем таблетки для лечения болезней, в том числе серьезных; вместо этого мы все чаще используем технологии и генетическое редактирование для наблюдения, прогнозирования и предотвращения возникновения заболеваний.

Мы проанализировали ДНК миллиардов «подключенных» людей с помощью облачной биологии и квантовых вычислений и теперь можем с большой уверенностью определить, какой именно ген отвечает за возникновение какого именно заболевания. Еще через пять лет мы сможем предотвратить рак.

Долголетие стало обычным делом, полностью изменив и наши социальные системы. Из-за того, что большинство из нас может жить здоровой жизнью до 90 лет, и из-за того, что роботы и программное обеспечение выполняют большую часть тяжелой работы для нас, мы можем потратить наше время, помогая следующим поколениям понять прошлое и открыть будущее. Из-за того, что гарантия базового дохода была учреждена во многих городах и странах, нам не нужно беспокоиться о выходе на пенсию или зарабатывать на жизнь, как наши отцы и матери.

К 2030 году общество становится старше, здоровее, освобождается от работы и обретает смысл.

Адский рай – неизбежный путь?

Будущее – что же нам не понравится? Варианты развития событий правдоподобны – и немного консервативны по сравнению с технологически прогрессивными видениями и стремлениями. Технология выиграла войну с человечеством, которая, возможно, не была войной вообще. Существует ли потребность в старомодных человеческих ценностях и умении извлекать пользу из неожиданных обстоятельств, когда риски и недостатки жизни искореняются на такой головокружительной скорости?

Если человечество наконец будет контролировать свое собственное будущее, кто же станет мечтать о другом будущем?

Глава 12. Время решений

Пришло время выбирать свою команду.

На написание этой книги меня вдохновили работы огромного количества людей, выразивших аналогичные опасения, и я могу только надеяться, что эта книга поможет сосредоточить внимание мирового сообщества на вопросах о цели и этике технологий – и этике тех, кто их изобретает и продвигает.

Люди и технологии все чаще пересекаются, сближаются или даже сходятся – выбор слов во многом зависит от того, как вы относитесь к этому факту. В любом случае, как было сказано в самом начале этой книги, вот в чем я не сомневаюсь: я уверен, что человечество, скорее всего, больше изменится за следующие 20 лет, чем за предыдущие 300.

Грядущее слияние человека и машины принесет человечеству удивительные победы и одновременно станет угрозой. Теперь нам необходимо намного осторожнее распоряжаться нашими изобретениями и их последствиями, если мы хотим процветать.

Да, технологический прогресс кажется неудержимым, потому что в природе людей – колдовать, тестировать и направлять нашу технику (наши инструменты). И наконец, мы достигли точки, когда ориентированные на человека политика и стандарты, цифровая этика, социальные контракты и глобальные соглашения о гуманизации этих экспоненциальных технологий будут столь же важны, как и договоры о нераспространении ядерного оружия.

В самом ближайшем будущем речь уже будет идти не о том, могут ли технологии что-то сделать (ответ почти всегда будет положительным), но о том, должны ли они что-то делать и зачем.

Опасность заключается в том, что если мы не будем тратить столько времени и ресурсов на андроритмы (на те качества, которые делают нас людьми), сколько мы тратим на алгоритмы, то технологии в конечном итоге не только будут управлять нашей жизнью, но и нас самих также вынудят, обманом или иным образом, стать технологиями. Мы станем «инструментами для наших инструментов».

Обратите внимание, что под «технологиями, управляющими нашей жизнью» я не имею в виду роботов-повелителей Terminator Genisys200. Скорее, я обеспокоен тем, что мы скоро можем стать совершенно бесполезными без технологий: медленными, несовершенными, тупыми, убогими, ленивыми и страдающими ожирением.

Представьте себе, что произойдет, если мы продолжим искоренять и в конечном счете устраним главные человеческие качества, такие как конфиденциальность, тайна, анонимность, эмоции, спонтанность, удивление, интуицию, воображение и духовность – только для того, чтобы мы могли идти в ногу с машинами.

Если мы не хотим сами стать технологиями; если не хотим слиться в мощный вихрь, созданный мегасдвигами; если хотим оставаться «естественными людьми», несмотря на мощные приманки волшебных технологий; если хотим сохранить то, что действительно делает нас счастливыми, а не только то, что заставляет функционировать, мы должны принять меры, пока еще есть пространство для маневра. Пришло время!

Мы должны прежде всего задать вопрос «зачем», после – «кто» и «почему», а не только «если» и «как». Необходимо думать о цели, а не только о прибыли. Мы должны все чаще задавать вопросы лидерам отрасли и особенно технологам и фирмам, которые их нанимают. Мы должны заставить их всех принять более целостный подход, рассмотреть как хорошие, так и не очень хорошие последствия того, что они предлагают. Мы должны также попросить их признать эти непредвиденные последствия и принять меры, а также включить внешние факторы, которые они создают, в свои бизнес-планы и модели доходов.

Мы должны на каждом шагу призывать к ответственности создателей и финансистов завтрашнего дня – и, конечно же, нас самих, как пользователей и потребителей. Нам нужно начать отказываться быть клиентами тех компаний, которым это все безразлично, и мы должны перестать быть контентом для тех платформ, которые стремятся автоматизировать нас. Мы должны перестать быть молчаливыми участниками машинного мышления, потому что все остальное не так удобно.

Если мы не хотим положить конец тому, что я называю сожалением Оппенгеймера, названным в честь известного физика Дж. Роберта Оппенгеймера, чьи изобретения сделали атомную бомбу реальностью и кто потом пожалел о своих действиях и их последствиях, – мы должны взять на себя обязательство быть в «команде людей», чтобы поставить человечество на первое место и выше всего остального.

Поэтому я предлагаю попытаться сформулировать несколько основополагающих правил для этой грядущей эпохи машин, определив, какие технологии, вероятно, будут способствовать процветанию человека и поэтому должны применяться, а какие – нет. Мы должны также чаще задавать вопросы «когда, почему и кто» и думать о том, кто в действительности будет контролировать соблюдение этих правил.

Это, безусловно, будет огромной задачей и, естественно, чревато неопределенностью относительно того, сможем ли мы договориться даже о самых элементарных правилах для человечества.

Тем не менее, если мы хотим справиться с неизбежными столкновениями между людьми и машинами, описанными в этой книге, нам понадобится новый вид глобального управления, подкрепленный все более дальновидными прогнозами. Нам нужно, чтобы основополагающие правила были решительными, но достаточно гибкими, чтобы не препятствовать прогрессу. Пугающе? Да. Невозможно? Нет. Есть ли альтернативы? Нет.

Девять принципов

Для того чтобы способствовать обсуждению наилучших путей продвижения вперед, я сформулировал девять принципов. Они отражают суть основных аргументов, которые я представил на страницах этой книги, но все еще находятся в стадии разработки и далеки от полного или окончательного варианта.

1. Нам необходимо лучше понимать экспоненциальность и ее значение для будущего человечества. Мы должны представлять экспоненциальные и комбинаторные изменения и учиться жить с ними. В нашем ближайшем будущем «поживем – увидим» будет так же опасен, как «просто сделаем это». «Постепенно, а затем внезапно» – это действительно новая норма, и мы не должны упускать возможность воспользоваться взлетно-посадочными полосами в будущее, пока они все еще перед нами. Также необходимо напомнить себе, что наше будущее – это то, что мы постоянно сами определяем и создаем, а не то, что просто происходит с нами.

Для того чтобы достичь этого, нам необходимо быть любознательными и открытыми, представлять себе свою жизнь при различных вариантах развития событий, понимать, каково было бы на самом деле жить в этом будущем… Связаться с людьми, которые делают будущее возможным, повысить нашу общую осведомленность о духе времени, окружающем нас, меньше предполагать, больше узнавать и отказаться от тех токсичных предположений, которые так хорошо работали в прошлом, принять резкий прогресс науки, но всегда видеть его в контексте общей человеческой цели. Технологии могут быть раем, или адом, или и тем и другим (#hellven), поэтому мы должны быть активными и осторожными в зависимости от того, что, где и когда поставлено на карту.

2. Самые сложные задачи часто являются самыми невероятными возможностями (и наоборот). Наше будущее во многом зависит от этого разумного баланса магического и маниакального (но, надеюсь, не токсичного) использования технологии. Потому что, как предполагает Уильям Гибсон, технологии являются морально нейтральными до тех пор, пока мы не применяем их201. Достижение баланса будет больше связано с управлением приложениями и воплощением технологий, чем с предотвращением или даже регулированием самих изобретений. Будущее не скажет нам «да» или «нет», оно ответит нам «по-разному». Я уверен, что, если мы можем позволить чаще озвучивать вопросы «почему?» и «с какой целью?», появится сбалансированный подход.

3. Нам необходимо гораздо лучше распоряжаться будущим человечества. Каждый бизнес-лидер, пионер технологий и государственный чиновник должен взять на себя ответственность за формирование будущего человечества и действовать в соответствии с ней. Гражданские и политические лидеры должны выработать глубокое понимание технологий и личную технологическую перспективу в контексте человечности и самим распоряжаться нашим общим будущим. Во всех секторах всех отраслей нам потребуется новый вид сверхвзаимодействия, а не сверхконкуренции, и нам нужно будет думать целостно обо всех этих традиционно отдельных областях.

4. У технологий нет этики, но общество без этики обречено. Мы находимся на пути к будущему, где буквально на все вокруг нас обрушится цунами технологических достижений. Однако то, как мы создаем мир, как мы оцениваем, что правильно или неправильно, как мы решаем, использовать ли определенные технологии или нет, все еще основано на прошлом опыте, на старых стандартах и, что хуже всего, на линейном мышлении.

Наша этика – и многие наши законы и правила в том числе, – по-прежнему создавалась в мире, развивающемся линейно, и основывалась на «том, что раньше работало», прежде чем мы достигли точки поворота на экспоненциальной кривой. С тех пор как интернет стал обладать значительной коммерческой силой, мы, кажется, сосредоточились в основном на использовании его экономического и коммерческого потенциала. Мы слишком мало времени уделяли рассмотрению его влияния на наши ценности и этику – и это в конце концов становится очевидным, когда мы вступаем в эпоху искусственного интеллекта (ИИ), робототехники и редактирования генома человека.

В последнее время все чаще обсуждается концепция создания думающих машин, которые могли бы воспроизводить человеческую этику. При том что это интересный поворот, он поражает меня, потому что это еще один шаг к полностью смоделированной эпохе машин, и еще одна причина, по которой нам необходимо создать Глобальный совет по вопросам цифровой этики. По мере того как мы движемся к сингулярности и точке, в которой компьютеры достигают или превосходят возможности человеческого мозга и связываются посредством гигантской глобальной сети, нам срочно нужен четкий этический контекст, с которым сможет согласиться большинство из нас. Это непростая задача, но тем не менее решаемая.

5. Будьте бдительны! Экспоненциальные технологии часто быстро переходят от магии к маниакальной токсичности – достижение баланса имеет большое значение.

Если вы думаете, что зависимость от интернета, игр, смартфонов или «ловушек удовольствия» социальных сетей уже стала большой проблемой, то вы заблуждаетесь: все только начинается! Просто дождитесь, когда мы сможем полностью погрузиться в технологии, пока технологии захватят нас дополненной и виртуальной реальностью, интерфейсами «мозг – компьютер», имплантатами и нейронными интерфейсами.

Небо – буквальный предел с точки зрения того, что экспоненциальный прогресс может сделать возможным. Поэтому теперь мы должны научиться использовать технологии целостно и с гораздо большим уважением к человеческой жизни и потребностям. Нам также необходимо, чтобы те, кто изобретает, продает и продвигает новые заманчивые технологические решения, отвечали за новые экосистемы, которые они наделяют полномочиями, и искали эффективные способы обуздать или ограничить непреднамеренные последствия. Поставщики технологий должны начать включать внешние факторы в свои бизнес-модели и помогать формированию новых социальных контрактов, которые смогут устранить токсичные последствия.

6. Мы должны обучать как базовым естественнонаучным/техническим знаниям, так и ГЛАВНЫМ человеческим навыкам (состраданию, оригинальности, взаимности и сопереживанию). Технологии и человечество должны быть включены в учебную программу; действительно, наука и философия должны находиться в одном классе. Сбалансированное общество потребует опыта в обеих областях; в противном случае мы продолжим «наклонять игровое поле» в сторону машинного мышления.

Кроме того, все больший объем научной работы в конечном итоге будет выполняться ИИ и умными машинами, поэтому мы должны сконцентрироваться на развитии только человеческих навыков и возможностей. Творчество, понимание, переговоры, вопросы, эмоции, интуиция и воображение будут играть более важную роль, чем когда-либо прежде: все, что не сможет быть оцифровано, автоматизировано или виртуализировано, станет чрезвычайно ценным.

7. Нам нужно сохранить четкое разграничение между тем, что реально, и тем, что является копией или моделированием. Полное взаимодействие, думающие машины, умное облако и когнитивные вычисления – это наше неизбежное будущее, но мы не должны отказываться от разграничения между (компьютерным) моделированием и бытием (dasein), между вычислениями и чувством, между сообществом машин (machine-kind) и человечеством. Погружение в мир удивительных моделей может быть очень полезно для обучения, развлечения или работы, но должно ли это становиться образом жизни в целом?

Могут ли эти технологии стать своего рода универсальным лекарством, которое мы будем постоянно принимать, чтобы сделать нашу жизнь более полной? Нужны ли нам ограничения и регулирование того, сколько нам разрешено использовать и насколько далеко мы можем зайти? Если технологии действительно не то, что мы ищем, а то, как мы ищем, нам, наверное, понадобится помощь, чтобы продолжать разграничивать эти инструменты и нашу истинную цель? Выстраивание отношений с людьми должно оставаться более важным, чем выстраивание отношений с машинами. Используйте технологии, но не становитесь ими.

8. Нам необходимо начать спрашивать, «почему» и «кто», а не только «если» или «как». Будущие стратегические решения, касающиеся разработки и внедрения технологий, должны в большей степени ориентироваться на осмысление, контекст, цель, значение и актуальность, а не просто концентрироваться на осуществимости, стоимости, масштабе, прибыли и вкладе в развитие. Вопрос «как» нужно заменить вопросом «почему».

9. Мы не должны позволить Кремниевой долине, технологам, военным или инвесторам управлять человечеством, независимо от того, в какой стране они находятся. Те, кто финансирует, создает и продает экспоненциальные технологии, вряд ли захотят ограничить свою власть или масштабы потенциальных применений. Те, кто строит машины для войны, не станут теми, кто сосредоточится на человеческом счастье. Те, кто вкладывает средства в разрушительные технологии для получения стократной отдачи, не будут вкладывать средства в построение будущего подлинно человеческого общества ради коллективного блага. Те, кто создает инструменты, имеют свою собственную повестку дня, и это в основном касается монетизации и власти, – где же в процессе принятия решений представительство тех, кто использует эти инструменты?

Оценка экспоненциальных технологий: семь важных вопросов

С учетом того, что большая часть этой книги посвящена тому, как человечество может победить в предстоящей битве с экспоненциальными технологиями, здесь представлены семь вопросов, которые, я считаю, мы должны задать при оценке масштабов радикальных изменений. Я понимаю, что во многих случаях правильный ответ может быть либо «оба», либо «по-разному». Однако я считаю, что, просто остановившись, чтобы задать эти вопросы, мы могли бы более четко понять их плюсы и минусы.

1. Будут ли технологии непреднамеренно или специально умалять человечность? Будут ли они стремиться заменить важное взаимодействие между людьми, которое не должно быть ими опосредовано? Будут ли они автоматизировать что-то уникально человеческое, что действительно не должно быть автоматизировано? Эти технологии освободят нас от ненужных и бесполезных тягот или соблазнят нас пропустить действительно нечто человеческое? Это червоточина или катализатор?

2. Будут ли эти технологии способствовать истинному человеческому счастью? Заставит ли это нас больше довольствоваться тем, что есть, позволит ли нам достичь эвдемонизма и сделать больше вклад в него? Будет ли это выходить далеко за рамки простого предоставления гедонических удовольствий, или, если это в основном гедонический инструмент, будет ли он стремиться привести нас к путанице с более глубоким чувством счастья?

3. Есть ли у этих технологий какие-либо случайные и потенциально катастрофические побочные эффекты? Отнимут ли они у нас у всех власть, или же они наделят нас властью? Окажут ли они значительное воздействие на экосистемы, имеющие решающее значение для многих людей, и если да, то включат ли они учет этих внешних факторов в свои бизнес-модели?

4. Будут ли технологии наделять чрезмерными полномочиями себя и другие алгоритмы, боты и машины? Появится ли у пользователей соблазн отказаться от своих полномочий, используя их? Будут ли нас подстрекать к передаче наших мыслей на аутсорсинг? Будут ли эти технологии служить нам, или они в основном окажутся самообслуживанием, т. е. будут в основном получать, а не повышать ценность?

5. Позволят ли нам эти технологии выйти за их пределы, или они сделают нас зависимыми от них? Заставят ли технологии людей выполнять подчиненную роль – специально или случайно? Превзойдут ли технологии наши возможности настолько, что мы будем вынуждены беспрекословно следовать их указаниям и решениям?

6. Понадобится ли людям существенно измениться или дополниться, чтобы в действительности использовать эти технологии? Ведут ли эти технологии нас к обновлению нашего тела или чувств, или они работают в существующих пределах того, кем мы являемся? Заставит ли это нас модернизироваться и дополняться, если мы хотим получить доступ к рабочим местам, образованию и здравоохранению?

7. Будут ли эти технологии в открытом доступе, или они будут в собственности? Сможем ли мы изменять их, или они будут заблокированы? Будут ли они доступны для всех, или только для 1 % элиты? Увеличат ли они неравенство или уменьшат его? Как мы узнаем уровень богатства, накопленного доминирующими поставщиками, если технологии будут контролировать наш доступ к информации?

Вы в команде людей?

Я впервые услышал об этой перспективной идее от Дугласа Рашкоффа202 и сразу подумал, что это было бы отличным девизом на пути к будущему.

Вот что значит «быть в команде людей» для меня:

• Поставить коллективное процветание человечества на первое место и выше всех других проблем.

• Позволить андроритмам, этим уникальным человеческим качествам, таким как воображение, случайности, ошибки и неэффективность, и далее играть важную роль, даже если они нежелательны или несовместимы с технологиями.

• Бороться с распространением машинного мышления, т. е. не менять то, за что мы боремся и в чем нуждаемся как люди, потому что иначе это может облегчить задачу порабощения человечества технологиями, окружающими нас.

• Не поддаваться искушению предпочесть технологическое волшебство, т. е. великолепное моделирование реальности, самой реальности и не увлекаться технологиями.

• Не отдавать предпочтение отношениям с экранами и машинами вместо отношений, которые у нас могут быть с реальными людьми.

Как я уже говорил в начале, моя цель состояла в том, чтобы привлечь внимание к проблеме, начать обсуждение и спровоцировать энергичный ответ. Что вы сделаете, чтобы продолжить разговор в вашей организации, сообществе, семье и дружеском кругу?

Со своей стороны, я продолжу исследовать, что значит «быть в команде людей», в ходе моей текущей работы в качестве лектора, советника, писателя и режиссера. Пожалуйста, присоединяйтесь к обсуждению на сайте книги и на специализированном сайте .

Благодарности

Эта книга не была бы завершена, если бы не помощь этих прекрасных людей. Я хотел бы поблагодарить:

Анну Фельдман, мою любимую жену, которая терпела мое физическое и умственное отсутствие последние 18 месяцев, высказывала критические замечания и поддерживала меня на всем пути.

Жана Франсуа Карделла, продюссера, художественного директора и наставника и просто хорошего друга.

Франсуа Мазудье — за его дружбу и честный отзыв.

Джеймса Маккейба – за его прекрасный сценарий и правки.

Рохита Талвара, Стива Уэллса и Эйприл Кури – команду Fast Future Publishing – за их энтузиазм, скрупулезный и аналитический подход и готовность работать с экспоненциальной скоростью, чтобы превратить сырую рукопись в готовый продукт.

Дэвида Баттино – за опытный взгляд редактора.

Мэгги Лэнгрик – за ее структурные правки на начальном этапе работы и общие советы.

Команду Like.Digital из Лондона, создателей сайта .

Бенджамина Бласта, моего веб-мастера и технического директора.

На плечах гигантов

На написание этой книги меня вдохновили многие футурологи: писатели, ораторы, мыслители, личности, бизнес-лидеры, создатели фильмов. Спасибо Вам всем!

Это лишь верхушка айсберга:

Джеймс Баррат

Йохай Бенклер

Ник Бостром

Ричард Брэнсон

Дэвид Брин

Эрик Бринолфссон

Николас Карр

Ноам Хомский

Пауло Коэльо

Далай-лама

Питер Диамандис

Филипп К. Дик

Кори Доктороу

Дэйв Эггерс

Джон Элкингтон

Уильям Гибсон

Даниэль Канеман

Эндрю Кин

Кевин Келли

Рэй Курцвейл

Джерон Ланир

Ларри Лессиг

Джон Маркофф

Эндрю Макаффи

Илон Маск

Томас Пикетти

Джереми Рифкин

Чарли Роуз

Дуглас Рашкофф

Клей Ширки

Тиффани Шлейн

Эдвард Сноуден

Дон Тапскотт

Ресурсы

You can join the social media discussion on Technology vs. Humanity and find further content here:

Facebook

LinkedIn

Twitter

Gerd’s regular updates

TeamHuman

Further information on Gerd Leonhard and his work – Gerd’s show reel: :

EnglishWebsite:

German Website:

Newsletter sign-up:

Twitter:

Facebook:

LinkedIn

Contact: gerd@thefuturesagency.com

References are available on the following pages and also at -vs-human

Источники

1. Moore and Associates. N.d. Retrieved August 03, 2016, from /.

2. Loizos, C. Elon Musk Says Tesla Cars Will Reach 620 Miles On A Single Charge “Within A Year Or Two,” Be Fully Autonomous In “Three Years”. 2015. Retrieved August 01, 2016, from -musk-says-tesla-cars-will-reach-620-miles-on-a-single-charge-within-a-year-or-two-have-fully-autonomous-cars-in-three-years/.

3. BMW i8 Review After 3 Months Behind The Wheel. N.d. Retrieved August 1, 2016, from -i8-review-3-months-behind-wheel/.

4. Covert, J. Tesla Stations in NYC on Verge of Outnumbering Gas Stations. 2016. Retrieved 29 June, 2016, from / 2016/03/17/tesla-sta-tions-in-nyc-on-verge-of-outnumbering-gas-stations.

5. Hayden, E. Technology: The $1,000 Genome. 2014. Retrieved 29 June, 2016, from -the-1–000-genome-1.14901.

6. Raj, A. Soon, It Will Cost Less to Sequence a Genome Thanto Flusha Toilet – and That Will Change Medicine Forever. 2014. Retrieved 29 June, 2016, from -cheap-genome-sequencing-by-2020-2014–10?IR=T.

7. Vinge, V. Vernor Vinge on the Singularity. 1993. Retrieved 29 June, 2016, from -sing.html.

8. Webb, R. The Economics of Star Trek. 2013. Retrieved 29 June, 2016, from /@RickWebb/the-economics-of-star-trek-29bab88d50.

9. 10 Nikola Tesla Quotes That Still Apply Today. N.d. Retrieved August 03, 2016, from -nikola-tesla-quotes-that-still-apply-today.

10. Metz, C. Soon, Gmail’s AI Could Reply to Your Email for You. 2015. Retrieved 29 June, 2016, from / 2015/11/google-is-using-ai-to-create-automatic-replies-in-gmail.

11. Surrogates // Wikipedia. 2016. Retrieved 29 June, 2016, from .

12. HUMANS // AMC Network Entertainment. 2016. Retrieved 29 June, 2016, from .

13. S, L. The Economist explains: The End of Moore’s Law. 2015. Retrieved 29 June, 2016, from -explains/2015/04/economist-explains-17.

14. Booth, B. Riding the Gene Editing Wave: Reflections on CRISPR/Cas9’s Impressive Trajectory: [Weblog]. 2016, 31 May. Retrieved 2 July, 2016, from -the-gene-editing-wave-reflections-on-crisprs-impressive-trajectory.

15. Bostrom, N. Superintelligence: Paths, Dangers, Strategies. Oxford UniversityPress, 2014.

16. Urban, T. The Artificial Intelligence Revolution: Part 1: [Weblog]. 2015, 22 January. Retrieved 2 July, 2016, from -intelligence-revolution-1.html.

17. Yudkowsky, E. Quote by Eliezer Yudkowsky: “By far the greatest danger of Artificial Intell”. 2016. Retrieved 13 July, 2016, from -by-far-the-greatest-danger-of-artificial-intelligence-is-that.

18. Diamandis, P. Ray Kurzweil’s Mind-Boggling Predictions for the Next 25 Years: [Weblog]. 2015, 26 January. Retrieved 2 July, 2016, from -kurzweils-mind-boggling-predictions-for-the-next-25-years.

19. Matyszczyk, C. Google Exec: With Robots in Our Brains, We’ll Be Godlike: [Weblog]. 2015, 01 October. Retrieved 2 July, 2016, from -exec-with-robots-in-our-brains-well-be-godlike.

20. Hemingway, E. The Sun Also Rises. New York: Scribner, 1996.

21. Diamandis, P. Peter Diamandis. 2016. Retrieved 2 July, 2016, from -longevity-inc.

22. Istvan, Z. The Transhumanist Wager. Futurity ImagineMedia, 2013.

23. Bailey, J. Enframing the Flesh: Heidegger, Transhumanism, and the Body as “Standing Reserve”: [Weblog]. 2014, July. Retrieved 3 July, 2016, from .

24. Brainmetrix. IQ Definition. 2016. Retrieved 3 July, 2016, from -definition.

25. Maslow’s Hierarchy of Needs // Wikipedia. 2016. Retrieved 3 July, 2016, from ’s_hierarchy_of_needs.

26. Gibney, E. Google AI Algorithm Masters Ancient Game of Go: [Weblog]. 2016, 27 January. Retrieved 3 July, 2016, from -ai-algorithm-masters-ancient-game-of-go-1.19234.

27. Istvan, Z. Artificial Wombs Are Coming, but the Controversy Is Already Here: [Weblog]. 2014, 4 August. Retrieved 3 July, 2016, from -erboard.vice.com/read/artificial-wombs-are-coming-and-the-controversys-already-here.

28. Iz quotes. Iz Quotes. 2016. Retrieved 3 July, 2016, from .

29. McMullan, T. What Does the Panopticon Mean in the Age of Digital Surveillance?: [Weblog]. 2015, 23 July. Retrieved 3 July, 2016, from -digital-surveillance-jeremy-bentham.

30. J. Robert Oppenheimer // Wikipedia. 2016. Retrieved 3 July, 2016, from .

31. Barrat, J. Our Final Invention: Artificial Intelligence and the End of the Human Era. NY: Thomas Dunne Books; St. Martin’s Press, 2013.

32. Techne // Wikipedia. 2016. Retrieved 3 July, 2016, from .

33. Kuskis, A. “We Shape Our Tools and There after Our Tools Shape Us”: [Weblog]. 2013, 1 April. Retrieved 3 July, 2016, from -shape-our-tools-and-thereafter-our-tools-shape-us.

34. Bailey, J. Enframing the Flesh: Heidegger, Transhumanism, and The Body as “Standing Reserve”: [Weblog]. 2014, July. Retrieved 3 July, 2016, from .

35. Walton, A. New Study Links Facebook to Depression: But Now We Actually Understand Why: [Weblog]. 2015, 8 April. Retrieved 3 July, 2016, from -study-links-facebook-to-depression-but-now-we-actually-understand-why.

36. Being and Time // Wikipedia. 2016. Retrieved 3 July, 2016, from .

37. Gray, R. Would You MARRY a Robot?: [Weblog]. 2016, 12 February. Retrieved 3 July, 2016, from -3366228/Would-MARRY-robot-Artificial-intelligence-allow-people-lasting-love-machines-expert-claims.html.

38. Santa Maria, C. Inside the Factory Where the World’s Most Realistic Sex Robots Are Being Built: [Weblog]. 2016, 10 February. Retrieved 3 July, 2016, from -future-episode-6-sex-bots.

39. Watercutter, A. The VR Company Helping Filmmakers Put You Inside Movies: [Weblog]. 2016, 21 January. Retrieved 3 July, 2016, from -volumetric-vr-8i.

40. McLuhan, M. Understanding Media: The Extensions of Man. USA: MIT Press, 1994.

41. Burton-Hill, C. The Superhero of Artificial Intelligence: Can This Genius Keep It in Check?: [Weblog]. 2016, 16 February. Retrieved 3 July, 2016, from -hassabis-artificial-intelligence-deepmind-alphago.

42. Lanier, J. You Are Not a Gadget. Alfred A. Knopf, 2010.

43. Transhumanism // Wikipedia. 2016. Retrieved 3 July, 2016, from .

44. Brand, S. Whole Earth Catalog. 1968. Retrieved 3 July, 2016, from .

45. Descartes: An Intellectual Biography. N.d. Retrieved 3 August, 2016, from .

46. Leonhard, G. and Kusek, D. The Future of Music: Manifest of or the Digital Music Revolution. Berklee Press, 2005.

47. Murphy, K. Life for a Man on the Run: [Weblog]. 2007, 3 June. Retrieved 3 July, 2016, from -mccartney3.

48. Leonhard, G. Friction Is Fiction: the Future of Content, Media and Business. Lulu, 2010.

49. Morozov, E. Cheap Cab Ride? You Must Have Missed Uber’s True Cost: [Weblog]. 2016, 30 January. Retrieved 3 July, 2016, from -cab-ride-uber-true-cost-googlewealth-taxation.

50. Andreessen, M. Why Software Is Eating The World: [Weblog]. 2011, 20 August. Retrieved 3 July, 2016, from

51. Gartner. Gartner Says by 2017 Your Smartphone Will Be Smarter Than You: [Weblog]. (2013, 12 November. Retrieved 11 July, 2016, from .

52. Dick, P. Quote by Philip K. Dick: “There will come a time when it isn’t ‘They’re spying”. 2016. Retrieved 3 July, 2016, from -there-will-come-a-time-when-it-isn-t-they-re-spying.

53. Cisco. Cisco Visual Networking Index Predicts Near-Tripling of IP Traffic by 2020. 2016. Retrieved 3 July, 2016, from -relations/news-and-events/news/news-details/2016/Cisco-Visual-Network-ing-Index-Predicts-Near-Tripling-of-IP-Traffic-by-2020/default.aspx.

54. Khedekar, N. Tech2. 2014. Retrieved 3 July, 2016, from -analysis/now-upload-share-1–8-billion-photos-everyday-meeker-report-224688.html.

55. Deloitte. Predictions 2016: Photo Sharing: Trillions and Rising. 2016. Retrieved 3 July, 2016, from -gy-media-and-telcommunications/articles/tmt-pred16-telecomm-photo-sharing-trillions-and-rising.html.

56. Scanadu. Scanadu|Home. 2016. Retrieved 3 July, 2016, from .

57. Eggers, D. The Circle. Knopf, 2013.

58. Leonhard, G. What Are These “Unicorn” Companies You Speak Of?: [Weblog]. 2015, 21 April. Retrieved 3 July, 2016, from -companies-what-are-they-and-why-are-they-import-ant.

59. Foroohar, R. How the Gig Economy Could Save Capitalism: [Weblog]. 2016, 15 June. Retrieved 3 July, 2016, from -economy-gig-capitalism.

60. Gunawardene, N. Sir Arthur C. Clarke. (2003). Retrieved 3 July, 2016, from .

61. McMillan, R. Google’s AI Is Now Smart Enough to Play Atari Like the Pros: [Weblog]. 2015, 25 February. Retrieved 7 July, 2016, from -ai-plays-atari-like-pros.

62. Metz, C. In Major AI Break through, Google System Secretly Beats Top Player at the Ancient Game of Go: [Weblog]. 2016, 27 January. Retrieved 7 July, 2016, from -a-huge-breakthrough-googles-ai-beats-a-top-player-at-the-game-of-go.

63. Swearingen, J. Why Deep Blue Beating Garry Kasparov Wasn’t the Beginning of the End of the Human Race: [Weblog]. 2016, 7 March. Retrieved 7 July, 2016, from -deep-blue-beating-garry-kasparov-reveals-about-todays-artificial-intelligence-panic.

64. Schwartz, K. FCW. 2013. Retrieved 3 July, 2016, from -computing-download/financial-benefits-of-cloud-computing-to-federal-agencies.aspx.

65. Gillis, T. The Future of Security: Isolation: [Weblog]. 2016, 2 February. Retrieved 3 July, 2016, from -future-of-security-isolation.

66. Duffy, S. What If Doctors Could Finally Prescribe Behavior Change?: [Weblog]. 2014, 17 April. Retrieved 3 July, 2016, from -if-doctors-could-finally-prescribe-behavior-change.

67. Pande, V. When Software Eats Bio. 2015. Retrieved 3 July, 2016, from -fund.

68. Google. Now Cards – the Google app. 2016. Retrieved 3 July, 2016, from -more/now.

69. Minority Report (film) // Wikipedia. 2016. Retrieved 3 July, 2016, from (film).

70. The Economist. Print My Ride: [Weblog]. 2016, 23 June. Retrieved 3 July, 2016, from -mass-mar-ket-carmaker-starts-customising-vehicles-individually-print-my-ride.

71. Bloy, M. The Luddites 1811–1816. 2005. Retrieved 10 July, 2016, from .

72. Technological Unemployment // Wikipedia. 2016. Retrieved 15 July, 2016, from .

73. Focus on Inequality and Growth (Rep.). 2014. Retrieved 1 February, 2016, from OECD website: -Inequality-and-Growth-2014.pdf.

74. Rotman, D. How Technology Is Destroying Jobs. 2013, 12 June. Retrieved 1 August, 2016, from -tech-nology-is-destroying-jobs/.

75. US Bureau of Labor Statistics. Labor Productivity and Costs Home Page (LPC). 2016. Retrieved 10 July, 2016, from .

76. Bernstein, A. The Great Decoupling: An Interview with Erik Brynjolfsson and Andrew McAfee. 2015. Retrieved 3 August, 2016, from -great-decoupling.

77. Peck, E. The 62 Richest People on Earth Now Hold as Much Wealth as the Poorest 35 Billion: [Weblog]. 2016, 19 January. Retrieved 15 July, 2016, from -wealth-inequality_us_56991defe-4b0ce4964242e09.

78. Oxford Martin School. The Future of Employment: How Susceptible Are Jobs to Computerisation?. 2013. Retrieved 10 July, 2016, from .

79. Metz, C. In Major AI Breakthrough, Google System Secretly Beats Top Player at the Ancient Game of Go: [Weblog]. 2016, 27 January. Retrieved 10 July, 2016, from -a-huge-breakthrough-goo-gles-ai-beats-a-top-player-at-the-game-of-go.

80. Armstrong, S. Smarter Than Us: The Rise of Machine Intelligence. Machine Intelligence Research Institute, 2014.

81. Social Security Administration. The Development of Social Security in America. 2010. Retrieved 10 July, 2016, from .

82. The New Atlantis. Stephen L. Talbott – The New Atlantis. 2016. Retrieved 10 July, 2016, from -talbott.

83. Leonhard, G. Is Hello Barbie Every Parent’s Worst Nightmare? Great Debate: [Weblog]. 2015, 22 November. Retrieved 10 July, 2016, from -hello-barbie-every-parents-worst-nightmare-great-debate.

84. Google. Google News. 2016. Retrieved 10 July, 2016, from .

85. Hern, A. Facebook’s News Saga Reminds Us Humans Are Biased by Design: [Weblog]. 2016, 13 May. Retrieved 15 July, 2016, from -saga-unmasks-the-hu-man-face-of-facebook.

86. Baidu. 百度新闻搜索 – 全球最大的中文新闻平台. 2016. Retrieved 15 July, 2016, from .

87. La France, A. Facebook Is Eating the Internet: [Weblog]. 2015, 29 April. Retrieved 10 July, 2016, from -is-eating-the-internet/391766.

88. Warren, C. Apple Music First Look: It’s All About Curation, Curation, Curation: [Weblog]. 2015, 30 June. Retrieved 15 July, 2016, from . com/2015/06/30/apple-music-hands-on.

89. Brockman, J. The Technium: A Conversation with Kevin Kelly: [Weblog]. 2014, 3 February. Retrieved 10 July, 2016, from -versation/kevin_kelly-the-technium.

90. Quote Investigator. Computers Are Useless They Can Only Give You Answers. 2011. Retrieved 10 July, 2016, from -useless.

91. Kelly, K. What Technology Wants. Viking, 2010.

92. De Souza, C. Maya. Penguin India, 2015.

93. Kahneman, D. Thinking, Fast and Slow. Macmillan, 2011.

94. Turkle, S. Sherry Turkle Quotes. 2016. Retrieved 10 July, 2016, from .

95. Barrat, J. Our Final Invention: Artificial Intelligence and the End of the Human Era. New York: Thomas Dunne Books / St. Martin’s Press, 2013.

96. The definition of automate. N.d. Retrieved 3 August, 2016, from .

97. Wells, H. G. The Time Machine. London, England: Penguin Books, 2005.

98. Schneier, B. The Internet of Things Will Be the World’s Biggest Robot: [Weblog]. 2016, 4 February. Retrieved 11 July, 2016, from .

99. Ellen MacArthur Foundation. Circular Economy – UK, Europe, Asia, South America & USA. 2015. Retrieved 11 July, 2016, from -macarthurfoundation.org/circular-economy.

100. Sophocles. Quote by Sophocles: “Nothing vast enters the life of mortals without a curse”. 2016. Retrieved 11 July, 2016, from -nothing-vast-enters-the-life-of-mortals-without-a-curse.

101. Leonhard, G. Automation, Machine Thinking and Unintended Consequences. 2015. Retrieved 3 July, 2016, from .

102. Asilomar Conference on Recombinant DNA. N.d. Retrieved 3 August, 2016, from .

103. Internet Live Stats. Number of Internet Users. 2016. Retrieved 11 July, 2016, from -users.

104. Clarke, A. Profiles of the Future. Bantam Books, 1964.

105. Libelium. Libelium – Connecting Sensors to the Cloud. 2016. Retrieved 7 July, 2016, from .

106. Gonzales, A. The Effects of Social Media Use on Mental and Physical Health (Rep.). N.d. Retrieved 1 April, 2016, from Robert Wood Johnson Foundation website: -PublicHealthandSocialMediaTalk.pdf.

107. De Querol, R. Zygmunt Bauman: “Social Media Are a Trap”: [Weblog]. 2016, 25 January. Retrieved 7 July, 2016, from / 1453208692_424660.html.

108. Long, D. Albert Einstein and the Atomic Bomb. 2016. Retrieved 7 July, 2016, from -long.com/einstein.htm.

109. Long, D. Albert Einstein and the Atomic Bomb. 2016. Retrieved 7 July, 2016, from -long.com/einstein.htm.

110. Clark, R. Einstein: The Life and Times. Avon, 2001.

111. Einstein, A. Quote by Albert Einstein: “The human spirit must prevail over technology”. 2016. Retrieved 7 July, 2016, from -the-human-spirit-must-prevail-over-technology.

112. Barrat, J. Our Final Invention: Artificial Intelligence and the End of the Human Era. New York: Thomas Dunne Books / St. Martin’s Press, 2013.

113. Kurzweil, R. The Singularity is Near. Homepage. 2016. Retrieved 7 July, 2016, from .

114. Quote Investigator. With Great Power Comes Great Responsibility. 2015. Retrieved 7 July, 2016, from -power.

115. Rushkoff, D. Present Shock: When Everything Happens Now. Current, 2013.

116. McLuhan, M. Quote by Marshall McLuhan: “First we build the tools, then they build us”. 2016. Retrieved 7 July, 2016, from -first-we-build-the-tools-then-they-build-us.

117. Tokmetzis, D. Here’s Why You Shouldn’t Put Your Baby Photos Online: [Weblog]. 2015, 23 February. Retrieved 7 July, 2016, from -your-baby-s-face-is-online-and-on-sale-d33ae8cdaa9d#.

118. Hu, E. The Hackable Japanese Toilet Comes with an App to Track Poop: [Weblog]. 2013, 5 August. Retrieved 7 July 2016, from -hackable-japanese-toilet-comes-with-an-app-to-track-poop.

119. Jones, B. Is Cortana a Dangerous Step Towards Artificial Intelligence?: [Weblog]. 2015, 14 February. Retrieved 7 July, 2016, from -cortana.

120. Precobs // Wikipedia. 2016. Retrieved 7 July, 2016, from .

121. Gartner. Gartner Says by 2017 Your Smartphone Will Be Smarter Than You: [Weblog]. 2013, 12 November. Retrieved 11 July, 2016, from .

122. Rushkoff, D. Present Shock: When Everything Happens Now. Current, 2013.

123. NPR. In a World That’s Always on, We Are Trapped in the “Present”: [Weblog]. 2013, 25 March. Retrieved 7 July, 2016, from -a-world-thats-always-on-we-are-trapped-in-the-present.

124. X.ai. An AI Personal Assistant Who Schedules Meetings for You. 2016. Retrieved 10 July, 2016, from .

125. Green, C. The World of Digital Assistants – Why Everyday AI Apps Will Make up the IoT: [Weblog]. 2015, 2 September. Retrieved 10 July, 2016, from -age.com/industry/software/123460089/world-digital-assistants-why-everyday-ai-apps-will-make-iot.

126. Sorrel, C. Stop Being A Loner, It’ll Kill You: [Weblog]. 2016, 13 January. Retrieved 10 July, 2016, from -being-a-loner-itll-kill-you.

127. Digital globalization: The new era of global flows. 2016, February. Retrieved 3 August, 2016, from -functions/digital-mckinsey/our-insights/digital-globalization-the-new-era-of-global-flows.

128. Microsoft. Microsoft HoloLens. 2016. Retrieved 10 July, 2016, from -hololens.

129. Brien, D. Computers, the Internet, and the Abdication of Consciousness: an Interview with Stephen Talbott. 2016. Retrieved 10 July, 2016, from .

130. McKinsey &Company. Why Governments Must Lead the Fight Against Obesity. 2010. Retrieved 11 July, 2016, from -eu.com/public/news/active/375/McKinseyQuarterly: Why governments must lead the fight against obesity plusposts.pdf.

131. Centers for Disease Control and Prevention. Adult Obesity Facts. 2015. Retrieved 11 July, 2016, from .

132. HAPI.com. Enjoy Your Food with HAPIfork. 2016. Retrieved 11 July, 2016, from -hapifork.asp.

133. University of Rhode Island. Food Additives. 1997. Retrieved 11 July, 2016, from -additives.

134. Leonhard, G. How Tech Is Creating Data “Cravability,” to Make Us Digitally Obese: [Weblog]. 2014, 25 February. Retrieved 11 July, 2016, from -tech-is-creating-data-cravability-to-make-us-digitally-obese.

135. Rodale, M. Food Addiction Is Real: [Weblog]. 2013, 19 November. Retrieved 11 July, 2016, from -rodale/ food-addiction-is-real_b_3950373.html.

136. List of Largest Internet Companies // Wikipedia. 2016. Retrieved 15 July, 2016, from .

137. Transparency Market Research. Food Additives Market by Type (Flavors and Enhancers, Sweeteners, Enzymes, Colorants, Emulsifiers, Food Preservatives, Fat Replacers) and by Source (Natural and Artificial) – Global Industry Analysis, Size, Share, Growth, Trends, and Forecast 2015–2021. 2015. Retrieved 11 July, 2016, from -additives.html.

138. World Economic Forum. Digital Transformation of Industries. 2016. Retrieved 11 July, 2016, from -transformation-of-industries/finding-the-true-north-of-value-to-industry-and-society.

139. Cornish, D. Korea’s Internet Addicts: [Weblog]. 2016, 12 April. Retrieved 11 July, 2016, from -inter-net-addicts.

140. Taleb, N. Quote by Nassim Nicholas Taleb: “The difference between technology and slavery”. 2016. Retrieved 11 July, 2016, from -the-difference-between-technology-and-slavery-is-that-slaves-are.

141. Grothaus, J. How Infinite Information Will Warp and Change Human Relationships: [Weblog]. 2014, 22 January. Retrieved 11 July, 2016,from -infinite-informa-tion-will-warp-and-change-human-relationships.

142. Vanian, J. More Smartwatches Were Shipped Worldwide Than Swiss Watches. 2016. Retrieved 3 August, 2016, from -smartwatches-shipped-worldwide-swiss-watches/.

143. Katz, L. TweetPee: Huggies Sends a Tweet When Baby’s Wet: [Weblog]. 2013, 8 May. Retrieved 11 July, 2016, from -pee-huggies-sends-a-tweet-when-babys-wet.

144. Internet Live Stats. Twitter Usage Statistics. 2016. Retrieved 11 July, 2016, from -statistics.

145. Brouwer, B. YouTube Now Gets over 400 Hours of Content Uploaded Every Minute: [Weblog]. 2015, 26 July. Retrieved 11 July 2016, from -400-hours-content-every-minute.

146. Thornhill, T. Google Privacy Policy: “Search Giant Will Know More About You Than Your Partner”: [Weblog]. 2012, 2 March. Retrieved 11 July, 2016, from -2091508/Google-privacy-policy-Search-giant-know-partner.html.

147. Carr, N. The Shallows: What the Internet Is Doing to Our Brains. W. W. Norton, 2011.

148. Carr, N. The Shallows: What the Internet Is Doing to Our Brains. W. W. Norton, 2011.

149. Leonhard, G. Attention Is the New Currency (and Data Is the New Oil): [Weblog]. 2010, 4 February. Retrieved 11 July, 2016, from -is-the-new-currency-and-data-is-the-new-oil.

150. Goodson, S. If You’re Not Paying for It, You Become the Product: [Weblog]. 2012, 5 March. Retrieved 15 July, 2016, from -youre-not-paying-for-it-you-become-the-product.

151. Cisco. VNI Complete Forecast. 2016. Retrieved 11 July, 2016, from -provider/vni-complete-forecast/infographic.html.

152. Leonhard, G. The Coming Data Wars, the Rise of Digital Totalitarianism and Why Internet Users Need to Take a Stand – NOW: [Weblog]. 2013, 27 June. Retrieved 11 July, 2016, from -coming-data-wars-the-threat-of-digital-totalitarism-and-why-internet-users-need-to-take-a-stand-now.

153. Quote Investigator. Everything Should Be Made as Simple as Possible, But Not Simpler: [Weblog]. 2011, 13 May. Retrieved 11 July 2016, from -simple.

154. Asilomar Conference on Recombinant DNA. N.d. Retrieved 3 August, 2016, from .

155. Overbye, D. Asking a Judge to Save the World, and Maybe a Whole Lot More. 2008. Retrieved 3 August, 2016, from .

156. Campus Compact. Wingspread Declaration on the Civic Responsibilities of Research Universities. 2015. Retrieved 10 July, 2016, from -declaration-on-the-civic-responsibilities-of-research-universities.

157. United Nations Environment Programme. Rio Declaration on Environment and Development. 2003. Retrieved 10 July, 2016, from .

158. Proactionary Principle // Wikipedia. 2016. Retrieved 10 July, 2016, from .

159. Fuller, S. The Proactionary Imperative – WarwickUniversity. 2013. Retrieved 10 July, 2016, from .

160. Barrat, J. Our Final Invention: Artificial Intelligence and the End of the Human Era. New York: Thomas Dunne Books / St. Martin’s Press, 2013.

161. More, M. The Proactionary Principle. 2005. Retrieved 10 July, 2016, from .

162. Happiness // Wikipedia. 2016. Retrieved 3 July, 2016, from .

163. Eudaimonia // Wikipedia. 2016. Retrieved 3 July, 2016, from .

164. Gross National Happiness // Wikipedia. 2016. Retrieved 3 July, 2016, from .

165. Genuine Progress Indicator // Wikipedia. 2016. Retrieved 3 July, 2016, from .

166. JFKLibrary.org. Robert F. Kennedy Speeches – Remarks at the University of Kansas, March 18, 1968. Retrieved 3 July, 2016, from -Aids/Ready-Reference/RFK-Speeches/Re-marks-of-Robert-F-Kennedy-at-the-University-of-Kansas-March-18–1968.aspx.

167. Seligman, M. Flourish. AtriaBooks, 2012.

168. Seligman, M. Flourish. AtriaBooks, 2012.

169. Lama, D. An Appeal by the Dalai Lama to the World: Ethics Are More Important Than Religion. Benevento, 2016.

170. Barrat, J. Our Final Invention: Artificial Intelligence and the End of the Human Era. New York: Thomas Dunne Books / St. Martin’s Press, 2013.

171. Weissmann, J. This Study on Happiness Convinced a CEO to Pay All of His Employees at Least $70,000 a Year: [Weblog]. 2015, 14 April. Retrieved 15 July, 2016, from .

172. Hamblin, J. Buy Experiences, Not Things: [Weblog]. 2014, 7 October. Retrieved 15 July, 2016, from -experiences/381132.

173. Leu, J. One Word Could Hold the Key to Health and Happines: [Weblog]. 2015, 24 April. Retrieved 3 July, 2016, from -word-holds-the-key-to_b_7070638.html.

174. J. Robert Oppenheimer // Wikipedia. 2016. Retrieved 3 July, 2016, from .

175. Diamandis, P. Data Mining Your Body. 2015, 21 June. Retrieved 3 June, 2016, from -mining-your-body-peter-diamandis.

176. Kurzweil, R. Quote by Ray Kurzweil: “Death is a great tragedy… a profound loss… I don’t accept it”. 2016. Retrieved 3 July, 2016, from / quotes/410498-death-is-a-great-tragedy-a-profound-loss-i-don-t-accept-it-i.

177. Paz, O. Alternating Current. Arcade Publishing, 1973.

178. Rushkoff, D. Program or Be Programmed: Ten Commands for a Digital Age. Soft SkullPress, 2011.

179. Piore, A. What Technology Can’t Change About Happiness: [Weblog]. 2015, 17 September. Retrieved 3 July, 2016, from -technology-cant-change-about-happiness.

180. Frankl, V. Man’s Search for Meaning. Better Yourself Books, 1964.

181. Dashevsky, E. Our Exciting, Weird, and Scary Future: Q&A With Peter Diamandis: [Weblog]. 2015, 6 February. Retrieved 3 July, 2016, from /0,2817,2476315,00.asp.

182. Maxmen, A. Easy DNA Editing Will Remake the World Buckle Up: [Weblog]. 2015, August. Retrieved 3 July, 2016, from -dna-editing-2.

183. Parsons, J. Sex Robots Could Be “Biggest Trend of 2016” as More Lonely Humans Seek Mechanical Companions: [Weblog]. 2016, 6 January. Retrieved 3 July, 2016, from -news/sex-robots-could-biggest-trend-7127554.

184. Knapton, S. Watching Pornography Damages Men’s Brains: [Weblog]. 2014, 29 May. Retrieved 15 July, 2016, from -pornography-damages-mens-brains.

185. HUMANS // AMC Network Entertainment. 2016. Retrieved 29 June, 2016, from .

186. After Moore’s law // Technology Quarterly. 2016. Retrieved 3 August, 2016, from -quarterly/2016–03-12/after-moores-law.

187. Ethos // Dictionary.com. 2016. Retrieved 13 July, 2016, from .

188. Brien, S. Computers, the Internet, and the Abdication of Consciousness: an Interview with Stephen Talbott. 2016. Retrieved 13 July, 2016, from .

189. Ethics // Wikipedia. 2016. Retrieved 13 July, 2016, from .

190. Machine Ethics // Wikipedia. 2016. Retrieved 13 July, 2016, from .

191. CB Insights. Artificial Intelligence Explodes: New Deal Activity Record for AI Startups: [Weblog]. 2016, 20 June. Retrieved 15 July, 2016, from -intelligence-funding-trends.

192. Metz, C. In Major AI Breakthrough, Google System Secretly Beats Top Player at the Ancient Game of Go. [Weblog]. 2016, 27 January. Retrieved 10 July, 2016, from -a-huge-breakthrough-googles-ai-beats-a-top-player-at-the-game-of-go.

193. Waldrop, M. A Question of Responsibility: [Weblog]. 1987, Spring. Retrieved 13 July, 2016, from .

194. Dvorsky, G. Dalai Lama Says We Need a “Global System of Secular Ethics”: [Weblog]. 2013, 7 February. Retrieved 13 July, 2016, from -lama-says-we-need-a-global-system-of-secular-ethics.

195. Cherry, M. God, Science, and Delusion: A Chat With Arthur C. Clarke. 1999. Retrieved 13 July, 2016, from -view=4.

196. United Nations Special Rapporteur // Wikipedia. 2016. Retrieved 13 July, 2016, from .

197. Markoff, J. The Transhuman Condition: [Weblog]. 2015, August. Retrieved 13 July, 2016, from -transhuman-condition.

198. Burton-Hill, C. The Superhero of Artificial Intelligence: Can This Genius Keep It in Check?: [Weblog]. 2016, 16 February. Retrieved 13 July, 2016, from -hassabis-artificial-intelligence-deepmind-alphago.

199. Pietrangelo, A. Cesarean Rates Are Finally Starting to Drop in the United States.\: [Weblog]. 2015, 17 November. Retrieved 13 July, 2016, from -news/cesarean-rates-are-finally-starting-to-drop-in-the-united-states-111715.

200. Terminator Genisys: [Motion picture]. S.l.: Paramount Pictures, 2015.

201. Josefsson, D. An Interview with William Gibson. 1995. Retrieved 3 July, 2016, from .

202. Rushkoff, D. Douglas Rushkoff: Official Site. 2016. Retrieved 13 July, 2016, from .

Примечания

1

См. также статью Григория Анатольевича Кабатянского в журнале «Наука и жизнь» (2017, № 8), в которой обсуждаются эволюции идей в свете истории развития цифровых технологий.

(обратно)

2

См. например, одно из его последних интервью для журнала «Сноб» (2012): .

(обратно)

3

С. П. Капица, С. П. Курдюмов, Г. Г. Малинецкий. Синергетика и прогнозы будущего. М.: Эдиториал УРСС, 2003.

(обратно)

4

См.: .

(обратно)

5

.

(обратно)

6

См. русскоязычный вариант документа по ссылке: .

(обратно)

7

См. его статью об этике искусственного интеллекта на сайте N+1: -ethics.

(обратно)

8

Экспоненциальный рост – возрастание величины, когда скорость роста пропорциональна значению самой величины. Экспоненциальный рост противопоставляется более медленным линейной или полиномиальной зависимостям. Экспоненциальные изменения – изменения, происходящие со скоростью, соответствующей экспоненциальному закону роста (здесь и далее – примеч. пер.).

(обратно)

9

Глубокое обучение – это тип машинного обучения, при котором компьютеры формируют масштабные искусственные нейронные сети, по своим свойствам сходные с нейронными сетями человеческого мозга.

(обратно)

10

Секвенирование генома – тест для определения генетических мутаций в ДНК, которые являются причиной наследственных болезней, наследственных предрасположенностей или особенностей организма.

(обратно)

11

Интернет вещей – концепция вычислительной сети физических предметов, оснащенных встроенными технологиями для взаимодействия друг с другом или с внешней средой (умный дом, умный город, умный транспорт и т. д.).

(обратно)

12

От hell (ад) и heaven (рай) (англ.).

(обратно)

13

CRISPR-Cas9 – новая технология редактирования геномов высших организмов, базирующаяся на иммунной системе бактерий, которая дает возможность исправлять неправильные последовательности генов и таким образом лечить наследственные заболевания человека.

(обратно)

14

Элиезер Шломо Юдковский (англ. Eliezer S. Yudkowsky, р. 1979) – американский специалист по искусственному интеллекту, исследующий проблемы технологической сингулярности.

(обратно)

15

Singularity University (сокращенно SU) находится в Кремниевой долине и является частной компанией, являясь одновременно университетом, мозговым центром и бизнес-инкубатором.

(обратно)

16

Неокортекс – новые области коры головного мозга, отвечающие за высшие нервные функции: сенсорное восприятие, выполнение моторных команд, осознанное мышление и речь.

(обратно)

17

ИИ-евангелист – специалист, профессионально занимающийся пропагандой в сфере искусственного интеллекта.

(обратно)

18

Human Longevity – компания, основанная в Сан Диего, Калифорния, США в 2013 году Крейгом Вентером и Питером Диамандисом. Среди ее целей – собрать наиболее подробную в мире базу генотипов и фенотипов человека и с применением машинного обучения ИИ найти и разработать новые способы борьбы со старением.

(обратно)

19

Трансгуманизм – философская концепция, поддерживающая использование достижений науки и технологии для улучшения умственных и физических возможностей человека с целью устранения нежелательных аспектов человеческого существования – страданий, болезней, старения и смерти.

(обратно)

20

Джесси И. Бейли (англ. Jesse I. Bailey) – Ph.D., преподаватель философии в Университете Священного Сердца, штат Коннектикут, США.

(обратно)

21

Луддизм – критика влияния научно-технического прогресса на человека и общество; борьба с достижениями инновационных технологий.

(обратно)

22

Го – логическая настольная игра с глубоким стратегическим содержанием, возникшая в Древнем Китае.

(обратно)

23

«Yes, we can» – главный слоган избирательной компании Барака Обамы 2008 года.

(обратно)

24

Уильям Гибсон (англ. William Ford Gibson, р. 1948) – американский писатель-фантаст, который ввел понятие «киберпространство» и впервые в литературе описал виртуальную реальность.

(обратно)

25

Устойчивое развитие – такой тип развития, при котором качество жизни человечества улучшается путем снижения негативного воздействия на окружающую среду.

(обратно)

26

Паноптикум – проект идеальной тюрьмы, предложенный философом И. Бентамом в 1787 г., в котором один стражник может наблюдать за всеми заключенными одновременно.

(обратно)

27

Национальная стрелковая ассоциация – некоммерческая ассоциация в США, которая объединяет сторонников права граждан на хранение и ношение огнестрельного оружия.

(обратно)

28

GoogleNow – это сервис персонализированного поиска Google, который понимает голосовые запросы.

(обратно)

29

Акт о негласном наблюдении в целях внешней разведки – федеральный закон США, предписывающий процедуры физического и электронного наблюдения и сбора внешней разведывательной информации, передаваемой иностранными державами и агентами иностранных держав, которыми могут быть и американские граждане, подозреваемые в шпионаже и терроризме.

(обратно)

30

Цифровой помощник – веб-сервис или приложение для смартфонов и ПК, фактически исполняющее роль личного секретаря при пользователе: решает задачи планирования графика, организации и выполнения повседневных дел и контекстного поиска информации.

(обратно)

31

Джеймс Баррат (англ. James Rodman Barrat, р. 1960) – американский создатель документальных фильмов, автор бестселлера «Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens».

(обратно)

32

Герберт Маклюэн (англ. Herbert Marshall McLuhan, 1911–1980) канадский философ, филолог и литературный критик. Получил широкую известность как исследователь воздействия электрических и электронных средств коммуникации на человека и общество.

(обратно)

33

STEM – Science (Наука), Technology (Технологии), Engineering (Инженерия), Mathematics (Математика).

(обратно)

34

CORE – Creativity / Compassion (Креативность / Сочувствие), Originality (Оригинальность), Reciprocity / Responsibility (Взаимность / Ответственность), Empathy (Эмпатия).

(обратно)

35

Джарон Ланир (англ. Jaron Zepel Lanier, р. 1960) – американский ученый в области визуализации данных и биометрических технологий, автор термина «виртуальная реальность», футуролог, популяризатор, композитор, философ.

(обратно)

36

Стюарт Бренд (англ. Stewart Brandp. 1938) – американский писатель, футурист и предприниматель. Самой известной книгой Бренда является сборник советов и статей об окружающей среде и технологиях The Whole Earth Catalog.

(обратно)

37

Spotify – служба потокового аудио, доступная в 66 странах, позволяющая легально и бесплатно прослушивать музыкальные композиции.

(обратно)

38

Марк Андриссен (англ. Marc Lowell Andreessen, р. 1971) – американский инженер, инвестор и предприниматель, изобретатель, известен созданием браузера Netscape и запуском Andreessen Horowitz, одного из самых известных венчурных фондов Кремниевой долины.

(обратно)

39

Филип Дик (англ. Philip Kindred Dick, 1928–1982) – американский писатель-фантаст, автор книг «Убик» и «Мечтают ли андроиды об электроовцах?».

(обратно)

40

Cisco – американская транснациональная компания, разрабатывающая и продающая сетевое оборудование, предназначенное в основном для крупных организаций и телекоммуникационных предприятий.

(обратно)

41

Гиппокамп – часть лимбической системы головного (обонятельного) мозга.

(обратно)

42

По данным InfoTrends, в 2016 году было опубликован 1,1 трлн изображений онлайн.

(обратно)

43

Дэйв Эггерс (англ. Dave Eggers, р. 1970) – американский писатель, редактор и издатель, автор романа-антиутопии «Сфера», по которому в 2017 году был снят одноименный фильм.

(обратно)

44

Артур Кларк (англ. Sir Arthur Charles Clarke, 1917–2008) – английский писатель, ученый, футуролог и изобретатель, наиболее известен совместной работой со Стэнли Кубриком по созданию культового научно-фантастического фильма «Космическая одиссея 2001».

(обратно)

45

Atari – американская компания по производству компьютерных игр, оказавшая огромное влияние на зарождение индустрии видеоигр в 1970-е годы и до 1984 года занимавшая лидирующее положение на рынке.

(обратно)

46

Программно-конфигурируемая сеть – сеть передачи данных, в которой уровень управления сетью отделен от устройств передачи данных и реализуется программно.

(обратно)

47

Загрузка сознания – гипотетическая технология сканирования и картирования головного мозга, позволяющая перенести сознание человека в другую систему, на какое-то иное вычислительное устройство.

(обратно)

48

«Особое мнение» (англ. Minority Report) – американский фантастический триллер Стивена Спилберга, сюжет которого строится вокруг работы экспериментальной программы, с помощью которой работники отдела могут узнать о еще не совершенном убийстве и арестовать подозреваемого еще до совершения им преступления.

(обратно)

49

«О дивный новый мир» (англ. Brave New World) – антиутопический роман английского писателя Олдоса Хаксли, написанный в 1932 году.

(обратно)

50

Экономика знаний – высший этап развития постиндустриальной экономики, основными факторами развития которой являются знания и человеческий капитал: повышение качества жизни, производство высоких технологий, инноваций и высококачественных услуг.

(обратно)

51

Человеко-машинный интерфейс – это методы и средства обеспечения непосредственного взаимодействия между оператором и технической системой, предоставляющие возможности оператору управлять этой системой и контролировать ее работу.

(обратно)

52

Стюарт Армстронг (англ. Stuart Armstrong) – ученый, сотрудник Института будущего человечества при Оксфордском университете, занимающийся вопросами безопасного использования ИИ и его возможностей.

(обратно)

53

Kickstarter – сайт для привлечения денежных средств на реализацию творческих, научных и производственных проектов на основе добровольных пожертвований.

(обратно)

54

Causes.com – крупнейшая в мире платформа для продвижения проектов, призванная объединять единомышленников и организовывать сбор средств или подпись петиций для решения конкретных социальных проблем.

(обратно)

55

Стивен Талботт (англ. Stephen L. Talbott) – старший научный сотрудник Института природы в Генте, штат Нью-Йорк, внештатный редактор журнала The New Atlantis, посвященного науке и технологиям; написал несколько книг о будущем ИИ.

(обратно)

56

Baidu – китайская компания, предоставляющая веб-сервисы, основным из которых является поисковая система с таким же названием – лидер среди китайских поисковых систем.

(обратно)

57

Mashable – популярный сайт об интернете, технологиях, бизнесе и развлечениях, основанный шотландцем Питом Кэшмором в 2005 году.

(обратно)

58

Пузырь фильтров – негативная сторона персонализированного поиска, фильтрация новостей таким образом, чтобы они согласовывались с предыдущими мнениями пользователя, при этом противоположные точки зрения не освещаются.

(обратно)

59

Эхо-камера – понятие в теории СМИ, представляющее собой ситуацию, в которой определенные идеи, убеждения усиливаются или подкрепляются путем передачи сообщения или его повторением внутри закрытой системы единомышленников.

(обратно)

60

Предвзятость подтверждения – тенденция человека искать и интерпретировать такую информацию, которая согласуется с его точкой зрения, и пренебрегать информацией, противоречащей ей.

(обратно)

61

OTT (over-the-top transmission) – технология, которая доставляет медиаконтент в режиме реального времени поверх сетей провайдеров.

(обратно)

62

Wired – ежемесячный американский журнал, который освещает вопросы влияния новых технологий на культуру, экономику и политику.

(обратно)

63

Клайд Де Суза (англ. Clyde De Souza) – создатель ВР-фильмов, писатель, IT-евангелист.

(обратно)

64

Варп-двигатель (англ. Warpdrive, двигатель искривления) – вымышленная технология, которая, согласно гипотезе, позволит звездолету, оснащенному таким двигателем, перемещаться со скоростью выше скорости света и таким образом преодолевать межзвездные расстояния за приемлемое время.

(обратно)

65

Шерри Теркл (англ. Sherry Turkle, р. 1948) – профессор социологии Массачусетского технологического института, исследует взаимодействие человека и технологий.

(обратно)

66

Герберт Уэллс (англ. Herbert George Wells, 1866–1946) – английский писатель и публицист, автор известных научно-фантастических романов «Машина времени», «Человек-невидимка», «Война миров».

(обратно)

67

GeneralElectric – американская многоотраслевая корпорация, производитель многих видов техники, включая локомотивы, энергетические установки, газовые турбины, авиационные двигатели, медицинское оборудование, пластмассы и герметики, а также широкий спектр продукции военного назначения.

(обратно)

68

Брюс Шнайер (англ. Bruce Schneier, р. 1963) – американский криптограф, писатель и специалист по компьютерной безопасности, основатель криптографической компании Counterpane Internet Security, Inc.

(обратно)

69

Софокл (др. – греч. Σοφοκλῆς, 496–406 до н. э.) – афинский драматург, трагик.

(обратно)

70

Информационное ожирение – склонность к накоплению и хранению избыточного количества информации на носителях, отказ от удаления ненужной информации.

(обратно)

71

Watson – суперкомпьютер компании IBM, оснащенный уникальной вопросно-ответной системой искусственного интеллекта, понимающий вопросы на естественном языке и способный находить на них ответы в базе данных. Главной задачей Watson является помощь медикам, работающим в сфере онкологии.

(обратно)

72

Когнитивные вычисления (cognitive computing) – технологии, которые частично повторяют особенности работы мозга человека и способны работать во много раз эффективнее.

(обратно)

73

Tencent – китайская технологическая компания, основанная в 1998 году, занимается поддержкой наиболее распространенной в Китае сети обмена быстрыми сообщениями QQ, а также системы для передачи текстовых и голосовых сообщений WeChat, владеет компанией разработчиком видеоигр RiotGames.

(обратно)

74

Alibaba – китайская публичная компания, работающая в сфере интернет-коммерции, владелец B2B-веб-портала Alibaba.com.

(обратно)

75

Hulu – веб-сайт и сервис подписки, спонсируемый рекламой, предлагающий доступ к потоковому видео телевизионных шоу, фильмам и трейлерам от компаний NBC, Fox, ABC, TBS, а также предлагающий свои оригинальные программы.

(обратно)

76

Viaplay – платный сервис видео по запросу через интернет, содержащий около 2000 фильмов, документальных программ и сериалов.

(обратно)

77

Libelium – испанская компания, основанная в 2006 году, которая является ведущим поставщиком решений для рынка интернета вещей.

(обратно)

78

Автор удалил свою страницу в Facebook в апреле 2018 г., см. -leonhard-artificial-intelligence-cryptocurrency-jobs-why-he-left-facebook-2018–5

(обратно)

79

Цифровая детоксикация – ряд мероприятий, нацеленных на избавление владельцев смартфонов от зависимости: специальные приложения, выключающие телефон на определенные промежуток времени, туристические программы, предлагающие отпуск без гаджетов и т. д.

(обратно)

80

Вэнивар Буш (англ. VannevarBush, 1890–1974) – американский ученый, инженер, разработчик аналоговых компьютеров, с 1941 по 1947 год возглавлявший организацию, занимавшуюся координацией усилий научного сообщества в целях военной обороны и разработки ядерного оружия.

(обратно)

81

Даг Лонг (англ. DougLong) – американский историк, занимающийся исследованием бомбардировок Хиросимы и Нагасаки, автор сайта -long.com/.

(обратно)

82

Общий ИИ – воплощение генерализованных мыслительных способностей: умения обосновывать, планировать, решать проблемы, мыслить абстрактно, сравнивать комплексные идеи, быстро обучаться, использовать накопленный опыт.

(обратно)

83

Нанотрубка – это молекула из более миллиона атомов углерода, представляющая собой трубку с диаметром около нанометра и длиной несколько десятков микрон. Нанотрубки применяют в электронике, машиностроении, авиастроении и других сферах.

(обратно)

84

Model T – первый в мире дешевый массовый автомобиль, разработанный в 1908–1910 годах в нескольких модификациях компанией Ford.

(обратно)

85

Alexa – умный цифровой помощник от компании Amazon.

(обратно)

86

Дуглас Рашкофф (англ. Douglas Rushkoff, р. 1961) – американский писатель, колумнист и лектор по вопросам технологий, СМИ и популярной культуры.

(обратно)

87

Flickr – фотохостинг, предназначенный для хранения и дальнейшего использования пользователем цифровых фотографий и видеороликов.

(обратно)

88

Лицензии Creative Commons – группа типовых лицензионных соглашений, разрешающих использование произведения указанными в тексте лицензии способами любому желающему без выплаты какого-либо вознаграждения правообладателю.

(обратно)

89

Веб 2.0 – идеология развития систем в интернете, основанная на том, что пользователи самостоятельно могут работать над проектом: исправлять или дополнять информацию, как это происходит, например, в социальных сетях, блогах, сервисах знакомств.

(обратно)

90

Англ. “Is Cortana a Dangerous Step Towards Artificial Intelligence?”.

(обратно)

91

Брэд Джонс (англ. Brad Jones) – американский писатель, автор многочисленных статей по футурологической тематике.

(обратно)

92

Джордж Оруэлл (англ. George Orwell, 1903–1950) – британский писатель и публицист, автор культового антиутопического романа «1984» и повести «Скотный двор».

(обратно)

93

X.ai – сервис, позволяющий делегировать назначение времени и места встречи виртуальному помощнику при помощи электронной почты.

(обратно)

94

Fitbit – американская корпорация, производитель потребительской электроники и носимых устройств для фитнеса и здоровья с одноименным брендом.

(обратно)

95

Рудольф Штейнер (нем. Rudolf Joseph Lonz Steiner, 1861–1925) – австрийский доктор философии, педагог, лектор и социальный реформатор; эзотерик, оккультист, ясновидящий и мистик XX века, основоположник антропософии и антропософского движения.

(обратно)

96

Нассим Николас Талеб (араб. نسيمنيقولانجيبطالب‎; р. 1960, Ливан) – американский экономист и трейдер. Основная сфера научных интересов – изучение влияния случайных и непредсказуемых событий на мировую экономику и биржевую торговлю, а также механизмы торговли производными финансовыми инструментами.

(обратно)

97

Business intelligence (сокращенно BI) – обозначение компьютерных методов и инструментов для организаций, обеспечивающих перевод транзакционной деловой информации в человекочитаемую форму, пригодную для бизнес-анализа, а также средства для массовой работы с такой обработанной информацией.

(обратно)

98

ЦЕРН (CERN) – Европейская организация по ядерным исследованиям, крупнейшая в мире лаборатория физики высоких энергий.

(обратно)

99

Декларация в Уингспреде (Wingspread Consensus Statement on the Precautionary Principle) была принята по итогам трехдневной конференции, в которой приняли участие 35 ученых, юристов, специалистов по окружающей среде и политиков из Европы, США и Канады, в Уингспреде около Расина в январе 1998 года.

(обратно)

100

Макс Мор (англ. Max More, по рождению Max T. O’Connor, р. 1964) – философ и футурист, который пишет, говорит и консультирует в области продвинутых методов принятия решения и предвидения, учитывающих воздействие вновь появляющихся технологий.

(обратно)

101

Стив Фуллер (англ. Steve William Fuller) – профессор социологии университета Уорвика (University of Warwick, UK), специалист в области «социальной эпистемологии», которая пытается давать ответы на ряд нормативных философских вопросов относительно организации знания средствами исторических и социальных наук.

(обратно)

102

Стимпа́нк или паропа́нк (от англ. steampunk: steam – «пар» и punk – «панк») – направление научной фантастики, включающее технологию и декоративно-прикладное искусство, вдохновленное паровой энергией XIX века.

(обратно)

103

Мартин Селигман (англ. Martin E. P. Seligman; р. 1942, Олбани, Нью-Йорк, США) – американский психолог, основоположник позитивной психологии.

(обратно)

104

PERMA – Pleasure (удовольствие), Engagement (вовлеченность), Relationships (взаимоотношения), Meaning (смысл), Accomplishments (достижения).

(обратно)

105

Ду́глас Ра́шкофф (англ. Douglas Rushkoff, р. 1961, Нью-Йорк, США) – американский медиавед, писатель, колумнист и публицист.

(обратно)

106

Tinder – популярное приложение для знакомств и обмена сообщениями.

(обратно)

107

Стивен Талбот (Stephen Henderson Talbot, р. 1949) – американский продюсер, журналист, писатель.

(обратно)

108

Айзек Азимов (Isaac Asimov, имя при рождении Исаак Юдович Азимов; 1920–1992) – американский писатель-фантаст, популяризатор науки, биохимик.

(обратно)

109

Паноптикум – круглая тюрьма с помещением для смотрителя в центре.

(обратно)

Оглавление

Предисловие

Введение

Глава 1. Пролог к будущему

Глава 2. Технологии против нас

Глава 3. Мегасдвиги

Глава 4. Автоматизация общества

Глава 5. Интернет вещей

Глава 6. От магии к мании и вреду

Глава 7. Цифровое ожирение: наша новая пандемия

Глава 8. Меры предосторожности против активных действий

Глава 9. Счастливая случайность

Глава 10. Цифровая этика

Глава 11. Земля 2030: рай или ад?

Глава 12. Время решений

Благодарности

Ресурсы

Источники Fueled by Johannes Gensfleisch zur Laden zum Gutenberg