Ник Бостром: Мы почти наверняка живем в компьютерной симуляции. За счёт способности к самообучению искусственный интеллект превратится в суперинтеллект

Шрифт: Меньше Аа Больше Аа

Nick Bostrom

Superintelligence

Paths, Dangers, Strategies

Научные редакторы М. С. Бурцев, Е. Д. Казимирова, А. Б. Лаврентьев

Издано с разрешения Alexander Korzhenevski Agency

Правовую поддержку издательства обеспечивает юридическая фирма «Вегас-Лекс»

This book was originally published in English in 2014. This translation is published by arrangement with Oxford University Press. Publisher is solely responsible for this translation from the original work and Oxford University Press shall have no liability for any errors, omissions or inaccuracies or ambiguities in such translation or for any losses caused by reliance thereon.

© Nick Bostrom, 2014

© Перевод на русский язык, издание на русском языке, оформление. ООО «Манн, Иванов и Фербер», 2016

* * *

Эту книгу хорошо дополняют

Авинаш Диксит и Барри Нэлбафф

Стивен Строгац

Предисловие партнера

…У меня есть один знакомый, – сказал Эдик. – Он утверждает, будто человек – промежуточное звено, необходимое природе для создания венца творения: рюмки коньяка с ломтиком лимона.

Аркадий и Борис Стругацкие. Понедельник начинается в субботу

Автор считает, что смертельная угроза связана с возможностью создания искусственного интеллекта, превосходящего человеческий разум. Катастрофа может разразиться как в конце XXI века, так и в ближайшие десятилетия. Вся история человечества показывает: когда происходит столкновение представителя нашего вида, человека разумного, и любого другого, населяющего нашу планету, побеждает тот, кто умнее. До сих пор умнейшими были мы, но у нас нет гарантий, что так будет длиться вечно.

Ник Бостром пишет, что если умные компьютерные алгоритмы научатся самостоятельно делать еще более умные алгоритмы, а те, в свою очередь, еще более умные, случится взрывной рост искусственного интеллекта, по сравнению с которым люди будут выглядеть приблизительно как сейчас муравьи рядом с людьми, в интеллектуальном смысле, конечно. В мире появится новый, хотя и искусственный, но сверхразумный вид. Неважно, что ему «придет в голову», попытка сделать всех людей счастливыми или решение остановить антропогенное загрязнение мирового океана наиболее эффективным путем, то есть уничтожив человечество, – все равно сопротивляться этому у людей возможности не будет. Никаких шансов на противостояние в духе кинофильма про Терминатора, никаких перестрелок с железными киборгами. Нас ждет шах и мат – как в поединке шахматного компьютера «Дип Блю» с первоклассником.

За последнюю сотню-другую лет достижения науки у одних пробуждали надежду на решение всех проблем человечества, у других вызывали и вызывают безудержный страх. При этом, надо сказать, обе точки зрения выглядят вполне оправданными. Благодаря науке побеждены страшные болезни, человечество способно сегодня прокормить невиданное прежде количество людей, а из одной точки земного шара можно попасть в противоположную меньше чем за сутки. Однако по милости той же науки люди, используя новейшие военные технологии, уничтожают друг друга с чудовищной скоростью и эффективностью.

Подобную тенденцию – когда быстрое развитие технологий не только приводит к образованию новых возможностей, но и формирует небывалые угрозы, – мы наблюдаем и в области информационной безопасности. Вся наша отрасль возникла и существует исключительно потому, что создание и массовое распространение таких замечательных вещей, как компьютеры и интернет, породило проблемы, которые было бы невозможно вообразить в докомпьютерную эру. В результате появления информационных технологий произошла революция в человеческих коммуникациях. В том числе ею воспользовались разного рода киберпреступники. И только сейчас человечество начинает постепенно осознавать новые риски: все больше объектов физического мира управляются с помощью компьютеров и программного обеспечения, часто несовершенного, дырявого и уязвимого; все большее число таких объектов имеют связь с интернетом, и угрозы кибермира быстро становятся проблемами физической безопасности, а потенциально – жизни и смерти.

Именно поэтому книга Ника Бострома кажется такой интересной. Первый шаг для предотвращения кошмарных сценариев (для отдельной компьютерной сети или всего человечества) понять, в чем они могут состоять. Бостром делает очень много оговорок, что создание искусственного интеллекта, сравнимого с человеческим разумом или превосходящего его, – искусственного интеллекта, способного уничтожить человечество, – это лишь вероятный сценарий, который может и не реализоваться. Конечно, вариантов много, и развитие компьютерных технологий, возможно, не уничтожит человечество, а даст нам ответ на «главный вопрос жизни, Вселенной и всего такого» (возможно, это и впрямь окажется число 42, как в романе «Автостопом по Галактике»). Надежда есть, но опасность очень серьезная – предупреждает нас Бостром. На мой взгляд, если вероятность такой экзистенциальной угрозы человечеству существует, то отнестись к ней надо соответственно и, чтобы предотвратить ее и защититься от нее, следует предпринять совместные усилия в общемировом масштабе.

Завершить свое вступление хочется цитатой из книги Михаила Веллера «Человек в системе»:

Когда фантастика, то бишь оформленная в образы и сюжеты мысль человеческая, долго и детально что-то повторяет – ну так дыма без огня не бывает. Банальные голливудские боевики о войнах людей с цивилизацией роботов несут в себе под шелухой коммерческого смотрива горькое зернышко истины.

Когда в роботы будет встроена передаваемая программа инстинктов, и удовлетворение этих инстинктов будет встроено как безусловная и базовая потребность, и это пойдет на уровень самовоспроизводства – вот тогда, ребята, кончай бороться с курением и алкоголем, потому что будет самое время выпить и закурить перед ханой всем нам.

Евгений Касперский,

генеральный директор «Лаборатории Касперского»

Неоконченная история о воробьях

Однажды, в самый разгар гнездования, утомленные многодневным тяжким трудом воробьи присели передохнуть на заходе солнца и пощебетать о том о сем.

– Мы такие маленькие, такие слабые. Представьте, насколько проще было бы жить, держи мы в помощниках сову! – мечтательно прочирикал один воробей. – Она могла бы вить нам гнезда…

– Ага! – согласился другой. – А еще присматривать за нашими стариками и птенцами…

– И наставлять нас, и защищать от соседской кошки, – добавил третий.

Тогда Пастус, самый старший воробей, предложил:

– Пусть разведчики полетят в разные стороны на поиски выпавшего из гнезда совенка. Впрочем, подойдет и совиное яйцо, и вороненок, и даже детеныш ласки. Эта находка обернется для нашей стаи самой большой удачей! Вроде той, когда мы обнаружили на заднем дворе неоскудевающий источник зерна.

Возбудившиеся не на шутку воробьи расчирикались что было мочи.

И только одноглазый Скронфинкл, въедчивый, с тяжелым нравом воробей, похоже, сомневался в целесообразности данного предприятия.

– Мы избрали гибельный путь, – убежденно промолвил он. – Разве не следует сначала серьезно проработать вопросы укрощения и одомашнивания сов, прежде чем впускать в свою среду такое опасное существо?

– Сдается мне, – возразил ему Пастус, – искусство приручения сов – задача не из простых. Найти совиное яйцо – и то чертовски сложно. Так что давайте начнем с поиска. Вот сумеем вывести совенка, тогда и задумаемся о проблемах воспитания.

– Порочный план! – нервно чирикнул Скронфинкл.

Но его уже никто не слушал. По указанию Пастуса воробьиная стая поднялась в воздух и отправилась в путь.

На месте остались лишь воробьи, решившие все-таки выяснить, как приручать сов. Довольно быстро они поняли правоту Пастуса: задача оказалась неимоверно сложной, особенно в отсутствие самой совы, на которой следовало бы практиковаться. Однако птицы старательно продолжали изучать проблему, поскольку опасались, что стая вернется с совиным яйцом прежде, чем им удастся открыть секрет, каким образом можно контролировать поведение совы.

Введение

Внутри нашего черепа располагается некая субстанция, благодаря которой мы можем, например, читать. Указанная субстанция – человеческий мозг – наделена возможностями, отсутствующими у других млекопитающих. Собственно, своим доминирующим положением на планете люди обязаны именно этим характерным особенностям. Некоторых животных отличает мощнейшая мускулатура и острейшие клыки, но ни одно живое существо, кроме человека, не одарено настолько совершенным умом. В силу более высокого интеллектуального уровня нам удалось создать такие инструменты, как язык, технология и сложная социальная организация. С течением времени наше преимущество лишь укреплялось и расширялось, поскольку каждое новое поколение, опираясь на достижения предшественников, шло вперед.

Если когда-нибудь разработают искусственный разум, превосходящий общий уровень развития человеческого разума, то в мире появится сверхмощный интеллект. И тогда судьба нашего вида окажется в прямой зависимости от действий этих разумных технических систем – подобно тому, как сегодняшняя участь горилл в большей степени определяется не самими приматами, а людскими намерениями.

Однако человечество действительно обладает неоспоримым преимуществом, поскольку оно и создает разумные технические системы. В принципе, кто мешает придумать такой сверхразум, который возьмет под свою защиту общечеловеческие ценности? Безусловно, у нас имеются весьма веские основания, чтобы обезопасить себя. В практическом плане нам придется справиться с труднейшим вопросом контроля – как управлять замыслами и действиями сверхразума. Причем люди смогут использовать один-единственный шанс. Как только недружественный искусственный интеллект (ИИ) появится на свет, он сразу начнет препятствовать нашим усилиям избавиться от него или хотя бы откорректировать его установки. И тогда судьба человечества будет предрешена.

В своей книге я пытаюсь осознать проблему, встающую перед людьми в связи с перспективой появления сверхразума, и проанализировать их ответную реакцию. Пожалуй, нас ожидает самая серьезная и пугающая повестка, которую когда-либо получало человечество. И независимо от того, победим мы или проиграем, – не исключено, что этот вызов станет для нас последним. Я не привожу здесь никаких доводов в пользу той или иной версии: стоим ли мы на пороге великого прорыва в создании искусственного интеллекта; возможно ли с определенной точностью прогнозировать, когда свершится некое революционное событие. Вероятнее всего – в нынешнем столетии. Вряд ли кто-то назовет более конкретный срок.

В первых двух главах я рассмотрю разные научные направления и слегка затрону такую тему, как темпы экономического развития. Однако в основном книга посвящена тому, что произойдет после появления сверхразума. Нам предстоит обсудить следующие вопросы: динамику взрывного развития искусственного интеллекта; его формы и потенциал; варианты стратегического выбора, которыми он будет наделен и вследствие которых получит решающее преимущество. После этого мы проанализируем проблему контроля и попытаемся решить важнейшую задачу: возможно ли смоделировать такие исходные условия, которые позволят нам сохранить собственное превосходство и в итоге выжить. В последних главах мы отойдем от частностей и посмотрим на проблему шире, чтобы охватить в целом ситуацию, сложившуюся в результате нашего изучения. Я предложу вашему вниманию некоторые рекомендации, что следует предпринять уже сегодня, дабы в будущем избежать катастрофы, угрожающей существованию человечества.

Писать эту книгу было нелегко. Надеюсь, что пройденный мною путь пойдет на пользу другим исследователям. Они без лишних препятствий достигнут новых рубежей и полные сил смогут быстрее включиться в работу, благодаря которой люди полностью осознают всю сложность стоящей перед ними проблемы. (Если все-таки дорога изучения покажется будущим аналитикам несколько извилистой и местами изрытой ухабами, надеюсь, они оценят, насколько непроходимым был ландшафт прежде .)

Невзирая на сложности, связанные с работой над книгой, я старался излагать материал доступным языком; правда, сейчас вижу, что не вполне с этим справился. Естественно, пока я писал, то мысленно обращался к потенциальному читателю и почему-то всегда в данной роли представлял себя, только несколько моложе настоящего, – получается, я делал книгу, которая могла бы вызвать интерес прежде всего у меня самого, но не обремененного прожитыми годами. Возможно, именно это определит в дальнейшем малочисленность читательской аудитории. Тем не менее, на мой взгляд, содержание книги будет доступно многим людям. Надо лишь приложить некоторые умственные усилия, перестать с ходу отвергать новые идеи и воздерживаться от искушения подменять все непонятное удобными стереотипами, которые мы все легко выуживаем из своих культурных запасов. Читателям, не обладающим специальными знаниями, не стоит пасовать перед встречающимися местами математическими выкладками и незнакомыми терминами, поскольку контекст всегда позволяет понять основную мысль. (Читатели, желающие, напротив, узнать больше подробностей, найдут много интересного в примечаниях .)

Вероятно, многое в книге изложено некорректно . Возможно, я упустил из виду какие-то важные соображения, в результате чего некоторые мои заключения – а может быть, и все – окажутся ошибочными. Чтобы не пропустить мельчайший нюанс и обозначить степень неопределенности, с которой мы имеем дело, мне пришлось обратиться к специфическим маркерам – поэтому мой текст перегружен такими уродливыми словесными кляксами, как «возможно», «могло бы», «может быть», «похоже», «вероятно», «с большой долей вероятности», «почти наверняка». Однако я всякий раз прибегаю к помощи вводных слов крайне осторожно и весьма продуманно. Впрочем, для обозначения общей ограниченности гносеологических допущений одного такого стилистического приема явно недостаточно; автор должен выработать системный подход, чтобы рассуждать в условиях неопределенности и прямо указывать на возможность ошибки. Речь ни в коей мере не идет о ложной скромности. Искренне признаю, что в моей книге могут быть и серьезные заблуждения, и неверные выводы, но при этом я убежден: альтернативные точки зрения, представленные в литературе, – еще хуже. Причем это касается и общепринятой «нулевой гипотезы», согласно которой на сегодняшний день мы можем с абсолютным основанием игнорировать проблему появления сверхразума и чувствовать себя в полной безопасности.

Глава первая
Прошлые достижения и сегодняшние возможности

Начнем с обращения к далекому прошлому. В общих чертах история представляет собой последовательность различных моделей роста, причем процесс носит прогрессивно ускоряющийся характер. Эта закономерность дает нам право предполагать, что возможен следующий – еще более быстрый – период роста. Однако вряд ли стоит придавать слишком большое значение подобному соображению, поскольку тема нашей книги – не «технологическое ускорение», не «экспоненциальный рост» и даже не те явления, которые обычно подаются под понятием «сингулярность». Далее мы обсудим историю вопроса: как развивались исследования по искусственному интеллекту. Затем перейдем к текущей ситуации: что сегодня происходит в этой области. И наконец, остановимся на некоторых последних оценках специалистов и поговорим о нашей неспособности прогнозировать сроки дальнейшего развития событий.

Модели роста и история человечества

Всего несколько миллионов лет назад предки людей еще жили в кронах африканских деревьев, перепрыгивая с ветки на ветку. Появление Homo sapiens , или человека разумного, отделившегося от наших общих с человекообразными обезьянами предков, с геологической и даже эволюционной точки зрения происходило очень плавно. Древние люди принимали вертикальное положение, а большие пальцы на их кистях стали заметно отстоять от остальных. Однако самое главное – происходили относительно незначительные изменения в объеме мозга и организации нервной системы, что в конце концов привело к гигантскому рывку в умственном развитии человека. Как следствие, у людей появилась способность к абстрактному мышлению. Они начали не только стройно излагать сложные мысли, но и создавать информационную культуру, то есть накапливать сведения и знания и передавать их от поколения к поколению. Надо сказать, человек научился делать это значительно лучше любых других живых существ на планете.

Древнее человечество, используя появившиеся у него способности, разрабатывало все более и более рациональные способы производства, благодаря чему смогло мигрировать далеко за пределы джунглей и саванн. Сразу после возникновения земледелия стремительно начали расти величина населения и его плотность. Больше народа – больше идей, причем высокая плотность способствовала не только быстрому распространению новых веяний, но и появлению разных специалистов, а это означало, что в среде людей шло постоянное совершенствование профессиональных навыков. Данные факторы повысили темпы экономического развития , сделали возможным рост производительности и формирование технического потенциала. В дальнейшем такой же по значимости прогресс, приведший к промышленной революции, вызвал второй исторический скачок в ускорении темпа роста.

Такая динамика темпа роста имела важные последствия. Например, на заре человечества, когда Землю населяли прародители современных людей, или гоминиды , экономическое развитие происходило слишком медленно, и потребовалось порядка миллиона лет для прироста производственных мощностей, чтобы население планеты позволило себе увеличиться на миллион человек, причем существовавших на грани выживания. А после неолитической революции, к 5000 году до н. э., когда человечество перешло от охотничье-собирательского общества к сельскохозяйственной экономической модели, темпы роста выросли настолько, что для такого же прироста населения хватило двухсот лет. Сегодня, после промышленной революции, мировая экономика растет примерно на ту же величину каждые полтора часа .

Существующий темп роста – даже если он законсервируется на относительно продолжительное время – приведет к впечатляющим результатам. Допустим, мировая экономика продолжит расти со средним темпом, характерным для последних пятидесяти лет, все равно население планеты в будущем станет богаче, чем сегодня: к 2050 году – в 4,8 раза, а к 2100 году – в 34 раза .

Однако перспективы стабильного экспоненциального роста меркнут в сравнении с тем, что может произойти, когда в мире свершится следующее скачкообразное изменение, темп развития которого по значимости и последствиям будет сравним с неолитической и промышленной революциями. По оценкам экономиста Робина Хэнсона, основанным на исторических данных о хозяйственной деятельности и численности населения, время удвоения экономик охотничье-собирательского общества эпохи плейстоцена составляло 224 тысячи лет, аграрного общества – 909 лет, индустриального общества – 6,3 года . (В соответствии с парадигмой Хэнсона современная экономическая модель, имеющая смешанную аграрно-индустриальную структуру, еще не развивается в удвоенном темпе каждые 6,3 года.) Если в мировом развитии уже случился бы такой скачок, сопоставимый по своему революционному значению с двумя предыдущими, то экономика вышла бы на новый уровень и удваивала бы темпы роста примерно каждые две недели.

С точки зрения сегодняшнего дня подобные темпы развития кажутся фантастическими. Но и свидетели минувших эпох тоже вряд ли могли предположить, что темпы роста мировой экономики когда-нибудь будут удваиваться несколько раз на протяжении жизни одного поколения. То, что для них представлялось совершенно немыслимым, нами воспринимается как норма.

Идея приближения момента технологической сингулярности стала чрезвычайно популярной после появления новаторских работ Вернона Винджа, Рэя Курцвейла и других исследователей . Впрочем, понятие «сингулярность», которое используется в самых разных значениях, уже приобрело устойчивый смысл в духе технологического утопизма и даже обзавелось ореолом чего-то устрашающего и в тоже время вполне величественного . Поскольку большинство определений слова сингулярность не имеют отношения к предмету нашей книги, мы достигнем большей ясности, если избавимся от него в пользу более точных терминов.

Интересующая нас идея, связанная с понятием сингулярности, – это потенциальное взрывоподобное развитие интеллекта , особенно в перспективе создания искусственного сверхразума. Возможно, представленные на рис. 1 кривые роста убедят кого-то из вас, что мы стоим на пороге нового интенсивного скачка в темпе развития – скачка, сопоставимого с неолитической и промышленной революциями. Скорее всего, людям, доверяющим диаграммам, даже трудно вообразить сценарий, в котором время удвоения мировой экономики сокращается до недель без участия сверхмощного разума, во много раз превосходящего по скорости и эффективности своей работы наш привычный биологический ум. Однако не обязательно упражняться в рисовании кривых роста и экстраполяции исторических темпов экономического развития, чтобы начать ответственно относиться к революционному появлению искусственного интеллекта. Эта проблема настолько серьезна, что не нуждается в аргументации подобного рода. Как мы увидим, есть гораздо более веские причины проявлять осмотрительность.

Рис. 1. Динамика мирового ВВП за длительный исторический период. На линейной шкале история мировой экономики отображена как линия, сначала почти сливающаяся с горизонтальной осью, а затем резко устремляющаяся вертикально вверх. А. Даже расширив временные границы до десяти тысяч лет в прошлое, мы видим, что линия делает рывок вверх из определенной точки почти под девяносто градусов. Б. Линия заметно отрывается от горизонтальной оси только на уровне приблизительно последних ста лет. (Разность кривых на диаграммах объясняется разным набором данных, поэтому и показатели несколько отличаются друг от друга .)

Вряд ли смогу сказать, что именно изложено корректно.

В настоящее время доход на уровне прожиточного минимума равен примерно 400 долларов . Следовательно, для 1 млн человек эта сумма будет равняться 400 000 000 долларам. Мировой ВВП составляет около 60 000 000 000 000 долларов и растет с темпом четыре процента в год (учитывается среднегодовой темп роста с 1950 года, см. данные: ). Цифры, приведенные мною в тексте, основаны на этих данных, хотя они представляют всего лишь оценку порядка величины. Если проанализировать сегодняшнюю численность людей на Земле, то выяснится, что в среднем она увеличивается на 1 млн человек за полторы недели; но подобный темп прироста населения лимитирует скорость экономического развития, поскольку доход на душу населения растет тоже. При переходе к животноводству и земледелию население планеты выросло к 5000 году до н. э. на 1 млн человек за 200 лет – огромное ускорение по сравнению с эпохой гоминидов, когда на это требовалось 1 млн лет, – поэтому после неолитической, или сельскохозяйственной, революции прогресс пошел значительно быстрее. Тем не менее, согласитесь, не может не впечатлять, что семь тысяч лет назад на экономическое развитие требовалось 200 лет, тогда как сегодня приросту на ту же величину хватает полутора часов для мировых экономик и полутора недель для населения планеты. См. также .

Эту книгу хорошо дополняют

Теория игр

Авинаш Диксит и Барри Нэлбафф

Brainiac

Кен Дженнингс

Удовольствие от x

Стивен Строгац

Superintelligence

Paths, Dangers, Strategies

Ник Бостром

Искусственный интеллект

Этапы. Угрозы. Стратегии

«Манн, Иванов и Фербер»

Информация

от издательства

Научные редакторы М. С. Бурцев, Е. Д. Казимирова, А. Б. Лаврентьев

Издано с разрешения Alexander Korzhenevski Agency

На русском языке публикуется впервые

Бостром, Ник

Искусственный интеллект. Этапы. Угрозы. Стратегии / Ник Бостром; пер. с англ. С. Филина. - М. : Манн, Иванов и Фербер, 2016.

ISBN 978-5-00057-810-0

Что случится, если машины превзойдут людей в интеллекте? Они будут помогать нам или уничтожат человеческую расу? Можем ли мы сегодня игнорировать проблему развития искусственного интеллекта и чувствовать себя в полной безопасности?

В своей книге Ник Бостром пытается осознать проблему, встающую перед человечеством в связи с перспективой появления сверхразума, и проанализировать его ответную реакцию.

Все права защищены.

Никакая часть данной книги не может быть воспроизведена в какой бы то ни было форме без письменного разрешения владельцев авторских прав.

Правовую поддержку издательства обеспечивает юридическая фирма «Вегас-Лекс»

This book was originally published in English in 2014. This translation is published by arrangement with Oxford University Press. Publisher is solely responsible for this translation from the original work and Oxford University Press shall have no liability for any errors, omissions or inaccuracies or ambiguities in such translation or for any losses caused by reliance thereon.

© Nick Bostrom, 2014

© Перевод на русский язык, издание на русском языке, оформление. ООО «Манн, Иванов и Фербер», 2016

Предисловие партнера

…У меня есть один знакомый, - сказал Эдик. - Он утверждает, будто человек - промежуточное звено, необходимое природе для создания венца творения: рюмки коньяка с ломтиком лимона.

Аркадий и Борис Стругацкие. Понедельник начинается в субботу

Автор считает, что смертельная угроза связана с возможностью создания искусственного интеллекта, превосходящего человеческий разум. Катастрофа может разразиться как в конце XXI века, так и в ближайшие десятилетия. Вся история человечества показывает: когда происходит столкновение представителя нашего вида, человека разумного, и любого другого, населяющего нашу планету, побеждает тот, кто умнее. До сих пор умнейшими были мы, но у нас нет гарантий, что так будет длиться вечно.

Ник Бостром пишет, что если умные компьютерные алгоритмы научатся самостоятельно делать еще более умные алгоритмы, а те, в свою очередь, еще более умные, случится взрывной рост искусственного интеллекта, по сравнению с которым люди будут выглядеть приблизительно как сейчас муравьи рядом с людьми, в интеллектуальном смысле, конечно. В мире появится новый, хотя и искусственный, но сверхразумный вид. Неважно, что ему «придет в голову», попытка сделать всех людей счастливыми или решение остановить антропогенное загрязнение мирового океана наиболее эффективным путем, то есть уничтожив человечество, - все равно сопротивляться этому у людей возможности не будет. Никаких шансов на противостояние в духе кинофильма про Терминатора, никаких перестрелок с железными киборгами. Нас ждет шах и мат - как в поединке шахматного компьютера «Дип Блю» с первоклассником.

За последнюю сотню-другую лет достижения науки у одних пробуждали надежду на решение всех проблем человечества, у других вызывали и вызывают безудержный страх. При этом, надо сказать, обе точки зрения выглядят вполне оправданными. Благодаря науке побеждены страшные болезни, человечество способно сегодня прокормить невиданное прежде количество людей, а из одной точки земного шара можно попасть в противоположную меньше чем за сутки. Однако по милости той же науки люди, используя новейшие военные технологии, уничтожают друг друга с чудовищной скоростью и эффективностью.

Подобную тенденцию - когда быстрое развитие технологий не только приводит к образованию новых возможностей, но и формирует небывалые угрозы, - мы наблюдаем и в области информационной безопасности. Вся наша отрасль возникла и существует исключительно потому, что создание и массовое распространение таких замечательных вещей, как компьютеры и интернет, породило проблемы, которые было бы невозможно вообразить в докомпьютерную эру. В результате появления информационных технологий произошла революция в человеческих коммуникациях. В том числе ею воспользовались разного рода киберпреступники. И только сейчас человечество начинает постепенно осознавать новые риски: все больше объектов физического мира управляются с помощью компьютеров и программного обеспечения, часто несовершенного, дырявого и уязвимого; все большее число таких объектов имеют связь с интернетом, и угрозы кибермира­ быстро становятся проблемами физической безопасности, а потенциально - жизни и смерти.

Именно поэтому книга Ника Бострома кажется такой интересной. Первый шаг для предотвращения кошмарных сценариев (для отдельной компьютерной сети или всего человечества) - понять, в чем они могут состоять. Бостром делает очень много оговорок, что создание искусственного интеллекта, сравнимого с человеческим разумом или превосходящего его, - искусственного интеллекта, способного уничтожить человечество, - это лишь вероятный сценарий, который может и не реализоваться. Конечно, вариантов много, и развитие компьютерных технологий, возможно, не уничтожит человечество, а даст нам ответ на «главный вопрос жизни, Вселенной и всего такого» (возможно, это и впрямь окажется число 42, как в романе «Автостопом по Галактике»). Надежда есть, но опасность очень серьезная - предупреждает нас Бостром. На мой взгляд, если вероятность такой экзистенциальной угрозы человечеству существует, то отнестись к ней надо соответственно и, чтобы предотвратить ее и защититься от нее, следует предпринять совместные усилия в общемировом масштабе.

Завершить свое вступление хочется цитатой из книги Михаила Веллера «Человек в системе»:

Когда фантастика, то бишь оформленная в образы и сюжеты мысль человеческая, долго и детально что-то повторяет - ну так дыма без огня не бывает. Банальные голливудские боевики о войнах людей с цивилизацией роботов несут в себе под шелухой коммерческого смотрива горькое зернышко истины.

Когда в роботы будет встроена передаваемая программа инстинктов, и удовле­творение этих инстинктов будет встроено как безусловная и базовая потребность, и это пойдет на уровень самовоспроизводства - вот тогда, ребята, кончай бороться с курением и алкоголем, потому что будет самое время выпить и закурить перед ханой всем нам.

Евгений Касперский,

генеральный директор «Лаборатории Касперского»

Неоконченная история о воробьях

Однажды, в самый разгар гнездования, утомленные многодневным тяжким трудом воробьи присели передохнуть на заходе солнца и пощебетать о том о сем.

Мы такие маленькие, такие слабые. Представьте, насколько проще было бы жить, держи мы в помощниках сову! - мечтательно прочирикал один воробей. - Она могла бы вить нам гнезда…

Ага! - согласился другой. - А еще присматривать за нашими стариками и птенцами…

И наставлять нас, и защищать от соседской кошки, - добавил третий.

Тогда Пастус, самый старший воробей, предложил:

Пусть разведчики полетят в разные стороны на поиски выпавшего из гнезда совенка. Впрочем, подойдет и совиное яйцо, и вороненок, и даже детеныш ласки. Эта находка обернется для нашей стаи самой большой удачей! Вроде той, когда мы обнаружили на заднем дворе неоскудевающий источник зерна.

Недавно основатель Tesla Motors и SpaceX Илон Маск создание искусственного интеллекта к вызову демона, которого невозможно будет контролировать. Свой скепсис Маск разделяет с британским философом Ником Бостромом, чью последнюю книгу «Superintelligence: Paths, Dangers, Strategies» бизнесмен советовал своим подписчикам в твиттере. Пока некоторые футурологи предвещают людям комфортное будущее в результате повсеместной замены человеческого труда машинным, Ник Бостром видит в искусственном интелекте угрозу существования всего нашего вида. Apparat ознакомился с идеями Ника Бострома и выяснил, как, по его мнению, можно спасти человечество.

Ник Бостром

Несколько лет назад журнал Foreign Policy включил его в список 100 главных мыслителей планеты. Ник Бостром верит, что люди должны совершенствоваться с помощью технологий. В 1998 году он основал Всемирную ассоциацию трансгуманистов (сейчас она называется Humanity+) с целью борьбы за признание трансгуманизма полноценной областью научных знаний. Известность за пределами академических кругов Бостром получил, когда описал концепцию исчезновения человечества в книге «Global Catastrophic Risks» . Бостром является директором оксфордского Института будущего человечества. Сейчас он пытается привлечь общественное внимание к очередной угрозе для нашей цивилизации - суперинтеллекту.

Искусственный интеллект скоро станет умнее нас

Для Ника Бострома не важно, какая область знаний приведёт нас к созданию суперинтеллекта. Будь то программисты, написавшие программу, способную мыслить, или же нейробиологи, воссоздавшие функционирующий человеческий мозг. Главное, что это случится быстрее, чем нам кажется. Большинство опрошенных Бостромом экспертов предвещают создание способного мыслить искусственного интеллекта к 2040 или 2050 году.

Искусственный интеллект уже сегодня превосходит человеческий во многих областях. Так, на протяжении многих лет разные виды искусственного интеллекта побеждают чемпионов всевозможных игровых турниров, будь то шахматы или покер. Такие достижения могут и не казаться особенно впечатляющими, но лишь потому, что наши требования к удивительному быстро адаптируются к прогрессу.

За счёт способности к самообучению искусственный интеллект превратится в суперинтеллект

Согласно Бострому, вначале искусственный интеллект будет похож на мозг ребенка. И как и ребенок, он сможет учиться. Люди перестанут стараться вложить как можно больше информации в программу, а научат её саму познавать окружающий мир. Существование суперинтеллекта окажется возможно благодаря постоянному самосовершенствованию.

Для нас важно создать искусственный интеллект, у которого хватит ума учиться на своих ошибках. Он будет способен бесконечно совершенствовать себя. Первая версия сможет создать вторую, которая будет лучше, а вторая, будучи умнее оригинала, создаст ещё более продвинутую третью и так далее. В определённых условиях такой процесс самосовершенствования может повторяться до тех пор, пока не будет достигнут интеллектуальный взрыв – момент, когда интеллектуальный уровень системы подскочит за короткое время с относительно скромного уровня до уровня суперинтеллекта.

У суперинтеллекта появятся свои потребности и цели

Образ мышления искусственного интеллекта будет отличаться от нашего. Ник Бостром не пытается предугадать, как именно будет работать мотивация суперинтеллекта. Но какие бы у него ни были цели, для их достижения ему потребуются ресурсы.

Искусственный интеллект может быть менее человечен, чем пришелец. Нет ничего удивительного, что любого разумного пришельца могут побуждать к действию такие вещи, как голод, температура, травмы, болезни, угроза жизни или желание завести потомство. Искусственный интеллект, по сути, ничто из перечисленного интересовать не будет. Можно представить существование искусственного интеллекта, чьей единственной конечной целью будет пересчитать все песчинки на острове Боракай или найти десятичное представление числа π.

Суперинтеллект попытается использовать людей против их воли

Чтобы получить доступ к ресурсам, суперинтеллект попробует найти посредника. По мнению Бострома, даже не имея подключения к сети или возможности проявлять физическую активность, суперинтеллект всё равно сможет добиться своих целей. Поскольку, даже когда мы достигнем технологической зрелости, то есть создадим все технологии, которые могут быть созданы, главной нашей слабостью всё равно останемся мы сами.

Человек – самая ненадёжная система. Сегодня хакеры часто обращаются к принципам социальной инженерии с целью получения доступа к чужому компьютеру. А если хакером-манипулятором окажется суперинтеллект, то можно предположить, что он с лёгкостью найдёт себе сообщника или же просто станет использовать нас против нашей воли как свои руки и ноги.

Суперинтеллект может «захотеть» остаться единственным интеллектом

Некоторые философы и учёные видят в искусственном интеллекте лишь инструмент по повышению качества нашей жизни. В их числе - и американский философ Джон Сёрль : он считает невозможным появление самосознания у машин, поскольку для этого необходимо наличие физико-химических процессов, схожих с теми, что протекают в человеческом мозге. Однако Бостром полагает, что суперинтеллект в определённый момент всё же перестанет быть инструментом, а окажется полноценным существом со своими потребностями, и забота о сохранении человеческого рода может не оказаться одной из них. Мы окажемся лишь помехой на его пути.

Человек сам по себе представляет полезный ресурс (удобно сгруппированные атомы), а его выживание и процветание зависит от других ресурсов. Результатом развития искусственного интеллекта, нуждающегося в этих ресурсах, может легко стать исчезновение человечества. Так настанет время технологически высокоразвитого общества, включающего в себя множество сложных структур, многие из которых будут умнее всего, что есть сегодня на планете. Это будет время экономических и технологических чудес. Но никого, кто бы мог этим воспользоваться, не останется. На Земле воцарится Диснейленд, в котором больше не будет детей.

Человечество должно научиться держать технологии под контролем

Ник Бостром при этом не отрицает возможность создания дружественного искусственного интеллекта или его контроля. Ведь, признает философ, нам действительно нужны умные технологии, которые помогут справиться с насущными проблемами. Вопрос лишь в уменьшении рисков, особенно риска исчезновения.

Если интеллектуальный взрыв угрожает нам исчезновением, то мы должны понять, можем ли мы контролировать процесс детонации. Сегодня было бы более разумным ускорить работу по решению проблемы контроля, нежели приостанавливать проведение исследований в области искусственного интеллекта. Но пока решением проблемы контроля занимаются человек шесть, в то время как над созданием искусственного интеллекта трудятся десятки, если не сотни тысяч.

Осведомлён - значит, вооружён

Человечество пока не готово к встрече с суперинтеллектом и не будет готово ещё много лет, отмечает Бостром. Но хотя интеллектуальный скачок может не происходить ещё достаточно долго, мы должны обратить внимание на возможные проблемы уже сейчас. Многие учёные в погоне за созданием суперинтеллекта забывают об опасностях.

Самым разумным поступком ребёнка с тикающей бомбой в руках было бы аккуратно положить бомбу на пол, быстро выбежать из комнаты и позвать взрослого. Но что если вся наша комната полна детей и каждый ребенок имеет свободный доступ к пусковому механизму. Шансы, что мы все положим опасную игрушку на пол, крайне малы. Какой-нибудь маленький идиот обязательно нажмёт на кнопку, лишь бы увидеть, что произойдёт.

Физики из США и Германии Силас Бин, Зохре Давоуди и Мартин Сэвидж предложили экспериментальный способ проверки одной философской идеи, известной как гипотеза симуляции. Согласно этой гипотезе, существует вероятность того, что мы живем внутри огромной компьютерной модели, которую запустили некие постлюди для изучения собственного прошлого. Несмотря на, будем честны, свою сомнительную естественнонаучную ценность, работа Бина, Давоуди и Сэвиджа заслуживает подробного освещения: тут и квантовая хромодинамика, и философия, да и вообще - не каждый день физики предлагают проверить идеи, вдохновленные фильмом "Матрица".

Ник Бостром и его симуляция

В 2003 году известный шведский философ Ник Бостром опубликовал в Philosophical Quarterly работу под почти фантастическим заголовком "Мы все живем в компьютерной симуляции?". Необходимо заметить, что Бостром - не какой-нибудь маргинал, обитающий на окраинах современной философии. Это один из важнейших деятелей трансгуманизма нашего времени, сооснователь Всемирной ассоциации трансгуманистов (возникла в 1998 году, ныне переименована в "Хьюманити плюс"). Он лауреат многих престижнейших премий, а его работы по антропному принципу переведены на более чем 100 языков.

Трансгуманизм - мировоззрение, основанное на осмыслении достижений и перспектив науки, признающее возможность и необходимость фундаментальных изменений в самом человеке с помощью передовых технологий. Цель этих изменений - ликвидация страданий, старения, смерти, а также усиление физических, умственных и психологических возможностей людей.

Антропный принцип - принцип, сформулированный в виде формулы "Мы видим Вселенную такой, потому что только в такой Вселенной мог возникнуть наблюдатель, человек".

Теория всего - гипотетическая физико-математическая теория, описывающая все известные фундаментальные взаимодействия (сильное, слабое, электромагнитное и гравитационное)

Прежде чем перейти к формулировке основного результата Бострома, познакомимся с некоторыми понятиями (по критической работе Данилы Медведева "Живем ли мы в спекуляции Ника Бострома? "). Под постчеловеческой цивилизацией (состоящей из постлюдей) понимается "цивилизация потомков человека, изменившихся до такой степени, что они уже не могут считаться людьми". Главное отличие этой цивилизации от современной будет заключаться в невероятных вычислительных возможностях, которыми она будет обладать. Под симуляцией понимается программа, моделирующая сознание одного или нескольких человек, возможно, даже всего человечества. Историческая симуляция - это, соответственно, симуляция исторического процесса, в которой принимают участие множество смоделированных лиц.

В своей работе Бостром придерживается концепции, согласно которой сознание зависит от интеллекта (вычислительных мощностей), структуры отдельных частей, логической взаимосвязи между ними и многого другого, но совсем не зависит от носителя, то есть биологической ткани - человеческого мозга. Это значит, что сознание может быть реализовано и в виде набора электрических импульсов в некоторой вычислительной машине. Учитывая, что речь в работе идет о симуляциях, созданных постлюдьми, смоделированные внутри симуляции люди (Бостром называет их цивилизацией более низкого уровня по сравнению с цивилизацией, запустившей симуляцию) обладают сознанием. Для них модель будет представляться реальностью.

Чтобы оценить теоретическую возможность проведения такого рода симуляций в принципе, Бостром проводит несколько оценок. Так, в самом грубом приближении вычислительная мощность человеческого мозга ограничена порядка 10 17 операциями в секунду. При этом количество получаемой личностью информации составляет порядка 10 8 бита в секунду. На основе этого Бостром приходит к выводу, что для симуляции всей истории человечества потребуется порядка 10 33 - 10 36 операций (при расчете 50 лет на человека и оценке общего количества всех людей, существовавших на планете до настоящего времени, в 100 миллиардов человек).

Если же говорить о моделировании всей Вселенной со времени Большого Взрыва по настоящий момент, а не только истории человечества, то физик Сет Ллойд из Массачусетского технологического института еще в 2002 году опубликовал в Physical Review Letters , в которой приводил расчеты необходимых мощностей. Оказалось, что для этого потребуется машина с памятью 10 90 бит, которой придется выполнить 10 120 логических операций.

Эмблема "Хьюманити плюс"

Эти числа (что у Бострома, что у Ллойда) кажутся просто невероятными. Однако в 2000 году тот же Ллойд опубликовал другую замечательную работу - он попытался рассчитать предельную мощность компьютера массой 1 килограмм и объемом один кубический дециметр, исходя из соображений квантовой механики. Ему это удалось (pdf) - оказывается, что такое количество материи может выполнять порядка 10 50 операций в секунду. Следовательно, если исходить из мощности такого предельного компьютера, симуляция, о которой говорит Бостром, не кажется слишком уж фантастической. Ллойд даже оценил время, которое потребуется для достижения таких мощностей - при условии, что мощность компьютеров будет продолжать расти по закону Мура (что, конечно, совсем сомнительно: некоторые ученые предсказывают, что закон уже через 75 лет). Так вот, это время составило всего 250 лет.

Однако, вернемся к Бострому. Исходя из приведенных выше оценок, шведский философ не только заключил, что симуляция возможна, но и сделал парадоксальный вывод. Бостром утверждает, что по крайней мере одно из трех нижеследующих утверждений верно (так называемая трилемма Бострома):

1. Человечество вымрет, так и не став постцивилизацией;
2. Человечество разовьется в постцивилизацию, которая по каким-то причинам не будет заинтересована в моделировании прошлого;
3. Почти наверняка мы живем в компьютерной симуляции

Из этого вытекает, что если мы оптимисты и не верим в вымирание человечества и, кроме этого, убеждены в любознательности наших потомков, то выполнен пункт три: мы с большой долей вероятности живем в компьютерной симуляции. К слову, у Бострома в работе вообще есть много парадоксальных выводов - например, о вероятности моделирования людей без сознания, то есть существования мира, в котором сознанием наделены лишь единицы, а остальные представляют из себя "тени-зомби" (как называет их сам философ). Также философ интересно рассуждает об этических аспектах моделирования, а также о том, что большинство симуляций обязаны когда-нибудь заканчиваться, а значит, - с вероятностью почти равной единице, - мы обитаем в мире, который должен завершить свое существование (подробнее с этими рассуждениями можно ознакомиться в частичном русском переводе статьи).

Несмотря на всю свою популярность, выводы Бострома неоднократно становились объектом критики. В частности, оппоненты указывают на пробелы в аргументации философа, а также на большое количество присутствующих в его рассуждениях скрытых предположений относительно целого ряда фундаментальных вопросов - например, природы сознания и потенциальной способности смоделированных индивидуумов к самосознанию. В общем, однозначного ответа на вопрос "Живем ли мы в Матрице?" от философов ожидать не приходится (как, впрочем, и на другие, не менее "простые" вопросы: что есть сознание, что есть реальность и т.д.). Поэтому перейдем к физикам.

Физики и их подход

Бостром не скрывает, что на работу его вдохновили, среди прочего, фантастические фильмы. Среди них, конечно, "Матрица" (идея симуляции) и "13 этаж" (идея вложенных симуляций)

Некоторое время назад на сайте arXiv.org появился препринт работы физиков из США и Германии Силаса Бина, Зохре Давоуди и Мартина Сэвиджа. Эти ученые решили сыграть в предложенную Бостромом игру. Они задались вот каким вопросом: если вся Вселенная есть компьютерная симуляция, то можно ли найти доказательства этого физическими методами? Для этого они попытались представить себе, чем физика симулированного мира будет отличаться от физики мира настоящего.

В качестве возможного инструмента для моделирования они взяли квантовую хромодинамику - пожалуй, самую совершенную из существующих ныне физических теорий. Что же касается собственно моделирования, то они предположили, что постлюди будут проводить ее на пространственной сетке с некоторым достаточно небольшим пространственным шагом. Понятное дело, что оба допущения довольно спорны: во-первых, постлюди наверняка предпочли бы использовать для симуляции теорию всего (которая, несомненно, уже была бы в их распоряжении). Во-вторых, численные методы постлюдей должны отличаться от наших примерно так же, как ядерный реактор - от каменного топора. Однако без этих предположений работа физиков вообще оказалась бы невозможной.

Тут, кстати, уместно заметить, что моделирование процессов, происходящих в фиксированной области пространства, это довольно активно развивающееся направление вычислительной физики. Пока, конечно, успехи невелики: у физиков получается смоделировать кусочек мира диаметром не более нескольких (от 2,5 до 5,8) фемтометров (1 фемтометр равен 10 -15 метра) с шагом b = 0,1 фемтометра. Тем не менее, модели такого рода представляют большой теоретический интерес. Например, они могут помочь при расчете того, что происходит в условиях, недостижимых в современных ускорителях. Или же, например, с помощью моделирования можно будет получить некоторые предсказания свойств вакуума и сравнить их с экспериментальными данными - а это, возможно, как раз и натолкнет физиков на идеи, касающиеся упомянутой теории всего.

Для начала Бин, Давоуди и Сэвидж оценили возможности симуляций. Оказалось, что для фиксированного шага в 0,1 фемтометра размер моделируемой области растет экспоненциально (то есть так же как вычислительная мощность компьютеров в законе Мура) - таков результат экстраполяции данных за почти 20-летнюю историю этой области исследований. Получается, что моделирования кубического метра материи на основе законов квантовой хромодинамики с шагом b = 0,1 фемтометра следует ожидать примерно через 140 лет (показатель растет примерно на порядок в 10 лет). Учитывая, что диаметр видимой Вселенной составляет порядка 10 27 метров, при сохранении закономерного роста (что, как уже отмечалось выше, маловероятно) симуляции необходимого объема можно будет достичь через 140 + 270 = 410 лет (но это только при фиксированном параметре b). Впрочем, сами ученые таких цифр не приводят, ограничиваясь ближайшими 140 годами.

Затем ученые попытались оценить возможные ограничения на физику такой модели и обнаружили, прямо скажем, занятные вещи. Они установили, что в симулированной Вселенной в спектре космических лучей на определенных энергиях должен быть обрыв. В теории такой обрыв действительно имеется - это предел Грайзена - Зацепина - Кузьмина, который составляет 50 эксаэлектронвольт. Он связан с тем, что высокоэнергетические частицы должны взаимодействовать с фотонами фонового микроволнового излучения и, как следствие, терять энергию. Тут, однако, возникают две трудности. Во-первых, для того чтобы этот предел был артефактом компьютерной модели, ее пространственный шаг должен быть на 11 порядков меньше b = 0,1 фемтометра. Во-вторых, наличие предела Грайзена - Зацепина - Кузьмина пока не доказано на практике. В этом направлении имеется множество противоречивых результатов. Так, согласно одним из них, обрыв действительно есть. Согласно другим, поверхности Земли достигают частицы с энергией, превышающей этот предел, причем прилетают они из довольно темных областей космоса (то есть не являются продуктом деятельности ближайших к нам активных галактических ядер).

Впрочем, у ученых есть еще один способ проверки - распределение высокоэнергетических космических лучей должно быть анизотропно (то есть неодинаково по разным пространственным направлениям). Это связано с предположением, что расчеты проводятся на кубической сетке - именно такой и должна быть сетка, по мнению физиков, из соображения изотропии пространства-времени. Вместе с тем, возможность обнаружения анизотропии излучения физики не обсуждают. Непонятно даже, какого рода приборы нужны для подобных исследований - достаточно ли уже существующих приборов (космической обсерватории "Ферми", например)? В общем, однозначного ответа на вопрос "Живем ли мы в Матрице?" от физиков тоже ожидать не приходится.

В заключение

Разумеется, читатель в этом месте может почувствовать разочарование. Мол, как же так: читал-читал, а ответа на главный вопрос "Живем ли мы в Матрице?" так и не получил. Это, однако, было ожидаемо, и вот почему. Для философии гипотеза о симуляции - лишь одна из многих версий бытия. Эти версии если и конкурируют между собой, то только в умах их сторонников и противников, то есть являются объектами веры, не претендующими на объективность.

Что же касается физиков, то недавно появилась очень интересная : американский профессор из Университета Луизианы Ретт Аллейн (Rhett Allain) проанализировал физическую составляющую игры Bad Piggies от компании Rovio, создавшей Angry Birds. Он сделал это ровно для того, чтобы определить возможный диаметр зеленых свиней из игры, существуй они в действительности (диаметр, к слову, оказался равным 96 сантиметрам). Так вот, работа Силаса Бина, Зохре Давоуди и Мартина Сэвиджа - это такого же рода упражнение, только с чуть более сложными объектами и запутанной математикой. В целом же, это не более чем занятная гимнастика для ума - но, как и всякая гимнастика, она полезна. Благодаря ей читатель теперь знает трилемму Бострома и размер винчестера, на который можно записать информацию обо всей Вселенной. Это интересно.

Экология жизни. Люди: Доказательство методом моделирования. Почти каждый зритель «Матрицы» хотя бы в течение секунды или пары секунд допускает...

Почти каждый зритель «Матрицы» хотя бы в течение секунды или пары секунд допускает неприятную возможность того, что он может на самом деле жить в Матрице. Философ из Йельского университета Ник Бостром тоже рассматривает эту возможность и приходит к выводу, что она гораздо более вероятна, чем вы могли бы себе вообразить.

Доказательство методом моделирования

«Матрица» знакомит нас со странным и приводящим в ужас сценарием. Человечество лежит в коматозном состоянии в каких-то коконах, а каждая деталь реальности определяется и контролируется враждебными ему компьютерами.

Для большинства зрителей этот сценарий интересен как прием научной фантастики, невероятно далекой от всего, что существует сегодня или, скорее всего, появится в будущем. Однако после тщательного обдумывания подобный сценарий перестает казаться немыслимым. Он очень даже вероятен.

В одной из своих статей Рей Курцвейль обсуждает наблюдаемую тенденцию к развитию вычислительных мощностей с постоянно возрастающей скоростью. По прогнозам Курцвейля, практически неограниченное количество вычислительных мощностей станет доступным в течение следующих пятидесяти лет. Давайте предположим, что Курцвейль прав и рано или поздно человечество создаст практически безграничные вычислительные мощности. Для целей этой дискуссии не важно, когда это произойдет. На эти разработки может уйти сто, тысяча или миллион лет.

Как отмечается в статье Курцвейля, безграничные вычислительные возможности расширят способности человечества до невероятной степени. Эта цивилизация станет «постчеловеческой» и будет способна на необычайные технологические свершения.

Постчеловеческая цивилизация может принять различные формы. Она может оказаться во многом похожей на нашу современную цивилизацию или радикально от нее отличаться. Разумеется, почти невозможно предсказать, как будет развиваться подобная цивилизация. Но одно мы знаем точно: постчеловеческая цивилизация будет располагать доступом к практически бесконечным вычислительным мощностям .

Постчеловеческой цивилизации может оказаться по силам превращать планеты и другие астрономические объекты в сверхмощные компьютеры. В данный момент сложно с уверенностью определить «потолок» тех вычислительных мощностей, которые могут оказаться доступными постчеловеческим цивилизациям.

1. В этой статье представлено доказательство методом моделирования, согласно которому по крайней мере одно из следующих утверждений верно: весьма вероятно, что как биологический вид человечество начнет исчезать с лица земли, не достигнув «постчеловеческой» стадии .

2. Очень маловероятно, что любая постчеловеческая цивилизация запустит большое количество симуляций (моделей), имитирующих ее эволюционную историю (или, следовательно, вариантов этой истории).

3. Мы почти наверняка живем в компьютерной симуляции.

Давайте рассмотрим эти три утверждения поочередно.

Первое утверждение сформулировано прямо: если мы уничтожим самих себя в результате ядерной войны, биологической катастрофы или нанотехнологического катаклизма, то остальные пункты этого доказательства к делу не относятся . Однако давайте предположим, что это утверждение неверно, и, следовательно, мы сумеем избежать самоуничтожения и вступим в постчеловеческую эпоху.

Сущность человеческой цивилизации в условиях постчеловеческой эпохи невозможно представить во всей полноте. Точно так же нельзя вообразить разнообразные способы использования прктически неограниченных вычислительных мощностей. Но давайте рассмотрим один из них - создание сложных симуляций человеческой цивилизации.

Представим себе историков будущего, моделирующих различные сценарии исторического развития. Это будут не сегодняшние упрощенные модели. С учетом огромных вычислительных возможностей, которыми будут располагать эти историки, в их распоряжении могут оказаться очень подробные симуляции, в которых будет различимо каждое здание, каждая географическая деталь, каждая личность. И каждый из этих индивидуумов будет наделен тем же уровнем вычислительных мощностей, сложности и интеллекта, как живой человек. Как и агент Смит, они будут созданы на основе программного обеспечения, но при этом будут обладать психическими характеристиками человека. Конечно, они могут так никогда и не осознать, что являются программой. Чтобы создать точную модель, нужно будет сделать восприятие смоделированных личностей неотличимым от восприятия людей, живущих в реальном мире.

Подобно жителям Матрицы, эти люди будут существовать в искусственном мире, считая его реальным. В отличие от сценария с Матрицей эти люди будут полностью состоять из компьютерных программ.

Однако будут ли эти искусственные личности настоящими «людьми»? Будут ли они разумными независимо от уровня их вычислительных мощностей? Будут ли они наделены сознанием?

Реальность - это то, с чем никто на самом деле не знаком. Однако философы, изучающие сознание, обычно делают допущение о его «независимости от субстрата». По существу это означает, что сознание может зависеть от многих вещей - от знания, интеллекта (вычислительных мощностей), психической организации, отдельных деталей логической структуры и т. д. - но одним из условий, которые для сознания не обязательны, является биологическая ткань. Воплощение сознания в основанных на углероде биологических нейронных сетях - это не необходимое его свойство. В принципе того же самого эффекта можно добиться от основанных на кремнии процессоров, встроенных в компьютер.

Многим людям, знакомым с современной компьютерной техникой, идея о программном обеспечении, наделенном сознанием, кажется невероятной. Однако это интуитивное недоверие является продуктом относительно жалких возможностей сегодняшних компьютеров. Благодаря продолжающемуся усовершенствованию самих компьютеров и программного обеспечения компьютеры будут становиться все в большей степени разумными и сознательными. На самом деле с учетом склонности человека одушевлять все, что хотя бы отдаленно похоже на человека, люди могут начать наделять компьютеры сознанием задолго до того, как это станет реальностью .

Аргументы в пользу «независимости от субстрата» изложены в соответствующей философской литературе, и я не буду пытаться их воспроизводить в данной статье. Однако я укажу на то, что это допущение разумно. Клетка мозга - это физический объект, обладающий определенными характеристиками. Если мы придем к полному пониманию этих характеристик и научимся воспроизводить их электронным путем, тогда, без сомнения, наша электронная мозговая клетка сможет выполнять те же функции, что и клетка органического происхождения. А если это можно проделать с одной клеткой мозга, то почему бы нельзя повторить ту же самую операцию с целым мозгом? А если так, то почему бы получившейся системе не обладать таким же сознанием, как у живого мозга?

Эти предположения очень любопытны. Располагая достаточными вычислительными мощностями, постлюди могут создать модели исторических личностей, у которых будет полноценное сознание и которые будут считать себя биологическими людьми, живущими в более раннем времени. Этот вывод подводит нас к утверждению под номером два.

Первое утверждение предполагает, что мы проживем достаточно долго, чтобы создать постчеловеческую цивилизацию. Эта постчеловеческая цивилизация получит возможность разрабатывать симуляции реальности, подобные Матрице. Во втором утверждении отражена возможность того, что постлюди решат не разрабатывать эти модели.

Мы можем вообразить, что в постчеловеческую эпоху интерес к разработке исторических симуляций исчезнет. Это означает существенные изменения в мотивации людей постчеловеческой эпохи, ибо в наше время, разумеется, найдется немало людей, которым бы захотелось запустить модели предшествующих эпох, если бы они могли позволить себе это сделать. Однако, вероятно, многие из наших человеческих желаний покажутся глупыми любому постчеловеку. Может быть, симуляции прошлого будут представлять незначительную научную ценность для постчеловеческой цивилизации (что не так уж невероятно с учетом ее несоизмеримого интеллектуального превосходства), и, может быть, постлюди будут считать развлечения очень неэффективным способом получения удовольствия, которое можно получить куда проще - при помощи непосредственной стимуляции центров наслаждения головного мозга. Этот вывод предполагает, что постчеловеческие общества будут весьма отличаться от человеческих: в них будут отсутствовать относительно обеспеченные и независимые субъекты, владеющие всей полнотой человеческих желаний и свободные действовать под их влиянием.

При другом раскладе возможно, что у некоторых постлюдей может появиться желание запустить симуляции прошлого, однако постчеловеческие законы помешают им сделать это. Что приведет к принятию подобных законов? Можно предположить, что все более развитые цивилизации идут по пути, который приводит их к признанию этического запрета на запуск моделей, имитирующих историческое прошлое, из-за страданий, которые выпадут на долю героев подобной модели. Однако с нашей сегодняшней точки зрения не очевидно, что создание человеческой расы есть безнравственное действие. Наоборот, мы склонны считать существование нашей расы процессом огромной этической ценности. Более того, одного существования этических воззрений об аморальности запуска симуляций прошлого недостаточно. К нему должно добавиться наличие такой социальной структуры в общецивилизационном масштабе, которая позволяет эффективно запрещать деятельность, которая считается безнравственной.

Итак, поскольку существует возможность того, что второе утверждение верно, в этом случае мотивации постлюдей либо будут разительно отличаться от мотиваций людей, либо постлюди будут должны наложить тотальный запрет на симуляции прошлого и эффективно контролировать действие этого запрета. Более того, этот вывод должен быть справедливым почти для всех постчеловеческих цивилизаций во Вселенной.

Следовательно, нам необходимо рассмотреть следующую вероятность: не исключено, что у цивилизаций человеческого уровня есть шанс стать постчеловеческими ; далее: по крайней мере в некоторых постчеловеческих цивилизациях найдутся отдельные личности, которые запустят симуляции прошлого. Это подводит нас к нашему третьему утверждению: мы почти наверняка живем в компьютерной симуляции . К этому выводу мы приходим вполне естественно.

Если постлюди запускают симуляции прошлого, скорее всего, эти симуляции действуют в очень широких масштабах. Не составляет труда представить миллионы индивидуумов, запускающих тысячи вариантов симуляций на сотни различных тем, и в каждой такой симуляции будут задействованы миллиарды смоделированных личностей. Этих искусственных людей наберется многие триллионы. Все они будут считать, что они настоящие и живут в более раннем времени.

В 2003 году на планете примерно шесть миллиардов биологических людей. Очень даже возможно, что в постчеловеческую эпоху триллионы созданных на основе компьютерных программ людей будут жить в смоделированном для них 2003 году, убежденные в том, что они биологического происхождения - точно такие же, как вы и я. Математика здесь проста, как дважды два: подавляющее большинство этих людей ошибаются; они считают, что они из плоти и крови, но на самом деле они таковыми не являются. Нет причин исключать нашу цивилизацию из этих подсчетов. Почти все шансы сводятся к тому, что наши физические тела являются компьютерной иллюзией.

Стоит подчеркнуть, что доказательство методом моделирования не преследует цель показать, что мы живем в компьютерной симуляции. Оно отражает лишь то, что по крайней мере одно из трех перечисленных выше утверждений верно. Если кто-то не согласен с выводом о том, что мы находимся внутри симуляции, то вместо этого ему придется согласиться либо с тем, что практически все постчеловеческие цивилизации откажутся от запуска симуляций прошлого, либо с тем, что, вероятно, мы начнем вымирать, не достигнув постчеловеческой эпохи.

Наше исчезновение может произойти в результате стабилизации наличествующего сейчас прогресса в области вычислительной техники или стать следствием общего коллапса цивилизации. Либо вы должны признать, что научно-технический прогресс, по-видимому, будет набирать обороты, а не стабилизироваться, и в этом случае вы могли бы предсказать, что ускорение прогресса и станет причиной нашего исчезновения. Подвести нас к этому печальному концу может, к примеру, молекулярная нанотехнология. Достигнув развитой стадии, она позволит создавать самовоспроизводящиеся наноботы, способные питаться пылью и органикой, эдакие механические бактерии. Такие наноботы, если они созданы с недобрыми намерениями, могут вызвать исчезновение всей жизни на нашей планете. В другом месте я попытался перечислить основные экзистенциальные опасности, угрожающие человечеству.

Если наша цивилизация действительно является симуляцией, отсюда не вытекает какая-либо необходимость ограничивать наш прогресс. Не исключено, что смоделированные цивилизации могут стать постчеловеческими. Тогда они могут запустить свои собственные симуляции прошлого, используя мощные компьютеры, которые они создадут в своей искусственной Вселенной. Подобные компьютеры будут «виртуальными машинами», этот термин знаком современной вычислительной технике. (К примеру, основанные на Java web-приложения используют виртуальную машину - смоделированный компьютер - внутри вашего «рабочего стола».)

Виртуальные машины можно объединять в один пакет: можно смоделировать машину, моделирующую другую машину, и т. д., при этом шагов итерации может быть произвольно много. Если мы действительно добьемся создания наших собственных моделей прошлого, это будет веским доказательством против второго и третьего утверждений, так что нам волей-неволей придется заключить, что мы живем в смоделированном мире. Более того, мы должны будем подозревать, что постлюди, управляющие моделью нашего мира, сами являются искусственно созданными существами, а их создатели, в свою очередь, могут тоже оказаться смоделированными.

Таким образом, реальность может оказаться многоуровневой (эта тема затрагивалась во многих научно-фантастических работах, особенно в фильме «Тринадцатый этаж»). Даже если иерархической структуре на каком-то этапе необходимо замкнуться на саму себя - хотя метафизический статус этого утверждения не вполне ясен, - в ней может размещаться огромное количество уровней реальности, и с течением времени это количество может возрастать. (Один из доводов против мультиуровневой гипотезы состоит в том, что затраты на вычислительные ресурсы для базовых моделей будут очень велики. Моделирование даже одной постчеловеческой цивилизации может быть непомерно дорогостоящим мероприятием. Если так, то нам следует ожидать уничтожения нашей модели при приближении к постчеловеческой эпохе.)

Несмотря на то что все элементы подобной системы могут быть естественными, даже материальными, здесь можно провести некоторые вольные параллели с религиозными представлениями о мире. В каком-то смысле постлюди, запускающие симуляцию, похожи на богов по отношению к людям, населяющим эту симуляцию:

• постлюди создали окружающий нас мир;
• их уровень интеллекта намного превосходит наш;
• они «всемогущи» в том плане, что могут вмешиваться в жизнь нашего мира, даже способами, нарушающими его физические законы;
• к тому же они «всеведущи» в том смысле, что они могут наблюдать за всем, что у нас происходит.

Однако все полубоги, за исключением тех, кто находится на базисном уровне реальности, подчиняются распоряжениям более могущественных богов, живущих на более глубоких уровнях.

Дальнейшие размышления на эту тему могут достичь своей кульминации в натуралистической теогонии, которая занималась бы изучением структуры этой иерархии и ограничений, наложенных на ее жителей, исходя из возможности того, что какие-то действия на их уровне могут повлечь за собой определенную реакцию со стороны обитателей более глубоких уровней. Например, если никто не может быть уверенным в том, что находится в основе иерархии, то любой должен учитывать возможность того, что за любые действия он может быть вознагражден либо наказан создателями модели.

Возможно, последние будут при этом руководствоваться какими-то нравственными критериями. Жизнь после смерти станет реальной возможностью, как и реинкарнация. Из-за этой фундаментальной неуверенности, возможно, даже у основной цивилизации будут причины вести себя безупречно с точки зрения морали. Тот факт, что даже у этой цивилизации будет причина вести себя с соблюдением норм морали, разумеется, заставит еще в большей степени всех остальных стремиться вести себя точно так же, и так далее. Получится самый настоящий добродетельный круг. Возможно, каждый будет руководствоваться своего рода универсальным моральным императивом, повиноваться которому будет в интересах каждого, поскольку этот императив появился «ниоткуда».

В дополнение к моделям прошлого можно также рассмотреть возможность создания более избирательных симуляций, затрагивающих лишь небольшую группу людей или отдельного человека. В этом случае оставшаяся часть человечества превратится в зомбированных людей или в людей-теней - людей, смоделированных на уровне, достаточном для того, чтобы полностью смоделированные люди не замечали ничего подозрительного. Не ясно, насколько моделирование людей-теней будет дешевле, чем моделирование полноценных людей. Далеко не очевидно, что какое-то существо может вести себя неотличимо от настоящего человека и в то же время быть лишенным сознательного опыта.

Даже если такие отдельные модели и существуют, не следует предполагать, что вы находитесь в одной из них, пока вы не придете к выводу, что они куда более многочисленны, чем полные модели. Чтобы самые условные личности попали в я-симуляцию (модель, имитирующая жизнь одного единственного разума), я-симуляций потребовалось бы в сто миллиардов раз больше, чем симуляций прошлого.

Также существует возможность того, что создатели симуляций уберут определенные моменты из психических жизней смоделированных существ и снабдят их ложной памятью об определенных переживаниях, которые они обычно испытывали во время изъятых из памяти моментов. В этом случае можно рассмотреть следующее (притянутое за уши) решение проблемы зла: на самом деле страдания в мире не существует, а все воспоминания о нем - это иллюзия . Разумеется, эту гипотезу можно серьезно воспринимать лишь тогда, когда вы не страдаете.

Если предположить, что мы живем в симуляции, то что же из этого следует для нас, людей?

Несмотря на высказанные выше замечания, последствия вовсе не настолько радикальны. Стандартное эмпирическое исследование Вселенной, которую мы видим, лучше всего подскажет нам, как будут действовать наши постчеловеческие создатели, устраивая наш мир. Пересмотр большей части наших убеждений приведет к довольно незначительным и едва заметным результатам - прямо пропорциональным нехватке уверенности в нашей способности понять логику постлюдей. Поэтому правильно понятая истина, содержащаяся в третьем утверждении, не должна «сводить с ума» или мешать нам продолжать заниматься своими делами, а также планировать и предсказывать завтрашний день.

Если мы узнаем больше о мотивациях постлюдей и об ограничениях на количество ресурсов, - а это может случиться в результате нашего собственного движения к постчеловеческой цивилизации, - в этом случае гипотеза о том, что мы смоделированы, будет иметь гораздо более богатый набор эмпирических следствий.

Конечно, если печальная реальность все-таки заключается в том, что мы являемся симуляциями, созданными какой-то постчеловеческой цивилизацией, то можно считать, что нам выпала лучшая доля, чем обитателям Матрицы. Вместо того чтобы попасть в лапы враждебного ИИ и быть использованными в качестве источника энергии для его существования, нас создали на основе компьютерных программ как часть научно-исследовательского проекта.

Или, может, нас создала какая-нибудь девочка-подросток из постчеловеческой цивилизации, выполняя домашнее задание.

Тем не менее нам все-таки лучше, чем жителям Матрицы. Разве нет? опубликовано