Человек пока — единственное (?) разумное (???) существо на планете. Но это ненадолго. Мы активно создаем себе компаньона — искусственный интеллект (ИИ), который, как мы полагаем, непременно должен стать нашим другом и помощником. Но не сбудутся ли вместо этих надежд самые страшные фантазии голливудских футурологов? Известный ученый в области нейрофизиологии, психолингвистики и теории сознания, доктор биологических наук, профессор Татьяна Владимировна Черниговская вполне допускает такое развитие событий.
Но самое главное: новая цивилизация, по ее мнению, УЖЕ наступила. Мы же к ней оказались не только не готовы, но даже не осознаем (а можем и не осознать никогда) все истинные опасности.
Лекция Т. В. Черниговской «Искусственный интеллект — вызов для человечества» состоялась 18 января 2018 года в рамках Гайдаровского форума. Мы публикуем некоторые размышления, предостережения и аргументы автора.
Антропоцен заканчивается
В последнем докладе Римского клуба говорится, в частности, о том, что «технологические игры» представляют опасность не только в практическом, но и в мировоззренческом смысле. Мы можем потерять контроль над развитием ситуации. Если машины начнут принимать за нас какие-то важные решения, что вообще остается людям?
Необходима, как говорят члены Римского клуба, эпоха нового просвещения, переосмысления главных цивилизационных принципов. И для начала они предлагают отказаться от редукционизма. Как происходит процесс анализа, например, в естественной науке? Ученые берут какой-то объект и все больше и больше рубят его на части. В настоящее время дорубились уже до наночастиц. Но, во-первых, это, вероятно, вообще неправильная постановка вопроса. Потому что, как предполагали многие крупные философы еще до того, как началось это бесконечное расчленение материи: целое больше суммы его частей. Юрий Михайлович Лотман, крупнейший советский гуманитарий, семиотик, будучи человеком блестяще остроумным, в свое время говорил: конечно, можно теленка разобрать на стейки, но беда в том, что он обратно не собирается. От того, что ты рассмотришь каждый нейрон, знание о целом не появится.
Во-вторых, когда-то Альберт Эйнштейн писал: основа естественных наук — это то, что характеристики внешнего мира независимы от наблюдателя. Так было. Однако сегодня уже хорошо известно: то, в какой позиции находится ученый, как задает вопросы, как ставит эксперимент, — все это влияет на результат. А уж после разработок в области квантовой механики это ни у кого не вызывает сомнений.
Третье — это то, о чем уже давно догадался Станислав Лем: «Там, где успех боевых операций зависит от микромиллиметров и наносекунд, на сцену, подобно новому богу войны, выходит случайность». И прямое предостережение: «Системы неслыханно быстрые ошибаются неслыханно быстро».
Гарри Каспаров играет против компьютера Deep BlueМир стал нечеловекомерен. Появились величины и пространства, в которых мы не живем. Человек не существует ни в наносекундах, ни в нанометрах — в них вообще живые не живут. Появился интернет вещей, самоорганизация сетей. Более того, цифровая реальность начинает быть игроком на поле эволюции — она становится признаком отбора в социуме. Если я умею всем этим пользоваться, я попадаю в одну категорию людей. А если я только блины умею печь — совершенно в другую.
Хвост виляет собакой?
У эволюции действительно есть вектор? Похоже, да. Похоже, что все ее потуги вели к тому, чтобы образовались нервная система и — высочайшая стадия всего — человеческий мозг.
Но если есть вектор, значит, есть и какая-то цель? Какая? Откуда она взялась? И зачем Вселенной это понадобилось? Она ведь и так знает, как ей жить: атомы в курсе, как им соединяться, планеты — вращаться, галактики — сталкиваться... Зачем понадобилось некое существо, которое будет разгадывать законы природы, которые и так действуют?
А мозг? Наш собственный, человеческий мозг? Он ведь такое вытворяет… Каждому из нас кажется, что мы — хозяева положения. Однако лучшая уловка мозга заключается в том, что он делает все сам. Он вообще какой-то самодостаточный монстр. Все решения принимает он, а не мы. Но этим его коварство не ограничивается. Потому что потом он еще посылает нам утешительный сигнал: мол, не волнуйся, это ты сам все придумал, ты молодец, самостоятельный и ответственный человек. Если это так (а есть данные, которые дают основания так считать), то все остальные проблемы — просто смех. Потому что это означает, что мы — лишь очень хорошие программы.
Мы боимся потерять контроль над искусственным интеллектом? А у нас есть контроль над собственным интеллектом? В голове каждого из нас — сложнейшая нейронная сеть. Каждый из нейронов может иметь от 50 до 100 тысяч связей с другими частями мозга. Это уже квадриллион. А если умножим его на 10 (число глиальных клеток, которые, кстати, имеют собственную память и свои задачи)… И вот с этим мы хотим конкурировать, создавая искусственный интеллект?
После обеда — подвиг?
Что говорят создатели ИИ? Мы узнаем, по каким алгоритмам работает реальный мозг, и сделаем устройство по его образу и подобию. А вы уверены, что у мозга есть только алгоритмы? Эйнштейн говорил, главные вещи делаются интуитивно: «Интуиция — священный дар, разум — покорный слуга».
Открытие происходит не с помощью логарифмической линейки. Ты не можешь запланировать сделать открытие. Тебя как ударяет. Или оно приходит во сне. Рассудок не контролирует целиком то, что происходит. Ты впадаешь в какое-то другое состояние. В мемуарах крупных ученых много тому примеров. Мы не можем не обращать на них внимания — это слишком серьезно.
Мозг у людей существенно разный. А у творцов, людей искусства — даже структурно иной. Отсюда возникает вопрос «про курицу и яйцо». У них другой мозг — и поэтому они стали Моцартами? Или из-за того, что они играли на скрипке, у них сформировался такой мозг? И следующий: а зачем Эйнштейн играл на скрипке? А Менделеев в свободное время… шил чемоданы? Моя версия: они переключали мозг на другой режим работы — и это рождало лучшие всплески нашей цивилизации. Это рассчитать на арифмометре «Феликс» невозможно.
Еще один вопрос: что станет с литературой, искусством, музыкой, если мы доиграемся до исчезновения с планеты? Они останутся? Вопрос, разумеется, не о том, останутся ли ноты, книги, картины. Если здесь лежит том Шекспира, но нет человека, который умеет его читать, то это является не томом Шекспира, а физическим объектом. Если звучит музыка, но нет того, кто может ее понимать, она — просто звук. Для комара нет никакого Моцарта.
И наконец, главное: зачем вообще существует искусство? Ведь, кажется, вот лежит реальное яблоко. Для чего его рисовать или лепить? Зачем все эти повторы? Но, как говорил все тот же Лотман, искусство вовсе не повторяет, не изображает, не копирует жизнь — оно ее создает.
Пафос речи в этой ее части сводится к следующему: не стоит воспринимать искусство как какой-то десерт или довесок. Вроде мы сначала занимаемся серьезными вещами, а уж потом, как полагается образованным людям, ходим в музеи, слушаем музыку. Это, разумеется, не лишнее. Но речь о другом. Искусство — это вообще иной способ познания или даже создания мира. Овладеет ли им искусственный интеллект?
Направо пойдешь — коня потеряешь
Вы хотите узнать, по каким алгоритмам работает реальный мозг? Ученые столетиями изучают мозг, но до сих пор не понимают, что в нем происходит. Как, к примеру, устроены его этические принципы? Замечательный хирург Валентин Феликсович Войно-Ясенецкий, он же архиепископ Лука, блестяще высказался на эту тему: «Я много оперировал на мозге и, открывая черепную коробку, никогда не видел там ума. И совести там тоже не находил».
Дэниел Деннет, крупнейшей философ, который занимается проблемами сознания, пишет: «Каждый человек — не более чем сборище триллионов нейронов». Но тогда получается, что мы вообще ни за что не отвечаем. Разве я виноват, что таким (дураком или преступником) родился? И уже были реальные судебные процессы, где обвиняемый заявлял: That's not me, that's my brain («Это не я, это мой мозг»).
То есть перед нами встают вопросы не технологические, а сугубо гуманитарные: право, мораль… Появление ИИ ведет к пересмотру базовых этических норм, ценностей и смыслов. Внутри цифрового мира эти категории приобретают совершенно иные конфигурации.
Нейронная сеть головного мозга человекаНапример, беспилотная машина сбивает человека. Кто за это будет отвечать? Или она оказывается в ситуации, которые приводятся в каждом учебнике по психологии. Помните, эти жуткие моральные дилеммы? Тебе нужно повернуть направо или налево. Там ты собьешь пять человек, а здесь — одного. Что ты будешь делать? И куда будет поворачивать в этом случае машина? У нее же должна быть предусмотрена такая возможность. Выходит, нам придется заложить в нее моральные категории. Во-первых, как это сделать? А во-вторых, кто примет это решение?
Попытка — не пытка?
В 2010 году появилось первое существо, которое являет собой композит из живого и неживого. Крейг Вентер создал живой организм с синтетическим геномом. То есть у него был как бы «отцемать» — компьютер. Это тревожный ход. Вполне можно представить недалекое будущее, когда в детских магазинах рядом с известными играми типа «Юный химик» появятся другие, например «Юный генетик».
Когда 11 мая 1997 года Deep Blue обыграл Гарри Каспарова, человечество содрогнулось. Потом, правда, все слегка успокоились (в том числе и сам Каспаров) — когда проанализировали и поняли, что Deep Blue был попросту «надрессирован», причем на одного конкретного игрока.
Но вскоре DeepMind создает еще более совершенную программу — AlphaZero. Самое страшное, что ей уже не нужны даже начальные сведения, достаточно правил игры. За 24 часа она сама — и это повергает специалистов в ужас — набирает все необходимые знания и побеждает не только любого из людей, но и другие компьютерные программы.
И, наконец, покер. Все думали, что с ним этот номер не пройдет. Ведь это игра совершенно другого типа, там есть блеф, есть даже особое понятие poker face. Пожалуйста, создана программа Libratus. И совсем недавно она разнесла в пух четырех игроков самого высокого класса. Это говорит о том, что искусственный интеллект уже овладел не только алгоритмическими действиями. Он уже влезает на нашу, человеческую, территорию.
Еще более тревожная вещь — интернет-зависимость. И не только из-за изменений в мозге, как при наркомании и алкоголизме. Интернет-зависимость приводит к еще более серьезным вещам — к глобальной перестройке мозга.
Дело в том, что на мозг влияет вообще все. Эта огромная нейронная сеть не просто усваивает, добавляет в себя какие-то элементы, но каждую секунду заново переписывается. Полностью! Одну и ту же вещь нельзя вспомнить дважды — точно так же, как нельзя дважды войти в одну и ту же реку. Когда вы что-то вспоминаете, скажем, в третий раз, вы вспоминаете не то, что было в первый, а то, что было во второй.
Полундра!
Что будет, если у искусственного интеллекта появится сознание? Это действительно то, чего мы по-настоящему боимся. Тут возникает несколько вопросов. Первый: что такое сознание? Этот вопрос предполагает огромный диапазон мнений: от того, что им обладает любое живое существо и даже отдельная клетка, до рефлексии — и тогда сознанием обладают только люди, и то не все.
Второй вопрос: где критерии? Есть в науке такая проблема, которая называется «модель зомби». Представьте: перед нами стоит некто, кто выглядит точно, как человек, ведет себя, как человек, говорит, как человек. И только мы знаем, что он не настоящий, а программа. У других есть шанс понять это? Отвечаю: нет!
Следующий вопрос: сознание — это функция сложности? То есть: растет, растет, растет, и — раз, образуется серьезный мозг с сознанием? Если да, то у нас нет оснований считать, что появление разума у ИИ невозможно — система доходит до определенного порога сложности, после чего у нее автоматически возникает сознание.
А самый сложный: как мы про это узнаем? Ведь если эта штука действительно получит рефлексию, у нее появятся собственные соображения и план жизни на этой планете. И если мы в него не входим, у нее точно будет миллион возможностей абсолютно незаметно для нас сделать так, чтобы остаться здесь совершенно одной. Например, подсунуть что-нибудь в геном. Вывести какую-нибудь саранчу или новую болезнь...
Назад, в будущее
Представим, что мы отдали на откуп механизмам абсолютно всё. Чем займемся сами? Когда говорят, что освободившиеся от труда люди станут играть на лютне и писать сонеты, это не вызывает ничего, кроме улыбки. Разумеется, ничего такого не будет.
«Праздная цивилизация» — у нас уже появился такой термин. «Лишние люди», которым попросту нечего делать. Им будут платить, чтобы они не померли с голоду (и это уже существует в известных странах). Но чем они все же займутся? Ответ на этот вопрос есть в истории. Такое уже было — в Древнем Риме.
Мы оказались на другой Земле. Мир вокруг нас — совершенно не тот, в котором мы жили даже пять лет назад. Он опасный. Он с огромной скоростью меняется. Он ставит нас перед трудным выбором: комфорт или свобода. И это необратимо.
Для нашей цивилизации настало время остановиться, осмыслить все происходящее, определить приоритеты, сместить акценты (на ценностные) и сделать из этого очень много практических выводов. Например, о том, как должно выглядеть образование, чему теперь следует учить детей. Нам не нужны школы и университеты, которые дают лишь набор знаний. Нужны люди с открытым сознанием. Может, детей стоит учить тому, как «держать» память и внимание, как добывать ту информацию, которой можно верить, как вести себя в ситуации бесконечного стресса и цейтнота? И как не бояться сказать, что думаешь, даже если твое мнение не совпадает с общепринятым? Разве не это — путь к открытиям?
Перед нами вновь встал вопрос времен Античности: кто мы и зачем сюда попали? Если мы собираемся только состязаться с суперкомпьютерами в скорости, то уже поздно — эту игру мы проиграли давно и окончательно: возможности компьютеров несопоставимы с человеческими. Но, похоже, дело не в скорости. Мы — это что-то другое. Настоящую игру мы пока не проиграли. И, возможно, не проиграем, если не обезумеем окончательно.
Подготовила В. И. МААНДИ
