Вы не гаджет. Манифест - Джарон Ланир

Мы не можем знать, какую роль сыграла пытка, которой Тюринг подвергался, когда работал над этим текстом. Но невозможно отрицать, что одного из людей, сыгравших ключевую роль в разгроме фашизма, после окончания войны уничтожили мы сами, и лишь потому, что он был геем.

Неудивительно, что в своем воображении он задавался вопросами прав странных существ.

Ко времени смерти Тюринга программное обеспечение находилось в столь ранней стадии развития, что никто не мог себе представить, каким запутанным оно станет в будущем. Тюринг придумал чистую, кристаллизованную форму существования в цифровом мире, и, думаю, было облегчением представить себе форму жизни, отдельную от страданий плоти и политики сексуальности. Примечательно, что компьютером ученый заменил именно женщину и что самоубийство Тюринга повторило падение Евы.

Каковы бы ни были мотивы, Тюринг придумал первую метафору, поддерживающую идею того, что биты могут жить своей жизнью, независимой от людей-наблюдателей. Эта идея с тех пор появлялась тысячи раз, от искусственного интеллекта до коллективного разума, не говоря уже о множестве раздутых стартапов Кремниевой долины.

Однако мне кажется, что тест Тюринга не совсем верно интерпретировался поколениями технологов. Обычно его приводят в защиту тезиса, что машины могут достичь того, что у людей называется разумом. В конце концов, если машина заставила вас поверить, что она разумна, утверждать после этого обратное было бы проявлением фанатизма.

Даже если Тюринг надеялся на что-то другое, на самом деле тест говорит только о том, что разумность машины можно оценить лишь относительно, глазами человека-наблюдателя.[9]

В этой книге я критикую способ мышления, аналогичный искусственному интеллекту. Если машина может быть разумна, то вычислительное облако будет лучшим и гораздо более мощным разумом, чем разум отдельного человека. Если вы в это верите, то работа на благо вычислительного облака, а не отдельного человека ставит вас на сторону ангелов.

Но тест Тюринга работает в обе стороны. Вы не можете сказать, это машина стала умнее или вы снизили собственные стандарты понятия «разумный» до такой степени, что машина кажется умной. Если вы способны разговаривать с персонажем, представленным программой искусственного интеллекта, можете ли вы определить степень деградации вашего чувства личности, необходимую, чтобы иллюзия работала на вас?

Чтобы машины все время казались умными, люди сознательно деградируют. До кризиса банкиры верили в якобы умные алгоритмы, способные просчитать кредитные риски прежде, чем выдавать плохие кредиты. Мы требуем от педагогов обучения прохождению стандартизованных тестов, чтобы ученики хорошо выглядели с точки зрения алгоритма. Мы неоднократно демонстрировали беспредельную способность нашего вида снижать стандарты, чтобы информационные технологии выглядели хорошо. Каждое проявление разума в машине двусмысленно.

Та же двусмысленность, которая в прошлом послужила мотивом создания сомнительных проектов в области искусственного интеллекта, сегодня преподносится в виде массовой культуры. Действительно ли поисковик знал, что вам нужно, или вы подыгрываете, снижая стандарты, чтобы он казался умным? Хотя совершенно естественно ожидать, что восприятие человека будет меняться в результате взаимодействия с новыми технологиями: чтобы человек рассматривал разум машины как реальный, требуется ослабить собственную связь с реальностью.

Значительная часть адептов искусственного интеллекта после длительного периода неудачных экспериментов в таких областях, как распознавание естественных языков, в конечном счете нашла успокоение в восхищении коллективным разумом, который демонстрировал лучшие результаты, поскольку за сценой были реальные люди.

Например, «Википедия» основана на том, что я называю иллюзией оракула: знание об авторе подавляется с целью придать тексту сверхчеловеческую достоверность. Традиционные «священные» книги работают по такому же принципу и порождают много схожих проблем.

Это еще одна причина, по которой я иногда думаю о кибернетическом тотализме как о новой религии. Такое обозначение гораздо глубже, чем приблизительная метафора, поскольку включает новый тип поиска жизни после смерти. Для меня очень странно, что футуролог и изобретатель систем распознавания речи Рэй Курцвейл хочет, чтобы глобальное вычислительное облако вобрало в себя содержимое наших мозгов, с тем чтобы мы могли жить вечно в виртуальной реальности. Когда я с друзьями строил первую машину виртуальной реальности, единственной задачей было сделать этот мир более творческим, выразительным, сочувственным и интересным. А не убежать от него.

Множество на первый взгляд отличающихся друг от друга «гениальных идей», сводящихся к обожествлению иллюзий битов, восторгают Кремниевую долину, Уолл-стрит и прочие центры силы. На другом конце телефонной линии может оказаться «Википедия» или симуляция человека. Но на самом деле мы просто снова и снова становимся свидетелями повторения ошибки Тюринга.

Возобладают ли в науке, экономике или культуре основанные на идее облака модные процессы над традиционными, требующими человеческого осмысления? Нет, поскольку лишь осмысление человеком позволяет существовать содержимому облака.

Культура освобождения фрагментов с затаенным дыханием ожидает будущего технологического триумфа, который приведет к сингулярности или другим подобным воображаемым событиям. Но уже существует несколько примеров того, как тест Тюринга был практически пройден, снижая степень персонификации. Одним из таких примеров служат шахматы.

Игре в шахматы присуще редкое сочетание качеств: очень просто понять правила, но очень трудно хорошо играть. И, что самое важное, попытки повысить мастерство игры кажутся бесконечными. Игроки добиваются все более высоких результатов, однако ни один из них не будет утверждать, что достиг высочайшего уровня.

Компьютеры и шахматы имеют общие корни. И те и другие возникли как орудия войны. Шахматы появились как симуляция битвы, мысленное боевое искусство. Конструкция шахмат даже напоминает о еще более отдаленном прошлом — временах нашего грустного животного наследия субординации и соперничающих кланов.

Аналогично и современные компьютеры были разработаны для управления ракетами и взлома секретных военных шифров. И шахматы, и компьютеры — прямые потомки насилия, которое движет эволюцию в живой природе, сколь бы абстрактным и санированным это насилие ни было в контексте цивилизации. Соревновательный дух практически осязаем и в информатике, и в шахматах, а когда их совмещают, адреналин просто захлестывает.

Для исследователей в области информатики шахматы привлекательны именно потому, что мы плохо в них играем. С нашей точки зрения, мозг человека обычно выполняет задачи, которые кажутся невыполнимыми, например распознает предложения, — однако мы не проводим состязаний по распознаванию предложений, поскольку эта задача кажется нам слишком простой и тривиальной.

Похожим образом нас очаровывают и расстраивают компьютеры. Научиться программировать могут и дети, тем не менее хорошо программировать чрезвычайно трудно даже для признанного профессионала. Несмотря на очевидный потенциал компьютеров, мы слишком хорошо знаем, что еще не придумали лучших программ для него.

Но всего этого недостаточно, чтобы объяснить выражение страха в обществе по случаю победы Deep Blue в мае 1997 года над чемпионом мира по шахматам Гарри Каспаровым как раз в тот момент, когда веб впервые начал оказывать заметное влияние на массовую культуру. Несмотря на шумиху в старых средствах массовой информации, было понятно, что публика реагировала искренне, и это чувство было глубоким. Тысячелетия мастерство игры в шахматы означало наивысший, наиболее чистый вид разума — а теперь компьютер мог играть лучше самого искусного человека.

Было много разговоров о том, остаются ли человеческие существа особенными и не становятся ли компьютеры равными нам. Сегодня такого рода новости не попали бы на первые полосы газет — способ мышления искусственного интеллекта настолько вбит в человеческую голову, что эти новости выглядели бы устаревшими. Но способ подачи события в стиле искусственного интеллекта был неудачен. На самом деле команда ученых построила очень быструю машину и нашла лучший способ представления проблемы выбора следующего хода в шахматной игре. Люди, а не машины сделали возможным это достижение.

Главной победой команды Deep Blue были ясность и элегантность мышления. Чтобы компьютер смог победить чемпиона мира по шахматам, необходимо, чтобы совпали два рода достижений: рост вычислительной мощности оборудования и повышение сложности и четкости, с которыми ведение шахматной игры представлено в программном обеспечении. Этот двойной путь затруднил предсказание точного времени, но не неизбежности триумфа компьютера.