Это злая разумная опухоль - Питер Уоттс

Как будто если бы мясо взламывало другое мясо, все стало бы лучше. Предсказание, что половина наших рабочих мест через пару десятилетий достанется автоматике,[88] уже стало затертым клише, однако эксперты не отвечают на такие новости требованиями упразднить закон Мура. Они говорят о переквалификации, безусловном базовом доходе – словом, об адаптации. Почему здесь все должно быть иначе?

Не поймите меня неправильно. Тот факт, что наша судьба – в руках правых злодеев-миллионеров, радует меня не больше, чем любого из вас. Я просто не воспринимаю текущую автоматизацию этого процесса как что-то иное, нежели очередной шаг по той же невеселой дороге, по которой мы тащимся десятилетиями. Я не помню, чтобы в 2008 и в 2012 годах кто-то завывал от гнева из-за тогда еще сверхсовременной базы данных Обамы, профилирующей избирателей. Зато я помню множество уважительных комментариев по поводу умения его предвыборного штаба «добиваться явки».

Любопытно, что граница, отделяющая «массовый активизм» от «тоталитарного нейропрограммирования», настолько четко пролегла между Тогда и Теперь.

Технология психологической войны, созданная Cambridge Analytica, не столько «угрожает демократии», сколько забивает очередной гвоздь в крышку ее гроба. Для тех, кто отвлекся: ее труп разлагается уже довольно давно.

Конечно, это не значит, что мы не должны отбиваться. Способы есть, даже на индивидуальном уровне. Я не о тех праздных мечтаниях, которые продвигают на SciAm[89] ребята, по всей видимости не способные отличить слоган от стратегии. (Убедиться, что у людей есть доступ к собственным данным! Заставить правительство держать ответ!) Я говорю о тех вещах, которые вы можете сделать прямо сейчас. Простых вещах.

Алгоритмы питаются данными? Перестаньте их кормить. Не сидите в твиттере: если всех прочих недостатков твиттера вам мало, может, вас уведет оттуда хотя бы перспектива уморить зверя голодом. Если не можете заставить себя уйти с фейсбука, по крайней мере перестаньте все лайкать – или, еще лучше, лайкайте то, что вас на самом деле бесит, создавайте помехи, чтобы контаминировать массив данных и сделаться более размытой мишенью. (Когда я встречаю на фейсбуке что-то, что нахожу особенно трогательным, то часто реагирую на него кипящим от ярости эмодзи.) Свалите из инстаграма и яйцехвата. Используйте Signal. Используйте, блин, VPN. Сделайте Органию бесполезной для них.

Что вы говорите? Тысячи людей по всему миру умирают – так хотят узнать ваш любимый рецепт приготовления плодов хлебного дерева? Выложите его в блог. Это не остановит ботов от сбора ваших данных, но им хотя бы придется вас разыскать; вы не будете скармливать себя платформе, явным образом созданной для того, чтобы добывать и перепродавать ваши потроха.

Чем больше будет нас, тех, кто отказывается им подыгрывать, – чем больше нас, тех, кто жульничает, кормя систему ложными данными, – тем меньше нам нужно будет бояться кода, который читает наши мысли. А если большинство людей не захочет заморачиваться – если все эти кликбейты, все эти эмодзи и поднятые большие пальцы окажутся слишком большим искушением – что ж, мы получим то правительство, которое заслуживаем. Только не жалуйтесь, расхаживая нагишом в бассейне с аллигаторами, если кто-то отхватит вам ноги.

Пусть за кулисы меня сопроводит Берит Андерсон:

«Представьте, как в 2020 году вы узнаете, что у вашей любимой политической странички или группы в фейсбуке на самом деле больше нет ни одного человека-подписчика, а только десятки или сотни ботов, благодаря которым вы чувствуете себя дома, чувствуете ценность собственных мнений. Есть ли вероятность, что вы могли об этом никогда не догадаться?»

Кажется, она считает это предупреждением, устрашающим предостережением о том, что будет, Если Это Продолжится. Но то, что описывает Андерсон, есть хрестоматийный пример теста Тьюринга, пройденного на ура. Она видит Интернет, полный зомби, – я вижу рождение Подлинного ИИ.

Конечно, есть два способа пройти тест Тьюринга. Очевидный путь – спроектировать более умную машину, такую, что сумеет сойти за человека. Но, как известно любому, кто хотя бы недолго просидел в соцсетях, люди могут быть столь же тупыми, однообразными и пустыми, как и боты. Поэтому другой путь – просто сделать людей глупее, чтобы машинам легче было их обдурить.

Я все больше склоняюсь к мнению, что второй подход может оказаться проще.

Жизнь под надзором FAST

(Журнал Nowa Fantastyka, апрель 2015 года)

В 2007 году я написал рассказ о человеке, стоящем в очереди в аэропорту. Там не так много всего происходило: он просто потихоньку двигался вместе со всеми остальными, размышляя о проверке, ожидающей его (и других пассажиров) перед посадкой. В конце концов герой оказывался в голове очереди, проходил через сканер и шел дальше. Вот, в общем-то, и все.

Только сканер не был рентгеном или металлодетектором: это был считыватель мыслей, выявлявший недобрые замыслы. Герой был латентным педофилом, чьи желания машина отображала ярко и четко, хотя он ни разу им не подчинился. «В глазах Господа» задает вопрос, что вас в большей степени определяет: совершенные вами поступки или те, о которых вы только думаете; он исследует очевидные проблемы с конфиденциальностью в обществе, где государство может читать мысли. Технология, которая там описывается, вдохновлена реальным патентом, оформленным Sony несколько лет назад; тем не менее я думал, что у нас будет хотя бы лет двадцать, прежде чем мы вплотную столкнемся с этими вопросами.

Я точно не думал, что подобную систему будут разрабатывать уже в 2015 году.

Однако же вот она: технология, которая, пусть еще и не готова к выходу в свет, уже достаточно разработана, чтобы American University Law Review опубликовал статью[90], рассматривающую связанные с ней юридические последствия. FAST (Future Attribute Screening Technology[91]) – это система, «в данный момент разрабатываемая для использования в аэропортах», которая «способна читать мысли (…) используя разнообразные комплекты датчиков, фиксировать показатели жизнедеятельности и, основываясь на этих данных, определять, есть ли у просканированного человека „злой умысел“ – намерение совершить преступление».

Описанная система на самом деле не столько читает мысли, сколько делает выводы об их содержании, основываясь на физиологических и поведенческих подсказках. Она считывает сердцебиение и температуру, отслеживает дыхание и движения глаз, а также перемены в вашем голосе. Если вы – женщина, она вынюхивает, на какой вы стадии овуляции. Она видит вашего нерожденного ребенка и состояние вашего сердца – и, как только исследует вас по сотне параметров, машина решает, есть ли у вас