Искусственный интеллект - Ник Бостром

Однако сценарий, в котором доля экономики, принадлежащей машинам, асимптотически приближается к ста процентам, не единственный вариант снижения человеческого влияния. Если экономика растет быстрыми темпами, тогда даже ее доля, уменьшающаяся относительно, может увеличиваться в абсолютном выражении. Это сравнительно неплохая новость для человечества: в многополярном сценарии с защищенными правами частной собственности общая величина богатства, принадлежащего людям, может расти даже в случае их неспособности решить проблему контроля. Конечно, данный эффект никак не устраняет возможность роста населения до такого уровня, на котором доход на душу упадет до прожиточного минимума, а также возможность обнищания людей, сбрасывающих будущее со счетов.

В долгосрочной перспективе в экономике начнут сильнее доминировать кланы с наиболее высокой нормой сбережений — скряги, владеющие половиной города и живущие под мостом. Наиболее процветающие из них станут проедать свои сбережения только том в случае, когда все возможности для инвестиций будут исчерпаны14. Однако если защита прав собственности окажется неидеальной — например, когда наиболее эффективные машины смогут всеми правдами и неправдами скопить у себя ресурсы, принадлежавшие людям, — тогда капиталистам-людям, возможно, придется тратить свое состояние гораздо быстрее, пока оно совсем не растает в результате действий машин (или вследствие расходов на защиту от них). Если все это будет происходить с цифровой, а не биологической, скоростью, то люди оглянуться не успеют, как уже окажутся лишенными собственности15.

Жизнь в цифровом мире

В переходный период образ жизни человека, живущего при мальтузианских условиях, не обязательно будет походить на одну из знакомых нам моделей (скажем, на образ жизни охотника, собирателя, фермера или офисного работника). Скорее всего, большинство людей будут влачить жалкое существование наподобие бездельника-рантье, которому сбережений едва хватает на жизнь впроголодь16. Люди будут жить очень бедно, фактически на одни проценты или государственные пособия. Но при этом они будут жить в мире инновационных технологий — в мире не только сверхразумных машин, но и препаратов против старения и препаратов, доставляющих удовольствие; в мире виртуальной реальности и различных техник самосовершенствования. И вряд ли все это будет доступно большинству. Скорее всего, реальную медицину заменят лекарства для остановки роста и замедления метаболизма с целью экономии, поскольку для массы людей активная жизнь окажется невозможной (если учитывать постоянное снижение их и так минимальных доходов). По мере роста населения и снижения доходов люди могут регрессировать до состояния, минимально удовлетворяющего требованиям для выплаты пенсии, — возможно, это будет мозг с едва брезжущим сознанием, погруженный в контейнер и подключенный к снабжению кислородом и питательными жидкостями, который обслуживают машины и который способен накопить немного денег на воспроизводство путем клонирования себя специальным роботом-техником17.

Еще большая бережливость будет обеспечиваться за счет моделирования мозга, поскольку физически оптимизированный вычислительный субстрат, созданный сверхразумом, может оказаться эффективнее, чем биологический мозг. Однако миграция в цифровую реальность будет замедляться тем, что имитационные модели не смогут считаться людьми или гражданами и соответственно не получат право на пенсию или на не облагаемый налогами сберегательный счет. В этом случае ниша для людей сохранится, наряду со все более крупной популяцией имитационных моделей и систем искусственного интеллекта.

Пока что все внимание было сосредоточено на судьбе наших потомков, чью жизнь могут поддерживать сбережения, пособия или заработная плата, получаемая за счет тех, кто нанимает работников-людей. Теперь переключим внимание на те сущности, которые мы до сих пор относили к капиталу: на машины, всегда принадлежавшие людям, — машины, сконструированные с целью выполнять те или иные функции и способные заменить человека в очень широком диапазоне задач. Каким будет положение этих рабочих лошадок новой экономики?

Обсуждать было бы нечего, если все эти машины остались бы автоматами, простыми устройствами вроде парового двигателя или часового механизма — такого добра в постпереходной экономике будет много, но, похоже, вряд ли кто-то заинтересуется этим бездушным набором комплектующих. Однако если у машин будет сознание — если они будут сконструированы так, что смогут осознавать свою исключительность (или им по иным причинам будет приписан моральный статус), — тогда важно включать их в мировую систему. Благополучие работников-машин окажется наиболее важным аспектом постпереходного периода, поскольку они будут доминировать количественно.

Добровольное рабство, случайная смерть

Первый напрашивающийся вопрос: работниками-машинами будут владеть как капиталом (рабами) или их станут нанимать за заработную плату? Однако при ближайшем рассмотрении возникают сомнения, что от ответа будет что-то зависеть. На то есть две причины. Во-первых, если свободный работник в мальтузианских условиях получает зарплату на уровне прожиточного минимума, в его распоряжении не остается средств после оплаты питания и других базовых потребностей. Если работник является рабом, то за его содержание платит хозяин, и все равно у раба не остается свободных средств. В обоих случаях работник получает лишь самое необходимое и ничего сверх того. Во-вторых, предположим, что свободный работник смог каким-то образом обеспечить себе доход выше прожиточного минимума (возможно, благодаря благоприятной системе регулирования). Как он потратит эту прибавку? Для инвесторов самым выгодным было бы создать виртуальных работников-«рабов», готовых трудиться за зарплату на уровне прожиточного минимума. Сделать это можно было бы, копируя тех работников, которые уже согласились на такие условия. Путем соответствующего отбора (и, возможно, некоторого изменения кода) инвесторы могли бы создать работников, которые не только предпочтут трудиться добровольно, но и решат пожертвовать своим работодателям все дополнительные доходы, если такие вдруг появятся. Однако после передачи денег работнику они по кругу вернутся к его владельцу или работодателю, даже если работник является свободным агентом, наделенным всеми юридическими правами.

Возможно, кто-то, возражая, заметит, насколько трудно создать машину, согласную добровольно выполнять любую работу или жертвующую свою зарплату своему же владельцу. Но у имитационных моделей должны быть особенно близкие людям мотивы. Обратите внимание, что если первоначальная проблема контроля, которую мы рассматривали в предыдущих главах, казалась трудновыполнимой, то сейчас мы говорим об условиях переходного периода — когда, видимо, методы выбора мотивации будут доведены до совершенства. Тем более если речь идет об имитационных моделях, то можно было бы добиться многого, просто отбирая нужные человеческие характеры. Наверное, проблема контроля будет в принципе упрощена, если предположить, что новый машинный интеллект включится в стабильную социоэкономическую матрицу, уже населенную другими законопослушными сверхразумными агентами.

Поэтому предлагаю остановиться на бедственном положении машин-работников, независимо от того, являются ли они рабами или свободными агентами. Вначале поговорим об эмуляторах, поскольку их представить легче всего.

Чтобы в мире появился новый работник-человек со своим профессиональным опытом и необходимыми навыками, потребуется от пятнадцати до тридцати лет. В течение всего этого времени человека нужно кормить, воспитывать, обучать, ему понадобится кров — все это большие расходы. Напротив, создать новую копию цифрового работника так же легко, как загрузить очередную программу в оперативную память. То есть жизнь становится дешевле. Компания может постоянно подстраивать свою рабочую силу под меняющиеся требования за счет создания новых копий — и уничтожения старых, чтобы освободить компьютерные ресурсы. Это может привести к чрезвычайно высокой смертности среди работников-машин. Жизнь многих из них будет ограничена одним субъективным днем.

Могут быть и другие причины помимо колебаний спроса, по которым работодатели или владельцы эмуляторов захотят часто убивать (отключать) своих работников18. Если для нормального функционирования эмулятору мозга, как и биологическому мозгу, требуются периоды отдыха и сна, может быть дешевле стирать изнуренную имитацию в конце дня и заменять ее записанным состоянием свежей и отдохнувшей имитации. Поскольку такая процедура приводила бы к ретроградной амнезии всего выученного за день, эмуляторы, занятые выполнением задач, которые требуют формирования длительных когнитивных цепочек, смогут избежать частых стираний. Трудно писать книгу, если каждое утро, садясь за стол, не помнишь ничего из созданного накануне. Но агентов, выполняющих не столь интеллектуальные виды работ, вполне можно перезапускать, и делать это довольно часто — от единожды обученного продавца или сотрудника, обслуживающего клиентов, потребуется «удерживать» нужную информацию не более двадцати минут.