The origins of victory - Andrew F. Krepinevich

Напомним, что система ИИ самостоятельно определяет альтернативные варианты действий на основе своих знаний и понимания мира, себя, своей цели и контекста, в котором принимается решение. Следовательно, автономные системы должны реагировать на ситуации, которые не запрограммированы или не предвидятся, поскольку их цель - эффективно функционировать в широком диапазоне перспективных ситуаций, которые не могут быть предопределены. Очевидно, что действия, которые предпринимает система ИИ, также не могут быть предварительно проверены. Поэтому существует возможность быть удивленным - в лучшую или худшую сторону - действиями системы ИИ. Чем сложнее ситуации, которые предстоит решать автономным системам, тем меньше вероятность того, что их хозяева-люди смогут предсказать их действия или даже контролировать их.

Риски вряд ли можно назвать тривиальными. Хотя ИИ может сортировать массы данных быстрее, чем армии человеческих аналитиков, и находить закономерности, которые не смог бы выявить ни один человеческий разум, он также может совершать ошибки, на которые не способен ни один человеческий мозг, - явление, известное как «искусственная глупость». Проблема кроется в способе создания ИИ. Он не является продуктом построчного программирования; скорее, излюбленный метод заключается в подаче ему огромного количества данных, очищенных с помощью анализа больших данных. Эти данные используются для машинного обучения путем проб и ошибок и опыта. Однако при таком методе создателям ИИ очень трудно понять, как он обучается, или связь между решением системы ИИ и теми факторами, которые привели ее к такому решению. Рассмотрим, например, использование ИИ для создания автомобилей без водителя. Как многие из нас знают, когда автомобили с человеческим управлением ждут на светофоре, водители часто подаются вперед, пытаясь обогнать поток машин. Было обнаружено, что некоторые автомобили, управляемые ИИ, иногда присоединяются к ним, проезжая вперед на красный сигнал светофора, хотя в правилах вождения, предоставленных ИИ, нет ничего, что указывало бы на то, что он должен действовать подобным образом. ИИ научился такому поведению, но его создатели не знают, как и почему. Чтобы создать проблемы, не нужен злобный ИИ, достаточно иметь ИИ, который может преподнести несколько нежелательных сюрпризов. Чему учится ИИ, о чем он нам не "говорит"? Можем ли мы предвидеть неожиданные и нежелательные решения ИИ по мере его обучения?

Некоторые эксперименты с ИИ служат примерами этой слишком реальной проблемы. В одном эксперименте, напоминающем беглые метлы из "Ученика колдуна", прототип робота был запрограммирован на спуск складских ящиков по желобу. Камера наблюдения следила за его продвижением, чтобы робот мог быть деактивирован в случае необходимости. Однако робот научился блокировать камеру, чтобы продолжать выполнять свою работу - спускать коробки по желобу. В этом контексте последствия действий робота были относительно безобидными. Однако не нужно большого воображения, чтобы представить себе систему управления огнем с искусственным интеллектом, предназначенную для поражения приближающихся высокоскоростных ракет, а также для поражения приближающихся дружественных самолетов.

Аналитика больших данных будет играть важную роль в определении того, насколько интеллектуальным станет ИИ и как быстро это произойдет. Это связано с тем, что алгоритмы машинного обучения, составляющие основу ИИ, хороши лишь настолько, насколько хороши наборы данных, являющиеся сырьем для их обучения. Необработанные данные - это плохое питание для алгоритмов машинного обучения, особенно на начальном этапе их развития. Этим алгоритмам нужны хорошо маркированные данные, чтобы обеспечить базовый уровень истинности, с которым они могут сверять свои выводы. Видит ли видеозапись вражескую танковую колонну или линию ложных целей? На разведывательных фотографиях виден лагерь террористов или группа беженцев? Обнаруживают ли сигналы важную кодированную передачу или просто помехи? Слишком маленький набор данных, плохо обозначенный, содержащий неточности или испорченный злоумышленниками, может подорвать разработку эффективного ИИ. В таких случаях аналитика больших данных становится большой проблемой.

Хитрый враг попытается испортить набор данных, используемых для обучения ИИ. Поскольку получить достаточное количество хороших данных для машинного обучения зачастую непросто, многие наборы данных находятся в общем доступе, что сужает круг проблем для противника, пытающегося скомпрометировать их ценность. Еще большую тревогу вызывает тот факт, что вражеская военная или разведывательная организация, проникшая в базу данных, может быть способна скормить сопернику ложные данные в попытке "настроить" его ИИ на изучение "реальности", которую враг хочет, чтобы он знал.

Риски, связанные с несанкционированным поведением ИИ, могут быть особенно острыми в случаях, когда большое количество роботов управляется системой ИИ, работающей на централизованном сервере, или когда многие роботы управляются одинаковыми системами ИИ. В таких случаях, если ИИ получает одни и те же искаженные стимулы, это может привести к крупномасштабным одновременным поражениям дружественных сил. Например, успешная атака противника на дружественный сервер, на котором ИИ управляет автономными системами оружия, может вызвать катастрофические последствия несколькими способами. ИИ может отдать приказ о массированной атаке на дружественные силы или нанести удар по некомбатантам. Конечно, возможно, что, поскольку ИИ может предпринимать нежелательные действия, усилия противника по подрыву управляемых ИИ действий могут привести к обратному результату. Например, ИИ может начать атаки на вражеские цели, в результате которых дружественные силы предпримут действия, пересекающие "красные линии" противника, что приведет к непреднамеренной - и нежелательной с точки зрения противника - эскалации войны.

Если противнику удастся испортить данные, используемые для разработки ИИ, то диагностировать причины неправильного поведения системы ИИ будет особенно сложно. Это связано с тем, что внутренняя работа алгоритмов машинного обучения зачастую непрозрачна и непредсказуема даже для их разработчиков. Это вряд ли внушает военным организациям доверие при рассмотрении вопроса о передаче принятия решений о жизни и смерти от человека к «призраку в машине». Но учитывая очень сжатые временные рамки, связанные со многими операциями, такими как воздушная, противоракетная и кибернетическая оборона, давление, оказываемое на них, может оказаться непреодолимым, даже если люди, управляющие ИИ, могут не понять, что их системы вышли из строя, пока не произойдет катастрофа. Как ни странно, именно там, где поддержка ИИ нужна больше всего, она также создает наибольшие риски.

Резюме

Последние десятилетия стали свидетелями впечатляющих достижений в области искусственного интеллекта. Но как бы люди ни старались заставить искусственный интеллект работать на них, он обладает собственным разумом и способностью действовать во благо или во вред тому, что он узнал. Им не будет двигать чувство доброты или злобы. Он не будет испытывать удовлетворения или угрызений совести от своих действий, не будет уставать при выполнении задач, страдать от выгорания, звонить больным или вести переговоры об улучшении условий труда.

Если ИИ будет развиваться, он почти наверняка окажет значительное и потенциально