Охота на электроовец. Большая книга искусственного интеллекта - Сергей Сергеевич Марков
Шрифт:
Интервал:
Закладка:
К сожалению, при всей изящности нейросетевые модели в данном случае упираются в свои традиционные ограничения — потребность в больших объёмах данных и вычислительных ресурсах для обучения.
Ещё в 2016 г. Эндрю Ын в одном из интервью выразил скепсис в отношении «коммуникативных способностей» современных моделей глубокого обучения: «Большая часть пользы, которую приносит глубокое обучение, сегодня приходится на узкие области, в которых можно собрать много данных. Вот пример того, что оно не позволяет делать: вести содержательный диалог. Если специально отобрать [cherry-pick] некоторые демонстрационные разговоры, то может создаться впечатление осмысленного общения, однако, если вы попробуете вести беседу сами, она быстро пойдёт наперекосяк [quickly goes off the rails]»[2261].
На самом деле проблема с обучающими выборками для диалоговых моделей несколько отличается от проблемы с обучающими выборками для систем машинного перевода. Если в случае машинного перевода основная проблема заключается в банальной нехватке данных, то в случае диалоговых систем данных как будто достаточно: диалоги пользователей социальных сетей, диалоги персонажей книг и фильмов — всё это теоретически годится для обучения генеративных моделей. Однако на деле оказывается, что использование этих данных сопряжено с определёнными трудностями. Наборы реплик из фильмов привязаны к происходящему на экране, наборы диалогов из книг по своей стилистике нередко отличаются от современной разговорной речи, а использование диалоговых данных из соцсетей без предварительной редактуры чревато множеством конфузов. В этом отношении показателен опыт бота Tay (от акронима Thinking About You — думаю о тебе), запущенного Microsoft на платформе Twitter 23 марта 2016 г. Через некоторое время после запуска бот начал публиковать провокационные и оскорбительные твиты, в результате чего Microsoft отключила бота уже через 16 часов после запуска. По словам специалистов компании, проблема была вызвана атакой троллей, поскольку бот учился вести диалог, используя реплики пользователей, общавшихся с ним[2262]. На смену Tay пришла ботесса по имени Zo, отличительной чертой которой является подчёркнутая политкорректность[2263].
Действительно, корпоративные чат-боты по определению должны быть более воспитанными, чем среднестатистический пользователь «Твиттера»; кроме того, реплики бота должны быть непротиворечивыми, соответствовать сведениям о его персонаже. Но и такой осмысленности мало — вряд ли нас устроит, если бот будет постоянно менять суждения и вкусы, а такое множественное расстройство личности будет неизбежно, если обучать модель на репликах разных людей.
Всё это создаёт проблемы, решить которые не так уж просто. Однако непросто не значит невозможно, и подтверждением тому стало появление в 2020 г. сразу двух генеративных диалоговых моделей, выводящих качество диалоговых систем для открытой предметной области на совершенно новый уровень.
6.3.4.4 Перспективные диалоговые модели
Речь идёт о ботах Meena от Google[2264], [2265] и BlenderBot от Facebook[2266], [2267]. Они были созданы на границе десятилетий и во многом могут рассматриваться как прародители диалоговых систем, появившихся в последующие годы. В основе обеих моделей лежат архитектуры, построенные на многослойных трансформерах, причём в случае BlenderBot, как можно догадаться по его названию (blend означает «смешение»), используется ансамбль из генеративных моделей и моделей на основе поиска.
Чтобы оценить вычислительные затраты на обучение этих моделей, достаточно взглянуть на число их параметров. В нейронных сетях Meena и BlenderBot соответственно 2,6 и 9,4 млрд синаптических весов, что делает их одними из самых больших на данный момент среди всех моделей глубокого обучения.
В качестве обучающей выборки для Meena были использованы диалоги, собранные в соцсетях, общим объёмом в 341 Гб (40 млрд слов)[2268]. Сопоставимый по объёму датасет (около 237 Гб — 145,6 млрд 13-битных токенов) на основе бесед на платформе Reddit был использован создателями BlenderBot[2269].
Оценка качества ответов чат-ботов, предназначенных для открытой предметной области, на самом деле задача не совсем простая. Для начала нужно понять, какая цель стоит перед диалоговой моделью. Если мы говорим о модели, служащей частью виртуального ассистента, подобного Siri или «Алисе», то перед такой системой стоит сразу несколько задач.
Во-первых, виртуальный ассистент должен обладать набором полезных навыков, таких как способность сообщить информацию о погоде, выполнить поисковый запрос в интернете, произвести арифметические расчёты, включить музыку, рассчитать оптимальный маршрут на карте, сыграть с пользователем в какую-нибудь игру, забронировать столик в ресторане и так далее. Подобные навыки виртуального ассистента являются своеобразным аналогом приложений в вашем смартфоне, с той лишь разницей, что их интерфейс приспособлен к работе в диалоговом режиме. Нередко разработчики виртуальных ассистентов доверяют разработку некоторых навыков внешним подрядчикам, и за каждым из навыков может стоять отдельная диалоговая модель, предназначенная обычно для собственной ограниченной предметной области. Таким образом, предметные области навыков становятся подмножествами открытой предметной области ассистента. Последняя, однако, обычно не является механической комбинацией закрытых предметных областей его навыков.
Во-вторых, помимо наличия полезных навыков, современные виртуальные ассистенты обычно способны решать две другие важные задачи: отвечать на вопросы для открытой предметной области (Open Domain Question Answering, ODQA) и поддерживать разговор на произвольные темы, или, проще говоря, болтать (chitchat). ODQA обычно сводится к задаче соотнесения вопроса пользователя и некоторой словарной статьи (источником которой может быть, например, онлайн-словарь или энциклопедия) и традиционно решается при помощи моделей, основанных на поиске. Таким образом, в сухом остатке мы имеем одну бесспорную задачу виртуального ассистента, в которой может быть востребована генеративная диалоговая модель, и эта задача — болтовня. Самая легкомысленная, на первый взгляд, задача, с технологической точки зрения оказывается наиболее сложной. И именно для решения этой задачи предназначены такие «монстры», как Meena и BlenderBot.
Как оценить качество болтовни? Беседа с chitchat-моделью должна приносить пользователю удовольствие, и эта цель отнюдь не тождественная цели, которая стоит перед ботами, участвующими в соревнованиях, подобных AI Loebner. Виртуальному ассистенту вовсе не нужно выдавать себя за человека, напротив, такое его поведение будет весьма странным. Ассистент должен давать осмысленные ответы на вопросы пользователя. Однако этого критерия явно недостаточно. Например, фраза «я не знаю» будет осмысленным ответом на практически любой вопрос, но вряд ли такой ответ удовлетворит пользователя. Поэтому вторым важным качеством ответа следует считать его специфичность текущему контексту. Именно на оценке этих двух свойств ответа основана метрика SSA (Sensibleness and Specificity Average, Средняя осмысленность и специфичность), предложенная создателями бота Meena.
Создатели Meena использовали следующую методику расчёта SSA. На краудсорсинговой платформе люди-оценщики оценивали диалоги разговорных
