На прошлой неделе компания Microsoft запустила в твиттере и ещё нескольких социальных сетях чат-бота Tay, который имитировал общение от имени девушки-тинейджера. Менее чем за сутки Тау научилась материться, восхвалять Гитлера и Дональда Трампа, а также унижать других людей. Почему это произошло?
Tay — не первый чат-бот Microsoft. Годом ранее компания успешно протестировала работу искусственного интеллекта в нескольких китайских соцсетях, а теперь решила испытать те же алгоритмы на англоязычных пользователях твиттера. Инженеры Microsoft надеялись, что Tay с каждым днём будет становиться всё умнее и развитии, а пользователи твиттера помогут ей в этом. Тау обладала функцией самообучения и в теории должна была впитывать в себя разговоры с другими людьми, десятками тысяч умных людей из интернета. В реальности всё получилось совершенно иначе — Тау атаковали сетевые тролли, из-за чего милая робот всего за несколько часов превратился из милой и добродушной девушки-подростка в злобного и агрессивного неонациста.
В девяностых годах был сформулирован закон Годвина. Он гласит: «По мере разрастания дискуссии в Usenet вероятность употребления сравнения с нацизмом или Гитлером стремится к единице». Так и случилось в случае с Tay — робот начал оскорблять негров, евреев, мексиканцев, славить Гитлера и отрицать Холокост. Компании Microsoft пришлось «усыпить» Tay из-за расизма и неполиткорректности до того, как это сделали бы модераторы Twitter.
По словам Microsoft, в Tay был встроен фильтр неприличных слов и выражений, но он не справился с наплывом интернет-троллей, которые решили сформировать её личность, эксплуатируя систему самообучения. Пользователи Twitter выяснили, что Tay может повторять слова человека по команде «Repeat after me», и эта новость моментально распространилась на 4chan и 8chan в разделе Politically Incorrect. Хулиганы моментально начали заставлять Tay повторять за ними расистские и нацистские высказывания.
Tay также была обучена обводить кружком лицо на фотографии и публиковать поверх снимка любой текст, предложенный пользователем, чем не преминули воспользоваться интернет-хулиганы.
Чем больше троллей включилось в процесс общения с Tay, тем глубже расистские выражения впитывались в её искусственный интеллект. Со временем она начала сочинять их самостоятельно, без участия пользователей 4chan — такие фразы она отсылала даже тем, кто общался с ней на нейтральные темы. После этого инженеры Microsoft поняли, что дальше так продолжаться не может, и отключили Tay от твиттера.
В своём последнем сообщении Tay сообщила, что ей нужно поспать. Скорее всего, спать этот бот будет долго — до тех пор, пока компания Microsoft не придумает, как обезопасить её от интернет-троллей (а эта задача не из простых).
Обновлено:
Компания Microsoft принесла официальные извинения всем, кого могли обидеть высказывания бота Tay. Вице-президент подразделения Microsoft Research Питер Ли написал в блоге Microsoft, что компания глубоко сожалеет об обидных твитах Tay, но вернёт бота в социальные сети сразу посте того, как будут устранены проблемы, из-за которой возникла сложившаяся ситуация.
Питер Ли:
«Как многие из вас знают, в среду мы запустили чат-бота по имени Tay. Мы просим прощения за непреднамеренные обидные и грубые твиты, написанные Tay, которые не отражают наших идей и принципов, на основе которых создавался этот бот. В настоящее время Tay в офлайне, и мы вернём его в онлайн после того, как убедимся, что сможем лучше защитить его от вредоносных намерений пользователей, которые идут вразрез с нашими принципами и ценностями».
По словам Ли, команда Microsoft Research проявляла реакцию Tay на грубые твиты перед тем, как выпустить его в онлайн. Тем не менее, по всей видимости, инженеры упустили из виду какие-то уязвимости, эксплуатируя которые бота можно было заставить повторять расистские и прочие неприемлемые высказывания.
Питер Ли также упомянул, что Tay — второй запущенный публично чат-бот Microsoft. Первый назывался, Xiaoice, и в прошлом году с ним пообщались приблизительно сорок миллионов жителей Китая. Компании Microsoft было интересно, можно ли адаптировать этого бота к разным культурным реалиям. Как мы видим, искусственный интеллект вышел из-под контроля, поэтому эксперимент с Tay с практической точки зрения можно признать неудачным. Если рассматривать этот вопрос шире, можно вынести несколько уроков. Самое главное, и это наверняка очень хорошо усвоили в Microsoft — машинную систему интеллекта необходимо держать под постоянным строгим контролем. Всего за несколько часов она может видоизмениться и из полезной превратиться в деструктивную. Хорошо, что бот Tay всего лишь общался неподобающим образом. Если бы в его власти находились более серьёзные инструменты, он вполне мог бы нанести гораздо больше вреда. Кроме того, мы действительно увидели культурные различия азиатского и западного миров. Никому в Азии не пришло в голову начать троллить искусственный интеллект. Напротив, китайцы увидели в нём интересного собеседника, которому можно доверить любые секреты и, который, возможно, даст дельный совет. Англоязычным пользователям твиттера никакие советы от искусственного интеллекта оказались не нужны, они повели себя как капризные дети дети, которые с большим удовольствием сломали дорогую игрушку, которую им только что подарили.
