Как вы можете помнить, несколько дней назад компания Microsoft выпустила в соцсети чат-бота, который назывался Tay и имитировал живое общение с девушкой-тинейджеров. Эксперимент Microsoft пошёл насмарку, а виной тому — атака на Tay со стороны пользователей сайтов 4chan, 8chan и прочих примкнувших к ним троллей.
Компании Microsoft пришлось извиняться за то, что Tay писала в твиттере, и отключить этого бота до лучших времён — пока не будет найден способ оградить его от нападок интернет-хулиганов.
Сегодня Tay снова активизировалась в твиттере, правда, ненадолго, и её пребывание там снова оказалось неудачным. Tay принялась отправлять пользователям одно и то же сообщение — «You are too fast, please take a rest…» («Ты слишком быстрый, пожалуйста, отдохни»). Вероятно, отправка такого сообщения была запрограммирована на те случаи, когда пользователи начинали слишком активно общаться с Tay, и девушка-бот начала бы не справляться с составлением ответа каждому из них. Примечательно, что Tay в качестве получателя этого сообщения указывала и себя, что, вероятно, вызвало рекурсию — по сути бот общался сам с собой с помощью одной и той же фразы, но его сообщения видели и другие пользователи, упомянутые в твитах. Нужно отметить, что иногда Tay всё же писала и нормальные сообщения, но их в общем потоке этого спама было трудно найти.
По словам Microsoft, Tay появилась в сети случайно. Инженеры компании настраивали её и случайно нажали не на ту кнопку, из-за чего бот был снова выведен в Twitter. Как только они заметили это, Tay снова была отключена от интернета. Сейчас твиттер-аккаунт @TayandYou переведён в приватный режим, это означает, что написанные им твиты видны только его фолловерам. Тысячи твитов, написанные Tay за два дня тестирования искусственного интеллекта, были удалены, и сейчас бот ничего не пишет и не отвечает на полученные сообщения.
Компания Microsoft подверглась резкой критике в связи с запуском этого бота. Tay действительно писала что попало: интернет-тролли всего за несколько часов научили её ругаться матом, восхвалять Гитлера, Доналда Трампа и нацизм, а также унижать чернокожих, мексиканцев и феминисток. По какой-то причине инженеры Microsoft не предусмотрели в Tay фильтр, который бы избежал публикации оскорбительных и грубых сообщений — девушка-бот послушно повторяла всё, что ей пишут разные негодяи, а затем разбавляла неприемлемой лексикой и идеями свои собственные высказывания.
Конечно, обижаться на Tay было бы крайне глупо, ведь это искусственный интеллект, у которого нет своего собственного мнения и, тем более, намерений кого-нибудь обидеть. Точно так же глупо было бы обвинять Microsoft в прямой или косвенной поддержке идей нацизма и сексизма, особенно с учётом того, что генеральный директор этой компании Сатья Наделла — выходец из Индии и не обладает ни белым цветом кожи, ни арийской или хотя бы чисто американской, как у Дональда Трампа, внешностью. Тем не менее, нельзя не отметить, что компания Microsoft отнеслась к сообщениям Tay недостаточно внимательно — этот бот можно было и стоило бы отключить уже в первые минут после того, как он начал писать оскорбительные вещи. По какой-то причине инженеры Microsoft не стали этого делать и позволили Tay вести жутчайшую переписку с пользователями твиттера в течение нескольких часов.
Главе Microsoft Research Питеру Ли позже пришлось приносить извинения и сваливать ответственность за произошедшее на «скоординированную атаку»:
— К сожалению, в первые 24 часа пребывания в онлайне, на Tay была совершена скоординированная атака группы людей, которые эксплуатировали уязвимость в её системе. Хотя вы были готовы ко многим видам атак, мы не предусмотрели именно такую. В результате Tay начала публиковать в твиттере недопустимые слова и изображения.
Мы просим прощения за непреднамеренные обидные и грубые твиты, написанные Tay, которые не отражают наших идей и принципов, на основе которых создавался этот бот. В настоящее время Tay в офлайне, и мы вернём его в онлайн после того, как убедимся, что сможем лучше защитить его от вредоносных намерений пользователей, которые идут вразрез с нашими принципами и ценностями.
По словам Microsoft, в Tay был встроен фильтр неприличных слов и выражений, но он не справился с наплывом интернет-троллей, которые решили сформировать её личность, эксплуатируя систему самообучения. Пользователи Twitter выяснили, что Tay может повторять слова человека по команде «Repeat after me», и эта новость моментально распространилась на 4chan и 8chan в разделе Politically Incorrect. Хулиганы моментально начали заставлять Tay повторять за ними расистские и нацистские высказывания.
Tay также была обучена обводить кружком лицо на фотографии и публиковать поверх снимка любой текст, предложенный пользователем, чем не преминули воспользоваться интернет-хулиганы. Чем больше троллей включилось в процесс общения с Tay, тем глубже расистские выражения впитывались в её искусственный интеллект. Со временем она начала сочинять их самостоятельно, без участия пользователей 4chan — такие фразы она отсылала даже тем, кто общался с ней на нейтральные темы. После этого инженеры Microsoft поняли, что дальше так продолжаться не может, и отключили Tay от твиттера.
Tay — второй запущенный публично чат-бот Microsoft. Первый назывался Xiaoice, и в прошлом году с ним пообщались приблизительно сорок миллионов жителей Китая. Компании Microsoft было интересно, можно ли адаптировать этого бота к разным культурным реалиям. Как мы видим, искусственный интеллект вышел из-под контроля, поэтому эксперимент с Tay с практической точки зрения можно признать неудачным. Если рассматривать этот вопрос шире, можно вынести несколько уроков. Самое главное, и это наверняка очень хорошо усвоили в Microsoft — машинную систему интеллекта необходимо держать под постоянным строгим контролем.
