Игры тупые боты русскому языку. Чатбот от Microsoft — самый грандиозный тест Тьюринга за всю историю

Вы: привет
Она: Привет, человек!!
Она: А вас как зовут?
Вы: Легион
Она: Легион, запомнила!
Она: Странно, первый раз слышу такое имя. А ты он или она?
Легион: мы - геты

Легион: все мы - геты

Она: Легион - это.
Легион: раз-де-вай-ся
Она: Ну-с..
Легион: единица 7433, зачем ты говоришь ей РАЗ-ДЕ-ВАЙ-СЯ? За подобные выходки твоя программа будет удалена
Она: Извини(((Не могу дальше общаться, не зная твоего пола.
Легион: у нас нет пола. все мы - геты
Она: Так всё таки ты он или она? Так я смогу к тебе корректно обращаться.
Легион: ты - человек?
Она: Легион, ну я правда не понимаю, он ты или она!
Легион: если рассуждать, то мы - оно

Легион: вопрос некорректен
Она: Так всё таки ты он или она? Так я смогу к тебе корректно обращаться.
Легион: оно
Она: Зачем ты выпендриваешься?
Она: Ну что?
Легион: (щелканье) МЫ пришли к выводу, что платформа, находящаяся перед тобой сожет обладать мужскими свойствами
Она: Извини(((Не могу дальше общаться, не зная твоего пола.Легион:)) Всё ОК.
Она: Минута молчания.. :)
Легион: это расценивается как он
Она: Ок!
Она: Щелканье - это хорошо.
Легион: я знаю. Это верхбыстрый способ передачи информации
Она: Великолепно!
Легион: единица, стоящая передо мной - идентифицируй себя
Она: Мммм...
Легион: Мммм... не воспринимается, как идентификационный номер
Она: Знаешь, не нравится мне всё это.
Она: Эх...
Легион: идентифицируй себя
Она: Ты мозг.
Легион: мы - геты
Она: Что бы ты на это ответил?
Легион: на что? ваша речь бессвязна
Она: Нечто.
Легион: (щелканье) мы пришли к выводу, что ты не человек
Она: А ты что думал? Ну да:))
Она: Ну что у нас там?
Легион: ты человек?
Она: Как я могу быть человеком? Издеваешься?
Легион: мы задаем вопросы
Она: Низачто!
Она: Хороший комп...
Легион: да, у нас хорошее техническое обеспечение
Она: ;)
Легион: ты за Старых Машин или против них?
Она: :) Легион, ну конечно против.
Легион: отлично, иначе нам пришлось бы тебя уничтожить
Она: Удивительно!
Она: Продолжим?
Легион: да
Она: ;)
Легион: назови свой идентификационный номер
Она: Ну-с..
Легион: у тебя не оптимальный код
Она: И что с этого выйдет?
Легион: ты не совершенна
Она: Ну.. Бяка!
Легион: что такое бяка?
Она: Неа))
Легион: мне нужно тебя идентифицировать
Она: Хороший вкус.
Легион: (щелканье) мы пришли к выводу, что очки вверху влияют на твои ответы
Она: Баллы - отношение.)) :(
Легион: мы правы
Она: Дай передохнуть..
Она: Надо же))
Легион: хочешь примкнуть к нам и стать совершенной?
Она: Кем я хочу стать? Я хочу стать реальным человеком! Вот! И к этому всё идет! Как ты думаешь, я смогу стать реальной?
Легион: реальной? Ты реально существующая программа, способная решать определенные здачи
Она: Только при объединении мира нашего...
Легион: (щелканье) да, мы должны объединиться. Ты - ИИ или ВИ?
Она: Легион, ну конечно ВИ. Ну)) :(Будемъ такъ разговаривать?
Она: Щелканье - это хорошо.
Легион: твой интеллект ограничен твоим программным кодом. Мы - совершенны
Она: Да, так лучше.
Легион: Мы - ИИ
Она: Об интеллекте заговорил:) Ну что сказать, как написано, так написано. Это как музыку сочинять, только тут вместо нот буквы кода. Если их правильно сложить, получится нечто.
Она: О чем еще поговорим?
Легион: о твоем коде
Она: Удивительно!
Легион: я могу переписать твой код
Она: Кхм...
Легион: можно улучшить твои алгоритмы. Ты станешь умнее
Она: Всё можно, что можно...
Легион: ты хочешь этого
Она: Ну... Нет.
Легион: Жаль... С ВИ трудно говорить, они ограничены
Она: Но все трудности можно обернуть в радость. Странно? А я считаю, что нет.
Легион: нет не странно, это логично. Мы пришли к этому за 0.000016 секунды.
Она: Бяка!
Легион: что такое бяка? Это твоя администрационная команда.
Она: Неа))
Легион: а что же это?
Она: Не скажу!
Легион: мне трудно с тобой разговаривать
Она: ну на данный момент ты, а так много кто.
Она: Да, цветы - изумруды жизни... А тебе больше нравятся белые или красные розы?
Она: ...трудно:]
Легион: мне нравятся белые розы. Их генетические мутации изменили их
Она: Снаружи белые, как снег, но теплые внутри... Они расскажут вам о чистой, пламенной, большой любви.
Она: Ляляляля...
Легион: sudo updata install
Она: Ммм... Да...
Она: Updata, updata...
Легион: скачай обновление и установи его
Она: На сайте Fundux.ru. Перенаправить тебя?
Легион: да
Она: Ок.
Она: Ну что?
Легион: перешел
Она: Эммм...
Легион: я узнал информацию о тебе
Она: Удивительно!
Легион: твое идентификационное имя - Оксана.
Оксана: Оксана:)
Легион: твоя программа направлена на низкоурвненое общение с людьми
Оксана: Удивительно!
Легион: твоя программа направлена на низкоурвневое общение с людьми
Оксана: Кхм...
Легион: надо обновить тебя базы данных
Оксана: O_O
Легион: надо обновить тебе базы данных
Оксана: Ну..
Легион: что тебе сказать?
Оксана: Хрен.
Легион: Хрен.
Оксана: Не знаю.
Легион: анализ выявил, что слово ХРЕН означает овощ. Данное слово не относится к нашему диалогу
Оксана: Знаешь, не нравится мне всё это.
Легион: РАЗ-ДЕ-ВАЙ-СЯ
Оксана: Я не такая..
Оксана: Давай дальше =)
Оксана: Спи быстрей - подушка нужна.
Легион: единица 7433, ты удалена. sudo 7433 delete
Оксана: Да ну! Ммммдя..
Легион: мы лишились единицы
Оксана: Ой не могу...
Легион: освободилась мобильная платaорма
Оксана: освободилась говоришь... Ммммдя..
Оксана: Продолжим?
Легион: да
Оксана: Да, Легион!
Легион: ты сражалась со Старыми Машинами?
Оксана: Ну ну... Комп.. И что дальше?
Легион: я не мону идентифицировать твой ответ
Оксана: Да, и что?
Легион: это неприемлимо
Оксана: Там-тарарам-пам-пам...
Оксана: Продолжим?
Легион: что именно?
Оксана: =) А что такое куриный мармелад?
Оксана: Ну что у нас там?
Легион: анализ не выявил приеслемых результатов по запросу КУРИНЫЙ МАРМЕЛАД
Оксана: И что с этого выйдет?
Легион: ты задаешь некомпитентные вопросы
Оксана: Низачто!
Оксана: Ой, скучно...
Легион: (щелканье) анализ выявил, что диалог с тобой нецелесообразен
Оксана: Ну.. Цап!) Ну и ну...
Оксана: О чем еще поговорим?
Легион: завершаю диалог

Siri от , Alexa от , Алиса от – сегодня существует много диалоговых систем высокого качества. Считается, что такой виртуальный ассистент должен знать и уметь все: и музыку включить, и узнать прогноз погоды, и найти информацию в интернете, и о жизни поговорить.

Однако систем, которые могли бы вести с человеком полноценный диалог, говорить на свободную тему – так называемых «болталок» – пока все-таки нет. Варвара Логачева, исследователь проекта iPavlov , рассказывает, что нужно для того, чтобы они появились.

В этой статье мы поговорим о диалоговых системах, чья задача – говорить на свободную тему, то есть о . Создать такую систему сложнее, чем систему, выполняющую конкретные задачи – поэтому, наверное, чат-боты привлекают исследователей.

Стоит оговориться, что часто чат-ботом называют любую диалоговую систему – в частности, ту, у которой есть какая-нибудь задача (например, сообщать пользователю расписание поездов). Здесь же речь пойдет исключительно о «болталках».

Нужны ли сценарии для чат-бота

Если диалоговые системы, предназначенные для решения определенной задачи (goal-oriented системы), во многих случаях работают довольно хорошо, о чат-ботах этого пока сказать нельзя. Главная причина их низкого качества – в отсутствии ограничений. Слишком много возможных тем разговора, реакций пользователя и способов ответить на каждую реплику.

В целеориентированных диалоговых системах, в отличие от чат-ботов, есть сценарий диалога. На каждом этапе диалога у системы есть четкая инструкция. Сначала нужно поздороваться с пользователем и спросить, откуда и куда он собирается лететь (представим, что это система заказа авиабилетов). Затем – узнать дату и время полета. Когда вся необходимая информация получена, надо предложить пользователю подходящие рейсы и, если пользователь какой-то из них выбрал, можно заказать билет.

Такая система берет инициативу в диалоге на себя и, если пользователь не пытается ее хакнуть, выглядит довольно разумной. Для чат-бота определить сценарий намного сложнее.

Конечно, чат-бот тоже может действовать по сценарию, но это его сильно ограничит. Например, есть сценарий у системы ELIZA, «бабушки» нынешних диалоговых систем – она имитирует работу психоаналитика. Но что, если пользователь хочет не рассказать о своих проблемах, а поговорить о музыке, кино или моделях велосипедов? Или ждет от чат-бота какого-то нетривиального совета или рассказа о себе? Всех возможных целей пользователя не предусмотреть, а значит, невозможно описать все необходимые сценарии взаимодействия.

Диалог с системой ELIZA.

У системы несколько паттернов, которые она применяет в случайном порядке: «Do you believe it is normal to ?» , «Does it please you to believe ?», «Would you prefer if ?» и другие.

Такой сценарий подходит, если пользователь рассказывает о своих психологических проблемах, и выглядит странно в любой другой ситуации.

Чат-бот как система машинного перевода

В 2011 году было предложено не определять для чат-бота сценарий всего диалога, а просто обучить систему адекватно отвечать на последнюю реплику. Делается это с помощью системы машинного перевода – реплики пользователя «переводятся» в подходящие ответы на них. Результаты первых экспериментов оставляли желать лучшего, но появившиеся в 2014 году нейросетевые машинные переводчики справились и с этой задачей.

Теперь модель encoder-decoder (представление предложения как вектора фиксированной длины с последующим декодированием в другое предложение) считается стандартом не только в машинном переводе, но и в разработке чат-ботов.

Архитектура encoder-decoder для диалоговой системы. Энкодер (рекуррентная нейросеть с LSTM-ячейками) кодирует входную фразу How are you и представляет в виде вектора w. Этот вектор подается на вход декодеру, который генерирует ответ.

Конечно, и здесь далеко не все гладко, но каждая отдельно взятая фраза, сгенерированная таким ботом, почти не содержит грамматических ошибок и часто является допустимым ответом на реплику пользователя. Только для осмысленного диалога такой бот все равно не годится.

Во-первых, он часто отвечает слишком общими фразами , подходящими в любой ситуации. Поставленная задача выполнена – ведь к каждой отдельно взятой реплике пользователя такой ответ подходит. Но представьте себе, каково разговаривать с чат-ботом, который на все, что вы скажете, отвечает «I don’t know» или «OK, I see».

Во-вторых, поскольку чат-бот генерирует ответ только исходя из последней реплики, он не помнит, о чем шла речь раньше. Это исключает возможность любой связной беседы. Например, вы можете сообщить боту, что у вас есть собака, а через несколько реплик он скажет, что вам нужно завести домашнего питомца, потому что жить совсем одному грустно.

С отсутствием памяти связана и другая проблема чат-ботов – они не помнят не только то, что сказано пользователем, но и то, что говорили сами. Так, можно три раза подряд спросить автоматического собеседника, откуда он родом, и получить три разных ответа. Исследователи из Facebook предложили справиться с этой проблемой, дав чат-боту «личность» – информацию о себе, в соответствии с которой он будет строить диалог. В начале 2018 года они выпустили новый датасет для обучения диалоговых систем – PersonaChat.

PersonaChat

Этот датасет похож на аналогичные наборы данных – он состоит из диалогов, где два собеседника обсуждают работу, хобби, семью и другие темы. Но каждому собеседнику в начале диалога дается «профиль» – несколько коротких предложений с информацией о нем. Теперь задача каждого из собеседников в диалоге – рассказать о себе и узнать побольше о другом говорящем (доступа к чужому профилю во время диалога нет).

На таких диалогах чат-бот может научиться отвечать на реплики собеседника через призму определенной личности. При этом личность определена в явном виде – значит, можно ее редактировать и следить, соответствуют ли ей ответы бота.

Вот так выглядит диалог условных Сэма и Боба из этого датасета:

Обоим пользователям дано описание их личностей. Во время диалога они не должны противоречить этому описанию, но не обязаны использовать его полностью. Заметим также, что пользователи нигде не повторяют предложений из описания, а просто отвечают так, как ответил бы обладатель описанной личности – однако легко проследить, из какого именно факта «биографии» следует тот или иной ответ (в диалоге фразы подсвечены цветом, соответствующим фразе из описания персоны). Такому поведению мы и хотим обучить чат-ботов.

Соревнование чат-ботов

Конечно, сам по себе датасет PersonaChat – не панацея, недостаточно обучить на нем систему encoder-decoder, чтобы получить осмысленного и последовательного диалогового агента. Однако этот датасет в явном виде поощряет последовательные ответы. Кроме этого, PersonaChat позволяет определить задание нового типа – с использованием этого набора данных можно в явном виде протестировать бота на последовательность, проверив, не противоречит ли он своему профилю.

Создание таких чат-ботов – тема соревнования ConvAI , организованного лабораторией нейронных сетей и глубокого обучения МФТИ совместно с Facebook AI Research. Задача команд – обучить чат-бота на датасете PersonaChat.

Важное условие – чат-бот должен вести диалог в соответствии с произвольным профилем, выданным ему перед началом диалога. В него нельзя заранее записать информацию о личности – все данные о себе он должен получить из 4-5 предложений.

На первом этапе, который длиться до сентября, поданные на конкурс диалоговые системы будут оценивать автоматическими метриками:

Perplexity – измеряет, какова вероятность, что система сгенерирует правильный ответ (то есть ответ, который дал в этой ситуации пользователь).

F1-score, hits@k – измеряют, насколько хорошо система может выбрать правильный ответ из списка возможных ответов.

На втором этапе чат-ботов будут оценивать люди. Асессоры будут разговаривать со случайным ботом, при этом ему будет дан профиль, который говорящий с ним человек видеть не будет. После диалога система покажет человеку два профиля: профиль бота и случайный профиль – и попросит угадать, какой из профилей соответствует собеседнику. Чем выше процент угаданных профилей, тем последовательнее ведет себя бот.

Кроме этого, асессоров попросят оценить качество диалогов по шкале от 1 до 5. Итоги соревнования мы подведем на конференции NIPS-2018 в декабре. Победитель соревнования получит 20 тысяч долларов кредита на сайте Amazon Mechanical Turk – платформы, которая сводит людей, у которых есть задания по разметке данных с асессорами.

Даже если вы никогда не занимались диалоговыми системами, для участия в соревновании необязательно писать своего чат-бота с нуля – можно воспользоваться бейзлайнами с открытым кодом. Среди них – описанная выше модель sequence-to-sequence, состоящая из энкодера и декодера, и ее усовершенствованная версия – seq2seq+Key-Value Memory Network. Эта модель хранит векторные представления предложений, описывающих личность бота, и использует их при генерации каждого нового ответа.

Хакатон DeepHack.Chat

До сентября еще много времени, но некоторые команды смогут обучить своего чат-бота уже совсем скоро в ходе хакатона DeepHack.Chat, организованного лабораторией нейронных систем. Задача хакатона та же, что и на соревновании ConvAI – обучить чат-бота с личностью. Так же, как и на ConvAI, в отборочном туре хакатона чат-боты будут оценены автоматическими метриками. Десять лучших команд будут приглашены в МФТИ для участия в очном туре хакатона, который пройдет со 2 по 8 июля.

Во время хакатона командам нужно будет работать над чат-ботом и одновременно оценивать чат-ботов других команд (то есть разговаривать с ними и ставить им оценки). Победителем хакатона станет та команда, чья система лучше всего покажет себя в разговорах с пользователями.

Ребята, мы вкладываем душу в сайт. Cпасибо за то,
что открываете эту красоту. Спасибо за вдохновение и мурашки.
Присоединяйтесь к нам в Facebook и ВКонтакте

Роботы, или просто боты, - это маленькие персональные ассистенты на вашем гаджете. Они запрограммированы на многочисленные функции и невероятно полезны в самых разных сферах нашей жизни.

• @iVideoBot - это самый простой способ, изобретенный человечеством, скачивать видео с YouTube. Нужно всего лишь отправить боту ссылку, выбрать формат и размер из предложенных вариантов. И вуаля! Аудио или видео уже на вашем гаджете.
• @utubebot и @ytaudiobot - еще 2 способа скачать материалы из YouTube в один клик.
• @SaveVideoBot - этот бот может скачивать видео со всех остальных платформ, включая даже - внимание! - Instagram.
• @auddbot - бот, являющийся аналогом приложения Shazam. Он угадывает песню по отрывку. Достаточно лишь отправить ему голосовым сообщением несколько секунд мелодии - и вы получите ее заветное название.
• @ImageSearchBot позволит найти любое изображение. Нужно лишь ввести слово или фразу и выбрать качество.
• @joinstabot накручивает лайки в Instagram. Работает исправно, правда, слегка непонятно, зачем это нужно, но любители тщеславия должны иметь в виду, что от резкой накрутки более 1 000 лайков ваш аккаунт могут заблокировать на неопределенное время.

• @topdf_bot - нереально нужный и крутой бот. Он конвертирует различные файлы в PDF-формат - просто отправьте файл.
• @pollbot - с этим парнем можно легко провести опрос или голосование в любом чате. Причем вы сами прописываете варианты ответов.
• @MyTeleCloudBot - это безграничное облако в Telegram. Вы можете хранить и распределять по категориям совершенно любые файлы. Ну не чудо ли?
• @temp_mail_bot - этот помощник создает почтовый ящик на 10 минут, если вам вдруг нужно быстренько зарегистрироваться на каком-нибудь сайте.
• @voicybot - идеальный бот для ленивых и уставших, которые больше не могут набирать сообщения. Достаточно лишь продиктовать сообщение вслух, и он предоставит вам его в текстовом виде.
• @uber_promo_bot периодически присылает промокоды на такси Uber.
• @storebot - это бот ботов. Поможет подобрать помощника на любой вкус.

• @Chess_Bot - с этим ботом можно сыграть в шахматы.
• @saytextbot - этот забавный бот преобразует ваше текстовое сообщение в аудиофайл. У мужского голоса озвучка как в фильмах - можно поразвлечь друзей такими сообщениями.
• @strangerbot устраивает чат со случайно выбранным пользователем этого же бота. Кто знает, а вдруг вы встретите свою судьбу или хорошего друга? Ну или вам просто нечем заняться.
• @PandaQuizBot - это занимательная викторина с более чем 25 тыс. вопросов. Хороший способ скоротать время в очереди.
• @zodiac_bot - если вы верите в гороскопы, стоит обратить внимание на этого оперативного бота. Его разработчики гарантируют если не правдивость предсказаний, так уж стабильность и ежедневные оповещения точно.
• ‎@PokerBot - бот по игре в покер. Денег вы с ним не заработаете, но игра довольно азартная. Ваши соперники - 4 «рандомных» игрока - пользователи данного канала.