Робот-помощник Ашманова на русскоязычном тесте Тьюринга. Технология Инфов

Привет, Хабр!

Сперва кратко анонсируем июньский Тест Тьюринга, а потом расскажем о технологии инфов и нашей команде на этом конкурсе.

Давно не было каких-либо упоминаний и активностей с тегом #turingtest. Сегодня мы разбавим это молчание своим постом.

Что происходит. О конкурсе

Сразу скажем, что регистрация на конкурс — до вечера 30 апреля (т.е., сегодня). Если думаете поучаствовать — не тяните с регистрацией, а то пролетите.
Зарегистрироваться можно тут: turingtest.inf.net

А теперь подробно о конкурсе

Skolkovo Robotics Center, Фонд Сколково и Наносемантика организуют масштабный тест виртуальных общающихся роботов в рамках третьей конференции Startup Village.

Конференция пройдет 2-3 июня. Startup Village — единственная конференция подобного масштаба в России, проводится уже третий год. Самая главная цель мероприятия – это общение основателей стартапов с успешными предпринимателями, крупными промышленниками, инвесторами, чиновниками и друг с другом! Все будет проходить прямо под открытым небом и на месте будущего города Сколково, поэтому каждый участник может воочию увидеть, как строится первый инновационный центр в России.

Состязание будет проходить в форме теста Тьюринга. Названный именем одного из пионеров искусственного интеллекта — английского математика Алана Тьюринга, тест определяет способность робота адекватно вести диалог с человеком. Тест считается пройденным, если независимый судья в процессе параллельного и анонимного общения с роботом и человеком не сможет определить кто есть кто.

Предстоящий конкурс станет едва ли не первым масштабным тестом Тьюринга для виртуальных роботов, говорящих на русском языке. При этом он не воспроизводит тест Тьюринга в его классическом виде. Сохранив главный принцип, организаторы несколько скорректировали правила. Сделали они это для того, чтобы дать возможность поучаствовать в конкурсе не только профессиональным командам разработчиков, но и всем, кто проявляет интерес к технологиям искусственного интеллекта.

Этот конкурс – это состязание говорящих виртуальных роботов. Общаться с ними нужно будет по чату, отсюда их другое название – «чатботы». Но нам, если честно, больше нравится третье название – «инфы». Им мы посвятим отдельный раздел ниже. В конкурсе инфы будут состязаться за звание самого человекоподобного. Победителем станет тот, который сумеет в разговоре лучше остальных подражать обычному человеку и, если получится, ввести в заблуждение независимых судей.

Задача организаторов – показать, что технологии искусственного разума доступны уже не только за рубежом, но и у нас. И что на русском языке робот тоже может общаться не хуже человека, а значит способен пройти тест Тьюринга.

В финале конкурса предварительно отобранные роботы и приглашенные волонтеры будут вести диалог с независимыми судьями, которые должны будут определить, кто из их собеседников человек, а кто – робот.

Приглашаются для участия:

• студенты технических специальностей;
• студенты гуманитарных специальностей: лингвисты, психологи;
• все энтузиасты искусственного интеллекта.

Конкурс будет проходить в 4 этапа:

• 16 марта — 30 апреля – регистрация участников;
• 1 апреля — 20 мая – создание виртуальных роботов;
• 21-27 мая – голосование экспертов за финалистов;
• 2-4 июня – финал конкурса и объявление победителя.

А судьи кто?

Экспертный совет
Отбирает из всех созданных роботов 15 финалистов по нескольким показателям. Этот эксперимент вынесен на суд известным российским специалистам по искусственному интеллекту и робототехнике.

Состав экспертного совета:

• Игорь Ашманов (Ашманов и партнеры)
• Анна Власова (Наносемантика)
• Кирилл Зоркий (Наносемантика)
• Альберт Ефимов (Сколково).

Независимые судьи
Стать судьей может любой посетитель выставки Startup Village 2015. Все, что требуется от судьи, – это пообщаться 3 минуты сначала с одним собеседником, потом с другим, сказать, кто из них робот, и выставить ему балл от 0 до 10. Чем больше робот похож на собеседника-человека, тем выше балл.

Лекси: технология Инфов

Команда проекта Лекси тоже примет участие в мероприятии, но вне конкурса, поскольку мы являемся партнёрами Наносемантики.

Вкратце, в “Лекси” мы разрабатываем домашнее устройство, с которым можно взаимодействовать с помощью голоса: вы его спрашиваете о чём-нибудь, он вам отвечает (а-ля Jarvis или Саманта из “Her”). Лекси может получать информацию из интернета, управлять бытовой техникой, сообщать новости из социальных сетей.

Основные элементы Лекси — это:

• распознавание речи (голос -> текст);
• виртуальный собеседник (текст -> текст);
• синтез речи (текст -> голос).

Так вот, виртуальный собеседник у нас представлен инфом от “Наносемантики”.

Инф – это виртуальный собеседник, т.е. программа, имитирующая человеческое общение. На реплики человека (текстовые) инф отвечает, следуя шаблонам, написанным на языке DL (Dialogue Language). Эти шаблоны – гибкий механизм, позволяющий описывать входные запросы в обобщённой форме.

Как правило, инфы устанавливаются на сайт и общаются с посетителями на естественном языке посредством текста, но у нас получилось использовать эту технологию в своем проекте, совместив ее с технологиями распознавания и синтеза речи, о которых мы позже напишем в отдельных статьях.

Что можно сказать про Наносемантику? За более чем десятилетний опыт компания добилась отличных результатов и превосходных характеристик виртуальных собеседников:

• инфы хорошо разговаривают;
• их часто путают с человеком;
• хорошая производительность движка.

Компанией был разработан публичный сервис www.iii.ru, где можно сделать своего собеседника. В общей сложности на данный момент создано порядка 3,5 миллиона инфов. Сотрудниками компании были проанализированы диалоги: довольно много людей разговаривают с роботами-собеседниками совершенно всерьёз.

Один из собеседников был встроен в ICQ. Он общался с любым желающим, пока его в ICQ не забанили за гигантский трафик. Были обнаружены интересные вещи. Там были сессии невероятной длины. Средняя сессия была несколько сотен реплик, а максимальная была 1600 реплик. Это значит, что в этом случае человек разговаривал 10-12 часов непрерывно. Так что при всей кажущейся простоте шаблонного подхода, людей инфы реально затягивали.

Из трудностей, с которыми мы столкнулись, самой значительной для нас оказалось то, что в нашем случае обучение инфа превращается в очень трудоёмкий процесс. Вкратце, мы сперва готовим диалоговую часть инфа. Затем мы на её основе готовим языковую модель, на которой обучается система распознавания. Причём, процесс подготовки языковой модели зачастую занимает больше времени, чем подготовка диалогов. Но об этом мы расскажем в статье о распознавании речи в нашем проекте.

Что наш инф умеет

• Распознавать письменный текст или звучащую речь;
• Выделять содержательные части текста и понимать общей смысл длинной цитаты;
• Определять тему текущей реплики и соотносить с темой диалога;
• Вычислять эмоциональную составляющую отдельной реплики и диалога в целом.

Чего мы добились. Ответы инфа

1. Осмысленны и выражены грамматически правильно;
2. Содержат информацию, которая нужна собеседнику-человеку;
3. Соответствуют коммуникативной ситуации;
4. Разнообразны по способу выражения;
5. Эмоционально окрашены.

Найдите Инфа. Пример диалога 1

Как вы уже могли понять, это инф для знакомств в сети. Так сказать, инф-пикапер. Он может играть роль обоих полов, используя агрессивную или спокойную тактики на выбор пользователя. Цель — договориться о встрече. Как только цель достигнута, управление передается в руки пользователя.

На основе него мы можем сделать инфа, который, например, будет договариваться с администраторами сообществ о размещении промо-постов. Или договариваться с ними о вступлении ими в информационное сообщество, материал которого они могут использовать в своих целях. Или можем сделать инфа, который будет заниматься обработкой вопросов из социальных сетей и выполнять функцию сотрудника технической поддержки.

Вообще спектр применения подобных инфов невероятно широк. Первое, что приходит на ум:

• для автоматической проверки знаний (сотрудников, школьников, студентов, соискателей на какую-либо должность и т.д.);
• в качестве автоматизированной службы поддержи пользователей;
• для диагностики (болезней, неисправностей и пр.);
• и т.д.

Если у Вас есть какие-либо предложения, пишите!

Пример диалога 2

Inf: Здравствуйте! Я много знаю про Yota. Если у вас есть вопросы, я постараюсь помочь.
User: будет йота в чехове?
Inf: Некоторые направления по основным магистралям и определенные города Московской области входят в план строительства сети в рамках покрытия Москвы. Сеть уже появилась в Люберцах, Балашихе, Раменском, на очереди другие населенные пункты Подмосковья. Проверьте нашу карту покрытия и, если по интересующему вас адресу покрытия еще нет, оставьте свою заявку. Как только покрытие там появится, мы вам сообщим.
User: если значек йота горит желтым что это значит?
Inf: Если в Yota Access выдается статус «Подключен с ограничениями», это значит, что нужно внести деньги на личный счет. В этом режиме работы устройства доступен наш сайт и Личный кабинет. После оплаты нужно войти в Личный кабинет и активировать устройство. Если устройство уже активировано, а статус не изменился, надо попробовать переподключить его к компьютеру.

На сайте мероприятия наши партнеры сделали демонстрационного робота. Он доступен в личном кабинете каждого участника. Ссылку на него вы найдете под вкладкой «Демонстрация».

Вы можете пообщаться с демо-инфом, чтобы наглядно увидеть виртуального собеседника в действии и получить от него ценные советы по обучению робота. Для этого надо войти в раздел «Тестирование».

А в разделе «Шаблоны» вы можете посмотреть, как сделаны шаблоны чатбота. Это поможет вам лучше понять, как правильно оформить шаблоны вашего инфа, чтобы он успешно и безошибочно поддерживал диалог.

О Евгении Густмане

В 2012 году на Тесте Тьюринга, приуроченном к 100-летию со дня рождения Алана Тьюринга, чатбот впервые победил. Подробнее вы можете прочитать на вики, там хорошо рассказано и об условиях конкурса, и о результатах Жени Густмана.
На конференции «Сколково Роботикс» нам удалось побеседовать с создателем Густмана — Владимиром Веселовым. Наша команда с ним давно знакома, очень приятный человек, живущий, к сожалению, далеко от нас (Веселов сейчас работает в Амазоне). Мы расспрашивали Владимира о том, как Жене удалось обвести жюри вокруг пальца, заставить часть из них поверить в реальность этого чатбота.
На удивление, звучит это всё довольно просто, но гениально.
Женя представлялся 13-летним мальчиком из Одессы. При этом жюри состояло из взрослых, для которых, само собой, существует барьер в понимании 13-летнего мальчика. Кроме того, Женя всем объяснял, что английский для него — не родной язык. Эти два момента объясняли человеку все ошибки и нестыковки ответов Густмана во время диалога.
В целом, Женя умел говорить всего на две темы: о том, откуда он родом, а также о том, что он любит. Разговор на любую тему он переводил на рассказ о себе — а о себе он мог рассказывать очень хорошо.
После победы на Тесте Тьюринга Женю купила компания iFree, но монетизировать проект не удалось, и они Женю заморозили.

В общем, эта история показательна, во-первых, тем, что для прохождения Теста Тьюринга могут сработать простые механики, а во-вторых, что Тест Тьюринга — это, прежде всего, спорт, и чатбот для него создаётся чисто под задачу прохождения теста, а не для реальных применений в решении реальных задач.

В общем, дерзайте, увидимся на первом русскоязычном Тесте Тьюринга!

P.S. Мы знаем, что есть и другие подходы к созданию диалоговых систем. Если вы знаете, как это решать лучше (на ваш взгляд), чем с помощью инфов, напишите, подискутируем и обсудим. Например, недавний пост — очень интересная и забавная идея.

This entry passed through the Full-Text RSS service - if this is your content and you're reading it on someone else's site, please read the FAQ at http://ift.tt/jcXqJW.