Как Яндекс использует лингвистику в поиске

сегодня в 16:43

Яндексу ежедневно приходится отвечать на десятки миллионов запросов. Поисковая система должна уметь быстро и точно их обрабатывать. Без применения лингвистики поисковая система сможет найти только точные совпадения в проиндексированных документах. Чтобы найти релевантные документы, системе необходимо правильно определить язык запроса, исправить опечатки, произвести морфологический разбор каждого слова, расширить запрос синонимами или вообще его переформулировать. В этой лекции Алексей Зобнин постарался дать студентам Малого ШАДа ответы на следующие вопросы:

• Зачем нужно учитывать морфологию?

• Как и зачем мы определяем язык запроса и документа?

• Что такое корпус Языка?

• Что такое языковые модели, и как они применяются в поиске?

• Как производится морфологический анализ несловарных слов?

• Как определить правильное значение и морфологическую парадигму омонимов?

• Какие бывают опечатки, и как мы их исправляем?

• Что такое расширения запроса и чем они могут быть полезны?

Изначально лекция рассчитана на старшеклассников, но и взрослые смогут почерпнуть из нее много полезного.

Презентацию можно скачать здесь.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

This entry passed through the Full-Text RSS service — if this is your content and you're reading it on someone else's site, please read the FAQ at fivefilters.org/content-only/faq.php#publishers. Five Filters recommends:

• Massacres That Matter - Part 1 - 'Responsibility To Protect' In Egypt, Libya And Syria


• Massacres That Matter - Part 2 - The Media Response On Egypt, Libya And Syria


• National demonstration: No attack on Syria - Saturday 31 August, 12 noon, Temple Place, London, UK