Автоматизированная обработка естественного языка

NLP: истоки
возникло в конце 60-х гг.
развивалось в рамках дисциплины «искусственный интеллект».
АОЕЯ — разработка методов, технологий и конкретных систем, обеспечивающих общение человека с ЭВМ на естественном или ограниченном естественном языке.

Проблема организации взаимодействия с компьютерными
Решение этой проблемы коммуникации шло по двум основным путям.
1 - адаптация языков программирования и операционных систем к конечному пользователю.
2 - разработка систем взаимодействия с ЭВМ на естественном языке или каком-то его ограниченном варианте.

NLP и ЛИНГВИСТИКА
Фонология (звуки речи)
Морфология (структура и форма слов ЕЯ)
Синтаксис (структура и функции предложений)
Семантика (смысл языковых высказываний)
Прагматика (значение высказываний)
Социолингвистика Психолингвистика
Лексикография (описание лексикона ЕЯ)
Прикладная лингвистика

NLP: МАТЕМАТИКА и ИНФОРМАТИКА
Математическая лингвистика
Квантитативная лингвистика (изучение языка/речи количественными методами)
Теория формальных языков и грамматик – возникла из порождающих грамматик Н.Хомского (50-е гг.), для анализа синтаксических структур ЕЯ
Теория алгоритмов
Информатика ( Computer Science )

NLP и ИСКУССТВЕННЫЙ ИНТЕЛЕКТ
Междисциплинарный характер области ИИ: составная часть Computer Science , пересечение (по задачам и методам) с АОТ
Задача ИИ – компьютерное моделирование интеллектуальных функций
Первая известная программа ИИ по обработке ЕЯ – Система Т. Винограда (70-е годы);
Пример диалога : Pick up a big red block. (человек) OK (машина) Is there a large block behind a pyramid? Yes, Three of them. Grasp the pyramid. I don’t understand, which pyramid you mean

ОСОБЕННОСТИ ЕЯ
ЕЯ – сложная система знаков, возникшая для обмена информацией в процессе человеческой деятельности и постоянно изменяющаяся вместе с ней
Две стороны знака: означаемое – означающее
Сложности ЕЯ
комбинаторная система яз. знаков
многоуровневость системы ЕЯ
каждый уровень (подсистема) – правила сочетания знаков
взаимосвязь уровней
Разнообразие языков и языковые универсалии

ОСОБЕННОСТИ ЕЯ: УРОВНИ
Фонологический: звуки ( фонемы )/ буквы – незначащие единицы , средство различения др. единиц
Морфологический – слова ( словоформы )
подуровень морфем
Синтаксический – предложения (фразы) ЕЯ
подуровень словосочетаний
надуровень сверхфразовых единств ( ≈ абзацев) – предложений, объединяющихся по смыслу
⇒ возможность построить практически бесконечное число высказываний (смыслов)

ДОПОЛНИТЕЛЬНЫЕ УРОВНИ ЕЯ:
Семантический : набор элементарных единиц – сем
Лексический : множество лексем (лексикон)
Дискурсивный (уровень связного текста): схематические структуры текстов (патентные формулы, деловые письма и т.п.)

⇒ невозможность единожды создать лингв. процессор
Сложность системы ЕЯ
Взаимосвязь всех уровней
Нестандартная сочетаемость (синтактика) единиц ЕЯ на всех уровнях
Большая системность (число уровней)
Асиметрия связи единиц и выражаемых ими смыслов: полисемия, синонимия, омонимия

Сложность ЕЯ ⇒МОДУЛЬНОСТЬ ЛИНГВ. ПРОЦЕСОРОВ
Графематический анализ
Морфологический анализ
Постморфологический анализ: разрешение морфологической омонимии
Предсинтаксис: сегментация текста на предложения
Синтаксический анализ предложений
Семантический и прагматический анализ

Архитектура систем NLP
блок анализа речевого сообщения пользователя,
блок интерпретации сообщения,
блок порождения смысла ответа,
блок синтеза поверхностной структуры высказывания,
диалоговый компонент

Блок анализа
морфологический анализ словоформ
синтаксический и семантический анализ предложений.

Блок порождения смысла
определение информации, которую следует передать пользователю,
предполагаемое членение информации на «порции», соответствующие предложению;
определение последовательности «порций» смысла;
построение семантического представления отдельных предложений

Блок синтеза поверхностной структуры высказывания
упаковка семантического представления высказывания в синтаксические структуры предложения.
Здесь играют существенную роль категории коммуникативной организации смысла высказывания — тема, рема, данное, новое

Современные речевые технологии
Распознавание речи
Синтез речи по тексту
Выделение ключевых слов в слитной речи

ПРИКЛАДНЫЕ ЗАДАЧИ NLP
Определение языка сообщений
Идентификация диктора
Определение эмоционального и физического состояния человека по его голосу.
Шумоочистка
Разделение дикторов
Music Spotting

Siri
англ. Speech Interpretation and Recognition Interface
персональный помощник и вопросно-ответная система, адаптированная для iPhone OS.
использует обработку естественной речи, чтобы отвечать на вопросы и давать рекомендации
приспосабливается к каждому пользователю индивидуально, изучая его предпочтения в течение долгого времени.