Компьютерный анализ естественно-языкового текста

Компьютерный анализ естественно-языкового текста
СТРУКТУРА КУРСА
Введение в дисциплину
Автоматический анализ текста на морфологическом уровне
Автоматический анализ текста на синтаксическом уровне
Семантический компонент в системах автоматического анализа текста

Компьютерный анализ естественно-языкового текста
СТРУКТУРА КУРСА
Автоматический анализ текста на морфологическом уровне
Морфологический уровень в ЛИТ
Основные понятия морфологии в компьютерной морфологии
Основные процедуры компьютерной морфологии
Компьютерная морфология русского языка
Технологии морфологического анализа
«Предсказание» (типизация)
Вопросы, смежные с синтаксисом

СТЕКОВЫЙ АВТОМАТ
Правила вида qi ai bi → qj Bj

КОНЕЧНЫЙ ПРЕОБРАЗОВАТЕЛЬ
Правила вида qi ai bi → qj
направление движения второй ленты

КОНЕЧНЫЙ ПРЕОБРАЗОВАТЕЛЬ
Правила вида qi ai bi → qj
читающая
головка
устройства
у
к
о
л
#
#
#
q
i
направление движения обеих лент

КОНЕЧНЫЙ ПРЕОБРАЗОВАТЕЛЬ: определение
Шестерка (Q, Σ, T, δ, q0, F):
Q – конечное множество (состояния)
Σ – конечное множество (входной алфавит)
T – конечное множество (выходной алфавит)
δ – отношение между Q x Σ x T и Q (правила)
q0 – элемент из Q (начальное состояние)
F – подмножество Q (заключительные состояния)

ФУНКЦИИ КОНЕЧНОГО ПРЕОБРАЗОВАТЕЛЯ
Распознавание (порождение) цепочек пар символов
Перекодирование (переход от записи на языке верхней ленты к записи на языке нижней ленты и наоборот)

КОНЕЧНЫЙ ПРЕОБРАЗОВАТЕЛЬ В ВИДЕ ДИАГРАММЫ
Что записать на второй ленте?

КОНЕЧНЫЙ ПРЕОБРАЗОВАТЕЛЬ В ВИДЕ ДИАГРАММЫ
К У К Л А + Им. + Ед.
Как расположить?

КОНЕЧНЫЙ ПРЕОБРАЗОВАТЕЛЬ В ВИДЕ ДИАГРАММЫ
Нельзя ли покомпактнее?
К
У
К
Л
Ø
А
Ø

КОНЕЧНЫЙ ПРЕОБРАЗОВАТЕЛЬ В ВИДЕ ДИАГРАММЫ
Записать в виде таблицы?

КОНЕЧНЫЙ ПРЕОБРАЗОВАТЕЛЬ В ВИДЕ ТАБЛИЦЫ

ФОРМАЛЬНО-ЛИНГВИСТИЧЕСКИЙ СМЫСЛ КОНЕЧНОГО ПРЕОБРАЗОВАТЕЛЯ
Конечный автомат – язык
Конечный преобразователь – отношение
Язык: L⊆ V*
Отношение: R⊆ Vв* x Vн*

ФОРМАЛЬНО-МАТЕМАТИЧЕСКИЙ СМЫСЛ КОНЕЧНОГО ПРЕОБРАЗОВАТЕЛЯ
Конечный автомат – регулярный язык
Конечный преобразователь – регулярное отношение
Язык: Результат всех возможных применений операций объединения, конкатенации, итерации символов алфавита и пустой цепочки