Автоматический поиск переводных словосочетаний

Цели и задачи
Задача:
Поиск переводных словосочетаний (словосочетаний и их переводов на другой язык) по корпусу выровненных параллельных текстов
Цели:
Разработка алгоритма получения словосочетаний (с учётом ряда специфических требований)
Получение статистических данных для улучшения работы синтаксического анализатора
Расширение переводного словаря

Дополнительные требования и исходные данные
Требования к получаемым словосочетаниям:
Синтаксическая связанность
Размер от 1 до 5 слов
Устойчивый перевод
Целостность (словосочетание не является частью другого, более полного словосочетания)
И т.д.
Исходные данные и внешние механизмы
Корпус выровненных параллельных текстов
Синтаксический анализатор
Механизм пословного сопоставления синтаксических структур

Схема алгоритма
Корпус параллельных синтаксических структур (размеченный параллельный корпус)
Генерация одноязычных словосочетаний
Пословное выравнивание синтаксический структур
Генерация переводных словосочетаний
Фильтрация и сортировка полученного результата

Фильтрация
Задача: убрать случайные словосочетания
Этапы фильтрации:
Предварительное удаление низкочастотных словосочетаний
Удаление вложенных/«внешних» словосочетаний
Разрешение неоднозначности перевода
Удаление известных (словарных) переводов
Финишная фильтрация по частоте
Сортировка результатов на новые словарные статьи и собственно переводные словосочетания