Информационные технологии в обработке текстов. Автоматическое чтение текста

Система автоматического чтения текста (OCR- система — Optical Character Recognition).
— это компьютерная программа, позволяющая преобразовать текст с бумажного носителя в электронный текстовый файл, который может быть прочитан средствами обработки текстов.

Сканер
Сканер
работает по принципу фотоаппарата, позволяя ПК «увидеть» текст. Для того чтобы «понять» его содержание, т.е. перевести графическое (точечное) изображение символов в пригодную для дальнейшей обработки (редактирования, реферирования, перевода и т.д.) текстовую форму, необходима система автоматического чтения текста

FineReader компании «ABBYY Software House»
CuneiForm фирмы «Congitive Technologies»
OCR- системы, созданные российскими разработчиками

возможности систем автоматического чтения текста огромны:

АВТОМАТИЧЕСКОЕ РЕФЕРИРОВАНИЕ И АННОТИРОВАНИЕ ТЕКСТА

Реферат — связный текст, который кратко выражает не только тему или предмет какого-либо документа, но и цель, применяемые методы, основные результаты описанного исследования или разработки.
Процесс составления реферата называется реферированием
Аннотация — краткое изложение содержания докумен­та, дающее общее представление о его теме.
Процесс составления аннотации называется аннотированием.

Реферирование и аннотирование текста являются довольно сложными и трудными видами интеллектуальной деятельности и занимают много времени.

Выход есть!!!

Автоматическое реферирование и аннотирование

текст делится на фрагменты (абзацы, аспекты и т.п.)., в нем выделяют основные смысловые единицы (пред­ложения, словосочетания, слова), составляется план аннотации (реферата)
референт определяет тематическую направленость текста и пытается понять и осмыслить документ в целом
выделенные ранее смысловые единицы (их комбинации или преобразования) располагаются в единый вторичный текст в соответствии с планом реферата или аннотации.
Этапы построения человеком реферата (аннотации)
Подготови-
тельный
Аналити
ческий
Построение аннотации (реферата)

Компьютер должен уметь выполнять те же действия, которые осуществляет человек:

Смысловые еденицы реферата:

Смысловые еденицы аннотации:

ключевым предложением считается предложение, входящее в заголовок, подзаголовок, начало или конец какой-то части текста или всего текста. и содержат информацию о целях, методах, выводах и результатах исследования. Важность тех или иных предложений с указанной точки зрения определяется экспертами путем изучения семантической структуры первичных документов определенного типа.
1) ключевыми словами считаются такие знаменательные слова текста, которые с учетом всех синонимов встречаются в тексте наибольшее число раз;
2) ключевым предложением считается предложение текста, которое:
а) имеет несколько ключевых слов;
б) содержит ключевые слова на небольшом расстоянии друг от друга.
опираются на исследование структуры и семантики текстов. Существует несколько вариантов этих методов, но цель их одна — выделить из конкретного текста предложения с наибольшим функциональным весом.
Методы автоматического реферирования
Статисти-
ческие
Позицион-
ные
Логико-
семантические