Kofax. Настраиваемые (обучаемые) локаторы для счет-фактуры. Извлечение по форматам и ключевым словам

Первый проект– Извлечение по форматам и ключевым словам
Мы создали основной класс, называемый счетами и некоторыми подклассами
Счета-фактуры могут быть отправлены несколькими тысячами поставщиков, и, возможно, вы не хотите иметь подкласс и локатор Advanced Zone Locator для каждого из этих счетов-фактур ...
Предположим, что мы хотим настроить проект более общим образом и извлечь значения для всех этих документов таким же образом
Помните, что мы не можем получить идеальные результаты
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Чтобы выполнить извлечение более «общим» способом (во многих разных формах), вам необходимо знать:
Какие значения вы хотите извлечь?
Какие ключевые слова необходимы?
Существует ли связь между значениями?
Вы уже знаете значения? (Можете ли вы использовать базу данных?)
Мы сделали несколько заметок ранее ...
Давайте рассмотрим наши текущие знания документов
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Invoice Number всегда содержит 9 цифр
Ключевое слово Invoice Number
Invoice Date всегда в формате:
MM/DD/YY
Ключевое слвоо:
Invoice Date
PONumber всегда содержит 8 цифр
Ключевое слово:
Purchase Order
Общая сумма всегда в формате US
Ключевое слово:
Invoice Total
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Notes:
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Invoice Numberвсегда 9 цифр
Ключевое словоFreight Bill Number
Invoice Date всегда в формате
MM/DD/YY
Ключевое слово:
Date
Можно найти под invoice number
PONumber иногда пустое, 6, 8 or 12 цифр или типа A5561I
Ключевое слово
P.O. NUMBER
Общая сумма всегда в формате US
Ключевое слово: Please pay this amount
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Notes:
Fedex: Poor Keyword for Invoice Date, but it is below Invoice number.
Keywords ORIGIN and DEST are always below Invoice Date.
PO Number can be empty
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Invoice Number is always
6 digits
and 2 chars
Keyword is Invoice Number
Total amount is always in
US Format
Keyword is
AMOUNT DUE
Invoice Date is always
MM/DD/YY
Keyword is
Invoice Date
PONumber is 8 digits
Keyword is
Customer PO NO
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Notes:
Fedex: Poor Keyword for Invoice Date, but it is below Invoice number
PO Number can be empty
Oki: Poor Keyword for Total Amount, because it has white text on a black background
Total Amount is always below Sales Taxes
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Основываясь на этих знаниях, мы можем создать некоторые «общие» локаторы для нашего проекта
Поскольку это общие знания, мы хотим создать их, привязанные к базовому классу «Счета-фактуры»
Каждый подкласс ниже Invoices наследует локаторы и поля из этого базового класса
Иногда базовые классы называются родительскими классами
Иногда подклассы называются дочерними классами
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
1) Добавьте новый локатор в свою систему и назовите FL_InvoiceNumber
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
2) Используйте Format Locator как Locator Method
3) Клик на свойства локатора
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
4) Добавьте к нему новое регулярное выражение
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
4) Введите регулярное выражение
5) Переключиться на Evaluation Settings
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
6) Введите ключевое слово
7) Выберете “Match all words as a phrase” если у вас есть пробел между вашими ключевыми словами, и если вы ожидаете, что они будут одной строкой
8) Добавьте в список
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
9) Введите второе ключевое
10) Добавьте в список
Список ключевых слов:
Включите ключевые для теста при необходимости
Просто кликните
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Теперь все ключевые в списке
11) Проверьте свои настройки на документе, который выбран в тестовых документах
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Результаты теста в свойствах локатора
Результаты теста в просмотрщике
12) Выберите другой документ из тестового набора и повторите попытку
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Слишком много результатов с высокой степенью уверенности в документах Dell
Давайте посмотрим ближе
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Первый результат исходит со страницы 2, и это номер накладной
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Второй результат исходит со страницы 1, и номер счета-фактуры
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Третий результат исходит со страницы 1, и это еще раз накладная. УВЕДОМЛЕНИЕ: ЗЕЛЕНЫЕ ОСНОВНЫЕ ПОКАЗАТЕЛИ ВСЕГДА ВЫБРАННЫЕ РЕЗУЛЬТАТЫ
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Third result comes from page 1 and it is waybill number again
NOTICE: GREEN HIGHLIGHTS ARE ALWAYS SELECTED RESULTS
Отношение ключевого слова сейчас важно.
Ключевое “Invoice Number” на Западе (W) от цели.
Отмените выбор NW и N и нажмите «Изменить».
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Third result comes from page 1 and it is waybill number again
NOTICE: GREEN HIGHLIGHTS ARE ALWAYS SELECTED RESULTS
Связь только западная (W)
Если вы проверите его снова, вы увидите ...
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
У вас есть только один результат с высокой степенью уверенности/ Отлично!
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Назначьте свое поле локатору
1) Дважды щелкните по полям ниже Счета-фактуры
2) Выберите графу “Field populated by” to FL_InvoiceNumber
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
3) Контролируйте новые настройки извлечения
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Значительное улучшение
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Настройки для FL_InvoiceDate:
Используйте одно или несколько предопределенных регулярных выражений
Используйте ключевые слова
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Настройки для FL_OrderNumber:
Основываясь на ваших документах
Используйте ключевые слова
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Настройки для FL_OrderNumber:
Предопределенные регулярные выражения для доступных сумм
Используйте ключевые слова
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Дважды щелкните по полям ниже Счета-фактуры класса
Свяжите все свои поля с локаторами
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Запустите extraction benchmark еще раз
Прекрасный результат
Но это недостаточно хорошо☺
Module 8 - Format Locators

Первый проект– Извлечение по форматам и ключевым словам
Задание
Добавить локаторы формата в класс Invoices
Свяжите свои новые локаторы с полями
Отвяжите поля из AZL в классе Oki (Установите его обратно в унаследованное)
Запустить extraction benchmark
Просмотрите свои результаты
Module 8 - Format Locators

Первый проект - Усовершенствования
Всегда улучшайте свой проект
Всегда следите за своим оператором
Module 8 - Format Locators

Первый проект - Усовершенствования
Первый проект имеет хорошие показатели распознавания, но есть еще место для дальнейшего совершенствования
Если вы хотите оптимизировать извлечение, хороший способ - сначала проверить тест извлечения.
Еще один способ получить дополнительные знания - проверить многие документы и сделать несколько заметок
Давайте подробнее рассмотрим эталонный тест извлечения
Module 8 - Format Locators

Первый проект - Усовершенствования
Зеленые поля корректные (будут пропущены на валидации)
Зеленый знак на валидации означает, что значение правильное.
.
Module 8 - Format Locators

Первый проект - Усовершенствования
Желтые поля - это неправильные поля (они не соответствуют значению в наборе ссылок).
НО они отображаются в валидации, и кто-то должен подтвердить свои значения.
Восклицательный знак
Значение поля пустое
Кто-то должен ввести значение поля
Module 8 - Format Locators

Первый проект - Усовершенствования
Красные поля это поля которые неверны,
И никто не будет их рассматривать, потому что KTM уверен, что их значение правильное.
Зеленый значок спереди
Значение некорректно
Module 8 - Format Locators

Первый проект - Усовершенствования
Синие поля - это поля, которые являются правильными,
НО кто-то должен их подтвердить.
Красный восклицательный знак Значение неверное
Module 8 - Format Locators

Первый проект - Усовершенствования
Сохраните результаты, прежде чем пытаться улучшить свой проект ...
Module 8 - Format Locators

Первый проект - Усовершенствования
.. потому что позже вы можете сравнить свои тесты
Module 8 - Format Locators

Первый проект - Усовершенствования
Почему поле зеленое или красное?
Во-первых проверьте уверенность извлечения
Во-вторых проверьте расстояние между первым и вторым результатом
В-третьих проверьте форматирование
В-четвертых проверьте правило валидации
Что такое правило валидации?
Обсудим позже
Module 8 - Format Locators

Первый проект - Усовершенствования
Первая проверка
Порог валидации
Вторая проверка
Расстояние между двумя результатами
Третья проверка
Форматтер
Module 8 - Format Locators

Первый проект - Усовершенствования
Четвертая проверка
Правила валидации, связанные с полями
Module 8 - Format Locators

Первый проект - Усовершенствования
Номер заказа:
Поскольку у нас нет форматов или правил валидации, применяемых к порядковому номеру, состояние поля красное или зеленое на основе уверенности.
Module 8 - Format Locators

Первый проект - Усовершенствования
First project – Improvements
Проверьте свой локатор FL_OrderNumber
Вы увидите два результата с доверием 83,33%
Протестируйте его в средстве просмотра документов
Вы увидите два ключевых слова, выделенных оранжевым цветом, и значения рядом с ним
Module 8 - Format Locators

Первый проект - Усовершенствования
First project – Improvements
PO NO клиента был найден нечетким поиском
Система получает номер клиента, это 83,33% вашего ключевого слова Клиент PO NO
Module 8 - Format Locators

Первый проект - Усовершенствования
First project – Improvements
Customer PO NO клиента был найден нечетким поиском
Система получает NO клиента, это 83.33% всего ключевого слова
Module 8 - Format Locators

Первый проект - Усовершенствования
Минимальное расстояние - 10%
В нашем случае расстояние составляет 83.33 - 83.33 = 0%
Состояние поля становится красным
Module 8 - Format Locators

Первый проект - Усовершенствования
Давайте начнем c легкого. У нас есть много синих документов для счетов-фактур Dell.Есть возможность для улучшения.Дважды щелкните по первому Dell, чтобы открыть средство просмотра документов и закрыть Эталонный тест извлечения
Module 8 - Format Locators

Первый проект - Усовершенствования
Двойной клик на локатор FL_OrderNumber
Тестируем
Module 8 - Format Locators

Первый проект - Усовершенствования
Альтернатива 1 - правильный номер счета-фактуры
Вторая альтернатива имеет ключевые слова к северо-западу от ее местоположения
Module 8 - Format Locators

Первый проект - Усовершенствования
Просмотрите настройки ключевых слов
Только отношение W, не используйте W, N, NW (настройка по умолчанию)
Module 8 - Format Locators

Первый проект - Усовершенствования
Новый тест показывает, что только PONumber получает уверенность в 100%.
Поскольку номер заказа печатается дважды в документе, вы видите первые два результата с одинаковым значением
Module 8 - Format Locators

Первый проект - Усовершенствования
Запускаем эталонный тест извлечения
Номер заказа на поставку для Dell оптимизирован! 
Прокрутите вниз, чтобы найти следующие проблемы, не беспокойтесь о незначительных вещах в первом запуске
Module 8 - Format Locators

Первый проект - Усовершенствования
Дата счета на классе Fedex всегда синяя
Двойной клик по первому документу
(Откроется Document viewer)
Сохраните эталонный тест извлечения
Закройте эталонный тест извлечения
Двойной клик поFL_InvoiceDate
(откроются свойства локтора)
Тестируйте
Module 8 - Format Locators

Первый проект - Усовершенствования
Уверенность в альтернативе слишком низкая
Давайте снова проверять ключевые слова
Module 8 - Format Locators

Первый проект - Усовершенствования
Ключевое слово DEST и ORIGIN был установлен на юго-восток и юго-запад.
Отношение OCR (xdoc) не всегда совпадает с тем, что вы видите на экране
Добавьте Юг для обоих и снова проверьте его.
Module 8 - Format Locators

Первый проект - Усовершенствования
Module 8 - Format Locators
Идеально! ☺

Первый проект - Усовершенствования
Запускаем эталонный тест извлечения
Посмотрите на сводку результатов тестирования:
88.72 % являются правильными и пропущены!
Module 8 - Format Locators

Первый проект - Усовершенствования
В некоторых документах нет номера заказа (и это правильно).
НО ни один номер заказа не означает уверенности, поэтому он останется красным, пока не будет использовано правило проверки.
Module 8 - Format Locators

Первый проект - Усовершенствования
Снова обработайте документы (щелкните по стрелке рядом с «Обработка и обработка всей партии»)
Нажмите «Проверить» и попробуйте проверить все документы.
Проверьте время, необходимое для этого.
Module 8 - Format Locators

Первый проект - Усовершенствования
Если вы подтвердите значение, система перейдет в следующее недопустимое (красное) поле и пропустит все зеленые поля.
Даже если следующее недопустимое поле содержит более 100 документов, система пропускает все документы, находящиеся между ними
Сначала вам потребовалось более
15 минут
для валидации пакета
Теперь это занимает
2 минуты!
13 минут сохранено!
Module 8 - Format Locators

Первый проект - Усовершенствования
Задание
Исползайте эталонный тест извлечения для поиска ошибок
Усовершенствуйте локаторы
Перезапустите эталонный тест извлечения
Посмотрите результаты
Module 8 - Format Locators

Первый проект - Зеленые и красные поля (Правила валидации)
Как сделать значения зелеными или красными автоматически
Module 8 - Format Locators

Первый проект - Зеленые и красные поля (Правила валидации)
Поля могут быть валидными и невалидными
Как уже обсуждалось в улучшенияих
Почему поля зеленые или красные?
Сначала проверьте уверенность в извлечении
Во вторых проверьте расстояние между первым и вторым результатом
В третьих проверьте форматирование
В четвертых проверьте правило валидации
Что такое правило валидации?
Давайте обсудим…
Module 8 - Format Locators

Первый проект - Зеленые и красные поля (Правила валидации)
Метод валидации это настройка проекта и может быть использована
из локатора для поиска значения (об этом мы поговорим в более позднем модуле)
также он может быть связан с полем, чтобы изменить состояние поля на красный или зеленый.
Это назвается ПРАВИЛО ВАЛИДАЦИИ
Использовать существующие знания для ваших методов ВА валидации
Доступными способами являются: Стандартное, Дата, Регулярное выражение, Проверка на одно поле и многопользовательский скрипт и проверка счетов
Module 8 - Format Locators

Первый проект - Зеленые и красные поля (Правила валидации)
Notes:
Fedex: Poor Keyword for Invoice Date, but it is below Invoice number
PO Number can be empty
Oki: Poor Keyword for Total Amount, because it has white text on black background
Total Amount is always below Sales Taxes
Knowledge
Module 8 - Format Locators

Первый проект - Зеленые и красные поля (Правила валидации)
1) Нажмите на Project setting
(часть ленты в Project Tab)
2) Изменить на валидацию
3) Добавить новый метод валидации
Module 8 - Format Locators

Первый проект - Зеленые и красные поля (Правила валидации)
4) Назвать
5) Выберите регулярное выражение для номеров счетов Current knowledge is like \d{9}
Module 8 - Format Locators

Первый проект - Зеленые и красные поля (Правила валидации)
6) Добавьте свое регулярное выражение (аналогично локатору формата)
Список всех добавленных форматов
Проверьте регулярные выржаения
Module 8 - Format Locators

Первый проект - Зеленые и красные поля (Правила валидации)
7) Создайте другой Метод Валидации для дат счет фактуры
8) Выбраь Date Validation для дат счет-фактуры
Module 8 - Format Locators

Первый проект - Зеленые и красные поля (Правила валидации)
9) Используйте DefaultDateFormater
10) Значение даты счета может быть старой, но не в будущем
Снимите first option (Выберите period before ref date)
Check second (Check for period after ref date)
Снимите «allow empty fields»
Module 8 - Format Locators

Первый проект - Зеленые и красные поля (Правила валидации)
11) Создать метод валидации для номеров заказов
12) Добавьте регулярные выражения
Отметьте флажки пустыми полями, потому что у нас есть документы без PONumber
Module 8 - Format Locators

Все методы валидации созданы
Первый проект - Зеленые и красные поля (Правила валидации)
ф
Давайте привяжем их к полям
Module 8 - Format Locators

Первый проект - Зеленые и красные поля (Правила валидации)
1) Щелкните правой кнопкой мыши на Правилах валидации (ниже счетов-фактур класса)
2) Добавить правило проверки отдельного поля
3) Назовите его InvoiceNumber
Module 8 - Format Locators

Первый проект - Зеленые и красные поля (Правила валидации)
4) Выберите поле InvoiceNumber
5) Добавьте метод валидации
6) Добавьте метод InvoiceNumber
Module 8 - Format Locators

Первый проект - Зеленые и красные поля (Правила валидации)
Создайте новое правило для invoice date
Module 8 - Format Locators

Первый проект - Зеленые и красные поля (Правила валидации)
И последняя для OrderNumber
Выберите “Validation rule makes uncertain results valid”
? Это полезно для пустых номеров номеров: даже если поле пустое, наше правило будет отображать значения зеленым цветом
Module 8 - Format Locators

Первый проект - Зеленые и красные поля (Правила валидации)
Запустите эталонный тест извлечения
Правило валидации Order Number делает пустые поля действительными для номеров заказов . Никто не должен проверять пустые поля
Сохраните и сравните
Module 8 - Format Locators

Первый проект - Зеленые и красные поля (Правила валидации)
ГОТОВО!
Module 8 - Format Locators

Демонстрация и задание
Module 8 - Format Locators