Оценка качества переводов

О чём думают эти люди, глядя на текст перевода?

Клиент:
Пойдёт или нет?
Как бы придраться…

Менеджер по качеству:
Пойдёт или нет?
Как бы не придрались…

Менеджер по персоналу:
Какую работу можно доверять этому исполнителю?
Какую нельзя?
Как быстро можно его обучить?

Менеджер проектов:
Вернуть на доработку
или самим исправить?

Для ответа на эти вопросы текст перевода нужно оценить

ОЦЕНКА ПЕРЕВОДА: ЧТО В АРСЕНАЛЕ?
Какие способы оценки перевода вы знаете?

ОЦЕНКА ПЕРЕВОДА: ЧТО В АРСЕНАЛЕ?
Субъективная оценка
(«хорошо-плохо»)
Автоматическое сравнение
с «образцовым» переводом
(BLEU и т.п.)
Сравнение с оригиналом по набору параметров
Взвешивание ошибок
и подсчёт TQI

СУБЪЕКТИВНАЯ ОЦЕНКА («ХОРОШО-ПЛОХО»)

СРАВНЕНИЕ С ОРИГИНАЛОМ
ПО НАБОРУ ПАРАМЕТРОВ

АВТОМАТИЧЕСКОЕ СРАВНЕНИЕ С «ОБРАЗЦОВЫМ» ПЕРЕВОДОМ
Чем больше последовательностей слов совпадает в переводе и в образце,
тем точнее перевод
BLEU (BiLingual Evaluation Understudy ),
ROUGE и др.
Вводная статья о методике BLEU:
Tomedes Blog http://blog.tomedes.com/measuring-machine-translation-quality/

АВТОМАТИЧЕСКОЕ СРАВНЕНИЕ С «ОБРАЗЦОВЫМ» ПЕРЕВОДОМ

АВТОМАТИЧЕСКОЕ СРАВНЕНИЕ С «ОБРАЗЦОВЫМ» ПЕРЕВОДОМ

ВЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI
Кто использует?
Lionbridge, Aliquantum, Logrus, Palex
и многие другие
Существующие общедоступные системы:
- SAE J2450
- ATA Framework for Standard Error Marking
- LISA QA Model 3.1
Обзор систем типа TQI с рекомендациями по созданию собственной:
http://www.aliquantum.biz/downloads.htm

ВЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI
Необходимые компоненты системы:
Классификатор ошибок
Методика взвешивания ошибок
Процедура проверки, дающая повторяемые и воспроизводимые результаты
Проверяющий
(компетентный и беспристрастный)
Форма оценки

ВЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI

ВЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI

ВЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI

ВЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI
TQI (Translation Quality Index) – это практический результат количественной оценки проверки качества перевода.
ATA Framework: TQI = EP*(250/W) - BP
SAE J2450: TQI = EP/W
LISA QA Model: TQI = (1 - EP/W) * 100
где EP = Error Points, суммарное количество баллов ошибок
W = количество слов в образце
BP = Bonus Points, бонусные очки за отличный перевод (в системе ATA – максимум 3 балла)

ВЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI

ВЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI

ВЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI

ВЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI

Ни один из способов оценки перевода
не отвечает на вопросы:
Пойдёт или нет?
Какую работу можно доверять этому исполнителю?
Какую нельзя?
Как быстро можно обучить исполнителя?
Вернуть на доработку или самим исправить?
ОЦЕНКА ПЕРЕВОДА: ЧТО В АРСЕНАЛЕ?

Необходимо улучшить систему оценки перевода.
ОЦЕНКА ПЕРЕВОДА: ЧТО В АРСЕНАЛЕ?

Разделить все ошибки на 2 основных типа:
Фактические = ошибка в обозначении объектов и явлений, их логических отношений, степени реальности и обязательности событий
Коннотативные = несоответствие правилам, стандартам, требованиям и практике употребления, искажение эмоционально-стилистической информации и т.д.
УЛУЧШЕНИЕ 1: ДЕЛЕНИЕ ОШИБОК

Каждый элемент текста
(слово, фраза, предложение)
может нести одновременно:
1 коннотативную ошибку
или
1 фактическую ошибку
или
1 коннотативную ошибку и
1 фактическую ошибку одновременно
УЛУЧШЕНИЕ 1: ДЕЛЕНИЕ ОШИБОК

Случайная ошибка исполнителя (например, опечатка), которая приводит к искажению фактической информации, зачитывается как две (языковая и фактическая).
Это позволяет указать исполнителю на невнимательность, а также учесть интересы клиента
«Казнить, нельзя помиловать» / «Казнить нельзя, помиловать»: ошибка в запятой ? критическое искажение смысла
УЛУЧШЕНИЕ 1: ДЕЛЕНИЕ ОШИБОК

Виды компетенций:
Компетенции восприятия
Компетенции порождения
Вспомогательные компетенции
УЛУЧШЕНИЕ 2: КОМПЕТЕНЦИИ

Уровни компетенций:
Неудовлетворительная = исполнитель не может выполнять соответствующую работу
Базовая = может работать
Продвинутая = может проверять / исправлять чужую работу либо обучать других людей
УЛУЧШЕНИЕ 2: КОМПЕТЕНЦИИ

Компетенции восприятия:
Правила языка оригинала
Литературная компетенция в языке оригинала
Компетенция в культуре языка оригинала
Предметная компетенция
УЛУЧШЕНИЕ 2: КОМПЕТЕНЦИИ

Компетенции порождения:
Правила языка перевода
Литературная компетенция в языке перевода
Компетенция в культуре языка перевода
Функциональный стиль перевода
УЛУЧШЕНИЕ 2: КОМПЕТЕНЦИИ

Вспомогательные компетенции:
Исследовательская компетенция
Техническая компетенция
Самоорганизация
Коммуникация
Защита информации
УЛУЧШЕНИЕ 2: КОМПЕТЕНЦИИ

УЛУЧШЕНИЕ 2: КОМПЕТЕНЦИИ
Пример ошибки:
t2: Использован термин из другой области знаний
Напр., в тексте о бурении: шпиндель ? spindle (правильно: stem или mandrel)
Компетенции:
Исследовательская = удовлетворительно
Предметная = неудовлетворительно

УЛУЧШЕНИЕ 2: КОМПЕТЕНЦИИ

УЛУЧШЕНИЕ 2: КОМПЕТЕНЦИИ
Клиент может формулировать
чёткие и объективные требования
к исполнителю
По результатам оценки мгновенно видно, какие компетенции соответствуют целевым, а какие нет

УЛУЧШЕНИЕ 3: РОЛИ
Установить связи между компетенциями и ролями (функциями, которые может выполнять исполнитель в проекте)

УЛУЧШЕНИЕ 3: РОЛИ
Пример компетенций:
Самоорганизация = удовлетворительно
Предметная = удовлетворительно
Правила языка оригинала = удовлетворительно
Правила языка перевода = удовлетворительно
Роль:
Может переводить

УЛУЧШЕНИЕ 3: РОЛИ

УЛУЧШЕНИЕ 3: РОЛИ
Менеджер по персоналу / менеджер проекта быстро распределяет роли
и планирует рабочий процесс (workflow) ? экономия времени

УЛУЧШЕНИЕ 4: ДОПУСТИМОСТЬ ОШИБОК
В каждом отдельном случае клиент указывает, какие ошибки являются допустимыми,
а какие – нет. Проверяющий заносит требования в проверочный список.
Одна ошибка «недопустимого» типа в образце
Провал текста с точки зрения клиента

УЛУЧШЕНИЕ 4: ДОПУСТИМОСТЬ ОШИБОК

УЛУЧШЕНИЕ 4: ДОПУСТИМОСТЬ ОШИБОК
Оценка соответствует реальным потребностям клиентов (pass / fail)

УЛУЧШЕНИЕ 5: ОБУЧАЕМОСТЬ ИСПОЛНИТЕЛЯ
Выделить в классификаторе 2 типа ошибок:
Исправление требует минимального обучения / инструктажа; все ошибки в тексте может увидеть сам исполнитель
Исправление требует значительного обучения; сам исполнитель не может обнаружить ошибки в тексте

УЛУЧШЕНИЕ 5: ОБУЧАЕМОСТЬ ИСПОЛНИТЕЛЯ
Ошибки, которые требуют минимального обучения:
Сбивка деления на разделы
Пропуски текста
Несоответствие числовых значений
Несоответствие глоссарию / руководству по стилю
Несоответствие справочной литературе
Нарушение единства терминологии
Нарушение региональных стандартов оформления
Длина строки, тэги
Очевидные языковые ошибки
…

УЛУЧШЕНИЕ 5: ОБУЧАЕМОСТЬ ИСПОЛНИТЕЛЯ
Ошибки, которые требуют значительного обучения:
Понимание оригинала
Предметная компетенция
Чувство языка
Культурные реалии
…

УЛУЧШЕНИЕ 5: ОБУЧАЕМОСТЬ ИСПОЛНИТЕЛЯ

УЛУЧШЕНИЕ 5: ОБУЧАЕМОСТЬ ИСПОЛНИТЕЛЯ
Какой процент ошибок требует минимального обучения?
Менеджер проекта мгновенно принимает верное решение – возвращать на доработку или привлекать дополнительные ресурсы
Экономия времени

УЛУЧШЕНИЕ 5: ОБУЧАЕМОСТЬ ИСПОЛНИТЕЛЯ
Если все ошибки, влияющие на компетенцию, просты для исправления, компетенция оценивается двумя способами:
Текущее состояние («как есть»)
Потенциальное состояние
(после короткого обучения)

ЗАМЕТКИ
Исполнитель должен работать в нормальных условиях (достаточное время, рабочие инструкции)
Образец должен ограничиваться одной основной тематикой в соответствии с классификатором
Текст оригинала должен быть осмысленным и связным
Необходимо различать ошибки и индивидуальные предпочтения исполнителей

ПРИМЕР

ПРИМЕР

ПРИМЕР

ПРИМЕР

ВЫГОДЫ
Улучшенная система оценки переводов отвечает на все вопросы:
Пойдёт или нет? – pass / fail
Какую работу можно доверять этому исполнителю? Какую нельзя? – компетенции и роли
Как быстро можно обучить исполнителя? – потенциальные компетенции
Вернуть на доработку или самим исправить? – доля ошибок, требующих минимального обучения

ВЫГОДЫ
Общий язык с клиентом
(ошибки и компетенции)
Экономия времени на тестировании исполнителей
Планирование минимального и достаточного рабочего процесса
Оптимальное использование ресурсов
Сокращение сроков
Повышение лояльности исполнителей (обратная связь и обучение)

БУДУЩЕЕ
Обкатка системы
Программная оболочка
Интеграция с QA-инструментами