Deephound. Первичные исследования классификации постов

Манифест разметки
Семантический портрет угрозы
Цель сообщения
Варианты подачи
Первичный словарь

Подготовка к разметке
Этапы подготовки разметки:
Беседа со специалистом предметной области
Первичная разметка

Формулировка определения и целей угрозы
Угроза 1 – пост, для которого характерен формат предложения продать дебетовые карты (разово, оптом, комплектом) или формат желания купить дебетовые карты.
Цель Угрозы 1 – осуществить сбыт имеющихся карт, разово продать или купить определенного вида карты, сделать рекламу услуг, наладить постоянный поток сделок по продаже/покупке карт.

Варианты подачи
➢ «куплю/покупаю/покупка…». Четкое предложение о покупке карты определенных банков (желание купить)
➢ «спрос на дебетовые карты…» (желание купить)
➢ «продам/продажа…». Предложение о продаже карт в формате: вид карт, банки, условия, цены, контакты (желание продать)
➢ «нужна/интересует карта…» (желание купить)
➢ «разово/единично продам/куплю/…» (желание разово осуществить сбыт или покупку)

Первичный словарь
Блок глаголы: «Куплю», «покупаю», «покупка». «Продам», «продаю», «продажа». «Изготовим», «изготавливаем». «Приобрести». «Предлагаем», «предлагаю».
Блок названия банков: «Сбер» («сбербанк» и вариации), «Бинбанк» («бин банк»), «промсвязьбанк», «россельхозбанк», «Хоум кредит банк», «райфайзен» банк, «втб», «приватбанк», «открытие», «тинькофф» («тиньков», «тинькоф» и вариации), «альфа» банк.
Блок видов карт: «Золото» («голд»), «платина», «классика» («классик»), «виза» («VISA»), «моментальная» («моменталка»), «русский стандарт», «премиум», «кукуруза» и т.д.
Блок существительные: «разово», «адекватный», «несколько», «в наличии», «наличие».

Условия отнесения поста классу Угроза 1
Пост подходит под сформулированное определение
Подача происходит одним из способов описанных подач
Пост имеет словарные единицы из первичного словаря, характерные угрозе

Соотношения классов в выборке

Примитивная предобработка и векторизация
Оставляем только русские слова
Убираем числа
Убираем все символы
TF-IDF
n-граммы

Самые важные, по мнению классификатора признаки
1. голд 2. куплю 3. продам 4. альфа 5. классик 6. сбер 7. наличии 8. банк 9. карта 10. куплю карты 11. карты 12. продам карты 13. шт 14. втб 15. куплю дебетовые 16. сбера 17. сбербанка 18. куплю карту 19. комплект 20. лс 21. гарант 22. куплю дебетовые карты 23. моментальная 24. разово 25. продам карту 26. доставка 27. полный 28. момент 29. карты приватбанка 30. постоянной

Критерии качества классификатора (Accuracy)

Критерии качества классификатора
TP — истино-положительное решение;
TN — истино-отрицательное решение;
FP — ложно-положительное решение;
FN — ложноо-трицательное решение.

Критерии качества классификатора
Точность: Полнота: F:

Результаты соревнований методов
SVM Логистическая регр. Байес

F метрика