Создание алгоритма автоматической проверки тотального диктанта

Automating Total Dictation
Индивидуальный участник
Кот Николай Валериевич, кандидат физико-математических наук
https://git.asi.ru/Kot/2-automating-total-dictation-verification
2. Создание алгоритма автоматической проверки «Тотального диктанта»
Все субъекты РФ – Тотальный диктант

Задачи проекта:

Существующее уже решение с разметкой данных

Описание решения.
1. Создание бекенд на Django-rest-framework для получения и анализа данных онлайн диктанта .
2. Отдельная часть для анализа поступивших данных на базе глубокого обучения нейронных сетей и возврата ответа.
3. Модуль для глубокого обучения нейронной сети на базе CNN сверточной нейронной сети либо рекуррентной нейронной сети RNN.
4. Модуль сбора и обработки данных для последующего обучения нейронной сети

https://coggle.it/diagram/XvSe9k3nAhfkYCHG/t/-/4b3b159e850f4e5c3a447773166b4d7afab4cd58292f2071daa8cf6a12685526

Возможно использование прямого кодирования слов либо Word Embeddings плотное векторное представление слов

Источником данных для обучения могут стать книги в электронном текстовом формате.
Есть множество шрифтов имитирующих рукописный текст.
Это может быть использовано для обучения, если потребуется распознавание рукописного текста.
Есть еще много разных вариантов!

Результат работы сети в виде тепловой карты активации класса, плюс оценка на выходе (скалярная или векторная регрессия)
Аналог этой штуки с фотографией слонов.

Структура проекта

Использованные технологии:
- Python, Django-rest-framework, Vuejs+Nuxt
Keras, tensorflow, или возможно pytorch
Linux, Docker, doker-compose

Итоги решения.
Результативность: программное решение позволит достигнуть поставленных в задаче целей (слайд3), а также может быть использовано в онлайн обучении для онлайн тестов, онлайн диктантов в онлайн школах что сейчас является особо актуальной темой.
Выводы: данная тема является малоизученной но актуальной. Решение позволит автоматизировать процессы онлайн диктанта и выходящего на передний план онлайн образования.

Программное решение может быть использовано в действующих системах и решения реальных задач субъектов РФ, проект использует компоненты с открытым исходным кодом. Результат разработки, его исходный код возможно тоже может быть открыт.
Программное решение может быть масштабировано:
1. За счет использования docker контейнеров.
2. За счет возможности сохранения обученных моделей и последующего их повторного использования.

Для решений с UI: Решение имеет визуальную web часть, она основана на разработанном автором фреймворке wildleek. Пример работы можно посмотреть на видео одного из проектов автора:
https://youtu.be/orCuTDmPV0I
https://youtu.be/wN0h8U6cAWI

Готовность команды участвовать в реализации пилотных внедрениях своего решения в субъектах РФ в период с сентября 2020 по январь 2021.
Состав Команды
(Кот Николай Валериевич, Кандидат физико-математических наук, программист, фрилансер, самозанятый. https://app.beeqb.com https://tranzilla.ru https://nvkot.ru https://vk.com/nvkotru https://vk.com/openschool26)

Участник
Кот Николай Валериевич