Система розпізнавання дорожньої розмітки в режимі реального часу на основі мобільного пристрою

Мета та постановка завдання
Метою кваліфікаційної роботи є розробка системи розпізнавання дорожньої розмітки з функцією звукового попередження про небезпеку, з використанням бібліотеки комп’ютерного зору, яка орієнтована на використання в сучасних мобільних пристроях.
Основні завдання кваліфікаційної роботи наступні:
аналіз поняття комп'ютерного зору;
дослідження систем автоматизованого руху транспортних засобів;
розробка алгоритму знахождення положення ліній розмітки;
аналіз особливостей розробки програмних застосунків для мобільних платформ;
програмна реалізація системи розпізнавання положення ліній дорожньої розмітки для платформи Android.

Актуальність
Системам моніторингу на основі інформації, що надходить з відеокамер, сьогодні приділяється особливо пильна увага. Головне завдання таких систем - попередити людину про небезпеку. Найбільш небезпечним для життя людини видом транспорту є автомобіль.
Розпізнавання дорожньої розмітки та визначення положення автомобіля - це завдання, яке виконує кожний водій транспортного засобу що секунди для того, щоб його автомобіль рухався по безпечній траєкторії.
Тому розробка системи розпізнавання положення ліній дорожної розміткита негайного сповіщення про небезпеку є перспективним завданням.

Комп’ютерне бачення
Комп'ютерний зір - теорія і технологія, що дозволяє проводити виявлення, спостереження і класифікацію об'єктів. Комп'ютерний зір, як наукова дисципліна, відноситься до теорії і технології створення штучних систем, які отримують інформацію у вигляді зображень. Головною задачею комп'ютерного зору є формування висновків на основі аналізу зображень, отриманих за допомогою датчиків.
На даний момент існує безліч напрямків в області комп'ютерного зору. До найбільш значущих з них належать зір роботів, засоби автоматизації обробки візуальних даних і інформації, біометрія і безпеку, розпізнавання символьної інформації, розпізнавання жестів, детектування наявності рухомих об'єктів в полі зору камери, розпізнавання зорових образів, завдання мультисенсорного розпізнавання, завдання медичної діагностики, різного роду системи моніторингу, пакети програм по обробці зображень.

Автоматизація руху транспортних засобів
Більшість автомобільних концернів сьогодні ведуть роботу зі створення автономного транспорту: безпілотні автомобілі, автобуси, таксі, колісні дрони для служби доставки. В даний час ведуться активні розробки зі створення автономних транспортних засобів з системами автопілот.
Автопілот - пристрій або програмно-апаратний комплекс, керуючий транспортним засобом за певною, заданою йому траєкторією. Безпілотні автомобілі здатні пересуватися самостійно завдяки спеціальному програмному забезпеченню і сенсорам.
В автономних автомобільних системах встановлюються наступні датчики та сенсори:
лідари - далекомір оптичного розпізнавання;
радари;
камери;
система глобального позиціювання (GPS);
датчики одометра;
гіростабілізатори;
акселерометри.

Вибір ресурсів для проекту
Java - це мова програмування загального призначення, який відповідає парадигмі об'єктно-орієнтованого програмування. Java використовується для настільних, мережевих, мобільних і корпоративних додатків.
Переваги:
Java - мова високого рівня з простим синтаксисом і плавною кривою навчання
Стандарт для корпоративних обчислювальних систем
Безпека
Незалежність від платформи
Автоматичне управління пам'яттю
Багатопоточність
OpenCV (Open Source Computer Vision Library, бібліотека комп'ютерного зору) — бібліотека функцій та алгоритмів комп'ютерного зору, обробки зображень.
Алгоритми OpenCV застосовують у таких сферах:
Аналіз та обробка зображень
Системи з розпізнавання обличчя
Розпізнавання смуг дорожньої розмітки
Система взаємодії людини з комп'ютером
Ідентифікація об'єктів
Сегментація зображення

Життєвий цикл Android застосунку
Всі додатки Android мають строго певний системою життєвий цикл. При запуску користувачем додатки система дає цьому додатку високий пріоритет.
Кожна програма запускається у вигляді окремого процесу, що дозволяє системі давати одним процесам вищою пріоритет, на відміну від інших.
Після припинення роботи з додатком, система звільняє все пов'язані ресурси і переводить додаток у розряд низькопріоритетного і закриває його.
Активність може перебувати в трьох станах:
активна (active або running);
призупинена (paused);
зупинена (stopped).

Схема взаємодії додатку з бібліотекою комп’ютерного бачення
Апаратна частина системи розпізнавання дорожньої розмітки використовується для збору інформації, яка підлягає подальшій обробці та являє собою камеру пристрою.
Камера безперервно фіксує кадри, з якими буде працювати бібліотека функцій та алгоритмів комп'ютерного зору та обробки зображень OpenCV (Open Source Computer Vision - бібліотека комп'ютерного зору).
OpenCV використовується для виявлення смуги руху, що здійснює пошук білих та жовтих ліній в межах заданої області на екрані. Якщо смуги знайдені, бібліотека використовується для візуалізації результатів на екрані мобільного пристрою.

Принцип роботи детектора смуг
Процес побудови детектора складається з трьох основних етапів:
попередня обробка даних, фільтрація від шуму і векторизація зображення;
оновлення стану ліній дорожньої розмітки за даними з першого етапу;
графічне представлення оновлених ліній та інших об'єктів на оригінальному документі.

Алгоритм розподілення кольору для побудови маски зображення

Тестування застосунку в реальних умовах
Результати тестування в нічний час при освітленні дороги світлом автомобільного транспортного засобу та
в дений час:
лінії дорожної розмітки видно чітко;
при критичній зміні положення транспортного засобу програма інформує про це візуально та відбувається відтворення звуку попередження
Застосунок був протестований на 3 мобільних пристроях з різними версіями системи Android:
samsung A51 - Android 11.0 - API 30;
meizu M6 Note - Android 6.0 - API 23;
xiaomi Redmi Note 9 Pro - Android 10.0 - API 29.
Мінімальною версією системи являється
Android 6.0 Marshmallow