[Draft]Yandex_Elkin_LaneChaтges_Offline_Testing

План
Как тестировались перестроения раньше
Типичные пропускаемые баги
Покрытие сценариев пулами
Какие изменения теперь получается ловить легко
Метрики
Проблемы с метриками
Улучшение метрики lane_change_duration
Текущие проблемы
ToDo на ближайшее время
Долгосрочное ToDo

Тестировоние: 2021 (Q1) - QA проезды + A/B тест
Начало АБ теста
Отвод релиза
Тесты на прод. локациях
Отчет по проездам
~1 день
к концу дня
Минусы:
Маленькое покрытие
Плохая воспроизводимость тестов
Субъективность
Зависимость от доступности роверов и локаций
Потенциальный пропуск очевидных критичных багов
Плюсы:
Время получения фидбэка
Таймлайн на примере релиз release-SDC-51181-feb-05-gorely

Тестировоние: 2021 (Q1) - QA проезды + A/B тест
Характерный пропущенный критичный bug:
SDC-56396 Блокируем перестроение на полосу с запаркованными агентами
Причины:
воспроизводится в конкретных местах
внимание человека зависит от дорожно ситуации - плотности трафика, сигнала светофора и т.п.

Покрытие сценариев пулами
Способы покрытия
По сценариям:
По функциональности:
Отмены catboost’ом
etc...
Перестроения “лесенкой”
Перестроения в конец пробки
Из-за тихохода
etc...

Тестировоние: 2021 (Q4) - по чеклисту + A/B
Начало АБ теста
Отвод релиза
Тесты на прод. локациях
Отчет по проездам
~1 день
2-3 дня
Минусы:
- Маленькое покрытие
- Плохая воспроизводимость тестов
- Субъективность
Зависимость от доступности роверов и локаций
Потенциальный пропуск очевидных критичных багов
+ Увеличение време тестирование до 2+ дней
Плюсы:
- Время получения фидбэка
+ Большое и прозрачное покрытие
+ Не идеальная, но хорошая воспроизводимость
+ Слабая зависимость от конкретного QA/водителя
Таймлайн на примере релиз release-SDC-88028-dec-24-innopolis

Основные метрики
Отмены перестроений:
lane_change_aborts
lane_change_aborts_contains_out_of_graph
lane_change_aborts_crossing_solid_line
lane_change_aborts_dissallowed_by_speed_policy
lane_change_aborts_far_away_target_lane
lane_change_aborts_forbidden_by_catboos
lane_change_aborts_lane_change_is_blocked
lane_change_aborts_reached_lane_path_end
lane_change_aborts_remote_lane_change_score
lane_change_aborts_violates_max_normal_acceleration
lane_change_aborts_violates_max_steering_rate_at
Длительность и кол-во:
lane_change_from_lane_change_to_drive
lane_change_duration
prepare_lane_change_duration
Взаимодействия с агентами:
jerk_or_collision_count_hard
jerk_or_collision_count_all
min_distance_vehicle
Взаимодействия со статикой:
bl3s_hit_static_1_sec
bl3s_hit_static_3_sec
bl3s_hit_static_5_sec
Траектория:
lane_change_roughness_metric_max
lane_change_roughness_metric_p90
Прочее:
stuck_time_max

Проблемы с метриками
Шум из-за невоспроизводимости оффлайна:
Запуски даже на одном и том же коммите приводят к разным значениям метрик
Решение: установить порог для каждой метрики в каждом пуле в 2-3 дисперсии
Пул: #1203[Lane change] Lane change in a traffiс jam
Коммит: tags/groups/sdg/sdc/midnight-dev-2022.08.08

Проблемы с метриками
Ложный прокрас из-за бинарности метрик:
Небольшие изменения в поведении приводят к сильным изменеий значения метрики и прокрасу метрики в пуле. В топу оказываются “неинтересные сцены”
Решение: Отказ от бинарных метрик, доработка самой метрики
Тикет на доработку lane_change_duration: SDC-107618 В lane_change_duration возвращать длительность перестроения, если оно началось, но сцена закончилась
Характерная сцена из топа то исправления
Характерная сцена из топа то исправления

ToDo
Short term:
подобрать пороги для всех пулов, чтобы отсечь шум
довести кол-во кейсов в каждом пуле до нескольких сотен
Long term:
Реорганизовать пулы и набор метрик так, чтобы прокрасы метрик чаще подсвечивали реальные проблемы и реже сробатывали ложно