Как найти и закрыть гос. номер на фото автомобиля и помешать копированию контента c помощью adversarial attack

@sergeevii123
Senior DS in Avito
команда: DS as a service
что я делаю – computer vision
что вообще делаем:
CV
OCR
NLP

69 лайков
> 50 k просмотров
181 комментарий
(из них ~10 технические)
204 лайка (топ 1 в блоге Авито)
> 40 k просмотров

Зачем?
По гос. номеру можно найти много дополнительной информации о машине

bot в телеграме

Зачем?
По гос. номеру можно найти много дополнительной информации о машине
Некоторые пользователи Авито сами закрывают гос. номер

Зачем скрывать гос. номер на фото авто?
По гос. номеру можно найти много дополнительной информации о машине
Некоторые пользователи Авито сами закрывают гос. номер
Наши конкуренты уже это сделали

Масштаб проблемы
В день 20 000 новых объявлений в Авто
За 2018 год было продано 2,5 миллиона автомобилей ~7000 в день

Object detection
Двухэтапные модели
Faster RCNN, Mask RCNN
Одноэтапные модели
SSD, YOLO, RetinaNet

Двухэтапные детекторы

Двухэтапные детекторы

Изменить bbox regressor

Нужна ли тяжелая сеть?
Бинарная классификация

Нужна ли тяжелая сеть?
Бинарная классификация
На фото один номерной знак

Нужна ли тяжелая сеть?
Бинарная классификация
На фото один номерной знак
Производительность

Нужна ли тяжелая сеть?

Resnet18
Regression 8 coordinates
Binary Classification

Данные

Настройка толоки
Правила против ботов
Honey-поты

Сколько стоит?
4000 картинок
перекрытие 3
всего 28$

Обучение

Прод!
nvidia-docker
веса в git lfs
kubernetes

accuracy на тестовой выборке 0.98
95-й перцентиль 250 мс

Что происходит?

Что с картинками?

Что с картинками?

Adversarial Examples

Examples

Examples

Visualization, Deep Dream, Neural Style,
Adversarial Examples
CS231n youtube lecture

Visualization, Deep Dream, Neural Style,
Adversarial Examples
CS231n youtube lecture

Visualization, Deep Dream, Neural Style,
Adversarial Examples
CS231n youtube lecture

Visualization, Deep Dream, Neural Style,
Adversarial Examples
CS231n youtube lecture

Итеративный метод

Итеративный метод

Fast gradient sign method (FGSM)

Targeted fast gradient sign method (T-FGSM)

Архитектура сети известна
Гиперпараметры известны
Можно получить предсказания и градиент
Архитектура сети неизвестна
Гиперпараметры неизвестны
Можно получить предсказания (с ограничениями)
White box vs Black box

https://arxiv.org/abs/1804.05810
ShapeShifter: Robust Physical Adversarial Attack on Faster R-CNN Object Detector

https://arxiv.org/abs/1804.05810
ShapeShifter: Robust Physical Adversarial Attack on Faster R-CNN Object Detector

Насколько переобучена сеть автору?

Насколько переобучена сеть автору?

Насколько переобучена сеть автору?

1st adversarial attack in prod

Imagenet-trained CNNs are biased towards texture