Анализ подходов решений некоторых практических задач семантической сегментации

Сами соревнования
TGS Salt Identification Challenge
Carvana Image Masking Challenge

Особенности задачи:
Крупное разрешение(1918х1280)
Важность каждого пикселя
(2.5 пикселя в итоге отделяют 1ое и 2ое место)
- Большая выборка данных
https://www.kaggle.com/c/carvana-image-masking-challenge/overview

UNet-подобная сеть c кодером VGG-11
Предобучение на ImageNet – хорошо
Optimizer – Adam
Циклический темп обучения(после 30-ой эпохи)
(Цикл(1e-6, 1e-5, 1e-4, 1e-5, 1e-6) по 2 эпохи в цикле)
- Loss = BSE - Ln(DICE)
Архитектуры победителей:
Первый участник

Архитектуры победителей:
Первый участник

Второй участник:
Быстрее, чем VGG11
LinkNet
Coder - легковесная ResNet34, предобученая на ImageNet
Мягкая аугментация – горизонтальные перевороты, 10% масштабирование, 100-пиксельные сдвиги, повороты на 5°
Optimizer - Adam (или RMSProp)
Темп обучения: 1e-4 (12 эпох) 1e-5 (6 эпох)
Loss = 1 + BSE - DICE
TTA - горизонтальные перевороты

Второй участник:
Быстрее, чем Unet

bilinear
upscaling
convolution
convolution
Блок кодера(таких 6)
Блок декодера(тоже 6)
Третий участник

Третий участник
кастомная UNet
случайные
7(случайно)
250
lr*0.5 за 100 эпох
тяжелая
UNet на основе VGG-11
pretrained VGG-11(ImageNet)
7 (разбиты по S масок)
60
(10 – lr), (5 - lr *0.1), (5 - lr *0.01)
тяжелая(15 эпох) и легкая(45)
Модель:
Веса:
Folds:
Число эпох:
Темп обучения:
Аугментация:

Аугментация:
1) тяжелая: масштабирование
изменение яркости
изменение насыщенности
преобразование в оттенки серого изменение контраста
вращение
2) Легкая: масштабирование и вращение
Вход - 1024x1024
Loss =1+BSE – DICE
Коэффициенты BSE взяты с весами, растущими у границы масок
Третий участник

Третий участник
Результат Ансамбля трех участников -0.99733

Подходы других участников:
PSPNet(0.9969) срабатывает хуже
Псевдолейблинг
Фильтрация данных
Обучение некоторых моделей ансамбля на поиск фона, либо
создание псевдоклассов
Практически у всех участников модели схожи

Def SoftDICE_loss (y_true, y_pred):
smooth =1.
y_true_f = K.flatten(y_true)
y_pred_f = K.flatten(y_pred)
intersection = y_true*y_pred
score = (2. * K.sum(intersection) + smooth) / (K.sum(y_true_f) + K.sum(y_pred_f) + smooth)
return 1. - score

Основные моменты:
Небольшой размер изображений (примерно 100Х100)
Большое количество пустых данных( с нулевой маской)
Много не размеченных и мало размеченных картинок
Для каждой картинки дополнительно дана глубина съёмки
https://www.kaggle.com/c/tgs-salt-identification-challenge/overview

ResNet блок ResNext блок
https://arxiv.org/abs/1611.05431

https://arxiv.org/abs/1803.02579

https://arxiv.org/abs/1611.05431

Вход: 101 -> resize to 192 -> pad to 224 101->resize to 202->pad to 256 101 -> pad to 128 101 -> resize to 128
Mod: - conv7x7 -> conv3x3 и удален 1-ый max pooling удален 1-ый max pooling
decoder: conv3x3 + BN, Upsampling, scSE conv3x3, transposed conv scSE + hyper columns transposed conv
Losses: 1)BCE+1-Dice. Lr from 0.0001 Lovasz Lovasz Lovasz
2)Lovasz(from 0.00005)
3)Lovasz. 4 snapshots with
cosine annealing LR, 80
epochs each,
LR starting from 0.0001
Optimizer: RMSprop SGD Adam Adam
Augmentations: ‘ HorizontalFlip(p=0.5) ShiftScaleRotate(shift_limit=0.1625, scale_limit=0.6, rotate_limit=0, p=0.7)
RandomBrightness(p=0.2, limit=0.2) RandomContrast(p=0.1, limit=0.2)

https://arxiv.org/abs/1705.08790

- Быстрая аугментация на основе высокооптимизированной библиотеки OpenCV.
- Супер простой, но мощный интерфейс для различных задач
- Легко настроить
https://albumentations.readthedocs.io/en/latest/

def my_aug(p=0.5):
return Compose([
RandomRotate90(),
Flip(),
OneOf([
IAAAdditiveGaussianNoise(),
GaussNoise(),
], p=0.2),
OneOf([
MotionBlur(p=0.2),
MedianBlur(blur_limit=3, p=0.1),
Blur(blur_limit=3, p=0.1),], p=0.2),
OneOf([
ChannelShuffle(),
RGBShift(),
RandomBrightnessContrast(),], p=0.3),
], p=p)

Carvana Image Masking Challenge (1st place)
Data Science Bowl 2018(1)
- Humpback Whale Identification(5)
TGS Salt Identification Challenge(1)
APTOS 2019 Blindness Detection(1)
SIIM-ACR Pneumothorax Segmentation(7)
iMaterialist (Fashion) 2019 at FGVC6(1,4)
Google Landmark Recognition 2019(20)
Inclusive Images Challenge(3)
Neptune - Facial Detection Marathon Match 2019(2)
Neptune - Facial Re-Identification Marathon Match(2)
……….
https://albumentations.readthedocs.io/en/latest/hall_of_fame.html