Лекция 1

Лекторы
Должность: Заместитель начальника подразделения «Системы интеллектуального анализа данных, технического зрения, улучшенного и синтезированного видения» в части направлений «искусственный интеллект» и «анализ данных» ФГУП ГосНИИАС.
Научные интересы: Глубокое обучение, Обучение с подкреплением, Автоматическое обучение, Техническое зрение, Робототехнические системы, Биометрия, Видеоаналитика.
Опыт работы: более 17 лет в сфере разработки алгоритмического программного обеспечения для решения задач технического зрения, биометрии, видеоаналитики, робототехники, обучения глубоких нейронных сетей.
Биография: родился в 1984 году в Москве, закончил Московский авиационный институт (национальный исследовательский университет) с красным дипломом по специальности математик-инженер в 2006 году. В 2009 году защитил кандидатскую диссертацию. С 2004 года работает в ФГУП ГосНИИАС, пройдя путь от техника (2004) до инженера (2006), начальника сектора (2009), начальника лаборатории (2011), заместителя начальника подразделения (2021). На данный момент в подчинении находится три лаборатории общей численностью более 70 человек: разработчиков алгоритмов, разработчиков программного обеспечения, руководителей проектов, специалистов по разметке данных, инженеров сопровождения проектов, специалистов в области продвижения и продаж программного обеспечения.

Лекторы
Должность: начальник лаборатории «Методы AutoML в глубоком обучении»
Научные интересы: Глубокое обучение, Компьютерное зрение, Биометрия, Робототехнические платформы, AutoML.
Опыт работы: более 3 лет в сфере разработки алгоритмов компьютерного зрения.
Участие в проектах:
- Биометрия: Разработка алгоритмов обнаружения и распознавания лиц под различные аппаратные платформы. Поддержка решений в условиях COVID-19 при перекрытии лиц медицинскими масками;
Робототехнические платформы: Разработка алгоритмических модулей сематической сегментации, плотной трехмерной реконструкции, обнаружения объектов с оконтуриванием трехмерными объемлющими параллелепипедами, детектирования и соотнесения особых точек
Разработка алгоритмов сегментации и восстановления высот по аэрофотоснимкам
Биография: 1995 года рождения, в 2017 году окончил бакалавриат НИУ ВШЭ, в 2019 году - магистратуру НИУ ВШЭ. С 2019 года работает инженером в ФГУП ГосНИИАС, с 2021 года занимает позицию начальника лаборатории «Методы AutoML в глубоком обучении».

Лекторы
Должность: руководитель группы «Технологии обучения нейросетевых алгоритмов»
Научные интересы: Глубокое обучение, Автоматическое обучение, Обнаружение объектов, Обучение с подкреплением.
Опыт работы: более 3 лет в сфере разработки алгоритмов технического зрения. Участие в проектах:
- Биометрия: детектор лиц и особых точек под разные аппаратные платформы. Детектор лицевых атрибутов.
- Робототехнические платформы: обнаружение объектов интереса при помощи камеры с телеобъективом в условиях реального времени. Отслеживание перемещения объектов интереса. Обучения агента для принятия решения о углах поворота орудия и момента выстрела для поражения статической и движущейся мишени.
- Видеоаналитика: обнаружение летной и наземной техники на взлетной полосе и прилегающих территориях
Биография: 1984 года рождения, В 2014 году диплом магистра Universite Jean-Monnet Saint-Etienne, по специальности Бизнес аналитика и управление инновациями. С 2019 года инженер в ФГУП ГосНИИАС, участвовал в проектах разработки и интеграции системы компьютерного зрения, в частности обнаружения и трекинга объектов для аэропортов и наземной автономной роботизированной платформы. С 2021 год начальник группы «Технологии обучения нейросетевых алгоритмов».

Лекторы
Должность: ведущий инженер ФГУП ГосНИИАС.
Научные интересы: Глубокое обучение, Обучение с подкреплением, Автоматическое обучение, Техническое зрение, Физическая электроника, Квантовая электроника, Квантовые нейросетевые алгоритмы.
Опыт работы: более 2 лет в сфере разработки нейросетевых алгоритмов компьютерного зрения, для решения задач семантической сегментации и анализа аэрофотоснимков, биометрии, обучения нейронных сетей. Участвовал в проектах:
Автоматизированное дешифрирование аэрофотоснимков, нейросетевая семантическая сегментация, восстановление карты высот зданий.
Программная клиент-серверная платформа обучения нейронных сетей, состоящая как из фреймворка собственной разработки, так и набора пользовательских интерфейсов для упрощения обучения.
Консультации в задаче обучения с подкреплением, заключающейся в размещении специальной техники для отражения налета БПЛА.
Биография: родился в 1995 году в Лениногорске (Республика Татарстан), закончил бакалавриат в Московском государственном университете по специальности физик, кафедра физической электроники, лаборатория плазменной аэродинамики, в 2017 году. В 2019 году окончил с красным дипломом магистратуру в НИУ ВШЭ на факультете МИЭМ, по специальности Материалы, Приборы, Нанотехнологии.

Программа курса
Борис Вишняков
Иван Сгибнев
Андрей Сорокин

Программа курса
Математика для машинного обучения
Основы линейной алгебры. Основы теории вероятностей и статистики. Основы оптимизации.
Python для машинного обучения
Основы numpy, pandas, scipy, matplotlib, scikit-learn, seaborn;
Основы машинного обучения
Постановки задач в машинном обучении. Примеры задач. Виды данных. Объекты. Признаки. Обучающая, проверочная и тестовая выборки. Кросс-валидация. Переобучение. Обучение с учителем. Обучение без учителя. Параметры. Гиперпараметры. Функция ошибки.
Первичный анализ данных
Представление данных. Визуализация данных. Подготовка данных. Отбор признаков. Разработка признаков. Выбор модели. Подбор гиперпараметров. Метрики качества.
Линейные модели
Линейная регрессия. Регуляризация. Функции активации. Логистическая регрессия. Метрики качества.
Решающие деревья
Дерево решений. Критерии информативности. Регуляризация.
Композиции алгоритмов
Бэггинг. Случайный лес. Бустинг. Градиентный спуск. Градиентный бустинг, catboost, lightgbm, xgboost. Стэкинг.
Основы глубокого обучения
Тензоры. Вычислительный граф. Нейронная сеть. Метод обратного распространения ошибки. Стохастический градиентный спуск и его аналоги. Типы нейронных сетей. Базовые слои и операции. Основные семейства архитектур. Методы обучения.
Платформы и фреймворки глубокого обучения
Фреймворки для обучения нейронных сетей. Платформы для обучения нейронных сетей. Инференс-фреймворки для аппаратных платформ.
Отечественная Платформа глубокого обучения и фреймворк PlatLib
Уровни Платформы. Типовые решения. Визуальное программирование. Фреймворк Plat.
Нейросетевой фреймворк PyTorch
Введение в PyTorch. Загрузка данных. Работы с тензорами. Модули PyTorch. Формат хранения нейронных сетей.
Обработка изображений
Представление изображения. Классические методы обработки изображений. Свёртка. Генерация признаков. Классификация. Семантическая сегментация. Детектирование объектов. Аугментации. Локальные ключевые точки. Сопоставление ключевых точек. Карты глубины.

Программа курса

Программа курса
Классификация изображений
Задача классификации изображений. Сверточные нейронные сети. Перенос знаний.
Семантическая сегментация
Задача семантической сегментации. Нейросетевые модели сегментации. Метрики качества. Функции ошибки.
Детектирование объектов
Задачи детектирования объектов. Нейросетевые модели детектирования. Одностадийные детекторы. Двухстадийные детекторы. Anchor-free детекторы. Метрики качества. Функции ошибки.
Особенности применения нейросетевых алгоритмов в реальных задачах
Конвертация моделей в ONNX. Инференс-фреймворки: OpenVINO, TensorRT, TensorFlow Lite, MNN.
Компьютерное зрение в биометрии и робототехнике
Детектирование лиц. Распознавание лиц. Определение атрибутов лица. SLAM. Визуальная одометрия. Трехмерная реконструкция. Семантическая сегментация сцены. Детектирование объектов в 3D.
Обработка естественного языка
Мешок слов. N-граммы. TF-IDF. Word2Vec. Embedding. Seq2Seq. Машинный перевод. Attention. Transformer. GPT. BERT.
Обработка звука
Обработка аудиосигналов. Распознавание речи.
Обучение с подкреплением
Метод кросс-энтропии. DQN. Метод актора-критика.
Специальные архитектуры и альтернативные приложения нейронных сетей
Автокодировщики. Генеративно-состязательные сети. Перенос стиля.
Трансформеры в компьютерном зрении. DALL-E. CLIP. AlphaFold. NAS. AutoML.
Продвинутые методы обучения нейронных сетей
Label Smoothing, Knowledge Distillation, Hyperparameter optimization, Noisy Student, LBFGS.
Спортивный анализ данных
Исследование данных на предмет скрытых закономерностей. Продвинутые методы подготовки данных, отбора признаков, генерации признаков и валидации. Ансамблирование моделей.

Программа курса (лабораторные)

Линейная алгебра
Вектор, норма вектора
(общее, регуляризация)
Матрица,
произведение матриц
(свертки, обучение)
Метод главных компонент
(уменьшение размерности)

Теория вероятностей и мат. статистика
Случайная величина
(общее, веса)
Простейшие статистики
(пуллинги, критерии качества)
Условная вероятность
(обучение, критерии качества)
Дискретная
Непрерывная
Мат ожидание
Дисперсия
Квантиль

Теория вероятностей и мат. статистика
Формула Байеса
(обучение)
Ошибки 1 и 2 рода
(критерии качества)
Гипотезы
(обучение, критерии качества)