Слайд 2Проблема
Захотели послушать джаз, открываем плейлист в vk или папку с музыкой, а
![Проблема Захотели послушать джаз, открываем плейлист в vk или папку с музыкой,](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/380699/slide-1.jpg)
там…
…одна большая свалка :)
Слайд 3Несколько светлых идей
Навести порядок
Не делать это вручную для 1000+ аудиозаписей
Определение жанра –
![Несколько светлых идей Навести порядок Не делать это вручную для 1000+ аудиозаписей](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/380699/slide-2.jpg)
в чистом виде задача классификации
Остается придумать признаки
По запросам в гугле про классификацию музыки узнаем, что область имеет название Music Information Retrieval
Находим много интересных статей :)
Слайд 4Сначала найдем датасет
http://marsyas.info/download/data_sets/
![Сначала найдем датасет http://marsyas.info/download/data_sets/](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/380699/slide-3.jpg)
Слайд 5Что в датасете
Десять жанров
По 100 wav-файлов с первыми 30 секундами аудиозаписи для
![Что в датасете Десять жанров По 100 wav-файлов с первыми 30 секундами](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/380699/slide-4.jpg)
каждого жанра
Один канал
Слайд 6Как посмотреть на датасет
Гуглим, как люди визуализируют звук и сразу узнаем про
![Как посмотреть на датасет Гуглим, как люди визуализируют звук и сразу узнаем](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/380699/slide-5.jpg)
спектрограммы. Вот, что пишет про это Вики:
Слайд 7Спектрограммы для разных жанров
![Спектрограммы для разных жанров](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/380699/slide-6.jpg)
Слайд 10Какой жанр?
Метал (Metallica – St.Anger)
![Какой жанр? Метал (Metallica – St.Anger)](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/380699/slide-9.jpg)
Слайд 11Как бы построить один набор чисел?
В обработке сигналов часто используют разложение в
![Как бы построить один набор чисел? В обработке сигналов часто используют разложение](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/380699/slide-10.jpg)
ряд Фурье
Несколько основных гармоник уже неплохо описывают сигнал
Почему бы и здесь не сделать так?
Слайд 12Вспоминаем второй курс
(если он уже позади :)
![Вспоминаем второй курс (если он уже позади :)](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/380699/slide-11.jpg)
Слайд 15Повышаем качество
Круто? Не очень. Читаем статьи.
Узнаем, например, про Mel Frequency Cepstral Coefficients
![Повышаем качество Круто? Не очень. Читаем статьи. Узнаем, например, про Mel Frequency](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/380699/slide-14.jpg)
(MFCC) – преобразование Фурье логарифма спектра
Используем в качестве признаков
Слайд 16Как обычно, есть готовый пакет
Hint:
![Как обычно, есть готовый пакет Hint:](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/380699/slide-15.jpg)
Слайд 19Как лучше расшарить тему:
Воспроизвести все описанные действия и построить классификатор музыки по
![Как лучше расшарить тему: Воспроизвести все описанные действия и построить классификатор музыки](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/380699/slide-18.jpg)
жанрам
Разобрать статью с описанием признаков, которых не было на семинаре, реализовать их и сравнить результаты на кросс-валидации
* Реализовать скачивание плейлиста из vk, конвертацию mp3 в wav и классификацию по жанрам. При необходимости, сделать свою обучающую выборку.
** Сделать классификатор жанров по словам песен (где они есть), сравнить качество с MFCC.
Слайд 20Что еще можно придумать?
Можно сделать подбор плейлиста из музыки одного жанра или
![Что еще можно придумать? Можно сделать подбор плейлиста из музыки одного жанра](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/380699/slide-19.jpg)
из разных
Можно сделать поиск похожих мелодий и рекомендации песен по звучанию, советуя те песни, которые ближе в пространстве признаков
Можно сделать автоматическое составление плейлиста с плавным переходом от одного жанра к другому (например, чтобы постепенно исправить плохое настроение :)
Слайд 21Бонус-трек
Конвертация из mp3 в wav из консоли:
ffmpeg, sox
Выкачивание музыки из vk на
![Бонус-трек Конвертация из mp3 в wav из консоли: ffmpeg, sox Выкачивание музыки](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/380699/slide-20.jpg)
Python:
http://habrahabr.ru/post/157925/
Приятная и интересная книжка по машинке на Python: