Сетевой анализ звукового ряда (речевых сигналов и музыкальных произведений)

Звуки окружают нас на протяжении всей нашей жизни, звуки предают нам информацию, отражают реальность окружающую нас. Звуки бывают простыми и сложными, анализ звуков и их взаимосвязь интересовал исследователей всегда.
Объективные методы для сравнения и формализации систем звуков достаточно сложные такие как спектральный анализ, и трудоемким окажется сравнение и анализ миллиона звуковых рядов, которые могут храниться и накапливаться в базах данных.
Существует необходимость простых и доступных методов сравнения звуковой информации.

Предметом настоящего исследования являлась семантическая сеть звукового ряда.
Сеть- «Семантическая сеть»- информационная модель предметной области, которая может быть представлена в виде графа, вершины которого соответствуют объектам предметной области, а дуги (ребра) задают отношения между ними. Объектами могут быть понятия, события, свойства процессы.
Объект исследования– спектральный ряд звуковых файлов.

Целью работы являлся сетевой анализ звукового ряда, сравнительный анализ, выявление различных характеристик.
Условно задача разбивалась на несколько этапов:
Поиск и обработка информации в сетевом анализе звукового ряда
Представление звукового ряда в виде графа
Обработка и анализ графа
Сравнительный анализ результатов
Выявление определенных характеристик для сопоставления и сравнения аудио информации.

Частотная волна звукового файла

С помощью спектрального анализа можно разложить некоторый звуковой сигнал на слагающие его ноты. Сигнал представляет собой сумму синусоид со своими частотами, амплитудами и начальными фазами, и возможно, белый шум. Для анализа периодических сигналов в инженерной практике широко используют математический аппарат, именуемый в общем «Фурье-анализ».
Для установления частоты и комплексной амплитуды нужной гармоники, в работе использовано гетеродинирование.
Причем, изменение параметров и масштаба гистограммы спектра, позволяло повысить точность определения значений относительной амплитуды частоты.

Гистограмма
спектрального звукового ряда

Очевидно, что задача поиска и сравнения какого либо звукового ряда в базе огромного объема звуковой информации спектральным методом довольно сложна и занимает длительное время.
Для эффективного решения этой задачи предлагается сетевой подход.

Наиболее сложным при применении сетевого подхода является трансформация системы в сетевую структуру.
СИСТЕМА
Сетевое описание

При преобразовании звуковой информации в сеть требуется определить понятие элементарного знака, произвести декомпозицию информационного образа на элементы знаки, и затем, установить связи близости между ними.

В качестве входных данных в настоящей работе использовались звуковые WAV файлы. Упрощенно такой файл можно представить как список чисел от 0 до 170, которые отражают относительную амплитуду частоты звукового ряда.
Аудио информация имеет линейную структуру, оказалось удобным принимать за узел – относительную амплитуду; связь между узлами (амплитудами) сети устанавливаются по последовательному принципу.

Для построения и анализа графов сети применялось бесплатное приложение Gephi

В качестве узла выбрана относительная амплитуда (Relative Amplitude (dB))

Связь между узлами (амплитудами) в сети устанавливалась в хронологическом порядке

Пример визуализации графа сетевой модели

Статистика сетевой модели

Для исследований было выбрано 5 звуковых файлов:
звук природы ( )
звук электрогитары
две речевых записи
звук тона

Общая таблица сетевых метрик звуковых рядов

Для сетевых моделей звуковых рядов сравнивались три основные характеристики ( метрики): Средняя степень, средний коэффициент кластеризации и средняя длина пути.
Удобной для анализа является лепестковая диаграмма. В ней можно четко увидеть наиболее чувствительные параметры.

Из диаграммы видно что средний коэффициент кластеризации лежит в диапазоне от 0 до 0,224, средняя степень от 1,558 до 3,029. Средняя длина пути, которая находится в пределах от 3,552 до 6,417 может также являться ключевой сравнительной метрикой.