Оптимизация программы для определения частоты аудиосигнала

Введение
Цель: изучить и реализовать алгоритм быстрого преобразования Фурье и выяснить, как избежать ошибочного определения фундаментальной частоты.
Задачи:
Изучить алгоритм БПФ;
Реализовать алгоритм БПФ;
Изучить теорию восприятия высоты тона;
Применить теорию восприятия высоты тона к предмету исследований.

Преобразование Фурье

Замена N-точечного ДПФ двумя 0,5N-точечными ДПФ

БПФ

Быстрое преобразование Фурье с прореживанием по времени

Прореживание по времени для N=8

Этимология названия поворачивающих коэффициентов

Свойства поворачивающих коэффициентов

Граф «бабочка»

Такую процедуру объединения можно применить для расчёта каждого из 0,5N-точечных ДПФ S0(k) и S1(k) через два 0,25N-точечных ДПФ. Тогда для N=2L можно произвести L-1 этап деления последовательности на «чётную» и «нечётную» и после этого производить объединение спектра за L этапов. В результате получается полный граф алгоритма БПФ.

Полный граф алгоритма БПФ по основанию 2 с прореживанием по времени для N=8

На первом этапе отсчёты входного сигнала переставляются местами, и исходная последовательность делится на «чётную» и «нечётную» последовательности. Потом «чётная» и «нечётная» последовательности в свою очередь делятся на «чётную» и «нечётную» последовательности. Данная процедура называется двоично-инверсной перестановкой, так как можно выполнить перенумерацию отсчётов, переписав номер отсчёта в двоичной системе счисления в обратном направлении.

Основные идеи алгоритма БПФ
Разделить сумму (1) из N слагаемых на две суммы по N/2 слагаемых и вычислить их по отдельности. Для вычисления каждой из подсумм нужно их тоже разделить на две и т.д.
Повторно использовать уже вычисленные слагаемые

Пример деления последовательности s(n) для N=16

Циклический сдвиг вправо
Циклический сдвиг вправо при одном разбиении
Циклический сдвиг вправо при многократных разбиениях

Оптимизация вычисления поворачивающих коэффициентов

Основные задачи психоакустики
понять, как слуховая система расшифровывает звуковой образ
установить основные соответствия между физическими стимулами и слуховыми ощущениями
выявить, какие именно параметры звукового сигнала являются наиболее значимыми для передачи семантической (смысловой) и эстетической (эмоциональной) информации.

Периферическая часть слухового анализатора
акустическая антенна, принимающая, локализующая, фокусирующая и усиливающая звуковой сигнал;
микрофон;
частотный и временной анализатор;
аналого-цифровой преобразователь, преобразующий аналоговый сигнал в двоичные нервные импульсы – электрические разряды.

Основные функции внешних ушей
бинауральное (пространственное) восприятие
локализация звукового источника
усиление звуковой энергии

Строение внешних ушей
Уши и голова – компоненты внешней акустической антенны
Слуховой канал представляет собой изогнутую цилиндрическую трубку длиной 22,5 мм, имеющую первую резонансную частоту порядка 2,6 кГц, поэтому в этой области частот он существенно усиливает звуковой сигнал
Барабанная перепонка – тонкая плёнка толщиной 74 мкм, имеет вид конуса, обращённого остриём в сторону среднего уха. На низких частотах она движется, как поршень, на более высоких – на ней образуется сложная система узловых линий

Структура периферической слуховой системы

Строение среднего уха
Это заполненная воздухом полость, соединённая с носоглоткой евстахиевой трубой для выравнивания атмосферного давления. Там находятся три маленькие слуховые косточки:
молоточек
наковальня
стремечко

Структура периферической слуховой системы

Основные функции среднего уха
согласование импеданса воздушной среды с жидкой средой улитки внутреннего уха
защита от громких звуков (акустический рефлекс)
усиление (рычаговый механизм), за счёт которого звуковое давление, передаваемое во внутреннее ухо, усиливается почти на 38 дБ по сравнению с тем, которое попадает на барабанную перепонку.

Строение внутреннего уха
орган равновесия (вестибулярный аппарат)
улитка

Структура периферической слуховой системы

Строение улитки
Это трубка переменного сечения, свёрнутая три раза, внутри по всей длине она разделена двумя мембранами на три полости:
лестница преддверия
срединная полость
барабанная лестница
Сверху срединная полость закрыта мембраной Рейсснера, снизу – базилярной мембраной. Все полости заполнены жидкостью. Верхняя и нижняя полости соединены через отверстие у вершины улитки (геликотрему). В верхней полости находится овальное окно, через которое стремечко передаёт колебания во внутреннее ухо, в нижней полости находится круглое окно, выходящее обратно в среднее ухо.

Схематическое изображение развёрнутой улитки (оп – окно преддверия)

Базилярная мембрана
Состоит из нескольких тысяч поперечных волокон: длина – 32 мм, ширина у стремечка – 0,05 мм (этот конец узкий, лёгкий и жесткий), у геликотремы ширина – 0,5 мм (этот конец толще и мягче). На внутренней стороне базилярной мембраны находится орган Корти, а в нём – специализированные слуховые рецепторы – волосковые клетки. В поперечном направлении орган Корти состоит из одного ряда внутренних волосковых клеток и трёх рядов наружных волосковых клеток. Между ними образуется тоннель. Волокна слухового нерва пересекают тоннель и контактируют с волосковыми клетками.

Слуховой нерв представляет собой перекрученный ствол, сердцевина которого состоит из волокон, отходящих от верхушки улитки, а наружные слои – от нижних её участков. Войдя в ствол мозга, нейроны взаимодействуют с клетками различных уровней, поднимаясь к коре и перекрещиваясь по пути так, что слуховая информация от левого уха поступает в основном в правое полушарие, где происходит, главным образом, обработка эмоциональной информации, а от правого уха – в левое полушарие, где в основном обрабатывается смысловая информация. В коре основные зоны слуха находятся в височной области, между обоими полушариями имеется постоянное взаимодействие.

Упрощённый механизм передачи звука
Звуковые волны проходят звуковой канал и возбуждают колебания барабанной перепонки
Эти колебания через систему косточек среднего уха передаются овальному окну, толкающему жидкость в верхнем отделе улитки, в ней возникает импульс давления, заставляющий жидкость переливаться из верхней половины в нижнюю через барабанную лестницу и геликотрему, и оказывает давление на перепонку круглого окна, вызывая при этом его смещение в сторону, противоположную движению стремечка
Движение жидкости вызывает колебания базилярной мембраны (бегущая волна).
Преобразование механических колебаний мембраны в дискретные электрические импульсы нервных волокон происходят в органе Корти. Когда базилярная мембрана вибрирует, реснички на волосковых клетках изгибаются, и это генерирует электрический потенциал, что вызывает поток электрических нервных импульсов, несущих всю необходимую информацию о поступившем звуковом сигнале в мозг для дальнейшей переработки и реагирования.

Бегущая волна на базилярной мембране

Зависимость высоты тона от частоты звука

Кривые частотной разрешающей способности слуха

Зависимость высоты звука от его интенсивности

Ощущение высоты тона зависит и от его длительности: короткие звуки воспринимаются как сухой щелчок, но при удлинении звука щелчок начинает давать ощущение высоты тона. Время, требуемое для перехода от щелчка к тону, зависит от частоты: для низких частот требуется для распознания высоты тона примерно 60 мс, для частот от 1 до 2 кГц – 15 мс. Для сложных звуков это время увеличивается, для звуков речи оно может составлять 20-30 мс.

В музыке простые синусоидальные тоны практически не используются, каждый музыкальный тон имеет сложную структуру и состоит из основного тона и гармоник. Однако можно установить соответствие по высоте музыкального тона, например, ноты ля первой октавы и чистого синусоидального сигнала с частотой 440 Гц. Высоты этих двух звуков будут одинаковыми, но тембры – разными. Это свидетельствует о том, что для сложных периодических сигналов высота присваивается по частоте основного тона – именно он имеет частоту 440 Гц.

До частоты примерно 5000 Гц увеличение высоты тона на октаву связано с удвоением частоты. Но выше частоты 5000 Гц это соответствие нарушается: чтобы получить ощущение увеличения высоты на октаву, надо увеличить соотношение частот почти в 10 раз. Это дало основание некоторым ученым предложить две размерности высоты тона: психофизическую – в мелах, пропорциональную в некоторых пределах логарифму частоты, установленную для чистых тонов, и музыкальную, соответствующую названию нот, которая может быть определена примерно до 5000 Гц.

Теория места
Теория места при восприятии высоты основана на способности базилярной мембраны выполнять частотный анализ сложного звука, т.е. действовать как спектральный анализатор
Базилярная мембрана организована тонотопически, т.е. каждый тон имеет свою топографию размещения
Максимум смещения бегущей волны располагается в разных местах базилярной мембраны: низкие частоты имеют максимум смещения вблизи вершины мембраны, высокие – вблизи овального окна. Каждая частота имеет своё место максимума возбуждения на мембране

В зависимости от спектрального состава на базилярной мембране возбуждаются различные участки. Возбуждаются волосковые клетки, находящиеся на этом месте, и их электрическая активность сообщает мозгу, какие частоты присутствуют в спектре
Таким образом, частота тона представлена в коде, основанном на том, нейроны каких участков активны, а каких – нет

При действии синусоидального сигнала в слуховом нерве формируется «образец возбуждения» – скорость разрядов нейронов как функция места на базилярной мембране. При этом пик этого образца движется вдоль мембраны при изменении частоты. Для того чтобы слух различил два тона по высоте, необходимо, чтобы на базилярной мембране максимум смещения, соответствующий данным частотам, сместился всего на 52 мкм
Таким образом, можно считать, что периферическая слуховая система содержит банк полосовых фильтров («слуховых фильтров») с перекрывающимися полосами. Их ширина свыше 1 кГц составляет примерно 10-17% от центральной частоты

«Слуховые фильтры»

Методы определения высоты

Метод 1
Присутствие фундаментальной частоты является обязательным для определения высоты звука
Но в 1940 году Шутен продемонстрировал, что ощущение высоты тона не изменится, если вырезать в музыкальном тоне фундаментальную частоту. Этот эффект получил название «феномен пропущенной фундаментальной» и доказал, что метод 1 не может служить единственной базой для определения высоты сложного тона, хотя он работает для большинства музыкальных звуков.

Метод 2
Для большинства музыкальных звуков соседние гармоники обычно присутствуют. Слуховая система, оценивая положение их максимумов на базилярной мембране, вычисляет частотную разницу между ними и по ней определяет высоту
Но если подать звук, в котором присутствуют только нечётные гармоники f0, 3f0, 5f0, 7f0, например, 100 Гц, 300 Гц, 500 Гц, 700 Гц и др. Если фундаментальная частота есть в спектре, то слух определяет высоту по ней f0=100 Гц. Если её вырезать, то расстояние между гармониками останется равным 2f0, но слух продолжает определять высоту тона, равную фундаментальной f0=100 Гц.

Метод 3
Позволяет объяснить и пропущенную фундаментальную частоту, и наличие только нечётных гармоник, т.к. от отсутствия каких-либо гармоник общий наибольший сомножитель 100 Гц не меняется. Этот метод позволяет также объяснить восприятие слабого ощущения высоты тона у колоколов и других источников квазипериодических тонов.

Выводы теории места
Механизм места разворачивает данную гармонику, если критическая полоса её слухового фильтра, построенного на ней как на срединной частоте, достаточна узкая и соседние гармоники внутрь этого фильтра не попадают
Если гармоники находятся настолько близко по частоте друг от друга, что внутрь одного слухового фильтра попадает несколько гармоник, то они не разворачиваются.
Какой бы ни была фундаментальная частота, слуховой механизм разворачивает только первые 6-7 гармоник – именно они и являются определяющими при определении высоты звука

Выводы теории места
Теория места создаёт базис для понимания того, как можно определить высоту путём анализа гармонического ряда, но эта теория не может объяснить ряд проблем, например, очень высокая точность определения высоты звука для тонов, чьи частотные компоненты не разворачиваются (т.е. звуки с гармониками выше седьмой).

Временная теория
Эта теория использует синхронизацию разрядов нейронов органа Корти с фазой колебания базилярной мембраны (эффект запирания фазы). При смещениях определённой точки мембраны в сторону расположения волосковых клеток в них возникает электрический потенциал, при смещении в противоположную сторону потенциал отсутствует. Благодаря фазовому запиранию время между импульсами в любом отдельном волокне будет равно целому числу 1, 2, 3, …, умноженному на период в основной звуковой волне

Основа временной теории – анализ формы волны в различных частях базилярной мембраны. Если рассматривать механизм частотного анализа на базилярной мембране как работу линейки фильтров различной ширины, то форма волны звукового сигнала, выходящего из этого набора фильтров, должна иметь такой вид:

Волновая форма выходного сигнала для фильтра, центральная частота которого выше шестой, не синусоидальная, т.к. гармоники не разворачиваются индивидуально, демонстрируя, что частотный диапазон полосового фильтра шире, чем расстояния между ними. По меньшей мере две гармоники комбинируются на выходе этого фильтра. Известно, что если две частоты находятся достаточно близко друг от друга, между ними возникают биения, т.е. амплитудно модулированное колебание с частотой модуляции, равной разности частот. В данном случае, когда взаимодействуют две гармоники, этот период определяется фундаментальной частотой T=1/f0. Таким образом, период всех волн, выходящих после фильтров с центральной частотой выше шестой гармоники и состоящих из соседних гармоник, будет одинаковым и равным 1/f0.

Минимальное время между импульсами от различных мест на базилярной мембране определяется периодом волны, выходящей от соответствующего фильтра. Для мест, соответствующих частотам от основной до шестой гармоники, минимальное время равно периоду данной гармоники. Для мест, соответствующих более высоким гармоникам, промежутки между импульсами равны периоду огибающей, т.е. основному тону.
Таким образом, выше шестой гармоники разряды нейронов синхронизированы с формой огибающей, и период разрядов совпадает с периодом для фундаментальной частоты. Иными словами, для всех гармоник периоды разрядов или равны, или отличаются в целое число раз от частоты основного тона.

Основа временной теории восприятия высоты тона
Мозг определяет периодичность разрядов и по ним восстанавливает частоту основного тона. Восприятие музыкальной высоты связано с оценкой временной формы звукового сигнала (за счёт использования эффекта «фазового запирания»)

Выводы временной теории
Временная теория позволяет понять, как найти фундаментальную частоту на основе анализа временных интервалов между нервными импульсами от различных мест на базилярной мембране и по ней определить высоту тона.
Но временная теория не объясняет восприятия высоты тона на частотах выше 5000 Гц, т.к. эффект фазового запирания не срабатывает на этих частотах. Вероятно, в этой области частот меняется механизм восприятия высоты тона.

Современная теория восприятия высоты тона
Согласно современным теориям, мозг принимает информацию от периферийной слуховой системы как за счёт индикации места (частотный анализ), так и за счёт информации о форме звуковой волны (временной анализ).

Современная модель для восприятия высоты тона

Анализ восприятия высоты музыкального тона с помощью предложенной модели позволил получить ряд интересных результатов:
Для музыкальных тонов с основной частотой от 100 до 400 Гц (с уровнем звукового давления не менее 50 дБ) основную роль в определении высоты тона играют первые пять-шесть гармоник (если их уровень превышает 10 дБ), т.е. те гармоники, которые разворачиваются слуховыми фильтрами
Звуковые сигналы, содержащие только очень высокие гармоники (свыше двадцатой), не вызывают ощущения высоты тона
Музыкальные сигналы, содержащие очень низкие частоты (с основной частотой ниже 50 Гц) вызывают ощущение высоты тона только по обертонам, т.к. такие низкие частоты не вызывают смещений базилярной мембраны – они на ней не размещаются, им не хватает места. При этом наиболее существенную роль играют пятые-шестые гармоники
Фундаментальная частота звука, если она выше 1000 Гц, является доминантной компонентой в определении высоты тона

Музыкальные звуки, содержащие только неразвёрнутые гармоники (свыше шестой), могут дать ощущение высоты тона по огибающей, при этом слух производит достаточно тонкую дифференциацию сдвига максимума огибающей, т.е. точно ощущает высоту.
Фазовые соотношения различных гармоник в музыкальном сигнале оказывают влияние на восприятие высоты, т.к. их изменение приводит к изменению структуры огибающей для высших неразвёрнутых гармоник. Для музыкальных сигналов, содержащих много низких и высоких гармоник, изменение фазовых соотношений может привести к улучшению чёткости восприятия высоты, не вызывая её сдвига (т.к. они не влияют на оценку низших развернутых гармоник). Для сигналов, содержащих в основном высокие гармоники, изменение их фазы может вызвать сдвиг высоты тона и изменение его чёткости, т.к. может привести к сдвигу пиков в огибающей, по которым и определяется высота тона.

Обработка звуковой информации в мозге
В настоящее время принята гипотеза, что мозг, получив информацию от периферической слуховой системы о наличии компонент с кратными периодами в музыкальном звуке, группирует их и сравнивает с гармоническим шаблоном, в котором имеются все последовательные гармоники
Если к данному сигналу подходят два шаблона с разными фундаментальными частотами, можно ожидать услышать или неопределённую высоту, или две высоты

Применение теории восприятия высоты тона к программе
В программе был применён 1 метод теории места, в результате чего возникает «феномен пропущенной фундаментальной»
Было решено воспользоваться вторым методом теории места, т.е. находить два пика, соответствующих соседним гармоникам (двум обертонам или обертону и фундаментальной частоте), находить разность их частот и принимать её за фундаментальную частоту

Возникшие проблемы
Но возникла проблема: в амплитудном спектре пик с максимальной среди всех других амплитудой оказался как бы размазанным, то есть на расстоянии одного или совсем небольшого числа отсчётов есть пики, меньшие по амплитуде, чем обертон, но большие, чем все остальные, но расположенные практически в том же месте спектра. Это т.н. эффект размазывания, из-за которого воспользоваться вторым методом теории места невозможно, если его (эффект) не устранить, потому что вместо двух соседних обертонов определяется размазанный один и тот же.

Заключение
В ходе данной работы был изучен и реализован алгоритм быстрого преобразования Фурье по основанию два с прореживанием по времени, в результате чего скорость работы программы многократно возросла. Была изучена теория восприятия высоты тона, в результате чего была установлена причина ошибочного определения фундаментальной частоты и найдены методы избегания данной ошибки. Но при попытке применить эти методы была определена ещё одна нерешённая проблема: эффект размазывания.