Прям как при Петре 1, куда нам дуракам до немцев да англичан . Возможно я не совсем понятно выразился. Я предположил, (предчувствуя, что злые дядьки fontp и DRUID3, начнут брыкаться и храпеть заслышав о "НС") что термин "нейронные сети" использован больше как маркетинговый ход, дабы усладить слух музыканта (обычного, не программирующего). А музыцирующие математики и аудиоинженеры весьма высокого уровня могут спать спокойно, главное результат, а прибор у немцев получился лучший в своем классе, как говорится "по плодам судите...". А мы всего лишь, пытались "дедуктивным методом" отсеять "плевелы от зерен" и предположить методы осуществления данной задачи, за что и Вам спасибо.


Уточним задачу. Необходимо преобразовать аудио сигнал, поступающий с датчика электрогитары или бас-гитары, в сигнал midi-протокола. Т.е. в простейшем случае нужно получить номер ноты, а хорошо бы еще velocity (силу нажатия, уровень сигнала т.е.) и величину pitch shift (степень расстройки от основного тона) в центах.
При игре на гитаре всегда возникают нюансы звукоизвлечения, исполнитель может пережать струну и тон уйдет вверх, или прижать слабо, тогда струна будет дребезжать и даст кучу гармоник. От рычагов подтяжки и т.п. пока абстрагируемся. Поэтому сигнал на входе всегда будет отличаться от образца, в той или иной степени... А детектирование по фронту нужно для низкозвучащих струн, т.к. на верхних частоту можно спокойно высчитать по периоду без всяких НС и корреляций, что и делают успешно американские и прочие европейские друзья.

Сообщение отредактировал voicek - Dec 17 2010, 13:12

Я правильно понимаю что на каждую струну стоит свой датчик?

Тогда зачем Вам real-time? Или в Германии есть гитаристы способные выдать 100 различных нот в секунду?..

Ограничимся пока условием, что звучит только одна нота, и нам нужно ее распознать.


Задержка между звукоизвлечением и звучанием ноты должна быть минимальной (>10мс на слух уже заметно).
Т.е. время обработки не должно превышать 10мс.

Ну тогда все проще. Я то думал что надо любой инструмент анализировать в том числе и акустический. Можно наверное взять АЦП с частотой семплирования побольше (192-384кГц,) получить кучу отсчетов, сделать БПФ в формате 32 бита, и пробовать анализировать восстановленные НЧ составляющие. может быть по принципу периодомера.. Можно попробовать алгоритм на РС и оценить время задержки на обработку, и тогда станет ясно на чем его можно реализовать.

А для чего нужен такой преобразователь midi особенно в рилтайме?

Наверное для того, чтобы тот, кто умеет играть только на гитаре, мог играть на синтезаторах на концертах. В противном случае можно записать трек и перевести его в миди немного подождав.

Я вопросом не владею, посему интересуюсь: чем нейронные сети отличаются от адаптивного фильтра?

Как я понял из чтения всяких книжек - адаптивные фильтры - часть нейросетей. Причем та часть, которая получается всегда (без магии и методов научного тыка). Но это вообще больше общефилософский вопрос к прикладным математикам.

Нейросети сильно нелинейны, имеют более запутанную структуру, более непредсказуемые алгоритмы обучения и более непредсказуемое поведение.

Сплошные плюсы

Но зато если повезет, то получится круче (а иногда много круче), чем обычными способами. Но с опытом и интуицией, вероятность благоприятного исхода сильно повышается...то есть уменьшается время успешной реализации прожекта

Решаю задачу, сходную по сути. Не подскажет ли кто оптимальный алгоритм, по которому "прочие друзья" "спокойного высчитывают по периоду"? Учитывая, что сигнал, в частности с муз инструмента, может иметь более двух экстремумов по времени за период, максимум в одном периоде может отличаться от максимума в другом периоде и т.п., задача не так уж тривиальна, как кажется на первый взгляд. Первое, что приходит в голову, - куча сравнений со взятыми от балды порогами (в % от размаха сигнала). Но, думаю, есть что-то получше

Сообщение отредактировал Diusha - Jan 1 2011, 03:45

Для определения высоты тона в реальном времени с малой задержкой хорошо работает следующий алгоритм "двойного окна". Раз у вас допустима задержка в 10 мс, то берём окно длиной 40 мс: на 10 мс вперёд по времени и на 30 мс назад. Вычисляем автокорреляцию и находим по ней высоту тона (детали — далее). Эта оценка обладает хорошей надёжностью (в т.ч. к октавным прыжкам), но отстаёт по времени от сигнала (т.к. окно сильнее простирается назад во времени). Далее берём более короткое окно, центрированное по времени, длиной 20 мс. Вычисляем автокорреляцию и ищем пик в небольшой окрестности лага, найденного с большим окном. Это и будет ответ. Кстати, во многих задачах небольшое отставание оценок высоты тона от самого сигнала не критично, если высота тона меняется медленно.

Как вычислить высоту тона по автокорреляции? В процессе вычисления автокорреляции из спектра сигнала можно извлечь квадратный корень, чтобы слегка "отбелить" спектр и обострить пики АКФ. На полученной псевдо-АКФ ищется максимум. Для повышения надёжности алгоритма можно искать максимум АКФ, сглаженной небольшим НЧ-фильтром. При поиске максимума учитываются значения АКФ с половинным лагом, чтобы избежать октавных ошибок. Далее по несглаженной АКФ производится параболическая интерполяция пика для уточнения положения максимума. Перед интерполяцией значения АКФ можно возвести в степень < 1 для увеличения точности интерполяции.

Ну вот, вроде тяжелая музыкальная артиллерия подтянулась