Если произвести информационную разведку у тех же немецких друзей, то видно следующее:

1.Прибор отрабатывает по фрону сигнала (отсюда малая латентность системы).
2.Распознавание производиться на основе встроенной базы данных образов, содержащей множество возможных вариантов звукоизвлечения каждой ноты. А не проще было бы сделать динамическую БД? Т.е. попросить музыканта проиграть все ноты с разным звукоизвлечением и занести в БД. Тут можно и память с пресетами организовать, поменял инструмент, прогнал по нотам, "обучил" прибор, запомнил в пресет.
3.Прибор обучается в процессе игры, улучшает распознавание, как они выражаются "приспосабливается к манере игры музыканта". Возможно ли такое проделать с системой на основе корреляции? И позволит-ли время? Хотя если у нас динамическая БД, зачем нам приспосабливаться? Мы и так максимально приближены к оригиналу...

Сообщение отредактировал voicek - Dec 15 2010, 08:42

??? епс... А н.с. то тут причем? Или это Вы в том смысле что "немцы и сами не догадываются как..." ?

Вы что-то хотели сказать?

У любого музыкального инструмента существуют высшие гармоники основного тона - шестые-десятые.... У рояля - 20-е
Что такое нс?


ЗЫ. Темпери́рованный строй — строй, при котором каждая октава делится на набор одинаковых ступеней. Чаще всего деление происходит на двенадцать ступеней, отстоящих друг от друга на расстоянии хроматического полутона (). Такой строй господствует в западной музыке с XIX века.
Если немцы утверждают что могут различать также ноты пифагорейского строя - то это враньё))

аха... вот оно значит как... ...надо взять на заметку... слоган для хомячков...


Возможно... Любая система с обратной связью "самообучается". Вопрос в "пространстве" возможных состояний такой системы и целевой функции(правилу по которому она обучается)... Кстати - думаю очевидно, что любая задача обучения сводится к адаптивной фильтрации(вот ее основной кернел!) а не каким-то там нейросетям... Надо статью на здешний WiKi забабахать... А то достали эти нейронщики...


Время позволит (если максимальной мощностью процессора пренебречь). Вопрос в том, позволит ли математика...


К оригиналу чего? Нота - все-таки не идеальная синусоида из школьного учебника... А та или иная статистическая функция. Нужно отделить то, что случайно и то, что детерминировано и "вуаля" - мы научимся ее распознавать на той или иной выборке...


Я хотел спросить - ну а прием нут Н.Н.? Просто Вы так построили свой ответ, что он между строк зучит а-ля "ах да, здесь помогли нейронные сети"...

Я же сразу сказал, что н.с. -это больше для важности
По большому счету и в обнаружителе dtmf - крутая н.с.

Есть 4 5 октав по 12 нот, всего 48 60 фильтров известных частот. Вот их выходы друг друга как-то должны заблокировать, чтобы выдать ноту+октаву.
Наличие высших гармоник позволяет определять ноту по верхней октаве. Это в общем то тривиально за 10 мс по спектру Фурье
60 фильтров второго порядка (типа LC) ARM потянет? Их энергетический выход - это и есть оценка спектра Фурье.
А вот определить октаву за 10 мс - это уже нужно крепко подумать, особенно в самой нижней октаве (25 мс период!)/ Да, возможно по фронту давления, типа сдувает прибор - то это взята нота нижней октавы. На уровне сигнала наличие фронта - это мощная постоянная составляющая, доминирующая в энергии сигнала.
А основной тон следующих октав уже практически укладывается периодом в 10 мс и грубо может быть измерен полосовым фильтром шириною в соответствующую октаву. Получается практически dtmf на гармониках

А может немцы хотели сказать, что у них н.с. адаптирующаяся к музыкальному строю или к фальшивому ненастроеному инструменту?
Его обучают, сыграв ему все ноты, он запоминает спектральные эталоны и потом может по-немецки разпознать и назвать номер ноты :
драйн-цвайн-айн-цвайн-цвай-цвайн....

Только если он не знает строя - то он сможет распознавать только звуки того инструмента по которому обучен.
А темперированый наш строй исключительно прост: ля-ля-фа-фа известных частот и одна и та же нота в разных октавах по частоте соотносятся как 2**n, остальные разнесены гармонически

Нейронные сети.


Речь идет о равномерной темперизации.

Касаемо немцев. Прибор очень устойчиво распознает ноты в указанном диапазоне частот. Это факт. Более того, они продают лицензии весьма крупным игрокам на этом огороде. Смущает тот факт, что крупные игроки, имея много денюжек, за столько лет не сподобились разработать изделие аналогичное по эффективности. Поэтому и витает в воздухе вопрос - может и в правду там какой-то разум космический смоделировали?

.кстати, вопрос очкастым аспирантам и их руководителям - а есть работы в которых те или иные нейросетевые модели сравниваются по эффективности с адаптивным фильтром где четко разделены поля входных/выходных значений, коэффициентов и целевые функции(тоже вобщем-то поля)? И где показано, что все нейросети к таким моделям сводятся теряя избыток который и так не может быть использован в современных ЭВМ - типа устойчивости к потере нейрона. При этом ИИ на АФ обладает очевидным МЕГАпреимуществом - из модели АФ можно(в том смысле, что очевидно как) вычленять целевые функции и значения полей коэффициентов дающих оптимальные выходные результаты. При этом все прозрачно - "познаваемо", "расчленяемо", "визуализируемо" и сводится к обычной классической "радиотехнической" математике - фильтрации, понятию "передаточной функции" и т.д. ... В то же время в нейросетях как-раз вычленение невозможно и мешает этому то, что обученная НС есть не что иное как отображение АФ на конкретную структуру НС... + АФ порождают еще множество эффективных ИИ структур не находящих аналогов в нейросетях(надеюсь я был понят )

а в чем, собственно, беспокойство
н.с. - это подвид нелинейного АФ определенной структуры

Беспокойства нет. Нужны работы на которые можно сослаться... Тот же Хайкин прорабатывал обе темы, но что-то так и не объединил их(ну по крайней мере в своих толстенных монографиях)... Да и нужно помнить, что это не просто подвид, а с сильной избыточностью при одном способе построения, слепыми пятнами при другом и т.д. ... Опять же - где работы?


Разум-не разум - вся математика сводится к теории множеств и действий над ними (по крайней мере сейчас )... А нейросети это прикладная наука(апендикс бионики). По-типу инженерного строительства которое ну никак не может опровергнуть сопромат.

Хотя...

Хотя здесь, конечно, самое время вспомнить Геделя и Вигенштейна ... И можно начать спорить... Если собеседники хорошие - то до утра... пятницы следующей недели... Но это опять нужно много читать самому и "ответная компетентность" собеседника, а меня задолбало ... все-равно за это никто не заплатит ... Скажем так нечто мистическое во мне подсказывает, что немцы просто пудрят мозги... Мало того - возможно они сами решили задачу просто огромной выборкой обучения для НС(+повезло с выбраной НС-структурой) но не смогли ее и решение формализировать, при этом задача конечно-же решается так как предложил fontp (а иначе действительно никак) но мы об этом уже не узнаем ибо все передаточные функции связывающие мир звуков с миром идицирующих устройств расположены в неизвестном нам пространстве(не Эвклидовом, точно ) некоей нейросети...

Я поверхностно касался музыкального программирования... Поэтому могу сказать, что вы очень недооцениваете способности западных (в частности германских)разработчиков. Там софт пишут не программирующие музыканты, а музыцирующие математики и аудиоинженеры весьма высокого уровня. (ну из известных мне "наших" личностей -это например г.Алексей Лукин - преподающий обработку сигналов в МГУ, и одновременно работающий на американскую музыкальную компанию "Izotope".) Можно сказать, в большинстве своем это фанаты. Поэтому не думайте, что вы сможете так просто решить задачу на их уровне. Если они сказали, что это нейросети - значит весьма вероятно так оно и есть. Из своего опыта, могу сказать, что вряд ли один АРМ в реальном времени это потянет... надо юзать DSP. Мы когда-то игрались сетями для распознавания образов - я промучался месяц и добился коэффициента подобия 0.68, перебрав тучу вариантов представления данных, а с коеэффициентом корреляции (который програмится за десять минут) получалось сразу 0.73. Я бросил эти нейросети, но у меня осталось еще несколько мыслей по этому поводу, и их реализовал мой коллега - которому удалось достичь на нейросетях коеффициента 0.76 еще через неделю. Поэтому нейросети и адаптивные фильтры конечно лучше, но надо долго страдать и развить в себе интуицию их выбора, обучения и (самое главное!) правильного представления данных...

Немцы и кино прямо Мы здесь все тоже не из балетных профтехучилищ


Если Вы не можете хоть как то плохонько решить задачу сами, то никакие нейросети Вам уже не помогут. Нейросети - это всего лишь адаптация большой логической схемы под изменчивость обстоятельств. Но Вы хотя бы должны понимать с самого начала сами существо задачи, сами выбрать признаки и сами понимать к чему стремиться и какие тенденции. Законы физики одинаковы для всех, да хоть и для немцев)) Так что просто нейронная сеть, подключеная к спектроанализатору работать не будет.

Для начала нужно понимать что вся музыка состоит из 12-и нот на октаву, всего 60 различных звуков, выстроеных жестко (от известной частоты) по частоте в геометрический ряд. Кроме того можно в качестве дополнительных признаков использовать также не кратные 2**n гармоники основных частот нижней октавы внутри пяти октав.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
С
С#
D
D#
E
F
F#
G
G#
A
A#
H

60 основных признаков минимум и 32*12=384 всего по максимуму.

Дальше нужно пробовать группировки откликов с соответствующих фильтров и сравнивать с порогами. Всё что может нейронная сеть - это адаптивно подобрать эти группировки и пороги сравнений для разных инструментов на базе процесса, именуемого обучением

Для немцев - в первую очередь...

Если серьезно - задача "инструментонезависимого распознавания нот" по сложности и по сути одного уровня с задачей дикторонезависимого распознавания речи. Ну и методы решения - соответствующие (скрытые марковские модели ).

"Для начала нужно понимать что вся музыка состоит из 12-и нот на октаву, всего 60 различных звуков, выстроеных жестко.. " Это на первый взгляд так все просто, на практике надо учитывать тучу нюансов. Для фортепиано, например одна нота формируется от одной до трех струн, струны между собой имеют акустическую связь и могут быть слегка расстроенными, и строй будет зависеть от температуры и влажности. Тембр звуков (а значит и динамический спектр во времени) тоже различный, и часто имеет частотную модуляцию (наприм. для металлофонов, челест, и тд.). Есть т.нз. мелодическое восприятие высоты тона, когда удвоение частоты от 500Гц до 10000Гц, т.е. в 20 раз воспринимается как увеличение в 4.8 раза. Для всяких скрипок, терменвоксов, тромбонов, начало звука зависит от музыканта - как быстро он их точно подстроит под необходимый, состояния его губ как части механизма звукоизвлечения и .т.д. Все зависит от задачи - если выделить звук из "каши" - то можно страдать долго...Бегло ознакомится можно в Кузнецов Л.А. "Акустика музыкальных инструментов".

"Слегка расстроен" и "иметь модуляцию" означает, что попадает в определённую частотную полосу. Не станете же Вы утверждать, что Фа может быть "слегка расстроено и иметь модуляцию" настолько что попадет скорее в частотную полосу Ля или Соль. Нет, звук останется в частотной полосе Фа. Как бы музыкант не старался извлечь звук, ноты различаются именно по мгновенному спектру. Поскольку ухо слышит в первом приближении именно мгновенные спектры и различает эти ноты однозначно. У меня, например, так ухо слышит))

А нюансов, конечно, полно. Как и у всякой реальной задачи

Не стану. Если инструменты изначально точно настроены, то конечно попадет туда куда надо. есть правда инструменты (особенно электронные звуки) которые очень сильно плывут по частоте со временем (ну типа глиссандо). Такое может быть и в электрогитаре, когда тянут рычаг подтяжки струн и частоты синхронно плывут. Там весь фокус в том, что надо анализируя по фронту, пропустить переходной процесс и выделить основной тон, а следующий плывущий "хвост" опустить. А вообще я так понимаю, что этот прибор для того, чтобы аудио с гитары в midi переделывать?