Хочется помочь сыну - музыканту хитрым шоу-проектором, чтобы украсить его выступления. Банальное частотное разделение скушно...
Понятно, что задача распознавания сама по себе сложна и требует огромной производительности, но если не ставить жестко требования 95% различения, ограничиться 70%, то можно позволить себе на хорошем контроллере в сочетании с FPGA приемлемое решение.
Теоретически я представляю построение системы и даже (самое муторное) обучение (на фрагментах сольных проходов в джазе разных инструментов). Но во мне стопор после усвоения академического распознавания графических образов, где картинка статична. Кто подскажет, как перейти во временную область? Ведь для музыки это основное...
Кто из опытных нейро-сетевиков ткнет в "мурзилку" по этой теме? Образы во времени как проще формировать?...

Заранее благодарен за любую информацию...

Задача хороша как учебная. Присоединяйтесь!
http://portal.tpu.ru/SHARED/s/STANKEVICHFV...Instruments.pdf тут этого нет

Берем программу концерта, берем партитуры произведений. Синхронизирумся, например, по сильным долям. Всё.

Или микрофон к каждой группе инструментов.

А если человек под минус играет?

Обучение традиционно. Ничего нового.
Вы проясните про черный ящик, который будет это требовать...



А если еще проще?... Тупо выявлять сильные доли и промежуточные ритмы(если есть) для визуального отображения....

черный ящик очень прост: в каждом микрофонном канале стоит усилитель, детектор, фнч, пороговое устройство и драйвер лампочки. заиграли на инструменте, и лампочка зажглась.

С партитурой чуть сложнее. Но зато с минусом проблема решается.

А. Подключитесь прямо к каналам в пульте.
Б. С помощью БПФ разделите спектр на 1024 части, а дальше (фантазируйте) импровизируйте, по какому шаблону в какой канал свет подавать. Шкала частот, правда, должна быть логарифмической. Да и амплитуда тоже.

Да вы идеалист!... Тут нужно универсальное решение вылавливать из общего потока инструментов 6....


А. Потрясающая дешевизна...
Б. Да хоть на 128.... Это частотное разделение, но фактора времени(долгосрочного фактора) тут нет... Это каша.... Да и ноль обучения.

такой вопрос, чтобы было понятно на берегу: вы хотите решить задачу или понаблюдать за ходом дискуссии, касающейся ее решения?

Хочу понять переход во время... Статика не интересна для музыки.
Мне нужен базис. Фундамент. Дальше я сам разберусь...

Неужели коррелятор на 6 базовых инструментов - единственное решение? Не верю...

- Находите описание мат. моделей для инструментов.
вот например https://hal.inria.fr/hal-00739380/file/RR-8097.pdf; http://www.icacommission.org/Proceedings/I...01Rome/8_05.pdf
- Оцениваете параметры модели для каждого инструмента по принятому сигналу
- проверяете валидность параметров каждой модели
- если "да", то зажигаете соотв. лампочку

Плёвое дело.

Успехов.

интересно в мире есть готовые устройства распознавания по игре музыкальных инструментов?

Мне кажется здесь попахивает "искусственным интеллектом" и его обучением, а "простым сравнением" здесь не обойтись... Например, игра рояли говорят отличается от игры на пианино... Хотя... я не музыкант...
Когда играет оркестр то там я например уже могу не отличить какие играют инструменты (на слух)

Любопытно... Спасибо. На сколько я помню эти модели строились давно. ТИИИЭР где -то от 1977года

Не удается получить доступ к сайту.... ((((


Совершенно верно. Я с самого начала об этом говорю...

а вы попробуте придумать задачу, где бы такое устройство могло сгодиться.



.. и обязательно cloud computing и big data. без этого сейчас даже елочная гирлянда не мигает.

В моем первом топике указано - цвето- лазерная установка для проекции на экран. (Можно расширять до распределенных LED-пано) Живет своей жизнью(как обучили). Высока вероятность, что от выступления к выступлению видеоряд не воспроизводится (громкость, темп, настройка микшером разная...)


В приципе, - можно упростить задачу(для начала) одними ударными, чтобы различалось бас-барабан, рабочий барабен, тарелки, хет, и дополнительные тон -барабаны...


Есть такое на базе PC. В основном как помощник при написании партитур...

http://www.widisoft.com/russian/help/widi4...umdetection.htm
http://www.mymusictools.com/rus/download/%...BD%D0%BE%D1%82/

Непонятно как распознавание связано с эффектным представлением.

Другое дело, что Фурье плохо подходит, так как не все звуковые сигналы похожи на его базисные функции. Стоит посмотреть в сторону пакетных вейвлетов.

http://www.mathworks.com/help/wavelet/ug/w...et-packets.html

Это хорошо или плохо?

Накапливайте массивы БПФ во времени. Будет двухмерный массив. К нему шаблоны примените.

Тут не стоит волноваться... Мозг сам увязывает музыкальный акцент инструмента с видеорядом


Я обратил внимание на этот нюанс

Я к тому, что распознавание здесь явный оверхэд, вам же не партиртуру оркестра выводить, а просто визуализацию звука.

Вы утрировали ситуацию. Реальность другая. И выгоды в иной плоскости...

Это решение в лоб. Дорогое. Механизмы нейросетей должны быть проще и дешевле


Если бы... Не просто звука , а инструмента....
Меломаны легко различают любой инструмет в наборе... вот шик!!!

Считаю себя меломаном, но инструменты различаю с трудом. Только, если специально напрячься, настроиться на поиск. Обычно слушаю музыку, не инструменты. Точнее, даже - песню.

Сначала надо поинтересоваться сколько стоит час машинного обучения в облаках у того же ватсона.
Сразу расхочется этим заниматься. Это путь явно не для DIY.

Но и это обучение мало чего стоит без обратной реакции публики.
В лучшем случае вы создадите что-то приятное для себя самого, даже не для сына.

Я считаю разумным вариантом взять где нибудь популярные зрительные образы скажем из винампа и просто их стилизовать вручную под темп и амплитуду музыки.

Т.е. разговор дожен начаться с выбора программных инструментов, на чем писать.
На WinForms, WPF, VCL , Qt или wxWidgets на которых написан Audacity.
И потом пилить редактор для стилизации видеоряда. Если хватит энтузиазма.

Имею музыкальное образование и стал различать каждый инструмент в студенческий период, когда увлекались копированием известных рок-исполнителей. Слышать каждый инструмент стало привычкой...
Мне даже трудно представить как этого можно не различать!... Всегда понимал, что меломан автоматически должен это уметь... Странно.


Мы не ищем стандартных путей... В Музыке это не приемлемо. Шучу!
Конечно же для себя. Я знаю, что хочу. Мне нужно более интеллектуальное разделение, чем частотное.
Я спец по контроллерам и ПЛИС и я как-то не ощущаю дискомфорта от выбора инструментария. Когда есть уже сформированные порты разделения - оконечные устройства уже не проблема. Их на рынке хватает.

По-прежнему остается вопрос о распознавании во временной области. Кто подскажет, как это делается сейчас? Учебники показывают статику и фактора времени там нет.
Я думал это уже давно решено....

1. Почитайте труд Порвенкова "Акустика и настройка музыкальных инструментов"
2. Есть программа widi, которая с известной степенью точности передирает ноты.
http://www.widisoft.com/english/products.html
Почему нельзя сделать 100% алгоритм - написано в книге 1 на рабоче-крестьянском языке.

Спасибо. ...Чувствуется практик! Это все мне известно. Есть приятель - гений настройки фортепиано. Секреты мне рассказывал, что нарушают математическую строгость.
Тут я в поиске алгоритмов. Это ближе к математике... Нужно формализовать плохо формализуемую задачу. А это нейронная сеть. Как её развернуть для просмотра потока во времени?

Вы никак пытаетесь вывести формулу музыки?
Потрясающе...
В музыкальном оформлении сценических выступлений кроме звукового пульта применяется также световой пульт, в котором записана партитура света которой занимается тоже человек (не машина!). Художник занимается партитурами, будь они звуковые или световые.
Поручить машине световое оформление - это нонсенс! Получится мигалка, но только на ПЛИС.

Если Вы хотите действительно помочь сыну (а не занять себя от скуки) то придумайте такой бюджетный или правильней сказать доступный пульт, который бы переплюнул по функционалу имеющиеся на сегодняшний день образцы.

Все зависит от подхода...
Различать инструменты - идеальная задача и ....не достижимая, но давно пора уйти от частотного разделения и усложнить. Не требуется тут военного подхода, чтобы кнопу нажал и самолет упал!... ))
Разложить задачу на простые куски и достичь соответствия идеальному хотя бы в 70% уже огромный рывок. ....Так что не считаю задачу утопичной. Никого переплёвывать задача не ставится.

Обучение NS конкретному инструменту уже решалась и успешно. Гляньте на документ в стартовом топике...

Ну щас я в вам в Adobe Audition наваяю музыки и попробуйте там различить инструменты.
О каких инструментах может идти речь в современной музыке?

Контролеры и тем более ПЛИС в этой теме явно не помогут.
Это чистое проектирование пользовательского интерфейса.

И зачем молодежи различать древние инструменты большинство из которых они в глаза не видели?

Может программистам для большего кайфа тоже нужно в вычислениях распознавать операции выполнявшиеся на фон Неймановской машине?

Ваша задача слегка абсурдная по самой постановке.
Ее надо переформулировать как минимум.

70% различение это тоже тот еще перл. Это тот случай когда ложка дегтя легко испортит бочку меда.
Здесь либо хорошо работает либо лучше такой аппарат не включать на дискотеке.

LSTM/RNN, не?

1.Ударные, Бас-гитара,Соло, Фотрепиано, Саксофон...
2. Без ПЛИС точно не потянет, Контроллер тут как сервис различных наборов и редактуры настроек
3. Для начала разделить кашу на потоки..
4. Полагаемся на утонченных музыкантов и людей с фантазией (умеющих прощать неточности и видеть в них иной смысл)
5. Так не считаю. Это интересно и её решали... не с другой целью
6. Вы недооцениваете способности человеческого мозга находить связи в абстракциях... Эффект в подаче видеоряда


А вот за это огромное спасибо! Тут появляется время.... Буду изучать.
http://datareview.info/article/znakomstvo-...roy-lstm-setey/
https://www.youtube.com/watch?v=Zm8l-JQAJD8#t=815.123303
http://техдир.рф/2016/01/15/rnn/

Не смешите, там один сплошной синтез.

Совершенно все равно, что там...
Тут обратная синтезу задача..., т.е. разложение.
----------------
1.Стоит ожидать, что реакция системы будет заметна на глаз и потому фонограмму придется давать с опережением, чтобы ~0.1Сек задержки не были столь навязчивы. (Это для бытового применения)
2. При эксплуатации нужно быть готовым на режим, когда придется муз ряд прогонять больше одного раза, чтобы подобрать состав инструментов(настроек), чтобы остановиться на оптимальном. Это потребует развитой интерфейс и базу коэффициентов. Получается, что этот инструмент становится в пределе участником шоу наравне с музыкальными...

Практика покажет

Если свет будет мельтешить в ритме музыки, то ну его нахрен такой концерт. Нужно намного спокойнее, плавнее. И задержка в 0.1 с здесь не помеха.

Ну вот так уже лучше.
Но не разложение, а редукция.
Разложение здесь также невозможно как невозможно разложить 3D в 2D.

Для редукции вам нужны эвристики. Эвристика под названием "старые музыкальные инструменты" мне кажется здесь неудачной.

Никто не мешает сделать фон, компенсирующий резкое мигание... Я ожидаю больше развитие свето-темы, нежели стробоскопические дерганья. Все это решаемо



Критерии каждый формирует(или выбирает) сам.
Никто не требует идеальности. Да и не будет её тут...
Это хороший повод углубиться в архитектуру "редуктора".

бас-гитару, барабаны, тарелки - сможете выделить по частоте
гитару, скрипку, трубу - сможете разделить по тембру
вот вам уже шесть, мало ?


нужно сначала понять, что пихать в плис
заложитесь лучше на нейросеть из мк - оно и проще в реализации, да и пооперативней работать будет


фарш невозможно провернуть назад
кое-что выделить - да


была какая-то советская цветомузыка, так ритм ловила весьма и весьма удачно
нужно очень постараться, чтобы не сделать такое же на мк

это уже не современно... Банально. Кстати,- тембр,- понятие уже многомерное и в новой концепции более доступнее


Вы не владеете темой конвейерной обработки... Даже не комментирую.
Уже понятно что. Осложняется задача необходимостью настроек от МК и прогоном моделей на Матлабе на разных реализациях. Обучение NN - САМОЕ муторное в этой концепции/
...Ломаю голову, применять ли сигмоидную функцию в качестве функции активации NN (сделать таблично) или кусочной аппроксимацией? Их там в "сетке" много... МК не способнен на столь глубокое распараллеливание, как FPGA. Вижу огромное применение такой архитектуры в практике(не только "восствновления фарша" из музыки)
Вы идеалист. Не ставится такая задача

МК - хорош в своей области.

наверное редкие инструменты имеют неизменный во времени тембр - вот вам уже и многомерность


многопроцессорность как раз и даёт конвейерность, с одним какие там конвейеры
а про гибкость мк против фпга я уж даже и не говорю
и в фпга вы должны загонять нечто готовое, чего у вас нет


вы хотите построить некую нейросеть, которая будто бы будет способна сама собой обучаться
не верю
вот сделаете 99% работы самостоятельно, а 1% отдадите на обучение - может оно и взлетит, иначе - нет


один мк за доллар против одного фпга за сто ? давайте лучше по эквивалентной цене за мипс и килобайт+мегабайт считать, ага ?


нет, мк хорош, а фпга хорош в своей области

Вы изначально не верно поняли задачу.
...Различать каждый из двух инструментов с разным тембром

Из пушки по воробъям...
На том и стою, что создаю, чего пока нет...
Обращаю внимание, что сразу закладываю в ФПГА возможность смены коэффициентов
Но и не это главное, а то, что мне доступно легко менять архитектуру, что при вашей "многопроцессорности" это проблемно. Схемотехника давлеет..

А я разве говорил о самообучении?.. Наоборот. Акцент был на предварительной отработке в Матлабе. За кого вы меня держите?... Чудно...

Опять одномерное восприятие!.. То что в ФПГА делается врожденно,- МК просто не способен. Кесарю кесарево...
Если выполнить все в вашей парадигме - траты на проектирование будут зашкаливать как материально, так и во времени. Например размерность сети, разрядность, связи
Вам придется делать несколько итераций схемотехники.
Я бы взялся бы за этот путь, когда уже станет известно оптимальное построение системы. Пока это этап исследований и лучше комбинации МК с ФПГА просто самый шикарный.

Я не сторонник крайностей. Одинаково дружу как с тем, так и с этим...

это сильно упрощает, можно попробовать тупо через корреляцию источника с суммой двух инструментов по очереди с разным тембром


я понял, но зачем менять архитектуру вычислителя, когда требуется менять архитектуру сети ?


траты на копипасты околонулевые, стоимость изготовления печатной платы их с лихвой перекроет

Это традиционный путь. Я о нем упоминал уже... Затратный...
если верить теории, с некоторым приближением, можно получить приемлемый результат дешевле... (в смысле аппаратного ресурса)


Архитектура сети и есть часть общей архитектуры


Это время (изготовление\монтаж\проверки), а значит траты тоже

если стоимость разработки софта для фпга принять за ноль, то таки да
если взять количество мк пропорционально количеству моделей и каждую записать во флешь, то с околонулевой стоимостью получите и конвейер и параллельные вычисления
сколько там флеши у фпга ? сколько моделей войдёт ? ага

Основные траты идут на модели в Матлабе. Когда станет ясно, что должно быть в ФПГА, софт для ФПГА будет сделан за неделю (естественно с тестбенчем)
Обращаю внимание, что никаких конфликтов производительности, синхронизации потоков , присущим МК, тут принципиально нет. МК - смена порядка NN - весьма болезненно. Наращивание потребует внешнего железа (N* МК).
У вас смутные представления о кухне по работе с ПЛИС.
К вашему сведению,- Делать проект для оценки ресурса на ФПЖА можно на любом этапе. Портируют проект на чип с 50% избыточностью (в расчете на возможные дополнения)

...Вы считаете траты не как разработчик, а как финансист. Это беда для прогресса, для коллектива.

я вообще не про распознавание,

но ещё в СССР была статья в Радио, где музыкальное произведение писалось в 1 канал стереофонограммы, а сопровождающая его заранее приготовленная партитура световых огней и спецэффектов - в другой.
В этом есть плюс... Электроника что-то распознает и зажгёт лампочки по-своему. А вот человек может и пофантазировать...

Я вас понимаю...
Сам неоднократно посещал с 1972г в парке им.Горького (зал открыт в 1969 г.) реализованного Ю. А. Правдюком, что в Харькове. Там оператор управлял рычагами и кнопками трафаретами и освещением...
Удивительно, что сам Правдюк и жил там в маленькой каморке, что была при этом зале. Ужасная судьба творческого человека... Надо будет зайти глянуть, что сейчас... Вы мне напомнили.

неделя фпгашного кодера == полста тысяч


с чего вы взяли


матричному вычислителю всё равно что и как считать, как программу напишете, так и будет и не надо ничего наращивать в железе, если производительности хватает
если же не хватает, то и вам придётся
а вот мне весьма любопытно, как вы будете плавучку в фпга считать и прочую тригонометрию, сколько ресурсов уйдёт на тривиальщину


я вижу, аргументы закончились ?


потому что всё заказчики, что бьют себя тапком в грудь, крича, что они такие крутые и богатые, в конце всегда плачут, почему так дорого
и только нормальные ценят старания по оптимизации, понимая, что ещё чуть дешевле и будет уже намного хуже

На самом деле 1 день.(в MatLab это делается это нажатием 1 кнопки) Остальные 5 на тестбенч и верификацию

У вас распределенные вычисления

Ключевой момент. В ФПГА не придется. Это для него не задача вообще.

Это не военная система, чтобы привлекать плавающую точку..
Кстати, она есть в палитре дизайнера... Только зачем?
Мне и целочисленной математики хватит с головой. Там на выходе вообще можно опуститься до 6 разрядов...

Есть у меня такой оппонент. Ничего нового... Когда это действительно оправдано разумно прислушаться. Но в этой задаче с многими неизвестными это опасно.
Да и вообще - цель-то быстро пройти вариантов 8 и "босыми ножками" пройти всю математику, чтобы нащупать самый простой путь.

не так, они конвейерные, синхронизация там получается автоматически - данные получил - данные обработал - данные отправил



а может, это задача не для него вообще


целочисленная тригонометрия ? синусы-косинусы, достигающие значения пи даже не в военное время ?

Заблуждение... Квитанции во времени разные...


Классически для FPGA Умножение с накоплением+ табличные преобразования


Не паясничайте... Тут гиперболический синус и сигмоидная функция как экзотика(таблично решается). Остальное линейно
...Вы хоть бы вникли в природу NN

с общим клоком на spi ? с чего бы ?


не поверите, и на мк легко


а фильтры вам совсем не надо ?

Разве что подогнать по самому медленному вычислению...


Знаю


Уже есть