Это хорошо или плохо?

Накапливайте массивы БПФ во времени. Будет двухмерный массив. К нему шаблоны примените.

Тут не стоит волноваться... Мозг сам увязывает музыкальный акцент инструмента с видеорядом


Я обратил внимание на этот нюанс

Я к тому, что распознавание здесь явный оверхэд, вам же не партиртуру оркестра выводить, а просто визуализацию звука.

Вы утрировали ситуацию. Реальность другая. И выгоды в иной плоскости...

Это решение в лоб. Дорогое. Механизмы нейросетей должны быть проще и дешевле


Если бы... Не просто звука , а инструмента....
Меломаны легко различают любой инструмет в наборе... вот шик!!!

Считаю себя меломаном, но инструменты различаю с трудом. Только, если специально напрячься, настроиться на поиск. Обычно слушаю музыку, не инструменты. Точнее, даже - песню.

Сначала надо поинтересоваться сколько стоит час машинного обучения в облаках у того же ватсона.
Сразу расхочется этим заниматься. Это путь явно не для DIY.

Но и это обучение мало чего стоит без обратной реакции публики.
В лучшем случае вы создадите что-то приятное для себя самого, даже не для сына.

Я считаю разумным вариантом взять где нибудь популярные зрительные образы скажем из винампа и просто их стилизовать вручную под темп и амплитуду музыки.

Т.е. разговор дожен начаться с выбора программных инструментов, на чем писать.
На WinForms, WPF, VCL , Qt или wxWidgets на которых написан Audacity.
И потом пилить редактор для стилизации видеоряда. Если хватит энтузиазма.

Имею музыкальное образование и стал различать каждый инструмент в студенческий период, когда увлекались копированием известных рок-исполнителей. Слышать каждый инструмент стало привычкой...
Мне даже трудно представить как этого можно не различать!... Всегда понимал, что меломан автоматически должен это уметь... Странно.


Мы не ищем стандартных путей... В Музыке это не приемлемо. Шучу!
Конечно же для себя. Я знаю, что хочу. Мне нужно более интеллектуальное разделение, чем частотное.
Я спец по контроллерам и ПЛИС и я как-то не ощущаю дискомфорта от выбора инструментария. Когда есть уже сформированные порты разделения - оконечные устройства уже не проблема. Их на рынке хватает.

По-прежнему остается вопрос о распознавании во временной области. Кто подскажет, как это делается сейчас? Учебники показывают статику и фактора времени там нет.
Я думал это уже давно решено....

1. Почитайте труд Порвенкова "Акустика и настройка музыкальных инструментов"
2. Есть программа widi, которая с известной степенью точности передирает ноты.
http://www.widisoft.com/english/products.html
Почему нельзя сделать 100% алгоритм - написано в книге 1 на рабоче-крестьянском языке.

Спасибо. ...Чувствуется практик! Это все мне известно. Есть приятель - гений настройки фортепиано. Секреты мне рассказывал, что нарушают математическую строгость.
Тут я в поиске алгоритмов. Это ближе к математике... Нужно формализовать плохо формализуемую задачу. А это нейронная сеть. Как её развернуть для просмотра потока во времени?

Вы никак пытаетесь вывести формулу музыки?
Потрясающе...
В музыкальном оформлении сценических выступлений кроме звукового пульта применяется также световой пульт, в котором записана партитура света которой занимается тоже человек (не машина!). Художник занимается партитурами, будь они звуковые или световые.
Поручить машине световое оформление - это нонсенс! Получится мигалка, но только на ПЛИС.

Если Вы хотите действительно помочь сыну (а не занять себя от скуки) то придумайте такой бюджетный или правильней сказать доступный пульт, который бы переплюнул по функционалу имеющиеся на сегодняшний день образцы.

Все зависит от подхода...
Различать инструменты - идеальная задача и ....не достижимая, но давно пора уйти от частотного разделения и усложнить. Не требуется тут военного подхода, чтобы кнопу нажал и самолет упал!... ))
Разложить задачу на простые куски и достичь соответствия идеальному хотя бы в 70% уже огромный рывок. ....Так что не считаю задачу утопичной. Никого переплёвывать задача не ставится.

Обучение NS конкретному инструменту уже решалась и успешно. Гляньте на документ в стартовом топике...

Ну щас я в вам в Adobe Audition наваяю музыки и попробуйте там различить инструменты.
О каких инструментах может идти речь в современной музыке?

Контролеры и тем более ПЛИС в этой теме явно не помогут.
Это чистое проектирование пользовательского интерфейса.

И зачем молодежи различать древние инструменты большинство из которых они в глаза не видели?

Может программистам для большего кайфа тоже нужно в вычислениях распознавать операции выполнявшиеся на фон Неймановской машине?

Ваша задача слегка абсурдная по самой постановке.
Ее надо переформулировать как минимум.

70% различение это тоже тот еще перл. Это тот случай когда ложка дегтя легко испортит бочку меда.
Здесь либо хорошо работает либо лучше такой аппарат не включать на дискотеке.

LSTM/RNN, не?

1.Ударные, Бас-гитара,Соло, Фотрепиано, Саксофон...
2. Без ПЛИС точно не потянет, Контроллер тут как сервис различных наборов и редактуры настроек
3. Для начала разделить кашу на потоки..
4. Полагаемся на утонченных музыкантов и людей с фантазией (умеющих прощать неточности и видеть в них иной смысл)
5. Так не считаю. Это интересно и её решали... не с другой целью
6. Вы недооцениваете способности человеческого мозга находить связи в абстракциях... Эффект в подаче видеоряда


А вот за это огромное спасибо! Тут появляется время.... Буду изучать.
http://datareview.info/article/znakomstvo-...roy-lstm-setey/
https://www.youtube.com/watch?v=Zm8l-JQAJD8#t=815.123303
http://техдир.рф/2016/01/15/rnn/

Не смешите, там один сплошной синтез.