Хочется помочь сыну - музыканту хитрым шоу-проектором, чтобы украсить его выступления. Банальное частотное разделение скушно...
Понятно, что задача распознавания сама по себе сложна и требует огромной производительности, но если не ставить жестко требования 95% различения, ограничиться 70%, то можно позволить себе на хорошем контроллере в сочетании с FPGA приемлемое решение.
Теоретически я представляю построение системы и даже (самое муторное) обучение (на фрагментах сольных проходов в джазе разных инструментов). Но во мне стопор после усвоения академического распознавания графических образов, где картинка статична. Кто подскажет, как перейти во временную область? Ведь для музыки это основное...
Кто из опытных нейро-сетевиков ткнет в "мурзилку" по этой теме? Образы во времени как проще формировать?...

Заранее благодарен за любую информацию...

Задача хороша как учебная. Присоединяйтесь!
http://portal.tpu.ru/SHARED/s/STANKEVICHFV...Instruments.pdf тут этого нет

Берем программу концерта, берем партитуры произведений. Синхронизирумся, например, по сильным долям. Всё.

Или микрофон к каждой группе инструментов.

А если человек под минус играет?

Обучение традиционно. Ничего нового.
Вы проясните про черный ящик, который будет это требовать...



А если еще проще?... Тупо выявлять сильные доли и промежуточные ритмы(если есть) для визуального отображения....

черный ящик очень прост: в каждом микрофонном канале стоит усилитель, детектор, фнч, пороговое устройство и драйвер лампочки. заиграли на инструменте, и лампочка зажглась.

С партитурой чуть сложнее. Но зато с минусом проблема решается.

А. Подключитесь прямо к каналам в пульте.
Б. С помощью БПФ разделите спектр на 1024 части, а дальше (фантазируйте) импровизируйте, по какому шаблону в какой канал свет подавать. Шкала частот, правда, должна быть логарифмической. Да и амплитуда тоже.

Да вы идеалист!... Тут нужно универсальное решение вылавливать из общего потока инструментов 6....


А. Потрясающая дешевизна...
Б. Да хоть на 128.... Это частотное разделение, но фактора времени(долгосрочного фактора) тут нет... Это каша.... Да и ноль обучения.

такой вопрос, чтобы было понятно на берегу: вы хотите решить задачу или понаблюдать за ходом дискуссии, касающейся ее решения?

Хочу понять переход во время... Статика не интересна для музыки.
Мне нужен базис. Фундамент. Дальше я сам разберусь...

Неужели коррелятор на 6 базовых инструментов - единственное решение? Не верю...

- Находите описание мат. моделей для инструментов.
вот например https://hal.inria.fr/hal-00739380/file/RR-8097.pdf; http://www.icacommission.org/Proceedings/I...01Rome/8_05.pdf
- Оцениваете параметры модели для каждого инструмента по принятому сигналу
- проверяете валидность параметров каждой модели
- если "да", то зажигаете соотв. лампочку

Плёвое дело.

Успехов.

интересно в мире есть готовые устройства распознавания по игре музыкальных инструментов?

Мне кажется здесь попахивает "искусственным интеллектом" и его обучением, а "простым сравнением" здесь не обойтись... Например, игра рояли говорят отличается от игры на пианино... Хотя... я не музыкант...
Когда играет оркестр то там я например уже могу не отличить какие играют инструменты (на слух)

Любопытно... Спасибо. На сколько я помню эти модели строились давно. ТИИИЭР где -то от 1977года

Не удается получить доступ к сайту.... ((((


Совершенно верно. Я с самого начала об этом говорю...

а вы попробуте придумать задачу, где бы такое устройство могло сгодиться.



.. и обязательно cloud computing и big data. без этого сейчас даже елочная гирлянда не мигает.

В моем первом топике указано - цвето- лазерная установка для проекции на экран. (Можно расширять до распределенных LED-пано) Живет своей жизнью(как обучили). Высока вероятность, что от выступления к выступлению видеоряд не воспроизводится (громкость, темп, настройка микшером разная...)


В приципе, - можно упростить задачу(для начала) одними ударными, чтобы различалось бас-барабан, рабочий барабен, тарелки, хет, и дополнительные тон -барабаны...


Есть такое на базе PC. В основном как помощник при написании партитур...

http://www.widisoft.com/russian/help/widi4...umdetection.htm
http://www.mymusictools.com/rus/download/%...BD%D0%BE%D1%82/

Непонятно как распознавание связано с эффектным представлением.

Другое дело, что Фурье плохо подходит, так как не все звуковые сигналы похожи на его базисные функции. Стоит посмотреть в сторону пакетных вейвлетов.

http://www.mathworks.com/help/wavelet/ug/w...et-packets.html