Распознавание музыкальных инструментов, Экспромт на тему цветомузыки Опции

[Мур]

Хочется помочь сыну - музыканту хитрым шоу-проектором, чтобы украсить его выступления. Банальное частотное разделение скушно...
Понятно, что задача распознавания сама по себе сложна и требует огромной производительности, но если не ставить жестко требования 95% различения, ограничиться 70%, то можно позволить себе на хорошем контроллере в сочетании с FPGA приемлемое решение.
Теоретически я представляю построение системы и даже (самое муторное) обучение (на фрагментах сольных проходов в джазе разных инструментов). Но во мне стопор после усвоения академического распознавания графических образов, где картинка статична. Кто подскажет, как перейти во временную область? Ведь для музыки это основное...
Кто из опытных нейро-сетевиков ткнет в "мурзилку" по этой теме? Образы во времени как проще формировать?...

Заранее благодарен за любую информацию...

Задача хороша как учебная. Присоединяйтесь!
http://portal.tpu.ru/SHARED/s/STANKEVICHFV...Instruments.pdf тут этого нет

[baumanets]

1. Почитайте труд Порвенкова "Акустика и настройка музыкальных инструментов"
2. Есть программа widi, которая с известной степенью точности передирает ноты.
http://www.widisoft.com/english/products.html
Почему нельзя сделать 100% алгоритм - написано в книге 1 на рабоче-крестьянском языке.

[Мур]

1. Почитайте труд Порвенкова "Акустика и настройка музыкальных инструментов"
2. Есть программа widi, которая с известной степенью точности передирает ноты.
http://www.widisoft.com/english/products.html
Почему нельзя сделать 100% алгоритм - написано в книге 1 на рабоче-крестьянском языке.

Спасибо. ...Чувствуется практик! Это все мне известно. Есть приятель - гений настройки фортепиано. Секреты мне рассказывал, что нарушают математическую строгость.
Тут я в поиске алгоритмов. Это ближе к математике... Нужно формализовать плохо формализуемую задачу. А это нейронная сеть. Как её развернуть для просмотра потока во времени?

[Ga_ry]

...что нарушают математическую строгость.

Вы никак пытаетесь вывести формулу музыки?
Потрясающе...
В музыкальном оформлении сценических выступлений кроме звукового пульта применяется также световой пульт, в котором записана партитура света которой занимается тоже человек (не машина!). Художник занимается партитурами, будь они звуковые или световые.
Поручить машине световое оформление - это нонсенс! Получится мигалка, но только на ПЛИС.

Если Вы хотите действительно помочь сыну (а не занять себя от скуки) то придумайте такой бюджетный или правильней сказать доступный пульт, который бы переплюнул по функционалу имеющиеся на сегодняшний день образцы.

[Мур]

Вы никак пытаетесь вывести формулу музыки?
Потрясающе...
В музыкальном оформлении сценических выступлений кроме звукового пульта применяется также световой пульт, в котором записана партитура света которой занимается тоже человек (не машина!). Художник занимается партитурами, будь они звуковые или световые.
Поручить машине световое оформление - это нонсенс! Получится мигалка, но только на ПЛИС.

Если Вы хотите действительно помочь сыну (а не занять себя от скуки) то придумайте такой бюджетный или правильней сказать доступный пульт, который бы переплюнул по функционалу имеющиеся на сегодняшний день образцы.

Все зависит от подхода...
Различать инструменты - идеальная задача и ....не достижимая, но давно пора уйти от частотного разделения и усложнить. Не требуется тут военного подхода, чтобы кнопу нажал и самолет упал!... ))
Разложить задачу на простые куски и достичь соответствия идеальному хотя бы в 70% уже огромный рывок. ....Так что не считаю задачу утопичной. Никого переплёвывать задача не ставится.

Обучение NS конкретному инструменту уже решалась и успешно. Гляньте на документ в стартовом топике...

[AlexandrY]

Обучение NS конкретному инструменту уже решалась и успешно. Гляньте на документ в стартовом топике...

Ну щас я в вам в Adobe Audition наваяю музыки и попробуйте там различить инструменты.
О каких инструментах может идти речь в современной музыке?

Контролеры и тем более ПЛИС в этой теме явно не помогут.
Это чистое проектирование пользовательского интерфейса.

И зачем молодежи различать древние инструменты большинство из которых они в глаза не видели?

Может программистам для большего кайфа тоже нужно в вычислениях распознавать операции выполнявшиеся на фон Неймановской машине?

Ваша задача слегка абсурдная по самой постановке.
Ее надо переформулировать как минимум.

70% различение это тоже тот еще перл. Это тот случай когда ложка дегтя легко испортит бочку меда.
Здесь либо хорошо работает либо лучше такой аппарат не включать на дискотеке.

[Мур]

Ну щас я в вам в Adobe Audition наваяю музыки и попробуйте там различить инструменты.
1.О каких инструментах может идти речь в современной музыке?
2.Контролеры и тем более ПЛИС в этой теме явно не помогут.
3.Это чистое проектирование пользовательского интерфейса.
4.И зачем молодежи различать древние инструменты большинство из которых они в глаза не видели?
Может программистам для большего кайфа тоже нужно в вычислениях распознавать операции выполнявшиеся на фон Неймановской машине?
5.Ваша задача слегка абсурдная по самой постановке.
Ее надо переформулировать как минимум.
6.70% различение это тоже тот еще перл. Это тот случай когда ложка дегтя легко испортит бочку меда.
Здесь либо хорошо работает либо лучше такой аппарат не включать на дискотеке.

1.Ударные, Бас-гитара,Соло, Фотрепиано, Саксофон...
2. Без ПЛИС точно не потянет, Контроллер тут как сервис различных наборов и редактуры настроек
3. Для начала разделить кашу на потоки..
4. Полагаемся на утонченных музыкантов и людей с фантазией (умеющих прощать неточности и видеть в них иной смысл)
5. Так не считаю. Это интересно и её решали... не с другой целью
6. Вы недооцениваете способности человеческого мозга находить связи в абстракциях... Эффект в подаче видеоряда

LSTM/RNN, не?

А вот за это огромное спасибо! Тут появляется время.... Буду изучать.
http://datareview.info/article/znakomstvo-...roy-lstm-setey/
https://www.youtube.com/watch?v=Zm8l-JQAJD8#t=815.123303
http://техдир.рф/2016/01/15/rnn/

[Огурцов]

1.Ударные, Бас-гитара,Соло, Фотрепиано, Саксофон...

бас-гитару, барабаны, тарелки - сможете выделить по частоте
гитару, скрипку, трубу - сможете разделить по тембру
вот вам уже шесть, мало ?

2. Без ПЛИС точно не потянет, Контроллер тут как сервис различных наборов и редактуры настроек

нужно сначала понять, что пихать в плис
заложитесь лучше на нейросеть из мк - оно и проще в реализации, да и пооперативней работать будет

3. Для начала разделить кашу на потоки..

фарш невозможно провернуть назад
кое-что выделить - да


была какая-то советская цветомузыка, так ритм ловила весьма и весьма удачно
нужно очень постараться, чтобы не сделать такое же на мк

[Мур]

...гитару, скрипку, трубу - сможете разделить по тембру
вот вам уже шесть, мало ?

это уже не современно... Банально. Кстати,- тембр,- понятие уже многомерное и в новой концепции более доступнее

нужно сначала понять, что пихать в плис
заложитесь лучше на нейросеть из мк - оно и проще в реализации, да и пооперативней работать будет

Вы не владеете темой конвейерной обработки... Даже не комментирую.
Уже понятно что. Осложняется задача необходимостью настроек от МК и прогоном моделей на Матлабе на разных реализациях. Обучение NN - САМОЕ муторное в этой концепции/
...Ломаю голову, применять ли сигмоидную функцию в качестве функции активации NN (сделать таблично) или кусочной аппроксимацией? Их там в "сетке" много... МК не способнен на столь глубокое распараллеливание, как FPGA. Вижу огромное применение такой архитектуры в практике(не только "восствновления фарша" из музыки)

фарш невозможно провернуть назад
кое-что выделить - да

Вы идеалист. Не ставится такая задача

была какая-то советская цветомузыка, так ритм ловила весьма и весьма удачно
нужно очень постараться, чтобы не сделать такое же на мк

МК - хорош в своей области.

[Огурцов]

это уже не современно... Банально. Кстати,- тембр,- понятие уже многомерное и в новой концепции более доступнее

наверное редкие инструменты имеют неизменный во времени тембр - вот вам уже и многомерность

Вы не владеете темой конвейерной обработки... Даже не комментирую.

многопроцессорность как раз и даёт конвейерность, с одним какие там конвейеры
а про гибкость мк против фпга я уж даже и не говорю
и в фпга вы должны загонять нечто готовое, чего у вас нет

Уже понятно что. Осложняется задача необходимостью настроек от МК и прогоном моделей на Матлабе на разных реализациях. Обучение NN - САМОЕ муторное в этой концепции/

вы хотите построить некую нейросеть, которая будто бы будет способна сама собой обучаться
не верю
вот сделаете 99% работы самостоятельно, а 1% отдадите на обучение - может оно и взлетит, иначе - нет

МК не способнен на столь глубокое распараллеливание, как FPGA.

один мк за доллар против одного фпга за сто ? давайте лучше по эквивалентной цене за мипс и килобайт+мегабайт считать, ага ?

МК - хорош в своей области.

нет, мк хорош, а фпга хорош в своей области

[Мур]

наверное редкие инструменты имеют неизменный во времени тембр - вот вам уже и многомерность

Вы изначально не верно поняли задачу.
...Различать каждый из двух инструментов с разным тембром

многопроцессорность как раз и даёт конвейерность, с одним какие там конвейеры
а про гибкость мк против фпга я уж даже и не говорю
и в фпга вы должны загонять нечто готовое, чего у вас нет

Из пушки по воробъям...
На том и стою, что создаю, чего пока нет...
Обращаю внимание, что сразу закладываю в ФПГА возможность смены коэффициентов
Но и не это главное, а то, что мне доступно легко менять архитектуру, что при вашей "многопроцессорности" это проблемно. Схемотехника давлеет..

вы хотите построить некую нейросеть, которая будто бы будет способна сама собой обучаться
не верю
вот сделаете 99% работы самостоятельно, а 1% отдадите на обучение - может оно и взлетит, иначе - нет

А я разве говорил о самообучении?.. Наоборот. Акцент был на предварительной отработке в Матлабе. За кого вы меня держите?... Чудно...

один мк за доллар против одного фпга за сто ? давайте лучше по эквивалентной цене за мипс и килобайт+мегабайт считать, ага ?

Опять одномерное восприятие!.. То что в ФПГА делается врожденно,- МК просто не способен. Кесарю кесарево...
Если выполнить все в вашей парадигме - траты на проектирование будут зашкаливать как материально, так и во времени. Например размерность сети, разрядность, связи
Вам придется делать несколько итераций схемотехники.
Я бы взялся бы за этот путь, когда уже станет известно оптимальное построение системы. Пока это этап исследований и лучше комбинации МК с ФПГА просто самый шикарный.

нет, мк хорош, а фпга хорош в своей области

Я не сторонник крайностей. Одинаково дружу как с тем, так и с этим...

[Огурцов]

...Различать каждый из двух инструментов с разным тембром

это сильно упрощает, можно попробовать тупо через корреляцию источника с суммой двух инструментов по очереди с разным тембром

легко менять архитектуру, что при вашей "многопроцессорности" это проблемно

я понял, но зачем менять архитектуру вычислителя, когда требуется менять архитектуру сети ?

Если выполнить все в вашей парадигме - траты на проектирование

траты на копипасты околонулевые, стоимость изготовления печатной платы их с лихвой перекроет

[Мур]

это сильно упрощает, можно попробовать тупо через корреляцию источника с суммой двух инструментов по очереди с разным тембром

Это традиционный путь. Я о нем упоминал уже... Затратный...
если верить теории, с некоторым приближением, можно получить приемлемый результат дешевле... (в смысле аппаратного ресурса)

я понял, но зачем менять архитектуру вычислителя, когда требуется менять архитектуру сети ?

Архитектура сети и есть часть общей архитектуры

траты на копипасты околонулевые, стоимость изготовления печатной платы их с лихвой перекроет

Это время (изготовление\монтаж\проверки), а значит траты тоже

[Огурцов]

если верить теории, с некоторым приближением, можно получить приемлемый результат дешевле... (в смысле аппаратного ресурса)

если стоимость разработки софта для фпга принять за ноль, то таки да
если взять количество мк пропорционально количеству моделей и каждую записать во флешь, то с околонулевой стоимостью получите и конвейер и параллельные вычисления
сколько там флеши у фпга ? сколько моделей войдёт ? ага

Сообщение отредактировал Огурцов - Apr 27 2016, 18:48

[Мур]

если стоимость разработки софта для фпга принять за ноль, то таки да
если взять количество мк пропорционально количеству моделей и каждую записать во флешь, то с околонулевой стоимостью получите и конвейер и параллельные вычисления
сколько там флеши у фпга ? сколько моделей войдёт ? ага

Основные траты идут на модели в Матлабе. Когда станет ясно, что должно быть в ФПГА, софт для ФПГА будет сделан за неделю (естественно с тестбенчем)
Обращаю внимание, что никаких конфликтов производительности, синхронизации потоков , присущим МК, тут принципиально нет. МК - смена порядка NN - весьма болезненно. Наращивание потребует внешнего железа (N* МК).
У вас смутные представления о кухне по работе с ПЛИС.
К вашему сведению,- Делать проект для оценки ресурса на ФПЖА можно на любом этапе. Портируют проект на чип с 50% избыточностью (в расчете на возможные дополнения)

...Вы считаете траты не как разработчик, а как финансист. Это беда для прогресса, для коллектива.

[Огурцов]

софт для ФПГА будет сделан за неделю (естественно с тестбенчем)

неделя фпгашного кодера == полста тысяч

конфликтов производительности, синхронизации потоков

с чего вы взяли

, присущим МК, тут принципиально нет. МК - смена порядка NN - весьма болезненно. Наращивание потребует внешнего железа (N* МК).

матричному вычислителю всё равно что и как считать, как программу напишете, так и будет и не надо ничего наращивать в железе, если производительности хватает
если же не хватает, то и вам придётся
а вот мне весьма любопытно, как вы будете плавучку в фпга считать и прочую тригонометрию, сколько ресурсов уйдёт на тривиальщину

У вас смутные представления о кухне по работе с ПЛИС.

я вижу, аргументы закончились ?

...Вы считаете траты не как разработчик, а как финансист

потому что всё заказчики, что бьют себя тапком в грудь, крича, что они такие крутые и богатые, в конце всегда плачут, почему так дорого
и только нормальные ценят старания по оптимизации, понимая, что ещё чуть дешевле и будет уже намного хуже

[Мур]

неделя фпгашного кодера == полста тысяч

На самом деле 1 день.(в MatLab это делается это нажатием 1 кнопки) Остальные 5 на тестбенч и верификацию

с чего вы взяли

У вас распределенные вычисления

матричному вычислителю всё равно что и как считать, как программу напишете, так и будет и не надо ничего наращивать в железе, если производительности хватает
если же не хватает, то и вам придётся

Ключевой момент. В ФПГА не придется. Это для него не задача вообще.

а вот мне весьма любопытно, как вы будете плавучку в фпга считать и прочую тригонометрию, сколько ресурсов уйдёт на тривиальщину

Это не военная система, чтобы привлекать плавающую точку..
Кстати, она есть в палитре дизайнера... Только зачем?
Мне и целочисленной математики хватит с головой. Там на выходе вообще можно опуститься до 6 разрядов...

потому что всё заказчики, что бьют себя тапком в грудь, крича, что они такие крутые и богатые, в конце всегда плачут, почему так дорого
и только нормальные ценят старания по оптимизации, понимая, что ещё чуть дешевле и будет уже намного хуже

Есть у меня такой оппонент. Ничего нового... Когда это действительно оправдано разумно прислушаться. Но в этой задаче с многими неизвестными это опасно.
Да и вообще - цель-то быстро пройти вариантов 8 и "босыми ножками" пройти всю математику, чтобы нащупать самый простой путь.

[Огурцов]

У вас распределенные вычисления

не так, они конвейерные, синхронизация там получается автоматически - данные получил - данные обработал - данные отправил

Это для него не задача вообще.

а может, это задача не для него вообще

Это не военная система, чтобы привлекать плавающую точку..

целочисленная тригонометрия ? синусы-косинусы, достигающие значения пи даже не в военное время ?

[Мур]

не так, они конвейерные, синхронизация там получается автоматически - данные получил - данные обработал - данные отправил

Заблуждение... Квитанции во времени разные...

а может, это задача не для него вообще

Классически для FPGA Умножение с накоплением+ табличные преобразования

целочисленная тригонометрия ? синусы-косинусы, достигающие значения пи даже не в военное время ?

Не паясничайте... Тут гиперболический синус и сигмоидная функция как экзотика(таблично решается). Остальное линейно
...Вы хоть бы вникли в природу NN

[Огурцов]

Заблуждение... Квитанции во времени разные...

с общим клоком на spi ? с чего бы ?

Классически для FPGA Умножение с накоплением+ табличные преобразования

не поверите, и на мк легко

Не паясничайте... Тут гиперболический синус и сигмоидная функция как экзотика(таблично решается). Остальное линейно
...Вы хоть бы вникли в природу NN

а фильтры вам совсем не надо ?

[Мур]

с общим клоком на spi ? с чего бы ?

Разве что подогнать по самому медленному вычислению...

не поверите, и на мк легко

Знаю

а фильтры вам совсем не надо ?

Уже есть

[Огурцов]

Разве что подогнать по самому медленному вычислению...

там не будет медленных вычислителей, оне все одинаковые

Уже есть

целочисленные ?

[Мур]

там не будет медленных вычислителей, оне все одинаковые

Время вычисления различных функций соответственно различно. Критичное время вашего конвейера на "рассыпухе из МК" будет определять самая медленная...

целочисленные ?

Естественно..

Заинтересовала тема, но интересно, сколько будет продолжаться это деление шкуры неубитого медведя путем сравнения МК с ПЛИС, если еще нифига не известно как должен работать алгоритм?
Я бы начал с решения задачи в Матлабе - засунуть туда музыку, попытаться выделить инструменты, записать в отдельный файл и посмотреть, что получилось. Можно проверить все, вплоть до нейронных сетей. А когда получится, там практически пофиг для чего генерировать код - хоть для МК, хоть для ПЛИС.

Абсолютно солидарен. Предельна гибкость(и дешевизна при клонировании) при развитии дает тендем МК-FPGA

священная война не закончится никогда

Нет никакой войны. Есть различные стили в подходах...

Мне кажется, тут нужен совсем иной подход (как и предлагает один из участников спора МК-ПЛИС), нежели просто выделение (фильтрация) чего-либо. Как вот в этой типовой песне отделить вокал от баса или лид-гитары? Да никак. Правильно выше кто-то сказал: нельзя 3D разложить на 2D.

Тут не требуется абсолютного разделения из смеси... Тут пример порождения различных базисов разложения.