Распознавание музыкальных инструментов, Экспромт на тему цветомузыки Опции

[Мур]

Хочется помочь сыну - музыканту хитрым шоу-проектором, чтобы украсить его выступления. Банальное частотное разделение скушно...
Понятно, что задача распознавания сама по себе сложна и требует огромной производительности, но если не ставить жестко требования 95% различения, ограничиться 70%, то можно позволить себе на хорошем контроллере в сочетании с FPGA приемлемое решение.
Теоретически я представляю построение системы и даже (самое муторное) обучение (на фрагментах сольных проходов в джазе разных инструментов). Но во мне стопор после усвоения академического распознавания графических образов, где картинка статична. Кто подскажет, как перейти во временную область? Ведь для музыки это основное...
Кто из опытных нейро-сетевиков ткнет в "мурзилку" по этой теме? Образы во времени как проще формировать?...

Заранее благодарен за любую информацию...

Задача хороша как учебная. Присоединяйтесь!
http://portal.tpu.ru/SHARED/s/STANKEVICHFV...Instruments.pdf тут этого нет

[Fat Robot]

Берем программу концерта, берем партитуры произведений. Синхронизирумся, например, по сильным долям. Всё.

Или микрофон к каждой группе инструментов.

Задача хороша как учебная. Присоединяйтесь!

[thermit]

Берем программу концерта, берем партитуры произведений. Синхронизирумся, например, по сильным долям. Всё.

Или микрофон к каждой группе инструментов.

А если человек под минус играет?

[Мур]

.....Или микрофон к каждой группе инструментов.

Обучение традиционно. Ничего нового.
Вы проясните про черный ящик, который будет это требовать...

А если человек под минус играет?

А если еще проще?... Тупо выявлять сильные доли и промежуточные ритмы(если есть) для визуального отображения....

[Fat Robot]

черный ящик очень прост: в каждом микрофонном канале стоит усилитель, детектор, фнч, пороговое устройство и драйвер лампочки. заиграли на инструменте, и лампочка зажглась.

С партитурой чуть сложнее. Но зато с минусом проблема решается.

Обучение традиционно. Ничего нового.
Вы проясните про черный ящик, который будет это требовать...

[ViKo]

А. Подключитесь прямо к каналам в пульте.
Б. С помощью БПФ разделите спектр на 1024 части, а дальше (фантазируйте) импровизируйте, по какому шаблону в какой канал свет подавать. Шкала частот, правда, должна быть логарифмической. Да и амплитуда тоже.

[Мур]

черный ящик очень прост: в каждом микрофонном канале стоит усилитель, детектор, фнч, пороговое устройство и драйвер лампочки. заиграли на инструменте, и лампочка зажглась.

С партитурой чуть сложнее.

Да вы идеалист!... Тут нужно универсальное решение вылавливать из общего потока инструментов 6....

А. Подключитесь прямо к каналам в пульте.
Б. С помощью БПФ разделите спектр на 1024 части, а дальше (фантазируйте) импровизируйте, по какому шаблону в какой канал свет подавать.

А. Потрясающая дешевизна...
Б. Да хоть на 128.... Это частотное разделение, но фактора времени(долгосрочного фактора) тут нет... Это каша.... Да и ноль обучения.

[Fat Robot]

такой вопрос, чтобы было понятно на берегу: вы хотите решить задачу или понаблюдать за ходом дискуссии, касающейся ее решения?

Да вы идеалист!...

[Мур]

такой вопрос, чтобы было понятно на берегу: вы хотите решить задачу или понаблюдатьза ходом дискуссии, касающейся ее решения?

Хочу понять переход во время... Статика не интересна для музыки.
Мне нужен базис. Фундамент. Дальше я сам разберусь...

Неужели коррелятор на 6 базовых инструментов - единственное решение? Не верю...

[Fat Robot]

- Находите описание мат. моделей для инструментов.
вот например https://hal.inria.fr/hal-00739380/file/RR-8097.pdf; http://www.icacommission.org/Proceedings/I...01Rome/8_05.pdf
- Оцениваете параметры модели для каждого инструмента по принятому сигналу
- проверяете валидность параметров каждой модели
- если "да", то зажигаете соотв. лампочку

Плёвое дело.

Успехов.

Хочу понять переход во время... Статика не интересна для музыки.
Мне нужен базис. Фундамент. Дальше я сам разберусь...

[Maverick]

- Находите описание мат. моделей для инструментов.
вот например https://hal.inria.fr/hal-00739380/file/RR-8097.pdf; http://www.icacommission.org/Proceedings/I...01Rome/8_05.pdf
- Находите параметры модели для каждого инструмента по принятому сигналу
- проверяете валидность параметров моделей
- если "да", то зажигаете лампочку

Плёвое дело.

Успехов.

интересно в мире есть готовые устройства распознавания по игре музыкальных инструментов?

Мне кажется здесь попахивает "искусственным интеллектом" и его обучением, а "простым сравнением" здесь не обойтись... Например, игра рояли говорят отличается от игры на пианино... Хотя... я не музыкант...
Когда играет оркестр то там я например уже могу не отличить какие играют инструменты (на слух)

[Мур]

Любопытно... Спасибо. На сколько я помню эти модели строились давно. ТИИИЭР где -то от 1977года

вот например http://electronix.ru/redirect.php?https://...ile/RR-8097.pdf
Успехов.

Не удается получить доступ к сайту.... ((((

Мне кажется здесь попахивает "искусственным интеллектом" и его обучением...

Совершенно верно. Я с самого начала об этом говорю...

[Fat Robot]

а вы попробуте придумать задачу, где бы такое устройство могло сгодиться.

интересно в мире есть готовые устройства распознавания по игре музыкальных инструментов?

.. и обязательно cloud computing и big data. без этого сейчас даже елочная гирлянда не мигает.

Мне кажется здесь попахивает "искусственным интеллектом" и его обучением...

[Мур]

а вы попробуте придумать задачу, где бы такое устройство могло сгодиться.

В моем первом топике указано - цвето- лазерная установка для проекции на экран. (Можно расширять до распределенных LED-пано) Живет своей жизнью(как обучили). Высока вероятность, что от выступления к выступлению видеоряд не воспроизводится (громкость, темп, настройка микшером разная...)


В приципе, - можно упростить задачу(для начала) одними ударными, чтобы различалось бас-барабан, рабочий барабен, тарелки, хет, и дополнительные тон -барабаны...

интересно в мире есть готовые устройства распознавания по игре музыкальных инструментов?

Есть такое на базе PC. В основном как помощник при написании партитур...

http://www.widisoft.com/russian/help/widi4...umdetection.htm
http://www.mymusictools.com/rus/download/%...BD%D0%BE%D1%82/

[petrov]

Непонятно как распознавание связано с эффектным представлением.

Другое дело, что Фурье плохо подходит, так как не все звуковые сигналы похожи на его базисные функции. Стоит посмотреть в сторону пакетных вейвлетов.

http://www.mathworks.com/help/wavelet/ug/w...et-packets.html

[ViKo]

А. Потрясающая дешевизна...

Это хорошо или плохо?

Б. Да хоть на 128.... Это частотное разделение, но фактора времени(долгосрочного фактора) тут нет... Это каша.... Да и ноль обучения.

Накапливайте массивы БПФ во времени. Будет двухмерный массив. К нему шаблоны примените.

[Мур]

Непонятно как распознавание связано с эффектным представлением.

Тут не стоит волноваться... Мозг сам увязывает музыкальный акцент инструмента с видеорядом

Другое дело, что Фурье плохо подходит, так как не все звуковые сигналы похожи на его базисные функции. Стоит посмотреть в сторону пакетных вейвлетов.

http://www.mathworks.com/help/wavelet/ug/w...et-packets.html

Я обратил внимание на этот нюанс

[petrov]

Тут не стоит волноваться... Мозг сам увязывает музыкальный акцент инструмента с видеорядом

Я к тому, что распознавание здесь явный оверхэд, вам же не партиртуру оркестра выводить, а просто визуализацию звука.

[Мур]

Это хорошо или плохо?

Вы утрировали ситуацию. Реальность другая. И выгоды в иной плоскости...

Накапливайте массивы БПФ во времени. Будет двухмерный массив. К нему шаблоны примените.

Это решение в лоб. Дорогое. Механизмы нейросетей должны быть проще и дешевле

Я к тому, что распознавание здесь явный оверхэд, вам же не партиртуру оркестра выводить, а просто визуализацию звука.

Если бы... Не просто звука , а инструмента....
Меломаны легко различают любой инструмет в наборе... вот шик!!!

[ViKo]

Считаю себя меломаном, но инструменты различаю с трудом. Только, если специально напрячься, настроиться на поиск. Обычно слушаю музыку, не инструменты. Точнее, даже - песню.

[AlexandrY]

Хочется помочь сыну - музыканту хитрым шоу-проектором, чтобы украсить его выступления. Банальное частотное разделение скушно...


Задача хороша как учебная. Присоединяйтесь!
http://portal.tpu.ru/SHARED/s/STANKEVICHFV...Instruments.pdf тут этого нет

Сначала надо поинтересоваться сколько стоит час машинного обучения в облаках у того же ватсона.
Сразу расхочется этим заниматься. Это путь явно не для DIY.

Но и это обучение мало чего стоит без обратной реакции публики.
В лучшем случае вы создадите что-то приятное для себя самого, даже не для сына.

Я считаю разумным вариантом взять где нибудь популярные зрительные образы скажем из винампа и просто их стилизовать вручную под темп и амплитуду музыки.

Т.е. разговор дожен начаться с выбора программных инструментов, на чем писать.
На WinForms, WPF, VCL , Qt или wxWidgets на которых написан Audacity.
И потом пилить редактор для стилизации видеоряда. Если хватит энтузиазма.

[Мур]

Считаю себя меломаном, но инструменты различаю с трудом. Только, если специально напрячься, настроиться на поиск. Обычно слушаю музыку, не инструменты. Точнее, даже - песню.

Имею музыкальное образование и стал различать каждый инструмент в студенческий период, когда увлекались копированием известных рок-исполнителей. Слышать каждый инструмент стало привычкой...
Мне даже трудно представить как этого можно не различать!... Всегда понимал, что меломан автоматически должен это уметь... Странно.

Сначала надо поинтересоваться сколько стоит час машинного обучения в облаках у того же ватсона.
Сразу расхочется этим заниматься. Это путь явно не для DIY.

Но и это обучение мало чего стоит без обратной реакции публики.
В лучшем случае вы создадите что-то приятное для себя самого, даже не для сына.

Я считаю разумным вариантом взять где нибудь популярные зрительные образы скажем из винампа и просто их стилизовать вручную под темп и амплитуду музыки.

Т.е. разговор дожен начаться с выбора программных инструментов, на чем писать.
На WinForms, WPF, VCL , Qt или wxWidgets на которых написан Audacity.
И потом пилить редактор для стилизации видеоряда. Если хватит энтузиазма.

Мы не ищем стандартных путей... В Музыке это не приемлемо. Шучу!
Конечно же для себя. Я знаю, что хочу. Мне нужно более интеллектуальное разделение, чем частотное.
Я спец по контроллерам и ПЛИС и я как-то не ощущаю дискомфорта от выбора инструментария. Когда есть уже сформированные порты разделения - оконечные устройства уже не проблема. Их на рынке хватает.

По-прежнему остается вопрос о распознавании во временной области. Кто подскажет, как это делается сейчас? Учебники показывают статику и фактора времени там нет.
Я думал это уже давно решено....

[baumanets]

1. Почитайте труд Порвенкова "Акустика и настройка музыкальных инструментов"
2. Есть программа widi, которая с известной степенью точности передирает ноты.
http://www.widisoft.com/english/products.html
Почему нельзя сделать 100% алгоритм - написано в книге 1 на рабоче-крестьянском языке.

[Мур]

1. Почитайте труд Порвенкова "Акустика и настройка музыкальных инструментов"
2. Есть программа widi, которая с известной степенью точности передирает ноты.
http://www.widisoft.com/english/products.html
Почему нельзя сделать 100% алгоритм - написано в книге 1 на рабоче-крестьянском языке.

Спасибо. ...Чувствуется практик! Это все мне известно. Есть приятель - гений настройки фортепиано. Секреты мне рассказывал, что нарушают математическую строгость.
Тут я в поиске алгоритмов. Это ближе к математике... Нужно формализовать плохо формализуемую задачу. А это нейронная сеть. Как её развернуть для просмотра потока во времени?

[Ga_ry]

...что нарушают математическую строгость.

Вы никак пытаетесь вывести формулу музыки?
Потрясающе...
В музыкальном оформлении сценических выступлений кроме звукового пульта применяется также световой пульт, в котором записана партитура света которой занимается тоже человек (не машина!). Художник занимается партитурами, будь они звуковые или световые.
Поручить машине световое оформление - это нонсенс! Получится мигалка, но только на ПЛИС.

Если Вы хотите действительно помочь сыну (а не занять себя от скуки) то придумайте такой бюджетный или правильней сказать доступный пульт, который бы переплюнул по функционалу имеющиеся на сегодняшний день образцы.

[Мур]

Вы никак пытаетесь вывести формулу музыки?
Потрясающе...
В музыкальном оформлении сценических выступлений кроме звукового пульта применяется также световой пульт, в котором записана партитура света которой занимается тоже человек (не машина!). Художник занимается партитурами, будь они звуковые или световые.
Поручить машине световое оформление - это нонсенс! Получится мигалка, но только на ПЛИС.

Если Вы хотите действительно помочь сыну (а не занять себя от скуки) то придумайте такой бюджетный или правильней сказать доступный пульт, который бы переплюнул по функционалу имеющиеся на сегодняшний день образцы.

Все зависит от подхода...
Различать инструменты - идеальная задача и ....не достижимая, но давно пора уйти от частотного разделения и усложнить. Не требуется тут военного подхода, чтобы кнопу нажал и самолет упал!... ))
Разложить задачу на простые куски и достичь соответствия идеальному хотя бы в 70% уже огромный рывок. ....Так что не считаю задачу утопичной. Никого переплёвывать задача не ставится.

Обучение NS конкретному инструменту уже решалась и успешно. Гляньте на документ в стартовом топике...

[AlexandrY]

Обучение NS конкретному инструменту уже решалась и успешно. Гляньте на документ в стартовом топике...

Ну щас я в вам в Adobe Audition наваяю музыки и попробуйте там различить инструменты.
О каких инструментах может идти речь в современной музыке?

Контролеры и тем более ПЛИС в этой теме явно не помогут.
Это чистое проектирование пользовательского интерфейса.

И зачем молодежи различать древние инструменты большинство из которых они в глаза не видели?

Может программистам для большего кайфа тоже нужно в вычислениях распознавать операции выполнявшиеся на фон Неймановской машине?

Ваша задача слегка абсурдная по самой постановке.
Ее надо переформулировать как минимум.

70% различение это тоже тот еще перл. Это тот случай когда ложка дегтя легко испортит бочку меда.
Здесь либо хорошо работает либо лучше такой аппарат не включать на дискотеке.

[enclis_]

LSTM/RNN, не?

[Мур]

Ну щас я в вам в Adobe Audition наваяю музыки и попробуйте там различить инструменты.
1.О каких инструментах может идти речь в современной музыке?
2.Контролеры и тем более ПЛИС в этой теме явно не помогут.
3.Это чистое проектирование пользовательского интерфейса.
4.И зачем молодежи различать древние инструменты большинство из которых они в глаза не видели?
Может программистам для большего кайфа тоже нужно в вычислениях распознавать операции выполнявшиеся на фон Неймановской машине?
5.Ваша задача слегка абсурдная по самой постановке.
Ее надо переформулировать как минимум.
6.70% различение это тоже тот еще перл. Это тот случай когда ложка дегтя легко испортит бочку меда.
Здесь либо хорошо работает либо лучше такой аппарат не включать на дискотеке.

1.Ударные, Бас-гитара,Соло, Фотрепиано, Саксофон...
2. Без ПЛИС точно не потянет, Контроллер тут как сервис различных наборов и редактуры настроек
3. Для начала разделить кашу на потоки..
4. Полагаемся на утонченных музыкантов и людей с фантазией (умеющих прощать неточности и видеть в них иной смысл)
5. Так не считаю. Это интересно и её решали... не с другой целью
6. Вы недооцениваете способности человеческого мозга находить связи в абстракциях... Эффект в подаче видеоряда

LSTM/RNN, не?

А вот за это огромное спасибо! Тут появляется время.... Буду изучать.
http://datareview.info/article/znakomstvo-...roy-lstm-setey/
https://www.youtube.com/watch?v=Zm8l-JQAJD8#t=815.123303
http://техдир.рф/2016/01/15/rnn/

[AlexandrY]

1.Ударные, Бас-гитара,Соло, Фотрепиано, Саксофон...

Не смешите, там один сплошной синтез.

[Мур]

Не смешите, там один сплошной синтез.

Совершенно все равно, что там...
Тут обратная синтезу задача..., т.е. разложение.
----------------
1.Стоит ожидать, что реакция системы будет заметна на глаз и потому фонограмму придется давать с опережением, чтобы ~0.1Сек задержки не были столь навязчивы. (Это для бытового применения)
2. При эксплуатации нужно быть готовым на режим, когда придется муз ряд прогонять больше одного раза, чтобы подобрать состав инструментов(настроек), чтобы остановиться на оптимальном. Это потребует развитой интерфейс и базу коэффициентов. Получается, что этот инструмент становится в пределе участником шоу наравне с музыкальными...

Практика покажет

[ViKo]

Если свет будет мельтешить в ритме музыки, то ну его нахрен такой концерт. Нужно намного спокойнее, плавнее. И задержка в 0.1 с здесь не помеха.

[AlexandrY]

Совершенно все равно, что там...
Тут обратная синтезу задача..., т.е. разложение.
----------------
1.Стоит ожидать, что реакция системы будет заметна на глаз и потому фонограмму придется давать с опережением, чтобы ~0.1Сек задержки не были столь навязчивы. (Это для бытового применения)
2. При эксплуатации нужно быть готовым на режим, когда придется муз ряд прогонять больше одного раза, чтобы подобрать состав инструментов(настроек), чтобы остановиться на оптимальном. Это потребует развитой интерфейс и базу коэффициентов. Получается, что этот инструмент становится в пределе участником шоу наравне с музыкальными...

Ну вот так уже лучше.
Но не разложение, а редукция.
Разложение здесь также невозможно как невозможно разложить 3D в 2D.

Для редукции вам нужны эвристики. Эвристика под названием "старые музыкальные инструменты" мне кажется здесь неудачной.

[Мур]

Если свет будет мельтешить в ритме музыки, то ну его нахрен такой концерт. Нужно намного спокойнее, плавнее. И задержка в 0.1 с здесь не помеха.

Никто не мешает сделать фон, компенсирующий резкое мигание... Я ожидаю больше развитие свето-темы, нежели стробоскопические дерганья. Все это решаемо

Ну вот так уже лучше.
Но не разложение, а редукция.
Разложение здесь также невозможно как невозможно разложить 3D в 2D.

Для редукции вам нужны эвристики. Эвристика под названием "старые музыкальные инструменты" мне кажется здесь неудачной.

Критерии каждый формирует(или выбирает) сам.
Никто не требует идеальности. Да и не будет её тут...
Это хороший повод углубиться в архитектуру "редуктора".

[Огурцов]

1.Ударные, Бас-гитара,Соло, Фотрепиано, Саксофон...

бас-гитару, барабаны, тарелки - сможете выделить по частоте
гитару, скрипку, трубу - сможете разделить по тембру
вот вам уже шесть, мало ?

2. Без ПЛИС точно не потянет, Контроллер тут как сервис различных наборов и редактуры настроек

нужно сначала понять, что пихать в плис
заложитесь лучше на нейросеть из мк - оно и проще в реализации, да и пооперативней работать будет

3. Для начала разделить кашу на потоки..

фарш невозможно провернуть назад
кое-что выделить - да


была какая-то советская цветомузыка, так ритм ловила весьма и весьма удачно
нужно очень постараться, чтобы не сделать такое же на мк

[Мур]

...гитару, скрипку, трубу - сможете разделить по тембру
вот вам уже шесть, мало ?

это уже не современно... Банально. Кстати,- тембр,- понятие уже многомерное и в новой концепции более доступнее

нужно сначала понять, что пихать в плис
заложитесь лучше на нейросеть из мк - оно и проще в реализации, да и пооперативней работать будет

Вы не владеете темой конвейерной обработки... Даже не комментирую.
Уже понятно что. Осложняется задача необходимостью настроек от МК и прогоном моделей на Матлабе на разных реализациях. Обучение NN - САМОЕ муторное в этой концепции/
...Ломаю голову, применять ли сигмоидную функцию в качестве функции активации NN (сделать таблично) или кусочной аппроксимацией? Их там в "сетке" много... МК не способнен на столь глубокое распараллеливание, как FPGA. Вижу огромное применение такой архитектуры в практике(не только "восствновления фарша" из музыки)

фарш невозможно провернуть назад
кое-что выделить - да

Вы идеалист. Не ставится такая задача

была какая-то советская цветомузыка, так ритм ловила весьма и весьма удачно
нужно очень постараться, чтобы не сделать такое же на мк

МК - хорош в своей области.

[Огурцов]

это уже не современно... Банально. Кстати,- тембр,- понятие уже многомерное и в новой концепции более доступнее

наверное редкие инструменты имеют неизменный во времени тембр - вот вам уже и многомерность

Вы не владеете темой конвейерной обработки... Даже не комментирую.

многопроцессорность как раз и даёт конвейерность, с одним какие там конвейеры
а про гибкость мк против фпга я уж даже и не говорю
и в фпга вы должны загонять нечто готовое, чего у вас нет

Уже понятно что. Осложняется задача необходимостью настроек от МК и прогоном моделей на Матлабе на разных реализациях. Обучение NN - САМОЕ муторное в этой концепции/

вы хотите построить некую нейросеть, которая будто бы будет способна сама собой обучаться
не верю
вот сделаете 99% работы самостоятельно, а 1% отдадите на обучение - может оно и взлетит, иначе - нет

МК не способнен на столь глубокое распараллеливание, как FPGA.

один мк за доллар против одного фпга за сто ? давайте лучше по эквивалентной цене за мипс и килобайт+мегабайт считать, ага ?

МК - хорош в своей области.

нет, мк хорош, а фпга хорош в своей области

[Мур]

наверное редкие инструменты имеют неизменный во времени тембр - вот вам уже и многомерность

Вы изначально не верно поняли задачу.
...Различать каждый из двух инструментов с разным тембром

многопроцессорность как раз и даёт конвейерность, с одним какие там конвейеры
а про гибкость мк против фпга я уж даже и не говорю
и в фпга вы должны загонять нечто готовое, чего у вас нет

Из пушки по воробъям...
На том и стою, что создаю, чего пока нет...
Обращаю внимание, что сразу закладываю в ФПГА возможность смены коэффициентов
Но и не это главное, а то, что мне доступно легко менять архитектуру, что при вашей "многопроцессорности" это проблемно. Схемотехника давлеет..

вы хотите построить некую нейросеть, которая будто бы будет способна сама собой обучаться
не верю
вот сделаете 99% работы самостоятельно, а 1% отдадите на обучение - может оно и взлетит, иначе - нет

А я разве говорил о самообучении?.. Наоборот. Акцент был на предварительной отработке в Матлабе. За кого вы меня держите?... Чудно...

один мк за доллар против одного фпга за сто ? давайте лучше по эквивалентной цене за мипс и килобайт+мегабайт считать, ага ?

Опять одномерное восприятие!.. То что в ФПГА делается врожденно,- МК просто не способен. Кесарю кесарево...
Если выполнить все в вашей парадигме - траты на проектирование будут зашкаливать как материально, так и во времени. Например размерность сети, разрядность, связи
Вам придется делать несколько итераций схемотехники.
Я бы взялся бы за этот путь, когда уже станет известно оптимальное построение системы. Пока это этап исследований и лучше комбинации МК с ФПГА просто самый шикарный.

нет, мк хорош, а фпга хорош в своей области

Я не сторонник крайностей. Одинаково дружу как с тем, так и с этим...

[Огурцов]

...Различать каждый из двух инструментов с разным тембром

это сильно упрощает, можно попробовать тупо через корреляцию источника с суммой двух инструментов по очереди с разным тембром

легко менять архитектуру, что при вашей "многопроцессорности" это проблемно

я понял, но зачем менять архитектуру вычислителя, когда требуется менять архитектуру сети ?

Если выполнить все в вашей парадигме - траты на проектирование

траты на копипасты околонулевые, стоимость изготовления печатной платы их с лихвой перекроет

[Мур]

это сильно упрощает, можно попробовать тупо через корреляцию источника с суммой двух инструментов по очереди с разным тембром

Это традиционный путь. Я о нем упоминал уже... Затратный...
если верить теории, с некоторым приближением, можно получить приемлемый результат дешевле... (в смысле аппаратного ресурса)

я понял, но зачем менять архитектуру вычислителя, когда требуется менять архитектуру сети ?

Архитектура сети и есть часть общей архитектуры

траты на копипасты околонулевые, стоимость изготовления печатной платы их с лихвой перекроет

Это время (изготовление\монтаж\проверки), а значит траты тоже

[Огурцов]

если верить теории, с некоторым приближением, можно получить приемлемый результат дешевле... (в смысле аппаратного ресурса)

если стоимость разработки софта для фпга принять за ноль, то таки да
если взять количество мк пропорционально количеству моделей и каждую записать во флешь, то с околонулевой стоимостью получите и конвейер и параллельные вычисления
сколько там флеши у фпга ? сколько моделей войдёт ? ага

Сообщение отредактировал Огурцов - Apr 27 2016, 18:48

[Мур]

если стоимость разработки софта для фпга принять за ноль, то таки да
если взять количество мк пропорционально количеству моделей и каждую записать во флешь, то с околонулевой стоимостью получите и конвейер и параллельные вычисления
сколько там флеши у фпга ? сколько моделей войдёт ? ага

Основные траты идут на модели в Матлабе. Когда станет ясно, что должно быть в ФПГА, софт для ФПГА будет сделан за неделю (естественно с тестбенчем)
Обращаю внимание, что никаких конфликтов производительности, синхронизации потоков , присущим МК, тут принципиально нет. МК - смена порядка NN - весьма болезненно. Наращивание потребует внешнего железа (N* МК).
У вас смутные представления о кухне по работе с ПЛИС.
К вашему сведению,- Делать проект для оценки ресурса на ФПЖА можно на любом этапе. Портируют проект на чип с 50% избыточностью (в расчете на возможные дополнения)

...Вы считаете траты не как разработчик, а как финансист. Это беда для прогресса, для коллектива.

[Ydaloj]

я вообще не про распознавание,

но ещё в СССР была статья в Радио, где музыкальное произведение писалось в 1 канал стереофонограммы, а сопровождающая его заранее приготовленная партитура световых огней и спецэффектов - в другой.
В этом есть плюс... Электроника что-то распознает и зажгёт лампочки по-своему. А вот человек может и пофантазировать...

[Мур]

....но ещё в СССР была статья в Радио, где музыкальное произведение писалось в 1 канал стереофонограммы, а сопровождающая его заранее приготовленная партитура световых огней и спецэффектов - в другой.
В этом есть плюс... Электроника что-то распознает и зажгёт лампочки по-своему. А вот человек может и пофантазировать...

Я вас понимаю...
Сам неоднократно посещал с 1972г в парке им.Горького (зал открыт в 1969 г.) реализованного Ю. А. Правдюком, что в Харькове. Там оператор управлял рычагами и кнопками трафаретами и освещением...
Удивительно, что сам Правдюк и жил там в маленькой каморке, что была при этом зале. Ужасная судьба творческого человека... Надо будет зайти глянуть, что сейчас... Вы мне напомнили.

[Огурцов]

софт для ФПГА будет сделан за неделю (естественно с тестбенчем)

неделя фпгашного кодера == полста тысяч

конфликтов производительности, синхронизации потоков

с чего вы взяли

, присущим МК, тут принципиально нет. МК - смена порядка NN - весьма болезненно. Наращивание потребует внешнего железа (N* МК).

матричному вычислителю всё равно что и как считать, как программу напишете, так и будет и не надо ничего наращивать в железе, если производительности хватает
если же не хватает, то и вам придётся
а вот мне весьма любопытно, как вы будете плавучку в фпга считать и прочую тригонометрию, сколько ресурсов уйдёт на тривиальщину

У вас смутные представления о кухне по работе с ПЛИС.

я вижу, аргументы закончились ?

...Вы считаете траты не как разработчик, а как финансист

потому что всё заказчики, что бьют себя тапком в грудь, крича, что они такие крутые и богатые, в конце всегда плачут, почему так дорого
и только нормальные ценят старания по оптимизации, понимая, что ещё чуть дешевле и будет уже намного хуже

[Мур]

неделя фпгашного кодера == полста тысяч

На самом деле 1 день.(в MatLab это делается это нажатием 1 кнопки) Остальные 5 на тестбенч и верификацию

с чего вы взяли

У вас распределенные вычисления

матричному вычислителю всё равно что и как считать, как программу напишете, так и будет и не надо ничего наращивать в железе, если производительности хватает
если же не хватает, то и вам придётся

Ключевой момент. В ФПГА не придется. Это для него не задача вообще.

а вот мне весьма любопытно, как вы будете плавучку в фпга считать и прочую тригонометрию, сколько ресурсов уйдёт на тривиальщину

Это не военная система, чтобы привлекать плавающую точку..
Кстати, она есть в палитре дизайнера... Только зачем?
Мне и целочисленной математики хватит с головой. Там на выходе вообще можно опуститься до 6 разрядов...

потому что всё заказчики, что бьют себя тапком в грудь, крича, что они такие крутые и богатые, в конце всегда плачут, почему так дорого
и только нормальные ценят старания по оптимизации, понимая, что ещё чуть дешевле и будет уже намного хуже

Есть у меня такой оппонент. Ничего нового... Когда это действительно оправдано разумно прислушаться. Но в этой задаче с многими неизвестными это опасно.
Да и вообще - цель-то быстро пройти вариантов 8 и "босыми ножками" пройти всю математику, чтобы нащупать самый простой путь.

[Огурцов]

У вас распределенные вычисления

не так, они конвейерные, синхронизация там получается автоматически - данные получил - данные обработал - данные отправил

Это для него не задача вообще.

а может, это задача не для него вообще

Это не военная система, чтобы привлекать плавающую точку..

целочисленная тригонометрия ? синусы-косинусы, достигающие значения пи даже не в военное время ?

[Мур]

не так, они конвейерные, синхронизация там получается автоматически - данные получил - данные обработал - данные отправил

Заблуждение... Квитанции во времени разные...

а может, это задача не для него вообще

Классически для FPGA Умножение с накоплением+ табличные преобразования

целочисленная тригонометрия ? синусы-косинусы, достигающие значения пи даже не в военное время ?

Не паясничайте... Тут гиперболический синус и сигмоидная функция как экзотика(таблично решается). Остальное линейно
...Вы хоть бы вникли в природу NN

[Огурцов]

Заблуждение... Квитанции во времени разные...

с общим клоком на spi ? с чего бы ?

Классически для FPGA Умножение с накоплением+ табличные преобразования

не поверите, и на мк легко

Не паясничайте... Тут гиперболический синус и сигмоидная функция как экзотика(таблично решается). Остальное линейно
...Вы хоть бы вникли в природу NN

а фильтры вам совсем не надо ?

[Мур]

с общим клоком на spi ? с чего бы ?

Разве что подогнать по самому медленному вычислению...

не поверите, и на мк легко

Знаю

а фильтры вам совсем не надо ?

Уже есть

[Огурцов]

Разве что подогнать по самому медленному вычислению...

там не будет медленных вычислителей, оне все одинаковые

Уже есть

целочисленные ?

[syoma]

Заинтересовала тема, но интересно, сколько будет продолжаться это деление шкуры неубитого медведя путем сравнения МК с ПЛИС, если еще нифига не известно как должен работать алгоритм?
Я бы начал с решения задачи в Матлабе - засунуть туда музыку, попытаться выделить инструменты, записать в отдельный файл и посмотреть, что получилось. Можно проверить все, вплоть до нейронных сетей. А когда получится, там практически пофиг для чего генерировать код - хоть для МК, хоть для ПЛИС.

[alexunder]

Заинтересовала тема, но интересно, сколько будет продолжаться это деление шкуры неубитого медведя путем сравнения МК с ПЛИС, если еще нифига не известно как должен работать алгоритм?

священная война не закончится никогда

Я бы начал с решения задачи в Матлабе - засунуть туда музыку, попытаться выделить инструменты, записать в отдельный файл и посмотреть, что получилось. Можно проверить все, вплоть до нейронных сетей. А когда получится, там практически пофиг для чего генерировать код - хоть для МК, хоть для ПЛИС.

Мне кажется, тут нужен совсем иной подход (как и предлагает один из участников спора МК-ПЛИС), нежели просто выделение (фильтрация) чего-либо. Как вот в этой типовой песне отделить вокал от баса или лид-гитары? Да никак. Правильно выше кто-то сказал: нельзя 3D разложить на 2D.

[Мур]

там не будет медленных вычислителей, оне все одинаковые

Время вычисления различных функций соответственно различно. Критичное время вашего конвейера на "рассыпухе из МК" будет определять самая медленная...

целочисленные ?

Естественно..

Заинтересовала тема, но интересно, сколько будет продолжаться это деление шкуры неубитого медведя путем сравнения МК с ПЛИС, если еще нифига не известно как должен работать алгоритм?
Я бы начал с решения задачи в Матлабе - засунуть туда музыку, попытаться выделить инструменты, записать в отдельный файл и посмотреть, что получилось. Можно проверить все, вплоть до нейронных сетей. А когда получится, там практически пофиг для чего генерировать код - хоть для МК, хоть для ПЛИС.

Абсолютно солидарен. Предельна гибкость(и дешевизна при клонировании) при развитии дает тендем МК-FPGA

священная война не закончится никогда

Нет никакой войны. Есть различные стили в подходах...

Мне кажется, тут нужен совсем иной подход (как и предлагает один из участников спора МК-ПЛИС), нежели просто выделение (фильтрация) чего-либо. Как вот в этой типовой песне отделить вокал от баса или лид-гитары? Да никак. Правильно выше кто-то сказал: нельзя 3D разложить на 2D.

Тут не требуется абсолютного разделения из смеси... Тут пример порождения различных базисов разложения.

[Огурцов]

Время вычисления различных функций соответственно различно. Критичное время вашего конвейера на "рассыпухе из МК" будет определять самая медленная...

я предлагаю простой матричный конвейерный двухмерный вычислитель размером 16x16 камней на одной плате с производительностью где-то 25 000 мипсов по цене одного фпга
и военный - трехмерный, из 16 таких плат этажеркой, с производительностью 400 000 мипсов
никаких различных функций там быть не может, различного времени выполнения программы быть не может
хотя бы только по тому, что программа во всех камнях одинаковая
различны, например, весовые коэффициенты нейросети
либо модели (сэмплы) инструментов, по которым проводится сравнение

[Мур]

я предлагаю простой матричный конвейерный двухмерный вычислитель размером 16x16 камней на одной плате с производительностью где-то 25 000 мипсов по цене одного фпга
и военный - трехмерный, из 16 таких плат этажеркой, с производительностью 400 000 мипсов
никаких различных функций там быть не может, различного времени выполнения программы быть не может
хотя бы только по тому, что программа во всех камнях одинаковая
различны, например, весовые коэффициенты нейросети
либо модели (сэмплы) инструментов, по которым проводится сравнение

Имеет право быть, но как следующий этап после исследовательского в гибкой аппаратной платформе...

[Мур]

Заманчивый пример
http://www.nallatech.com/?s=Caffe+Integration
https://github.com/BVLC/caffe/

Удобно взять сверточную нейронную сеть (CNN) с архитектурой Caffe Integration на http://caffe.berkeleyvision.org/ Ее разработали в лаборатории Berkeley Vision and Learning Center с многими энтузиастами.
При этом нужно отредактировать имеющийся XML-файл настроек, который описывает различные комбинации блоков в слоях нейронной сети. А это 4 слоя:
- слой свертки, сворачивающий маленькие кадрики с ядрами, соответствующими разным признакам, ка-то угол, линия.
- объединяющий слой, в котором группируются в подрегионы максимумы реакций сверточного слоя.
- слой детекторов,
- объединяющий слой в котором изображение интерпретируется как множество векторов.
Затем XML-файл компилируется с выдачей модели CNN под конкретную ПЛИС.
Другой возможностью быстро освоить CNN в ПЛИС является использование системы ImageNet, которая есть в свободном доступе вместе с тренировочными последовательностями и испытательными стендами.
В ней 5 сверточных слоя и 3 полносвязных слоя, на которые приходится более 99% времени работы сети.
В сверточных слоях стоят те же фильтры признаков размером 11×11, 5×5 или 3×3. Причем базовым фильтром является фильтр (3×3), а большие фильтры получаются повторением вычислений с этим фильтром.
Для реализации CNN в ПЛИС используются блоки DSP с умножителем с аккумулятором 18×18 bits. Новые ПЛИС Altera Arria 10 позволяют сконфигурировать в одном таком блоке 1 умножение с плавающей запятой или 2 умножения 18×19 с фиксированной запятой. А если коэффициенты уменьшить до 10 бит и менее, то такую операцию можно делать на сумматорах. Поэтому есть смысл соптимизировать алгоритм на фиксированную запятую, умножив этим самым производительность в 2-3 раза.
В системе ImageNet предлагается библиотека с интерфейсом OpenCL, в которой собраны модели свертывателей с разрядностью коэффициентов, начиная с 10 bit 3×3.
Так что в ПЛИС Arria10 GX 1150 помещается до ~512 сверточных блока из этой библиотеки.
В примере программирования CNN используется ускоритель на ПЛИС Nallatech 510T, который втыкается в РС или сервер как карта GPU. На ней стоят 2 FPGA Altera Arria 10 GX 1150 и внешня память, обмены с которой происходят со скоростью ~60 GBytes/sec. Типичное энергопотребление - 150W, т.е. более чем вдвое экономнее, чем у хорошего GPGPU.
В данном акселераторе обрабатываются параллельно 16 кадров, над каждым из которых трудятся 64 параллельных свертывателя. Так что выделются одновремено 8 особенностей изображения в 8 точках. Таким образом всего вычисляются 1024 свертки 3×3 параллельно.
В результате, на обработку каждого кадра тратится 9 миллисекунд, а с учетом распараллеливания кадров - в среднем, 748 микросекунд.Т.е. это более чем в 3 раза быстрее,чем на крутом GPU К40.

[AlexandrY]

Заманчивый пример

Хм, такими темпами вы вечно будете делать свой инструмент.
Чем учить то будете свою сеть?

Я вот за это время редактор по созданию обучающих последовательностей для 8-и канального генератора эффектов уже сделал.

[Make_Pic]

...
Я вот за это время редактор по созданию обучающих последовательностей для 8-и канального генератора эффектов уже сделал.

Ух ты... Интересно, можно поподробнее о вашей чудо машинке?