Точность весов в ИНС, Заметил интересную вещь Опции

[count_enable]

Решил исследовать сколько же бит достаточно для классических ИНС. После тренировки начал округлять веса по формуле W=round(W*2^i)/2^i, то есть с i-битной дробной частью.
И был прямо говоря шокирован - на классических проблемах (MNIST, Breast cancer, Iris, SEMEION) падение точности было ничтожным даже если дойти до 2-3 бит! Даже больше, иногда сеть при загрублении весов показывала несколько лучший результат.

Вот пример для Breast cancer. Сеть - перцептрон обученный scaled conjugate gradient, базовая точность 97.57%

Код

Test Accuracy for 11 bit: 97.57%.
Test Accuracy for 10 bit: 97.57%.
Test Accuracy for 9 bit: 97.57%.
Test Accuracy for 8 bit: 97.57%.
Test Accuracy for 7 bit: 97.57%.
Test Accuracy for 6 bit: 97.42%.
Test Accuracy for 5 bit: 97.42%.
Test Accuracy for 4 bit: 98.00%.   <---- !!!!
Test Accuracy for 3 bit: 97.85%.
Test Accuracy for 2 bit: 97.71%.
Test Accuracy for 1 bit: 97.57%.

Использовался matlab neural network toolbox.

А вот самая большая из доступных мне сетей: 784х600х600х10 перцептрон с ReLU, обученный с дропаутом. Базовая точность 98.63%

Код

Test Accuracy for 18 bit: 98.62%.
Test Accuracy for 17 bit: 98.62%.
Test Accuracy for 16 bit: 98.62%.
Test Accuracy for 15 bit: 98.62%.
Test Accuracy for 14 bit: 98.62%.
Test Accuracy for 13 bit: 98.62%.
Test Accuracy for 12 bit: 98.62%.
Test Accuracy for 11 bit: 98.61%.
Test Accuracy for 10 bit: 98.63%.
Test Accuracy for 9 bit: 98.63%.
Test Accuracy for 8 bit: 98.60%.
Test Accuracy for 7 bit: 98.64%.    <---- !!!!
Test Accuracy for 6 bit: 98.63%.
Test Accuracy for 5 bit: 98.58%.
Test Accuracy for 4 bit: 96.39%.
Test Accuracy for 3 bit: 9.80%.
Test Accuracy for 2 bit: 9.80%.

Или мне попалось очень неприхотливое подмножество нейронок, или они действительно прекрасно работают с весьма загрубленными весами.
Буду весьма благодарен если кто-то из практикующих ИНС протестирует загрубление на своих сетях. Интересует поведение на распознавании изображений и на обработке сигналов. Если веса можно загрублять это сулит значительное уменьшение используемой памяти.

[Stanislav]

Решил исследовать сколько же бит достаточно для классических ИНС.
..........

Ваше исследование, видимо, задаёт некое правило в количестве бит, достаточных для классических ИНС.
Остаётся мелочь: что Вы подразумеваете под классическими ИНС?
Что Вы вообще о них знаете?
Что такое биты?

[count_enable]

что Вы подразумеваете под классическими ИНС?

В этом случае - FFNN. Но как показали дальнейшие тесты, RBM тоже отлично работают с загрубленными весами до 5-6 бит дробной части.

Что такое биты?

Это инвентарий для игры в лапту, бейсбол и крикет.

[petrov]

Или мне попалось очень неприхотливое подмножество нейронок, или они действительно прекрасно работают с весьма загрубленными весами.
Буду весьма благодарен если кто-то из практикующих ИНС протестирует загрубление на своих сетях. Интересует поведение на распознавании изображений и на обработке сигналов. Если веса можно загрублять это сулит значительное уменьшение используемой памяти.

А вы для объективности возьмите задачу из ЦОС решённую традиционным методом, например измерение частоты зашумлённого комплексного однотонального сигнала, собственно чем граф FFT плюс довески интерполяции максимума отличаются от нейронной сети, сравните с вашей сетью настроенной на эту же задачу, результат будет плачевный - хоть загрублённые, хоть нет, они вообще не работают в сравнении с нормально решённой задачей.

[count_enable]

Извините, не совсем понял вашу мысль. Вы хотите показать что в области ЦОС аналитические методы работают лучше нейронок? Так с этим никто и не спорит, есть задачи вообще нерешаемые ИНС (пока). Но так же и есть огромное множество задач где нейронки сейчас являются лучшим решением по затратам и точности.

[petrov]

Извините, не совсем понял вашу мысль. Вы хотите показать что в области ЦОС аналитические методы работают лучше нейронок? Так с этим никто и не спорит, есть задачи вообще нерешаемые ИНС (пока). Но так же и есть огромное множество задач где нейронки сейчас являются лучшим решением по затратам и точности.

Непонятно как объективно говорить о работе сети не сравнивая с аналитическими методами? 94% это много или мало? Например в системе связи для правильной классификации на приёме переданного бита и 99.9999 мало, при этом на алгоритм приёма тоже можно смотреть как на какую-то сеть, получается 94% - ничего с любой разрядностью.

[count_enable]

Непонятно как объективно говорить о работе сети не сравнивая с аналитическими методами? 94% это много или мало? Например в системе связи для правильной классификации на приёме переданного бита и 99.9999 мало, при этом на алгоритм приёма тоже можно смотреть как на какую-то сеть, получается 94% - ничего с любой разрядностью.

Возьмём приснопямятный MNIST- точность человека составляет что-то порядка 99.5%. Лучшие из нейронок показывают 99.98%. Сможете создать аналитический решатель с лучшей точностью? Это будет фурор на любом симпозиуме по распознаванию образов.
В диагностике рака ИНС диагностируют лучше чем квалифицированный врач (по общей статистике). Автоматическое распознавание речи, навигация, предсказание временных рядов и ещё тысяча и одна нечёткая проблема, для которой нет и не может быть формального алгоритма. Но тема не о общей ценности ИНС как таковых, а о конкретном феномене нечувствительности ИНС к загрубленным весам.

[petrov]

Сможете создать аналитический решатель с лучшей точностью?

А зачем ждать, есть аналитически решённые задачи, вот и сравнивайте, а так на профанацию смахивает, дуболомные вычислительные мощности и магия.

[count_enable]

Тёплое с мягким сравнивать?
Есть очень распространённая задача по распознаванию образов. Метрика понятна: процент корректно распознанных образов. Так получилось, что в этой области ИНС показывают лучшие результаты - на практических примерах, каждый день, в миллионах мест. Принося реальные и весьма большие деньги. При чём здесь аналитические алгоритмы для совсем других задач? Как вы сравните распознавание лиц на фейсбуке с БПФ? Или может появилось аналитическое решение игры в шахматы?

Я совершенно не понимаю о чём речь.