Решил исследовать сколько же бит достаточно для классических ИНС. После тренировки начал округлять веса по формуле W=round(W*2^i)/2^i, то есть с i-битной дробной частью.
И был прямо говоря шокирован - на классических проблемах (MNIST, Breast cancer, Iris, SEMEION) падение точности было ничтожным даже если дойти до 2-3 бит! Даже больше, иногда сеть при загрублении весов показывала несколько лучший результат.

Вот пример для Breast cancer. Сеть - перцептрон обученный scaled conjugate gradient, базовая точность 97.57%
Использовался matlab neural network toolbox.

А вот самая большая из доступных мне сетей: 784х600х600х10 перцептрон с ReLU, обученный с дропаутом. Базовая точность 98.63%


Или мне попалось очень неприхотливое подмножество нейронок, или они действительно прекрасно работают с весьма загрубленными весами.
Буду весьма благодарен если кто-то из практикующих ИНС протестирует загрубление на своих сетях. Интересует поведение на распознавании изображений и на обработке сигналов. Если веса можно загрублять это сулит значительное уменьшение используемой памяти.

Ваше исследование, видимо, задаёт некое правило в количестве бит, достаточных для классических ИНС.
Остаётся мелочь: что Вы подразумеваете под классическими ИНС?
Что Вы вообще о них знаете?
Что такое биты?

В этом случае - FFNN. Но как показали дальнейшие тесты, RBM тоже отлично работают с загрубленными весами до 5-6 бит дробной части.
Это инвентарий для игры в лапту, бейсбол и крикет.

А вы для объективности возьмите задачу из ЦОС решённую традиционным методом, например измерение частоты зашумлённого комплексного однотонального сигнала, собственно чем граф FFT плюс довески интерполяции максимума отличаются от нейронной сети, сравните с вашей сетью настроенной на эту же задачу, результат будет плачевный - хоть загрублённые, хоть нет, они вообще не работают в сравнении с нормально решённой задачей.

Извините, не совсем понял вашу мысль. Вы хотите показать что в области ЦОС аналитические методы работают лучше нейронок? Так с этим никто и не спорит, есть задачи вообще нерешаемые ИНС (пока). Но так же и есть огромное множество задач где нейронки сейчас являются лучшим решением по затратам и точности.

Непонятно как объективно говорить о работе сети не сравнивая с аналитическими методами? 94% это много или мало? Например в системе связи для правильной классификации на приёме переданного бита и 99.9999 мало, при этом на алгоритм приёма тоже можно смотреть как на какую-то сеть, получается 94% - ничего с любой разрядностью.

Возьмём приснопямятный MNIST- точность человека составляет что-то порядка 99.5%. Лучшие из нейронок показывают 99.98%. Сможете создать аналитический решатель с лучшей точностью? Это будет фурор на любом симпозиуме по распознаванию образов.
В диагностике рака ИНС диагностируют лучше чем квалифицированный врач (по общей статистике). Автоматическое распознавание речи, навигация, предсказание временных рядов и ещё тысяча и одна нечёткая проблема, для которой нет и не может быть формального алгоритма. Но тема не о общей ценности ИНС как таковых, а о конкретном феномене нечувствительности ИНС к загрубленным весам.

А зачем ждать, есть аналитически решённые задачи, вот и сравнивайте, а так на профанацию смахивает, дуболомные вычислительные мощности и магия.

Тёплое с мягким сравнивать?
Есть очень распространённая задача по распознаванию образов. Метрика понятна: процент корректно распознанных образов. Так получилось, что в этой области ИНС показывают лучшие результаты - на практических примерах, каждый день, в миллионах мест. Принося реальные и весьма большие деньги. При чём здесь аналитические алгоритмы для совсем других задач? Как вы сравните распознавание лиц на фейсбуке с БПФ? Или может появилось аналитическое решение игры в шахматы?

Я совершенно не понимаю о чём речь.