Тут ссылку на кучу книжек выложили - очень интересно.
Интересно, а много среди нас тех кто яростно использует эти самые нейронные сети и в каких задачах.
Я так прикинул куда их можно прикрутить.
Пусть фильтрация сигналов, дык вроде как оптимального фильтра круче нет на свете, да и с анализом оптималки куда проще, во всяком случае не сложнее.
Распознавание образов. Стояла актуальная задача (в общем так и не упала).
Прикупил книжку (не помню название синенькая такая), там был даже пример распознавания контуров объектов, так вот незадача самая важная часть (количественная оценка объекта, например танк=1.3 а дом=5) вычислялась Фурье преобразованием, а вот компаратор объектов выполнен на нейронах
Еще неудачный пример. Несколько лет назад, будучи студентом, попалась компьютеррка с популяризацией эволюционных методов обучения нейронных сетей. От прочитанного эмоции лились через край (в возбужденной голове мелькали фразы "Я понял суть мироздания! Миру пи@дец!"). Принялся за дело. Для начала решил из одного урезанного нейрона получить эволюционными методами кореллятор. Написал в MatLab программку и вперед, за 15 минут расчета сеть (если можно так назвать) приблизилась к результату ~95% далее за сутки почти ни с места.
В общем, буду рад услышать ваши отзывы, только не надо бщих фраз типа "Ну а вы что хотели, это конкретные решения конкретных задач".

В некоторых современных датчиках расхода, используется алгоритм распознавания степени загрязнения тела обтекания или стенок трубы с использованием нейросетей. По закгрязнению они пото корретируют расход. Была написана модель загрязнения, по ней обучили нейросеть, подобрали веса нейронов и все такое. Сеть получилась не очень большая, веса нейронов известны, поэтому она легко влезла в микроконтроллер, правда DSP.
Будучи студентом, была у меня на практике тема. Определение источника загрязнения воздуха и его параметров в городе. Так вот вообщем-то задача решается собычным методами(наменьшей среднеквадратической ошибки) путем сравнивания с эталонной моделью. Но оказалось, что нейросети были как нельзя кстати. Так мат модель распространения примесей в городе была известна. Все что нужно было - это просто подобрать тип нейросети и обучить ее. И она превосходно решала эту задачу.
Еще знаю разработана система управления снабжения города электроэенргией. Сеть обучалась на основе данных за н-ое количество дней. Полсе этого она прекрасно предсказывала, сколько энергии сейчас нуно, чтобы не перегружать подстанции.
И еще знаю, система диспетчерезации и распределения грузовых поездов на перегонах.
Да еще в теории финаннсов и на бирже есть системы работающие под управлением самообучающихся нейросетей.

А я по работе хочу использовать НС для оценки канала распространения радиосигнала и синхронизации. Получается пока хреново .
Зато домашний проект прикручивания самоорганизующейся НС к тележке на колёсиках идёт полным ходом .
А вообще мне немного не повезло -- у нас НС'ами занимается другой отдел. Они их успользуют для фильтрации сигнала и управления фазированными антенными решётками. Говорят получается.
По поводу применения НС рекомендую прочесть книжки "применение НС для обработки сигналов" и "... для обработки изображений". Так же -- www.module.ru -- это по поводуклассификации в реальном времени. У них в авишных демонстрашках есть такое.

А какие симуляторъи ползуете?
Если можно даите линк на что то интересное. Хочется попробоват потенциал невросетей. Я давно занимаюс с Голосовое Управление но до тех пор с стандартное програмирование не успел сделат что то устоичиво работащее.

Я пользовал MatLab с пакетом для нейронесетей.

Я программист, поэтому симуляторы самописные. Сейчас с женой делаем пакет анализа данных с GUI по linux. Ей - для жидкостной хроматографии, мне - для систем связи, AI и всего остального . Но он будет, в основном, расчитан на плату нейросопроцессора МС4.31. Как напишу - выложу под GPL.

Где я использовал нейросети:
- C-кластеризация в задачах классификации
- анализ набора хаотических данных в отсутствии корелляционной зависимости

Интересно кто-нибудь использовал НС в задачах анализа временных рядов курсов валют или котировок? Ну конечно же использовал. Интересует каких результатов Вы добились?

Мы с приятелем пытаемся. Но до результата ещё далеко.

А посмотри:
http://www.keldysh.ru/departments/dpt_17/redko.html
и
http://www.iont.ru/projects/rfbr/90197/.

По-моему, как раз он и использовал нейронные сети для анализа курса котировок акций.

Я пользую НС для диагностики металлических конструкций при сложных динамических нагрузках. Пока правда есть трудности, но двигаюсь к успеху. Есть интересный вопрос, на который все специалисты в этой области стараются не отвечать "Как зависит структура НС от сложности объекта, информацию о котором она обрабатывает" Есть только частные случаи решения этой проблемы.

я студентом будучи, для проекта по автоматике делал регулятор на нейросети и на нечеткой логике (два разных регулятора) - положение шарика на наклонной плоскости регулировал - намано получилось, нейросети и нечеткая логика давали похожие результаты, регулирование было быстрее чем ПИД регулятором.
работал с МатЛабом и модулями к нему.

При более сложном алгоритме управления получается, что использование НС не выгодно. Прелесть НС в том, что она учится управлять сама. Но кто будет ее учить? Применение сетей без учителя возможно, но при небольшом количестве нейронов. Применение сетей с учителем требует непосредственно учителя, а учить может или человек или регулятор, который подключен параллельно с НС находящейся в состоянии обучения. Сами понимаете, что если есть работающий регулятор, то зачем еще городить НС. Вот и возникает вопрос, как зависит структура НС от сложности объекта управления?)

В серии "Нейрокомпьютеры и их применение" была книга #2 "нейроуправление и его применение" автор - Сигеру Омату. Там сравнивалось PID, нейро и fuzzy. Алгоритмы самообучения там тоже рассмотрены.

Самое главное это понять что ничего магического НС делать не могут: на самом деле это просто линейные функции, то есть задается плоскость и нейрон определяет с какой стороны от нее находятся входные данные, ну а обучение это просто выбор этой плоскости. Более сложные НС это еще простенькая схемка приделанная к нескольким нейронам. Вот и получается что они могут решать только задачи которые (пусть приближенно) можно описать таким тривиальным способом.

нейросети это не обязательно линейные функции - функцию нейрона можно задать любую, и вся сеть будет описывать достаточно сложную фигуру.
не стоит забывать "самообучающиеся сети" - которые достаточно широко используются в задачах классификации - здесь интерес в том, что неизвестный входной сигнал (который раньше не встречался) может быть отнесен к уже существующим группам, или сеть создаст новую группу.

надеюсь понятно написал?

Для однослойной сети это так - нельзя реализовать операцию XOR, т.к. делением на области пространства решение не получишь. Двуслойная сеть это уже решает. Более сложные сети - более сложные решения можно получить.

Есть класс нейронов, которые плоскость входных параметров делят не прямой, а окружностью. Свойства получаются уже другие.

А я работаю с апроксимацией биологических. Они нелинейные. Там _так_ весело.

PS: А вообще очень интересно: когда говорят о нейронках всегда имеют ввиду этот уродский перцептрон или его выродков. Они конечно-же решают свой узкий круг задач, но как-будто ничего другого нет. Я просто занимаюсь моделированием реального нейрона (клетки) и сразу замечаю огрехи, которые допустили в 60-е года . Что самое удивительное, эта лапша до сих пор вешается умным (и не только) людям на уши. Единственный луч света это -- aimatrix.nm.ru. Там автор пришёл к таким же идеям (т.е. выделение и обобщение механизмов обработки информации в нейроне). И вообще, я против называть взвешенный сумматор -- нейроном.

A нельзя ли немного поподробнее о нейроннъх сетях без перцептронов?

BTW: а где конкретно на aimatrix.nm.ru а то я там пока только какую то псевдонаучную бредятину про астрологию нашел :-)

И мы тут месяц убили на распознавание образов с помощью MathLab-овских нейросетей. Книжек всяких обчитались, где с восторгом описаны все прелести оных. Надобно было динамограммы работы нефтяных станков-качалок распознавать, и по их форме диагностировать их состояние. Вариантов несколько перепробовали - на входы подавали и просто цифровые отсчеты дискретизированных по времени динамограмм, и коефициенты вейвлет-преобразования из этих сигналов. Синтезировали для обучения от нескольких десятков, до нескольких тысяч промежуточных эталонных состояний (распознавать надобно было 10 состояний, правда несколько по форме очень похожие). Синтез и обучалка занимали иногда до суток на Intel P4-2Hhz. Перепробовали тучу возможных вариантов с разными структурами сетей. В наилучшем результате вероятность распознавания составляла 82%, что все же на 1% хуже чем то же с простым коэффициентом корреляции, который программируется за пол-часа. В одной буке нашел, что процесс обучения НС - "это искусство"- очевидно приобретаемое с опытом. Может быть кто-нибудь, у кого есть такой опыт, может осмыссленно его отобразить? Или хотя бы в двух словах указать на тонкости, на которые следует обратить внимание. Было бы очень интересно.

В принципе, это биологические. Они тоже перцептроны, но немного умнее .


Нейросхемы. Достаточно дельный подход.
А на счёт бредятины - НС это и есть бредятина. Чаще всего математическая.

Нейросеть - "оружие отчаяния", случай, когда нельзя грамотно формально поставить задачу. Прежде, чем использовать нейросеть, следует убедиться, что таковой постановки не существует. Результат же, даже при использовании наиболее приемлемых моделей ANN, чаще всего далек от приемлемого.

Полностью согласен.

Это даже не столько "оружие отчаяния," сколько неугасающая жажда сделать нечто "магическое," что решит все проблемы и свою голову напрягать не надо будет -- как обычно основная проблема в том что "серебрянных пуль" на склад опять не завезли :-)

Если в середине прошлого века увлечение НН еще можно было списать на "детскую болезнь" (по образу того, как еще ранее пытались строить махолеты -- самолеты летающие как птица), то что привлекает серьезных людей сейчас не совсем ясно.

Сейчас по моему исследования по НС переместились в область моделирования реальных нейронов.
Вон, IBM и супер комп выделила даже для моделирования кусочка мозга крысы.

Я думаю, что серьезные люди интересуются INN лишь в том смысле, чтобы убедиться в неприемлемости оных для решения конкретных задач. Часто после выбора соотв. модели и получения решения какой-либо задачи возникает чисто спортивный интерес: а что, если попробовать получить его с помощью INN? Потратив определенное время, убеждаешься, что INN хуже. Кроме того, INN требует больших выч. ресурсов, а ее решение в общем случае нельзя представить параметрически...

Купи книгу. прочитай и офигей. Есть столько разновидностей НС, что персептрон лучше не вспоминать

Использовал нейрочипы с aimatrix.nm.ru. для распознавания номеров
вагонов с jpg картинки.Получилось просто , как и обещал автор.Но
дальше все запутанно.Для качественного распознавания необходимы
вертикальные и диагональные ряды.Сейчас с этим борюсь.

Я использовал самообучающуюся нейронную сеть в качестве регулятора температуры в помещении.

Те, кто использовали и добились результатов по форумам не сидят… :-)

Дайте ссылки на какую-то литературу по распознаванию образов. Можно бумажную.

Всем заранее спасибо.

Я пока только прикасаюсь к этой теме, но позвольте и мне тоже высказатся.

Применение НС, AI я вижу даже не областях, а в условиях. Например, в условиях, когда использование мозга самого человека ограничено, а делать что-то обязательно нужно. Может быть так, что и не обязательно (можно подождать человека), но если делать - это повысит эффективность, откроет новые возможности.

Допустим мы хотим изучить планету в космосе (мы о ней мало что знаем), послать человека еще не можем. Но мы можем послать робота. Из-за удаленности, сигналы управления и обратной связи идут с большой задержкой, все это время техника простаивает. Однако мы можем предварительно обучить ее перемещению (встречал описание робота скалолаза) и в промежутках между сеансами связи позволить ему действовать самостоятельно.

Ограничением может быть тот факт, что для человека доверенным, оптимальным инструментом является логика (алгоритм), однако она требует времени на разработку. В некоторых условиях этого времени может и не быть. Приведу пример с горными лыжами. По первой, съехать с горы бывает очень страшно, этот страх обусловлен растерянностью. Позже, доверившись чувствам и понизив приоритет логики, страх проходит. Продвинутые знакомые заметили, что прыгать с трамплинов легче в вечернее время или небольшой туман, странно, но по опыту так и есть.

Еще одно ограничение - это "утомляемость" мозга, более простой искуственный мог бы работать 24х7.

Вот три очень хорошие книги по нейросетям:
1. С.Хайкин Нейронные сети.
http://www.books.ru/shop/books/358228

2. Bishop C.M.
Neural networks for pattern recognition. -- New York:
Oxford University Press, 1996. -- xvii+482 pp.

3. Ripley B.D.
Pattern recognition and neural networks.
-- Cambridge University Press, 1996. -- xii+403 pp.

НС применяют, например в системе управления. Вот, скажем, реальный проект БПЛА (беспилотный летательный аппарат), кот.сейчас в процессе реализации. Система управления (СУ) может приспосабливаться к изменениям в характеристиках самого БПЛА. Допустим, отстрелили ему над полем боя кусок крыла. Обычная СУ не справится, а НС способна перенастроить коэффициенты и управлять дальше.

Или, скажем, самолет, выполняющий маневры в режиме сверхманевренности. Параметры управления могут меняться так, что пилот в принципе не способен такие маневры выполнять. А НС обучить таким трюкам можно.

в bioinformatics нейросети на сегодня самая популярная технология распознавания и моделирования. Сайты связывания белков и ДНК, генные и регуляторные белковые сети, распознавания генов на геноме, вторичная структура белков, в общем все к чему рука биоинформатика сегодня может дотянуться.
Популярность видимо объясняется тем, что существует уже множество готовых решений, тот же бедый Матлаб, а результаты получаются лучше чем могут дать многие другие существующие сегодня методы, как правило довольно примитивные, уровня линейных регрессий. Формальных постановок задачи действительно как правило нет, т.к. в биологии вообще с ними очень-очень плохо, и стандартная постановка - вот куча данных, вот для части из них правильные ответы, научитесь распознавать правильные ответы для всех. Никаких причинно-следственных механизмов мы не знаем и природы явлений не понимаем (а вот научитесь распознавать, уловите тенденции - придумаем), вот и получается что несчастная нейросеть затычка буквально в каждой дырке.
Результаты например в моей бывшей задачке (распознавание сайтов гормонального ответа на ДНК) были вполне на уровне, false positive около 1:2к, false negative менее 2% (погрешность исходных данных всегда несколько процентов, так что что могли - выжали).

Правда сейчас самые продвинутые перемещаются в support vector machines и разные kernel methods. Для них с готовыми решениями туговато, а точность замеченная получше. Например что касается ОЧЕНЬ проблемной задачи предсказания вторичной структруры белков, то разные ANN больше 70% точности не поднимались (и то с большииими извращениями, типа каскадов разных сетей, введения эволюционной инфы для взвешивания иходных данных и т.п.), а работа нашего завлаба по SVM (in press пока) обещает уже 78%.

Кстати, про эти SVM написано у Хайкина.

Ссылка на книгу.
А.Б. Барский
Нейронные сети: распознавание, управление, принятие решений
Москва, "Финансы и статистика", 2004.(http://akps.ssau.ru/AI/barsky.pdf

Ссылка, кстати, не работает.

Да там и написано, что выкладывать боится.

Вроде на natahaus.ru ее видел.

http://www.natahaus.ru/2006/06/18/nejjronn..._reshenijj.html

Там вам кто и скажет, из тех кто добился Дальше, Шура, вы будете только получать
"Запомните, с этой минуты вы будете только получать!" (с)

Очень приличная библиотека по биржевой торговле, где есть и раздел по нейросетям прилагательно к области
http://dma.masterforex-v.org/#prog7

Результаты есть в классических книгах по техническим системам трейдинга. Например такая
Tushar Chande. Beyond technical analysis

Тут как раз все не так. Нейрон это не линейная функция на вход которой подается скалярное произведение входов с весовыми коэффициэнтами. Если бы не было нелинейной функции на выходе то автоматически вся нейронная сеть свелась бы к одному скалярному произведению. В этом то их и сила.
Не линейность позволяет получать практически не предсказуемое поведение нейронной сети (не описываеммыми ни какими строгими формулами), которое может походить на что угодно. В этом ее слабость, не возможно предсказать куда схема сойдется и при какой сложности. А сложность растет тоже не линейно.
Поэтому не смотря на древность этой теории, сейчас она в ступоре. Маленькие системы работают хорошо, правда при не линейно возрастающих усилиях по убочению их. А большие не обучаются вовсе или крайне тяжело, без гарантированного результата.

Конечно, нелинейные. А кроме того выходы первого слоя перцептронов являются входами следующего слоя. Потому и сети. Теории, по большому счёту нет и не будет. Но поскольку такие системы способны к обучению, можно построить много разных "уродов" и устроить им конкуренцию на выживание. C автоматическим отбором приобретённых качеств. Наука смотрит в эту строну, в сторону генетических нейронных сетей. Я слышал, что таким способом были созданы нейронные сети играющие в нарды лучше любых чемпионов.

Но там тоже свои проблемы. С ростом сложности автоматов они становятся "переобучеными" и вылизывают каждую загогулину стохастических обучающих данных. Сложные автоматы ведут себя отлично на обучающих выборках, а на реальных данных могут никуда не годиться.

Генетические алгоритмы относятся к классу NP-полных задачь, и поэтому их нельзя использовать с дообучением.
И точно, они становятся переобученными, с непредсказуемым поведением.
Для плохо фармализованных задачь нейронные сети являются выходом, но достаточно хорошо формализовать и НС проигрывают.
Вообще, в классических видах судьба НС такая же как и у Пролога, стагнация с использованием в узких областях.

Имеется так называемая процедура контрастирования сети, когда после ее обучения (здесь речь идет о сетях прямого действия, т.е. без обратных связей) производится своего рода "прореживание" сети за счет исключения "слабых" связей (вносящих малый вклад в отклик сети) и соответствующих элементов-нейронов. Аналогично, при дообучении сети можно элементы и связи между ними добавлять. Второй вариант - сети с обратными связями, рассматриваемые как нелинейные неравновесные диссипативные среды (т.е. с позиций синергетики). Здесь имеются в виду процессы самоорганизации и потому в принципе может быть все, в том числе изменение состава и числа элементов, не говоря уже о структуре связей между ними. Эта область пока еще - натуральный темный лес, здесь в основном есть только разговоры (вроде Г.Хакена с его "синергетическим компьютером"), да и тех не сказать, чтобы очень уж много. Существенно менее экзотический вариант - смешанный, если использовать не чисто нейросетевую парадигму, а нейро-генетическую. Здесь рассматривается "популяция" сетей с различными "генотипами" и в каждый момент эволюции системы, т.е. ее приспособления к "вызовам" среды, определяется, кто жизнеспособен, кто нет, кому дать "потомство" в следующее поколение, а кому "издохнуть". Вообще говоря, смешанные (гибридные) парадигмы (нейро-генетические, нейро-размытые, размыто-генетические, нейро-размыто-генетические и т.п.) более эффективны, чем "чистые", но за эту эффективность приходится платить усложнением аппарата, да и самого понимания, что и где происходит.

На рапиде есть она , держите:
http://rаpidshаre.de/files/36032597/Neyron_seti.Rаspozn.rаr

Господа, мне кажется, что вы неправильно толкуете саму нейронную сеть... В общем случае она - всего лишь инструмент для того, чтобы описать ЛЮБУЮ гладкую функцию от многих переменных. Поэтому я использую нейронные сети именно с этой целью - унифицировать и упростить эмпирические зависимости. Сравните степенные полиномы с простейшими параллельными перцептрончиками - вторые явно проще и быстрее работают. Плюс при изменении этой зависимости достаточно просто поменять коэффициенты, не меняя структуры всей системы. Мне нравится. А классификация - это частное применение, и никто еще не доказал, что оно оптимально...

Вопросик, а есть ли в природе бесплатные библиотеки по нейронным сетям, или, еще лучше, коллекция исходикоФФ...

Вообще- дофига! Топаем на www.sourceforge.net и ищем.
Есть библиотеки даже под перл!
Но мне кажется, лучше начинать с постановки задачи. И уже от этого плясать и искать.
А то ведь могу посоветовать взять исходники нейронки с www.module.ru для процессора nm6403/04. А без самого процессора толку с них полный нуль .

К вопросу о применении, личный опыт.
1) MLP применил для различения 2-х звуковых классов: речи и музыки. В качестве первичных признаков использовал модуляционный спектральный анализ.
2) Карту Kohonen SOM применил для квантования коэффициентов отражения в вокодере.

Вопрос: если не секрет - где именно используете НС?