Помощь - Поиск - Пользователи - Календарь
Полная версия этой страницы: Автоматическое распознавание паттернов и трендов
Форум разработчиков электроники ELECTRONIX.ru > Cистемный уровень проектирования > Математика и Физика
syoma
Народ поделитесь идеей на основании какого алгоритма реализуется такое.
- есть данные измерений за определенный период времени - наблюдения велись годы, накопилось много данных.
Известно, что результат измерения имеет некоторые закономерности, которые зависят от предыдущей динамики поведения данной величины - например исторических и локальных максимумов, минимумов, изменения скорости нарастания и т.д.
Нужно напиcать программу (для начала в Матлабе), которая смогла бы обнаруживать повторяющиеся паттерны в исторических данных и на основании них с определенной достоверностью смогла бы предсказать результат в ближайшем будущем - ну хотя бы тренд. Паттерны, заранее неизвестны, хотя некоторые закономерности были обнаружены. Один и тот же паттерн может иметь ту же форму, но отличающиеся амплитуды. Программа должна самообучаться на исторических данных.

Например (у меня другая величина, но похоже) - как если бы у вас были в наличии измерения среднесуточной температуры на улице за N десятков лет. Скормив эти данные программе, она должна распознать самостоятельно паттерн "зима-весна-лето-осень" и "предсказать", что с верятностью более 50% среднесуточная температура в мае должна быть выше, чем в марте, и т.д.
fider
Может быть корреляционный анализ?
Xenia
Цитата(syoma @ Jan 7 2015, 18:04) *
Например (у меня другая величина, но похоже) - как если бы у вас были в наличии измерения среднесуточной температуры на улице за N десятков лет. Скормив эти данные программе, она должна распознать самостоятельно паттерн "зима-весна-лето-осень" и "предсказать", что с верятностью более 50% среднесуточная температура в мае должна быть выше, чем в марте, и т.д.


Зачем же погоду? Тогда надо сразу курс доллара предсказывать! Миллионером станете. sm.gif
Fat Robot
Торговля на бирже такая торговля.

Модель источника этих данных надо бы иметь.

Если модели нет, то предположения о ней (AR, ARMA) и о ее порядке. Сейчас, наверное, что-то более модное изобрели.

Как вы сами понимаете, чем больше предположений, тем ниже достоверность предсказания.
syoma
Цитата(Xenia @ Jan 7 2015, 16:55) *
Зачем же погоду? Тогда надо сразу курс доллара предсказывать! Миллионером станете. sm.gif

Может быть. И нафиг тот инжиниринг. Кстати если смотреть на тот же курс доллара в разрезе часовых торгов, то там вполне четкие картинки рисуются - как мне опытные трейдеры подсказали.
Цитата
Если модели нет, то предположения о ней (AR, ARMA) и о ее порядке.

Можете сказать, что это такое? Или кинуть ссылкой?

Цитата
Может быть корреляционный анализ?

Я тоже думал про коррелляцию и собственно думал, что если потратить достаточно вычислительного времени на вычмсление коррелляции всего со всем, то можно достичь вполне достоверных результатов предсказывания. Только вот как правильно его применить применительно к этой проблеме.

Fat Robot
нда..

http://igtfy.com/?q=arma+model

Цитата(syoma @ Jan 7 2015, 16:52) *
Можете сказать, что это такое? Или кинуть ссылкой?


Ну а это совсем прекрасно:

Цитата(syoma @ Jan 7 2015, 16:52) *
четкие картинки рисуются
опытные трейдеры подсказали
syoma
Цитата(Fat Robot @ Jan 7 2015, 19:26) *


Спасибо.
Я вот подумал - допустим если некоторые паттерны все-же известны, то можно было бы попытаться их найти. Вопрос только в том, как.
Я так понимаю сходная задача используется при распознавании жестов - ведь скорости и амплитуды там разные.
Fat Robot
Все вы правильно подумали. Задача нахождения и/или создания опорных последовательностей для классификации - отдельная задача. Не менее сложная, чем сама классификация.

И еще совершенно правильная ваша идея: инженеры, которые полный рабочий день заняты классификацией неважно чего, жестов или звуков, уже наверняка попробовали свои алгоритмы на котировках. И теперь не знают, куда деваться от денег. Примерно, как в рекламе форекса.

А теперь, когда в стандартной поставке матлаба есть возможность работы с терминалами рейтерс и блумберг, количество богачей будет только увеличиваться.

Цитата(syoma @ Jan 7 2015, 17:31) *
Я вот подумал - допустим если некоторые паттерны все-же известны, то можно было бы попытаться их найти. Вопрос только в том, как.
Я так понимаю сходная задача используется при распознавании жестов - ведь скорости и амплитуды там разные.
Xenia
Цитата(syoma @ Jan 7 2015, 19:52) *
Может быть. И нафиг тот инжиниринг. Кстати если смотреть на тот же курс доллара в разрезе часовых торгов, то там вполне четкие картинки рисуются - как мне опытные трейдеры подсказали.


Я же не просто позубоскалить, а с тем намеком, что программы типа предсказателей биржевых курсов довольно распространены, хотя и далеко не всегда соответствуют заявленным характеристикам. Т.е. их лучше искать не на форуме по электронике, а в других местах поближе к экономическим кругам.
fontp
Деньги любят преобразование Гильберта-Хуанга (HHT)
+
нейронная сеть )

http://statmod.ru/_diploma/2012/15_5_senov.pdf

http://prodav.ru/hht/index.html

Однако профпригодность или злонамеренность разных ЦБ не оценит никакая программа
TSerg
" Все давно украдено"
Рекомендую след. пакеты, не менее мощные чем Matlab, но ориентированные на обработку стат.данных, временных рядов и по другим стат. операциям:
- SPSS: https://ru.wikipedia.org/wiki/SPSS
- Статистика: https://ru.wikipedia.org/wiki/Statistica

syoma
Цитата(TSerg @ Jan 8 2015, 02:48) *
" Все давно украдено"
Рекомендую след. пакеты, не менее мощные чем Matlab, но ориентированные на обработку стат.данных, временных рядов и по другим стат. операциям:
- SPSS: https://ru.wikipedia.org/wiki/SPSS
- Статистика: https://ru.wikipedia.org/wiki/Statistica

Зачем, если Матлаб все это также умеет при подключении соответствующих тулбоксов?
Fat Robot
Матлаб не умеет работать быстро, а также плохо оперирует большими массивами данных.

Но, как и в любом деле, должны быть глубокие знания о предметной области, а не только владение инструментарием, пусть даже и самым лучшим. Тем более в такой для многих привлекательной области, как торговля.

Цитата(syoma @ Jan 8 2015, 10:05) *
Зачем, если Матлаб все это также умеет при подключении соответствующих тулбоксов?
Для просмотра полной версии этой страницы, пожалуйста, пройдите по ссылке.
Invision Power Board © 2001-2025 Invision Power Services, Inc.