Вот видите, какой прогресс. Раньше Вы спрашивали



Теперь же уже дошли до осознания, что таблица является такой моделью, и хочется уменьшить количество параметров.

Ответ на последний вопрогс тоже хорошо известен. Если данные в таблице полностью случайны (например, каждый бит представления каждого числа сгенерирован генератором случайных чисел с энтропией 1 бит на бит) то уменьшить представление невозможно. Если же данные неслучайны - то используя то или иное априорное знание о данных, которые будут занесены таблицу, можно уменьшить размер описания. Но это также означает, что данные не будут уже "абсолютно неизвестной априори зависимостью".

Я пробовал читать, только вот там тумана много. Попробую пояснить. Имеем следующее:

Это и есть полный туман. Хотелось бы иметь что-то поконкретнее. Например:

Имеются экспериментальные данные Xi, Yi, i=0..99. Есть модель этих данных Y(X)=F(f1(X), f2(X)). То есть экспериментальные данные описываются неизвестной функцией F(a, b ) двух других функций f1() и f2(). Однако, известно, что F(a, b ) - линейная функция, f1(X) - синусоида с неизвестной фазой и амплитудой, а f2(X) - многочлен 3-го порядка. Задача: подогнать параметры функций f1 и f2 (амплитуда, фаза, коэффициент многочлена) под экспериментальные данные с целью минимизировать метрику SUM|Yi-F(f1(Xi),f2(Xi))|.

Вот примерно так. Замечаете разницу в постановки задачи? Пока будет продолжаться туман про неизвестные функции от неизвестных функций, то и перспективы у этой задачи будут неизвестные. Нужны априорные знания, как сказал Oldring, а Вы их не предоставили. Вы знаете, сколько бывает неизвестных функций? Неизвестные функции бывают негладкими, разрывными, неинтегрируемыми по Риману (и, может быть, по Лебегу), и вообще очень страшными. Надо сужать область поиска.

Безусловно, таблицу можно назвать моделью с числом параметров, равным числу отсчетов аргумента. Но эта модель имеет избыточное число параметров и не дает функциональной зависимости от аргумента, поэтому даже не рассматривается.



В посте № 22 имеется более "вылизанный" вариант постановки задачи. Разницу замечаю! Предполагая, что одна функция синус, другая - полином, восстановить их параметры никаких проблем нет. В "окнах", пожалуйста, всё это прекрасно делается. Проблема в универсальной параметрической модели, которая может описать, как синус, так и полином или еще что-то. Специально настолько общно и поставил вопрос. Спросил бы конкретно - получил бы известный мне ответ, который Вы только что описали, например.
Повторюсь, что и не ожидал ответа, что есть такая модель - нет ее и вряд ли будет. Просто интересно, ведется ли работа в данном направлении, что наработано, быть может что-то придумали получше обработки в"окнах", например.
Насчет разрывности, думаю, что в моем случае ее нет. Единственное, на зависимости могут быть высокодобротные резонансы, которые при обработке могут быть сглажены, за счет применения того же полиномиального разложения, что приведет к ошибочному измерению, хотя ошибка оптимизации при этом может быть небольшой.

P. S. Зато чувствуете, как зацепила такая постановка задачи!? А конструктивная критика крайне полезна. Нет критики нет и развития.

Возьмем, для определенности, 1-ый том "Война и мир", Л.Н.Толстого.
Закодируем каждую букву на 99-ой странице восьмибитным числом в коде ASCII.
Удалим из полученной таблицы все буквы за исключением букв расположенных на позициях кратных 19.
Т.о, мы получили новую "экспериментальную таблицу" с окнами шириной 18 чисел (или, если угодно, букв).

Задача: придумать "модель", которая "дает функциональную зависимость от аргумента" в общем виде, т.е., позволяет восстановить весь текст на 99-ой странице, или любой другой странице с любыми другими параметрами для "ширины окна" и пр., пр.

PS. Да, и мне тоже "..просто интересно, ведется ли работа в данном направлении, что наработано, быть может что-то придумали получше".. и тд, и тп.

PPS. шутка, если что..

Не дает функциональной зависимости - только в том случае, если есть повторы аргумента. Но и в этом случае является самым подробным описанием результатов эксперимента, в ходе которого получена таблица. Не имеет значения, что область определения - дискретна, так как даже непрерывность функции - это априорное знание, которым мы не обладаем по Вашей постановке задачи.

"Имеет избыточное число параметров" - откуда это Вам известно? По постановке задачи функция произвольна. Следовательно, никакого избытка параметров нет. Если все же априорно известно, что именно функция, без всяких вероятностей - ну так выкиньте из таблицы повторы, и получите таблицу без избытка.

Мне кажется, Ваша главная проблема в том, что Вы подразумеваете некоторое интуитивно понимаемое Вами знание о классе представляемых функций, которое не можете формализовать и тем самым передать окружающим. Не понимаете - и пишиту всякую чушь про "абсолютно произвольную функцию".

PS Пытаетесь по одному внешнему измерению отделить S-параметры соединителей от S-параметров самого полупроводника? Имхо невозможно без жесткого ограничения моделей компонентов.



Спасибо - я уже было испугался

Согласен, слово "избыточное", здесь, конечно, не корректно. Число параметров "в самый раз", но в сравнении с каким-либо представлением (в виде того же ряда), их намного больше.

Можно предполагать примерную типичную зависимость характеристик тех или иных устройств и описывать их более-менее "определенной" моделью. Так и делается. Но в реальности, хотя быть может и редко, возможно какое-то резкое отклонение характеристики от типичной зависимости, когда примененная модель будет неадекватна, соответственно и полученный результат тоже (причем, можно этого не заметить). Отсюда такая общность вопроса и, соответственно, много критики, чем я, в принципе, доволен. Всё-таки удалось немного приоткрыть занавесы других направлений, хотя еще далеко не со всем ознакомился, т. к. кроме "возвышенных" проблем, имеются более важные и изученные насущные.

Вы не сможете представить абсолютно произвольную табличную функцию в виде ряда, более короткого, чем сама таблица

PS Точнее, с меньшим количеством бит в представлении коэффициентов этого ряда



Разумеется, если модель неадекватна - это полезно заметить, вставив проверку аппроксимации конкретной калибровочной таблицы
Если в природе встретилось что-то другое - нужно переходить к более общим моделям (таблицам) или звать на помощь программиста, чтобы он расширил модель

Я, в общем то, и не сомневался. Но зато узнал о некоторых других представлениях.

А как Вас "зацепило" то!!!

Ну так весело же

Ув. EUrry!

Вы либо не до конца описали задачу, либо сами не понимаете чего хотите.
Смотрите:
F - известное соотношение между элементами указанных матриц
Для удобства соберем эти элементы матриц в одну кучу и назовем Yi(x)
Т.о. MODEL(х)=F(Y0(x),Y1(x),Y2(x),....)
Вам надо минимизировать |MEAS(x))-MODEL(х)|, где MEAS(x) - некоторая известная функция, заданная таблично (результаты измерений).
Такая задача сильно недоопределена!
Т.е. существует беск. множество наборов Yi(x) дающий *нулевую* ошибку аппроксимации.
Вот одно из решений: тождественно приравниваем Yi к нулю для всех i кроме нуля.
тогда MODEL(х)=F(Y0(x),0,0,0,...)===G(Y0(x))
Если взять Y0(x)=G^-1(MEAS(x)), то MODEL(х)===MEAS(x), и ошибка тождественно равна нулю. (G^-1 - функция, обратная к G)

Поскольку MEAS(x) - таблица значений, то Y0(x) тоже можем задать как таблицу G^-1(MEAS(xi)), либо аппроксимировать кучей способов (например полиномом соотв. степени) так, что она во всех точках совпадет с табличными значениями.


Вряд ли это то что вам нужно.

Или я чего-то не понимаю?

To sergius1
Да, Вы правы, возможнен такой исход! Обычно минимизируются несколько оптимизационных соотношений, чем эта проблема в какой-то мере решается. Но, действительно, есть над чем задуматься.

Еще рекомендую взглянуть на сингулярный анализ спектра (SSA) - метод "Гусеница"
http://www.gistatgroup.com/gus/index.html




Даже простейший полином 9 порядка и тот дает приличный результат, что же говорить об "интеллектуальных" методиках типа МГУА.
"Гусеница" тоже дает очень хорошую модель.