Оказалась ещё и какая Я удалённо силой мысли внутрь полупроводника проник - см. мой модифицированный предыдущий msg.

"Да чихал я на Лохматого" - х/ф "Акваланги на дне"

Сообщение отредактировал AndrewN - Jan 30 2014, 19:38

Было бы интересно взглянуть на распределение, когда выдается более широкий диапазон чисел, а не только "температура тела". Подогреть пациента, охладить.
Потому что оно не нормальное (ненормальное!).

Я практически уверен, что АЦП битое. Поэтому и распределение шума асимметричное и с дырками. Дырки мне удалось (случайно) убрать, а уж асимметрию теплового шума - чего только битый АЦП не придумает...

Всех ответивших благодарю за помощь.
Вообщем, это не АЦП, потому сеанс телепатии был не совсем удачен.
Физически, эти значения представляют собой тики таймера в системе радиочастотной ToF. Т.е. мы измеряем расстояние между цифровыми трансиверами с помощью вычисления времени полета радиоволны.
Сам процесс измерения производится следующим образом:
Первое устройство (мастер) запускает счет таймера и отправляет ведомому пакет, в момент завершения отправки происходит событие захвата и защелкивается значение счетного регистра таймера, мастер переключается в режим приема. Далее, ведомое устройство, принимает пакет, переключается в режим передачи, и начинает отправку ответного пакета. Когда мастер ловит событие детектирования синхрослова, то это событие на другом канале захвата таймера вызывает защелкивание второго значения таймера (переполнения учитываются). После этого, получаем разницу между двумя событиями в тиках таймера. Вот именно эти значения и даются в первом посте.
Все задержки, константные, кроме одной - задержки между началом передачи и моментом возникновения события детектирования синхрослова. Подозреваю, что природа этого связана с частотой дискретизации входного сигнала в трансивере. Другими словами, насколько точно трансивер определяет фронты сигнала - насколько точный результат я и получаю на выходе. И "ненормальность" распределения, мне кажется, связана именно с этим. Во всяком случае, другого объяснения для того факта, что измерения стремятся занимать несколько определенных дискретных значений, я пока не придумал

Сама проблема заключается не в том, что нужно получать большую скорость измерений, а в том, что устройства автономные и тратить энергию на слишком длинные сеансы связи - роскошь. Так, на данном этапе, для того, чтобы провести 100 циклов измерения я сейчас затрачиваю 85 мс, но усреднение 100 значений дает разброс больше желаемого. Приемлемую болтанку дает усреднение 1000 значений, но тогда и время измерения почти секунда. Так что при этом сеансы измерения расстояния прийдется проводить значительно реже, что, собственно и смущает.
Пытался вычислить для выборки максимумы и минимумы (все, если их несколько) и выбросить из усреднения, но это не дало результата. Видимо действительно нужно как-то задавать окно и за его пределами отсекать "левые" значения. Но пока не придумал по каким критериям задавать границы этого окна, имея просто выборку, например из сотни значений.

Понимание подходов для обработки могут дать стат. исследования потоков, по примеру Вами приведенному в первом посте.
Если действительно имеет место более-менее стационарная кластеризация сигнала по уровням, то необходимо определить параметры такой кластеризации и обрабатывать сигнал в онлайн на основе полученных знаний.
P.S.
Если захотите - можете скинуть сюда или в личку некий набор подобных измерений для анализа.

Да. Пара банальностей: всякое измерение это случайный процесс, в большинстве случаев с гауссовым распределением.

Из измеренных данных видно тримодальное распределение, причём оно проявляется уже на первом десятке измерений, и дальше статистика не меняется, что для 50, для 100, для 1000 всё едино. Значит должно быть хорошее, разумное объяснение для дырок в распределении. Эти дырки случайными не выглядят, а имеют систематический характер. Что это? Моя гипотеза - сбой (ошибка в работе) в измерительной системе.

если не секрет, то интересуют грязные подробности
что за трансиверы, параметры передачи (битовая скорость) и в каких тугриках измеряется время в прикреплённом файле.

распеределние вполне нормальное, надо только округлить до значения (загрубить дисктеризацию до ~40 тугриков).
33590, 36630, 36670. потому что это и есть реальная дисктерность ограниченная в приёмнике, остальные более мелкие изменения полезной информации не несут.

можно попробовать улучшить ситуацию если аккуратно смотреть частоту тактирования обоих трансиверов. так как частоты заведомо не одинаковые можно попробовать поймать их биения, чья фаза возможно даст дополнителную информацию о задержке распространения. но так как шумы (16 тугриков) не особо меньше дискретности (40 тугриков) то, пожалуй, ничего хорошего из этого не получится.

так что природу тут не обманешь, есть распределение с сигмой 16 тугриков, хочется сделать 1, усредняй 16^2 = 256 раз.

Это нормальный подход, если говорить о традиционной фильтрации.
Если сигнал+помеха можно устойчиво кластеризовать, то появляется возможность выборки наиболее привлекательного кластера значений и далее обрабатываеть его относительно традиционными средствами.
Добавив динамическую кластеризацию получаем довольно робастный алгоритм.

Что интересно, в итоге - спасибо ТС за подачу почти забытой мной идеи.
Набросал сегодня алгоритм динамической кластеризации в онлайн решении и на его основе - разбраковку помех по кластерам.
После вычленения остатка - считаем его сигналом (линейная обработка в частотной области) или делаем стат. оценку.

Можно.
Только поясните, пожалуйста, зачем это Вам нужно? Ну, какие характеристики сигнала являются существенными, и Вы хотели бы их выделить?


Ага, теперь немного понятнее.
Скажите, есть ли какие-нибудь гипотезы относительно динамики взаимного передвижения объектов в системе?

Я бы посоветовал чистить такие сигналы чем-нибудь вроде сплайн-сглаживания. Результат хороший, но вычислительная нагрузка может оказаться неприемлемой.
Ещё, как вариант для длинных последовательностей - БИХ-фильтр НЧ в арифметике повышенной разрядности. Он чрезвычайно экономичен вычислительно, однако даёт непостоянство ГВЗ по частоте.

Скажите, задержка получения результата фильтрации имеет значение?

Да... Похоже, Автору темы предстоит-таки серьёзно поработать с измерителем.
Для получения вменяемых первичных данных.
Что-то там явно не так. Не может внешняя помеха иметь такую дикую статистику.

Вот это действительно похоже на правду. Если загрубить, всё получается.
А чем Вы можете объяснить такую дискретность?

Можно и так:

Трансиверы ST-шные SPIRIT1. Параметры передачи на данный момент следующие: FSK, 250 kbps, Δf = 127 kHz, полоса пропускания 540 kHz.

Контроллер используется STM32f401, тактирование таймера 84 MHz.
Соответственно те тугрики, которые тики таймера, которые в прицепленном файле, это время выраженное в 1/84е6 секунд или 11,905 наносекунд на каждый тугрик.



Наверное, я не совсем понял вопрос, но тот сигнал, который я приводил, получен при неизменном взаимном расположении трансиверов (на расстоянии около 2-х метров) и предметов вокруг них (за исключением меня, сидящего рядом на стуле).


Большого значения не имеет, если она, конечно, в разумных пределах. А какая задержка имеется ввиду, время расчета?

Умножаем 11,905 ns на 36600, получаем 0,44 ms. Умножаем на скорость света 300 000 000, получаем 130 714 m. Что-то не сильно похоже на 2 x 2 m.
Значит, есть (ее не может не быть) громадная задержка обработки сигналов в микроконтроллерах. А из-за разных прерываний и т.п. она еще и не постоянная. Вот и побочные всплески.


Ух ты, в экселе (точнее, у меня LibreOffice Calc) можно и графики рисовать!

P.S. Что делают микроконтроллеры 36000 тактов?

раз тактовая частота 84МГц, или 12нс, то соответственно внутри приёмника сигнал оцифровывается на частоте 84/40 ~ 2МГц, что для полосы ~500 кГц, вполне разумно, зачем оцифровывать быстрее?
соответственно уже снаружи столь высокочастотным таймером измерять это дело абсолютно бестолку.
единственное как я уже говорил можно попробовать поймать биения этих 2МГц частот у приёмника и передатчика. тогда может и получится померить расстояние получше

Как я уже говорил выше, задержка естественно есть.
Она состоит из задержек на переключение режимов приема/передачи, самого времени передачи пакета...
Время входа в прерывания стабильно одинаковое (это тоже отлаживалось и проверялось), каких-то более приоритетных да и вообще других включенных прерываний нет.
И еще раз повторюсь, все задержки константные (во всяком случае насколько я смог их измерить с точностью до 41,6 нс).
Нестабильны задержки от начала отправки пакета передатчиком и до момента выдачи сигнала детектирования синхрослова приемником.
Они одинаково пляшут при передаче в обе стороны. И порядок гуляния этих задержек как раз укладывается в гуляния самого результата измерения.
Вы хотите сказать, что моя гипотеза о периоде дискретизации входного сигнала в трансивере, которым он квантует результирующие значения не верна?



А эти 40, это вы взяли скачки результатов из выборки?
То-есть Вы тоже считаете, что малину портит именно частота дискретизации самого трансивера?

Еще хочется услышать Ваше мнение по поводу вот этого.
Как думаете, там результат получился более красивый именно за счет несколько иного функционирования трансиверов (я имею ввиду, что у них частота дискретизации могла быть повыше)?