реклама на сайте
подробности

 
 
 
Reply to this topicStart new topic
> Хочу сэкономить полосу при передаче по послед. порту, Как ужать текстовые логи?
Le Fou
сообщение Dec 18 2015, 22:41
Сообщение #1


Частый гость
**

Группа: Validating
Сообщений: 83
Регистрация: 22-09-07
Из: Санкт-Петербург, Россия
Пользователь №: 30 747



Есть железка, от нее хочется получать много логов. Канал коммуникации -- последовательный порт, 115200. Логи типа "dd-mm-h:m:s параметр А принял значение Б" и "dd-mm-h:m:s Начали процедуру С по команде оператора".

проблема в том, что железка в целом чахлая, а еще и времени на отсылку лога у устройства будет мало. Типа, 10-20 мс в секунду. За это время может захотеться послать одну-две вышеописанные строчки.

И задумался я про какую-нибудь упаковку или сжатие. Количество собственно типов сообщений конечно -- образовать из них словарь. Ну, будут еще параметры -- данные с разных датчиков (real, 4 байта), и timestamp (тоже 4 байта). Это в первом приближении можно слать как есть бинаркой. а можно тоже чего-нибудь наэкономить, свести real к диапазону разумных значений например и втолкать в два байта. (доступа к сырым данным АЦП нет)

При том не покидает ощущение, что это какая-то ерунда 01.gif

Дайте совет)
Go to the top of the page
 
+Quote Post
aaarrr
сообщение Dec 18 2015, 22:53
Сообщение #2


Гуру
******

Группа: Свой
Сообщений: 10 713
Регистрация: 11-12-04
Пользователь №: 1 448



Цитата(Le Fou @ Dec 19 2015, 01:41) *
Есть железка, от нее хочется получать много логов. Канал коммуникации -- последовательный порт, 115200. Логи типа "dd-mm-h:m:s параметр А принял значение Б" и "dd-mm-h:m:s Начали процедуру С по команде оператора".

проблема в том, что железка в целом чахлая, а еще и времени на отсылку лога у устройства будет мало. Типа, 10-20 мс в секунду. За это время может захотеться послать одну-две вышеописанные строчки.

Этого времени как раз на две строки и хватит - 115-230 байт получается.

Цитата(Le Fou @ Dec 19 2015, 01:41) *
При том не покидает ощущение, что это какая-то ерунда 01.gif

Бинарные логи - ерунда и неудобство сплошное. Нужно иметь очень веские основания для внедрения.
Go to the top of the page
 
+Quote Post
Огурцов
сообщение Dec 19 2015, 04:37
Сообщение #3


Гуру
******

Группа: Участник
Сообщений: 3 928
Регистрация: 28-03-07
Из: РФ
Пользователь №: 26 588



Цитата(Le Fou @ Dec 18 2015, 23:41) *
"dd-mm-h:m:s Начали процедуру С по команде оператора"

вот уже здесь жмётся в 11 раз, в относительных единицах
или в три раза в абсолютных
и коды архиваторов есть в свободном доступе - текст жмётся тоже раз в десять



Цитата(aaarrr @ Dec 18 2015, 23:53) *
Нужно иметь очень веские основания для внедрения

таки сабж - важное основание

Go to the top of the page
 
+Quote Post
ViKo
сообщение Dec 19 2015, 07:05
Сообщение #4


Универсальный солдатик
******

Группа: Модераторы
Сообщений: 8 634
Регистрация: 1-11-05
Из: Минск
Пользователь №: 10 362



Английскими словами короче будет. И сократить слова можно. А больше ничего делать не надо.
Go to the top of the page
 
+Quote Post
Le Fou
сообщение Dec 19 2015, 08:45
Сообщение #5


Частый гость
**

Группа: Validating
Сообщений: 83
Регистрация: 22-09-07
Из: Санкт-Петербург, Россия
Пользователь №: 30 747



Всем спасибо.
1) Я в прикидках ошибся на порядок)), а получается и правда 11 байт за 1 мс. Не так и страшно, вроде.
2) Логи конечно английские
3) Архиваторы-то да, но заголовки там, фигня всякая -- на коротких посылках оверхед большой. Да и в принципе, словарь-то одинаковый на всю жизнь, не надо его каждый раз составлять. Уж тогда и правда каждому типу сообщения придать номер -- их не сильно больше ста разных планируется.
Месяц опустить, отладка хоть и будет долгой, но не настолько) И слать всё текстом, чтобы с написанием парсера не морочиться.
Go to the top of the page
 
+Quote Post
_4afc_
сообщение Dec 19 2015, 10:12
Сообщение #6


Профессионал
*****

Группа: Свой
Сообщений: 1 262
Регистрация: 13-10-05
Из: Санкт-Петербург
Пользователь №: 9 565



Цитата(Le Fou @ Dec 19 2015, 11:45) *
Месяц опустить, отладка хоть и будет долгой, но не настолько) И слать всё текстом, чтобы с написанием парсера не морочиться.

Вообще опустить всё кроме секунд/миллисекунд. А полную дату постить в сообщении, только если в ней что-то изменилось кроме секунд.
Go to the top of the page
 
+Quote Post
zltigo
сообщение Dec 19 2015, 12:16
Сообщение #7


Гуру
******

Группа: Свой
Сообщений: 13 372
Регистрация: 27-11-04
Из: Riga, Latvia
Пользователь №: 1 244



QUOTE (aaarrr @ Dec 19 2015, 00:53) *
Бинарные логи - ерунда и неудобство сплошное. Нужно иметь очень веские основания для внедрения.

Могу только сказать, что паковка текстовых логов с целью сократить объем передаваемых данных, еще большая ерунда sad.gif


QUOTE (Огурцов @ Dec 19 2015, 06:37) *
и коды архиваторов есть в свободном доступе - текст жмётся тоже раз в десять

КОРОТКИЕ фрагменты ни в какие разы НЕ жмутся. Нифига Вы даже не представляете, как работают архиваторы которые "раз в десять" жмут.
А когда, как пишет Автор - "железка чахлая", то тем более.


--------------------
Feci, quod potui, faciant meliora potentes
Go to the top of the page
 
+Quote Post
Огурцов
сообщение Dec 19 2015, 12:37
Сообщение #8


Гуру
******

Группа: Участник
Сообщений: 3 928
Регистрация: 28-03-07
Из: РФ
Пользователь №: 26 588



Цитата(zltigo @ Dec 19 2015, 13:16) *
даже не представляете, как работают архиваторы

ну почему же, представляю vxl.gzip.encode(byte[] asource; int acount);

Go to the top of the page
 
+Quote Post
zltigo
сообщение Dec 19 2015, 13:27
Сообщение #9


Гуру
******

Группа: Свой
Сообщений: 13 372
Регистрация: 27-11-04
Из: Riga, Latvia
Пользователь №: 1 244



QUOTE (Огурцов @ Dec 19 2015, 14:37) *
ну почему же, представляю vxl.gzip.encode(byte[] asource; int acount);

Точно!
Как работает трансформатор? Уууууу....



--------------------
Feci, quod potui, faciant meliora potentes
Go to the top of the page
 
+Quote Post
psL
сообщение Dec 21 2015, 09:00
Сообщение #10


Знающий
****

Группа: Свой
Сообщений: 526
Регистрация: 5-08-05
Пользователь №: 7 390



можно попробовать вот такое использовать https://github.com/nanopb/nanopb
Go to the top of the page
 
+Quote Post

Reply to this topicStart new topic
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0

 


RSS Текстовая версия Сейчас: 15th June 2025 - 17:33
Рейтинг@Mail.ru


Страница сгенерированна за 0.0146 секунд с 7
ELECTRONIX ©2004-2016