|
Передача больших объемов данных |
|
|
|
Sep 25 2009, 09:36
|
Частый гость
 
Группа: Свой
Сообщений: 91
Регистрация: 9-10-07
Из: Энгельс
Пользователь №: 31 190

|
Уважаемые коллеги!
Есть необходимость передачи больших объемов данных с удаленного поста -- размер файла от 150 кБ до примерно 1,5 МБ. Есть следующие варианты реализации:
1. Передача через сеть GPRS на электронную почту. 2. Передача напрямую на приемный модем в режиме CSD
Но имеются подводные камни. Файлы должны высылаться несколько раз в сутки -- то есть режим CSD будет очень дорог. С другой стороны -- GPRS получается очень медленным -- килобайт отправляется за 2-3 секунды. В связи с этим вопросы.
1. Есть ли еще какой-то вариант, который был бы дешев и позволял передавать большие массивы данных? 2. Можно ли добиться более высокой скорости GPRS? Пост будет управляться контроллером, поэтому TCP стек предпочтительно использовать внутренний модемовский.
Да, в моем распоряжении модемы на основе Sim300M с прошивкой последней версии (20), Wavecom Fastrack Supreme 20 и Motorola G24.
--------------------
xmpp:cunctator@jabber.ru
|
|
|
|
|
Sep 25 2009, 12:08
|
Частый гость
 
Группа: Свой
Сообщений: 91
Регистрация: 9-10-07
Из: Энгельс
Пользователь №: 31 190

|
Цитата(etoja @ Sep 25 2009, 15:58)  Возьмите модем с поддержкой EDGE и SIM-карту Мегафона. Но будет дорого. Я перечислил все доступные мне модемы. Насколько я знаю, ни один из них EDGE не поддерживает. И кстати почему дорого? Подключить какой-то из безлимитных тарифов и платить фиксированную абонентку 700 рублей.
--------------------
xmpp:cunctator@jabber.ru
|
|
|
|
|
Sep 26 2009, 00:36
|
Местный
  
Группа: Свой
Сообщений: 202
Регистрация: 18-05-09
Из: Novosibirsk
Пользователь №: 49 204

|
Цитата(decadent @ Sep 25 2009, 12:36)  Но имеются подводные камни. Файлы должны высылаться несколько раз в сутки -- то есть режим CSD будет очень дорог. С другой стороны -- GPRS получается очень медленным -- килобайт отправляется за 2-3 секунды. В связи с этим вопросы. CSD еще медленнее чем GPRS uplink. Всего <14 КБит/с. Бывает еще вариант до 28, но эту технологию операторы редко поддерживают. Поэтому, если у Вас не Real-Time приложение, то не спеша передавайте свои 1,5МБ. Минут за 5-10 передадите. При этом, если у Вас задача по передаче со многих постов, то это можно делать параллельно и независимо. Что не скажешь про CSD. Дешево и сердито. Если же у Вас тариф с голосовой безлимиткой, то только FSK. Но это еще медленнее (<600 бит/с). Поэтому лучше будет сделать фрагментацию данных и возможность докачки.
Сообщение отредактировал alx125 - Sep 26 2009, 00:45
|
|
|
|
|
Sep 26 2009, 03:45
|
Местный
  
Группа: Участник
Сообщений: 222
Регистрация: 27-01-09
Из: г.Жирновск
Пользователь №: 44 025

|
Цитата(decadent @ Sep 25 2009, 13:36)  Есть необходимость передачи больших объемов данных с удаленного поста -- размер файла от 150 кБ до примерно 1,5 МБ. Есть следующие варианты реализации: Да, в моем распоряжении модемы на основе Sim300M с прошивкой последней версии (20), Wavecom Fastrack Supreme 20 и Motorola G24. На каком расстоянии от диспетчерского пункта находится пост. И какое расстояние от этого поста до ближайшего телефона.
--------------------
Еж - птица гордая. Не пнешь - не полетит.
|
|
|
|
|
Sep 26 2009, 19:13
|
Частый гость
 
Группа: Свой
Сообщений: 91
Регистрация: 9-10-07
Из: Энгельс
Пользователь №: 31 190

|
Цитата(alx125 @ Sep 26 2009, 04:36)  CSD еще медленнее чем GPRS uplink. Плавали, знаем -- 9600, не более. И дорого. Цитата(alx125 @ Sep 26 2009, 04:36)  Поэтому, если у Вас не Real-Time приложение, то не спеша передавайте свои 1,5МБ. Минут за 5-10 передадите. Здесь две проблемы: 1) Передатчик будет питаться от аккумулятора, подзаряжаемого солнечной батареей. Поэтому время передачи нужно минимизировать. В принципе, 10 минут меня бы устроили, но -- 2) слишком низкая скорость передачи у меня получается. 100 кБ передается 5 минут, то есть около 300 байт в секунду. Есть ли возможность эту скорость поднять, хотя бы до настоящих 9600? Цитата(baken @ Sep 26 2009, 07:45)  На каком расстоянии от диспетчерского пункта находится пост. И какое расстояние от этого поста до ближайшего телефона. Пост находится на большом расстоянии и от диспетчера, и от телефона. Пост будет стоять где-то возле Ростова, диспетчер -- в Москве. До ближайшего телефона, думаю, тоже будет не меньше 50 км. Цитата(million68 @ Sep 26 2009, 12:56)  Fastrack Supreme 10 поддерживает GPRS (на базе Q2686), Fastrack Supreme 20 поддерживает EDGE (на базе Q2687). За эту информацию -- огромное спасибо. Еще бы как-то узнать, как этот EDGE в модеме включить, и будет ли он доступен в чистом поле. Цитата(million68 @ Sep 26 2009, 12:56)  Если нет сервака с внешним (белым) IP-адресом, приобретите симку с адресом (для серваки) На почтовый ящик проще передавать -- ничего покупать дополнительно не нужно. Цитата(=F8= @ Sep 26 2009, 22:41)  Если скорость по GPRS меньше чем по CSD то есть только 3 варианта: 1. Стек модема не может работать с нормальной скоростью, это относится к sim300 по upload, с использованием встроенного стека, у него скорость никакая. 2. Вы что-то делаете неправильно. 3. Оператор не может обеспечить нормальной скорости. EDGE не поможет ни в одном из этих вариантов.
Чтобы отбросить 3-й вариант просто подключите модем к компу без использования внутреннего стека и оцените скорость, например, с помощью speedtest.net. Скорее всего, у меня 1 или 2 вариант. Используется действительно внутренний стек Sim300, поскольку передатчик будет управляться контроллером, причем не особенно мощным (какой-то ATMega-ой, более подробно не скажу, этим занимается другой человек). Но есть возможность использовать более продвинутый Wavecom -- может быть, это поможет.
--------------------
xmpp:cunctator@jabber.ru
|
|
|
|
|
Sep 27 2009, 00:11
|
Местный
  
Группа: Свой
Сообщений: 202
Регистрация: 18-05-09
Из: Novosibirsk
Пользователь №: 49 204

|
Цитата(decadent @ Sep 26 2009, 22:13)  Здесь две проблемы: 1) Передатчик будет питаться от аккумулятора, подзаряжаемого солнечной батареей. Поэтому время передачи нужно минимизировать. В принципе, 10 минут меня бы устроили, но -- 2) слишком низкая скорость передачи у меня получается. 100 кБ передается 5 минут, то есть около 300 байт в секунду. Есть ли возможность эту скорость поднять, хотя бы до настоящих 9600? Интересно почему у вашего оператора такая низкая исходящая GPRS скорость? Всего ~2.4 Кбит/с? Кто-нибудь еще с такой сталкивался? Может оператора сменить? Как вариант некоторого увеличения скорости - рассмотрите использование протокола UDP. Ну и может быть какой-либо из вариантов уплотнения-сжатия данных.
|
|
|
|
|
Sep 27 2009, 05:38
|
Частый гость
 
Группа: Свой
Сообщений: 91
Регистрация: 9-10-07
Из: Энгельс
Пользователь №: 31 190

|
Цитата(alx125 @ Sep 27 2009, 04:11)  Интересно почему у вашего оператора такая низкая исходящая GPRS скорость? Всего ~2.4 Кбит/с? Кто-нибудь еще с такой сталкивался? Может оператора сменить? Да дело скорее всего не в операторе -- через него же интернет у нас в офисе. Медленно, но терпимо. Так что скорее всего я что-то неправильно настраиваю. Или, как мне уже указали выше, может быть проблема в стеке Sim300. Цитата(alx125 @ Sep 27 2009, 04:11)  Как вариант некоторого увеличения скорости - рассмотрите использование протокола UDP. Ну и может быть какой-либо из вариантов уплотнения-сжатия данных. UDP, к сожалению, не гарантирует доставку посылки. А сжимать уже некуда -- передаваться будет бинарный файл, а не текстовый. Да и сжимать с помощью контроллера трудновато будет.
--------------------
xmpp:cunctator@jabber.ru
|
|
|
|
|
Sep 27 2009, 08:03
|
Знающий
   
Группа: Свой
Сообщений: 567
Регистрация: 7-07-07
Из: Донецк
Пользователь №: 28 954

|
Цитата(decadent @ Sep 26 2009, 22:13)  Скорее всего, у меня 1 или 2 вариант. Используется действительно внутренний стек Sim300, поскольку передатчик будет управляться контроллером, причем не особенно мощным (какой-то ATMega-ой, более подробно не скажу, этим занимается другой человек). Но есть возможность использовать более продвинутый Wavecom -- может быть, это поможет. Если SIM300 то однозначно вариант 1. Попробуйте использовать Sagem HiLo он подешевле Wavecom-а будет, и со скоростью проблем нет, кроме того для работы с почтой в нем есть встроенный SMTP и POP3.
Сообщение отредактировал =F8= - Sep 27 2009, 08:08
|
|
|
|
|
Sep 27 2009, 11:28
|
Частый гость
 
Группа: Свой
Сообщений: 91
Регистрация: 9-10-07
Из: Энгельс
Пользователь №: 31 190

|
Цитата(=F8= @ Sep 27 2009, 12:03)  Если SIM300 то однозначно вариант 1. Попробуйте использовать Sagem HiLo он подешевле Wavecom-а будет, и со скоростью проблем нет, кроме того для работы с почтой в нем есть встроенный SMTP и POP3. Спасибо за совет, но нет у нас Sagem, и быстро купить нет возможности. А Wavecom есть -- может, с ним как-то можно победить мою проблему? Я тут еще тему создал, где описал непонятную ситуацию с smtp в Wavecom -- все делаю по мануалу, а имею ERROR.
--------------------
xmpp:cunctator@jabber.ru
|
|
|
|
|
Sep 27 2009, 12:15
|
Участник

Группа: Свой
Сообщений: 66
Регистрация: 27-09-05
Пользователь №: 9 012

|
UDP, конечно, ничего не гарантирует, но процент потерь, зачастую, приемлем. Оцените сами, какова доля критически важной информации в передаваемых данных, можно ли её дублировать. Если ничем, кроме передачи, модем заниматься не будет, я бы всё же посмотрел в сторону сжатия (хоть и бинарного потока). У Wavecom контроллеры стоят ARM7/9/11, не "мелочёвка" вроде ATMega, - несложное приложение на OpenAT вполне справится с задачей сжатия на лету, как краевед говорю.
|
|
|
|
|
Sep 27 2009, 12:40
|

Ally
     
Группа: Модераторы
Сообщений: 6 232
Регистрация: 19-01-05
Пользователь №: 2 050

|
Если файлы с изображением JPEG, то сжатие размер файла может только увеличить. Для увеличения скорости имело бы смысл разбить файл на несколько частей и передавать их через несколько соединений одновременно. Как показывает практика на старте передачи скорость достаточно большая, а потом начинается ограничение скорости. Это стандартная политика для каналов с множественным доступом, поэтому эффективнее передавать много мелких файлов чем один большой. Еще лучше использовать одновременно сразу несколько модемов. TCP как он сейчас определен в RFC для передачи файлов вполне хорошо приспособлен, сомнительно что самопальный механизм на UDP обеспечит лучшие характеристики чем даже упрощенный TCP модемов. Особенно важна адаптация в реальном времени TCP под пропускную способность и емкость канала и постоянное тестирование канала. Цитата(dezzer @ Sep 27 2009, 15:15)  UDP, конечно, ничего не гарантирует, но процент потерь, зачастую, приемлем. Оцените сами, какова доля критически важной информации в передаваемых данных, можно ли её дублировать. Если ничем, кроме передачи, модем заниматься не будет, я бы всё же посмотрел в сторону сжатия (хоть и бинарного потока). У Wavecom контроллеры стоят ARM7/9/11, не "мелочёвка" вроде ATMega, - несложное приложение на OpenAT вполне справится с задачей сжатия на лету, как краевед говорю. 
|
|
|
|
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0
|
|
|