Версия для печати темы

Автор: AlexandrY Dec 31 2017, 08:55

Встроена в проект embed
http://electronix.ru/redirect.php?https://os.mbed.com/blog/entry/littlefs-high-integrity-embedded-fs/

Смущает правда их фэйковое сравнение с FAT без FTL уровня.
Но в любом случае очень полезня вещь.

Автор: mantech Dec 31 2017, 09:36

Главное преимущество ФАТ в том, что карточку или диск можно вставить в обычный комп и прочитать или записать на нее данные без установки драйверов и пр. Выравнивание износа в данном случае особо не играет роли, т.к. идет в самих карточках или дисках.

Автор: Jury093 Dec 31 2017, 13:49

насколько я понял, речь о том, что в Mbed OS поддержка FAT была включена с 2010 года, а в статье приведены преимущества LittleFS перед FAT, т.ч. не вижу тут фейка..
немного сомнений вызывают цифры 13k в ROM и 4к в RAM, но это надо читать доки на ограничения в библиотеке

конечно полезная, чем для очередного проекта изобретать ФС, проще взять готовую обкатанную библиотеку, пристегнуть и пользоваться, а не изобретать очередной велосипед..

Автор: AlexandrY Jan 2 2018, 09:00

Вы всем статьям в инете так безусловно верите?
Главное чтоб на английском было написано?

Фэйк потому что FAT тестировали без FTL. Так могут делать только зеленые студенты.
Кстати, кто-то постарался и сделал симулятор на JavaScript - http://electronix.ru/redirect.php?http://littlefs.geky.net/demo.html

Ложка дегтя в том, что LittleFS идет без корректирующих ошибки кодов, есть правда CRC, но и только, да и то без драйверов к аппаратным ускорителям.
Т.е. на какой-нибудь MLC NAND эта система будет работать крайне ненадежно.

Словом YFFS или Micrium FAT c FTL все еще в деле.
Просто с появлением гиперфлэшей проблема выбора FS несколько актуализируется.

Автор: mantech Jan 2 2018, 09:47

В таком случае зачем она вообще нужна? Просто для того, чтоб была, что-ли?

Автор: AlexandrY Jan 2 2018, 10:02

Если судить по их техническому описанию, то система очень быстро работает на запись, быстрее чем на чтение, если не брать в расчет задержки носителя.
Т.е. все SD карты с FAT остаются далеко позади и по надежности, по детерминированности и потреблению.
Хороший wear leveling видимо должен скомпенсировать отсутствие ECC, да и никто особенно на SPI Flash не заморачивается ECC если честно.

Что приятно - система на привязана к какой либо RTOS, работает и на bare metal, требует только драйвер блочного дивайса, т.е. легко работает поверх RAM, heap, любых флэшей и проч.
mbed привносит только POSIX API.

Для IoT можно сказать почти идеальная файловая система.

Автор: mantech Jan 2 2018, 11:00

"очень быстро работает на запись, быстрее чем на чтение" - очень интересно и бесполезно одновременно, ибо задержки носителя на несколько порядков выше, исключение только ОЗУ, но накой для него ФС

"все SD карты с FAT остаются далеко позади и по надежности" - очень спорный аргумент, про индустриальные карты слышали?

"да и никто особенно на SPI Flash не заморачивается ECC если честно" - ясно дело, ЕСС нужен для нанда, особенно 2х уровневые ячейки, а уж про TLC - так этот кусок говна, который нужно было вообще запретить к выпуску, и подавно...

Автор: AlexandrY Jan 2 2018, 12:04

В IoT не так важно сколько длится запись на ноcителе по сравнению с тем сколько выполняется код в файловой системе.
Поскольку в IoT это в основном транзакции записи, то скорость (читай длительность процедур записи FS) имеет большое значение и для потребления и для планирования ресурсов в реалтайме.

Индустриальные карты конечно очень хороши, но их полную скрость не поддерживает даже i.MX RT, спецификации на систему команд недоступны.
Оптимизированы они преимущественно на чтение.
Опять же они на полной скорости (208 MHz) дают Random Write только 2.6 MB/s потому как SLC

В тоже время HyperFlash на NOR дает гарантированные 1 MB/s, но на чтение в i.MX RT работает с частотой DDR 166 MHz и 8 бит, может использоваться одновременно как память программ.
Тут еще надо сказать LittleFS поддерживает device chaining, т.е. может писать в 2,3... HyperFlash как в одну файловую систему, таким образом увеличить скорость записи.

Автор: mantech Jan 2 2018, 12:48

Вот с этого момента поподробнее, зачем постоянная запись чего-то куда-то??

Автор: AlexandrY Jan 2 2018, 14:00

Ну как же.
IoT - это в основном сенсоры.
Запись сигналов, логов, настроек.
Запись идет часто и мелкими транзакциями требующими детерминированное время, а в сеть уже уходит редкими и крупными блоками допускающими задержки.
Контроллеры моторов скажем очень критичны к детерминизму записи логов.

Автор: mantech Jan 2 2018, 14:10

На счет накопления некоторого кол-ва измерений датчиков согласен, но эти данные очень хорошо структурируются и нет смысла в ФС для записи этих структур. К тому же удобнее эти данные хранить в буферах ОЗУ. Логи? зачем они в датчике, вообще не понимаю, разве, что для отладки и в ОЗУ. Настройки - тоже не факт, да и постоянная запись тут точно не нужна, чаще чтение..

Автор: AlexandrY Jan 2 2018, 15:19

Все это нужно в связи с новой парадигмой - незаканчивающаяся разработка на стороне клиента.
Поэтому логи несут в себе критически важную отладочную информацию.
Данные датчиков передаются в облака в формате JSON. Какой смысл их структурировать если эти структуры никому не нужны, т.е. их никто не планирует и не специфицирует.
Серверы сами распарсят формат JSON, а структуры, фильтры, выборки создаются уже каждым пользователем под свои нужды с помощью языка запросов серверу.

Автор: mantech Jan 2 2018, 15:41

Т.е. вы не знаете, что измеряете и зачем... Интересная парадигма, хорошо, что это не моя специфика
ЗЫ. Вот такой бардак бывает только тогда, когда есть какая-то "хотелка" манагеров, а нормального проработанного стандарта нет, это можно объяснять всякими парадигмами и т.п. но суть именно эта.

Автор: alexunder Jan 2 2018, 16:00

Думаю, Александр имеет ввиду частую запись большого кол-ва маленьких чанков данных. Например, данные с датчиков логятся в локальную БД типа SqLite. Там в секунду может быть туча INSERT'ов.

Автор: mantech Jan 2 2018, 16:17

Так это уже серверное хозяйство, разговор про сами датчики.

Автор: AlexandrY Jan 2 2018, 18:24

Ну нет, SQLite как раз и есть принуждение к структурированности от которой я бы хотел избавиться.
Это планирование таблиц, столбцов, типов данных, реляционных связей ...
Зачем?
Файловые системы типа LittleFS сами по сути очень эффективные базы данных. А текстовые файлы гораздо гибче жестких таблиц.
Собираем данные в неструктурированном виде в файлы, много файлов с названиями-ключами , а файлы передаем в облака. LittleFS поверх NOR flash позволяет очень мелко гранулировать сектора.
А там уж базы данных типа MongoDB размолотят это каждому по потребностям.

Автор: krux Jan 2 2018, 20:13

я-таки извиняюсь, но зачем и нафига самому датчику что-то хранить? он измерил, выплюнул в эфир, и дальше не его дело что-то там с этими данными анализировать.
дальше есть сборщик логов с собственными мозгами.

Автор: HardEgor Jan 2 2018, 21:07

Не очень понятно, зачем на IoT файловая система? Пишем часто мелкими блоками последовательно во flash, а при редкой передаче большой блок заворачиваем в любую обертку и передаём. И никаких проблем с секторами, "протертыми ячейками" и файловыми системами.

Автор: AlexandrY Jan 2 2018, 22:14

Ок, назовем это не датчиками, а интеллектуальными агрегаторами информации.
Обсуждать зачем я тут не склонен.
Создайте для этого другую тему если вам интересно.

Автор: alexunder Jan 2 2018, 22:55

Нет там особого принуждения, есть разные способы нормализации БД, можно вообще все в одну таблицу складывать и делать нужный VIEW.
Тогда тем более непонятна цель всего вышеописанного, зачем датчикам что-то логить? Исключение если под датчиком мы понимаем некий блок, как в современных авто, где уже чуть ли не каждая лампочка логит события.

Автор: mantech Jan 3 2018, 07:16

Александр же объяснил - это такая парадигма, где все никак не структурировано, иными словами - навалено кучей все, что можно...
ИМХО - бред, конечно полный, все это началось, когда ПХПшники начали программировать МК, ясно дело, со своим подходом к этому, потом пошло дальше, всякие mqtt, json и пр. притянутые за уши "стандарты", лишь бы не делать так, как полагается в данном типе устройств. ПЧПшники-то этого не умели, да и не нужно им этого было, а изучать, как правильно делают программисты на МК ох как неохота было - это ж совсем другая парадигма ..

Автор: AlexandrY Jan 3 2018, 15:03

Это когнитивное искажение типа http://electronix.ru/redirect.php?https://ru.wikipedia.org/wiki/%D0%A1%D0%BF%D0%B8%D1%81%D0%BE%D0%BA_%D0%BA%D0%BE%D0%B3%D0%BD%D0%B8%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D1%85_%D0%B8%D1%81%D0%BA%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9
Я файловые системы стал применять сразу как только в компиляторах появилась возможноть http://electronix.ru/redirect.php?http://www.keil.com/support/man/docs/armclang_intro/armclang_intro_mvp1505906251037.htm.
Файловые операции органично присутствуют в синтаксисе C-и с самого его рождения.
PHP-шники скорее клюнут на SQLlite и прочую тяжеловесную оснастку.
Я не могу себе позволить вещи с непрогнозируемым временнем исполнения и неясными зависимостями.
Даже FAT из-за своей непрогнозируемости редко подходит.

Автор: SSerge Jan 4 2018, 12:00

В языке С с момента его появления не было ни файловых операций, ни вообще операторов ввода-вывода и, слава богу, нет и по сей день.
Этот ваш ретаргетинг есть искусство составления командной строки для линкера.
Теперь эти возможности линкера стали доступны широким народным массам через галочки в IDE.