реклама на сайте
подробности

 
 
 
Reply to this topicStart new topic
> В какой тип читать байты с файла
xmailer
сообщение Oct 24 2017, 19:31
Сообщение #1





Группа: Участник
Сообщений: 10
Регистрация: 11-09-16
Пользователь №: 93 305



Люди с опытом в С в keil, подскажите, есть файл на sd (размер может быть различным), нужно его читать в самом старте и куда-то писать, потом эти данные активно используются.
Если бы разговор был о каком нить C#,Delphi,VB,... я бы однозначно читал бы в динамический массив, но вот в случае C на stm32 камне возникли сомнения.
Имеет ли право следующий код считаться рабочим, код работает, проверял в отладчике. Но вот как отследить - хватит ли свободной памяти под массив, если допустить, что файлов может быть несколько, то это может быть проблемой. Или может есть другие варианты, без массивные. Можно конечно постоянно держать открытым файл и читать из него данные, но файл на sd, и если sd слетит по разным причинам, то все - приехали. Поэтому sd хотел задействовать на начальном этапе - при старте, потом можно вообще sd отмонтировать, и уже работать со считанными данными.
Спасибо!

Код
uint8_t *adata;
adata = (uint8_t *) malloc(РазмерМассива*sizeof(uint8_t));
adata[0] = 9;
adata[1] = 8;
adata[2] = 7;
adata[3] = 6;
...
//
for(i=0;i<10;i++){
uint8_t x = adata[i];
}

Go to the top of the page
 
+Quote Post
Jenya7
сообщение Oct 25 2017, 09:04
Сообщение #2


Профессионал
*****

Группа: Участник
Сообщений: 1 778
Регистрация: 29-03-12
Пользователь №: 71 075



Цитата(xmailer @ Oct 25 2017, 01:31) *
Но вот как отследить - хватит ли свободной памяти под массив, если допустить, что файлов может быть несколько, то это может быть проблемой.


можете посчитать сумарный размер всех файлов вначале и зная сколько у вас свободного RAM принять решение - выделить массив или читать с карты. и можно выделить статический массив. не вижу смысла в динамической алокации.
Go to the top of the page
 
+Quote Post
Сергей Борщ
сообщение Oct 25 2017, 09:45
Сообщение #3


Гуру
******

Группа: Модераторы
Сообщений: 8 455
Регистрация: 15-05-06
Из: Рига, Латвия
Пользователь №: 17 095



QUOTE (Jenya7 @ Oct 25 2017, 12:04) *
не вижу смысла в динамической алокации.
Сегодня у вас один файл 200 байтов, второй 1000. Завтра первый 1500, второй 300. Какого размера статический массив выделять?


--------------------
На любой вопрос даю любой ответ
"Write code that is guaranteed to work, not code that doesn’t seem to break" (C++ FAQ)
Go to the top of the page
 
+Quote Post
Jenya7
сообщение Oct 25 2017, 10:17
Сообщение #4


Профессионал
*****

Группа: Участник
Сообщений: 1 778
Регистрация: 29-03-12
Пользователь №: 71 075



Цитата(Сергей Борщ @ Oct 25 2017, 14:45) *
Сегодня у вас один файл 200 байтов, второй 1000. Завтра первый 1500, второй 300. Какого размера статический массив выделять?

вобще то можно выделить общий массив. все равно нужно хранить все файлы.
Go to the top of the page
 
+Quote Post
AlexandrY
сообщение Oct 25 2017, 10:19
Сообщение #5


Ally
******

Группа: Модераторы
Сообщений: 6 232
Регистрация: 19-01-05
Пользователь №: 2 050



Цитата(Сергей Борщ @ Oct 25 2017, 12:45) *
Сегодня у вас один файл 200 байтов, второй 1000. Завтра первый 1500, второй 300. Какого размера статический массив выделять?

При создании этих файлов надо одновременно генерить и код на С для выделения статического массива, а лучше структуры.
Я везде так делаю.
Потому как в микроконтроллерах не так напрягают изменения размера файлов сколько вопрос о занимаемом им объёме.
Поэтому любое изменение размера файла читаемого в RAM это работа, так что подкрутить там размер массива чистая мелочь.
Штатный malloc для выделения места для файла в RAM только потому что не хочется писать его размер - плохая идея.
Это все равно что разложить грабли на будущее.
Go to the top of the page
 
+Quote Post
Сергей Борщ
сообщение Oct 25 2017, 10:37
Сообщение #6


Гуру
******

Группа: Модераторы
Сообщений: 8 455
Регистрация: 15-05-06
Из: Рига, Латвия
Пользователь №: 17 095



QUOTE (Jenya7 @ Oct 25 2017, 13:17) *
вобще то можно выделить общий массив.
И в нем следить, где кончился один файл и начался другой. Ой, получился самописный менеджер динамической памяти. Какой конфуз...


--------------------
На любой вопрос даю любой ответ
"Write code that is guaranteed to work, not code that doesn’t seem to break" (C++ FAQ)
Go to the top of the page
 
+Quote Post
xmailer
сообщение Oct 25 2017, 10:50
Сообщение #7





Группа: Участник
Сообщений: 10
Регистрация: 11-09-16
Пользователь №: 93 305



Поясню алгоритм работы, почему возник данный вопрос:
1. пользователь в win приложении ведет список, состоящий из нескольких полей (достаточно разный по объему данных);
2. пользователь в приложении имеет возможность скинуть данные списка в файл на sd, данные пишу в бинарный файл;
3. sd карта вставляется в устройство на stm32, потом reset или power on, при запуске читается данные этого списка, что определяет алгоритмику работы.

Рассматривались попытки организовать все по usb, через virtual port com, запись данных списка в eeprom, но было решено что с sd будет проще и мобильнее (устройство с собой не потаскаешь, с ноутбуком тоже не всегда удобно).
Мне кажется ситуация достаточно типичная для работы устройства на stm32.
Кто как поступает в таких случаях?

Цитата(AlexandrY @ Oct 25 2017, 14:19) *
При создании этих файлов надо одновременно генерить и код на С для выделения статического массива, а лучше структуры.

Данный подход требует ребилда hex-а и его прошивка в камень. Мы сейчас так делаем, задумали как временное решение, поэтому сейчас пытаемся уйти от этого решения.

Цитата(AlexandrY @ Oct 25 2017, 14:19) *
Штатный malloc для выделения места для файла в RAM только потому что не хочется писать его размер - плохая идея.
Это все равно что разложить грабли на будущее.

Именно от сомнений использования malloc возник вопрос.

Цитата(Jenya7 @ Oct 25 2017, 14:17) *
вобще то можно выделить общий массив. все равно нужно хранить все файлы.

общий массив какого размера? по максималке, но может быть и 100байт, а может 100Кбт. Этим рулит пользователь. И можно попасть в ситуацию что выделенный массив мал по размеру или просто живет, отъедает память.
это можно использовать на относительно статичных данных.
Go to the top of the page
 
+Quote Post
XVR
сообщение Oct 25 2017, 10:58
Сообщение #8


Гуру
******

Группа: Свой
Сообщений: 3 123
Регистрация: 7-04-07
Из: Химки
Пользователь №: 26 847



Если вы не собираетесь менять длинну этого масива в процессе работы, то вполне можно использовать malloc - вычислить размер файла, выделить память и прочесть туда.
Проблемы с malloc'ом будут если активно использовать пару malloc/free
Go to the top of the page
 
+Quote Post
AlexandrY
сообщение Oct 25 2017, 10:59
Сообщение #9


Ally
******

Группа: Модераторы
Сообщений: 6 232
Регистрация: 19-01-05
Пользователь №: 2 050



Цитата(xmailer @ Oct 25 2017, 13:50) *
Поясню алгоритм работы, почему возник данный вопрос:
1. пользователь в win приложении ведет список, состоящий из нескольких полей (достаточно разный по объему данных);

Вот это - "достаточно разный по объему данных" и есть основная проблема.
Нужно ввести в вашей программе на PC контроль точного размера.
Вам самим определится сколько же вы максимум можете отдать под это RAM-а и выделить наконец окончательный статический массив максимального размера.
И вас перестанет мучать постоянная неизвестность сколько RAM-а есть в вашем распоряжении.
А имеено эта неизвестность раздувает программы, которые в сотнях случаев должны предусматриваить реакцию на ситуации нехватки памяти.
Go to the top of the page
 
+Quote Post
Jenya7
сообщение Oct 25 2017, 11:11
Сообщение #10


Профессионал
*****

Группа: Участник
Сообщений: 1 778
Регистрация: 29-03-12
Пользователь №: 71 075



Цитата(Сергей Борщ @ Oct 25 2017, 15:37) *
И в нем следить, где кончился один файл и начался другой. Ой, получился самописный менеджер динамической памяти. Какой конфуз...

all_files_start+size_of_file1

Цитата(xmailer @ Oct 25 2017, 15:50) *
общий массив какого размера? по максималке, но может быть и 100байт, а может 100Кбт. Этим рулит пользователь. И можно попасть в ситуацию что выделенный массив мал по размеру или просто живет, отъедает память.
это можно использовать на относительно статичных данных.


я уже год сижу над этой проблемой. единственное решение которое нашел - динамическое выделение памяти. но я против динамики поэтому... продолжаю сидеть.

ну или можно перейти на другой камень. скажем у меня сейчас камень с 128 мега памяти. так я там создал FAT, директории и гоняю несколько десятков файлов с карты в память и обратно.

Сообщение отредактировал Jenya7 - Oct 25 2017, 11:21
Go to the top of the page
 
+Quote Post
xmailer
сообщение Oct 25 2017, 11:20
Сообщение #11





Группа: Участник
Сообщений: 10
Регистрация: 11-09-16
Пользователь №: 93 305



Цитата(AlexandrY @ Oct 25 2017, 14:59) *
Вот это - "достаточно разный по объему данных" и есть основная проблема.
Нужно ввести в вашей программе на PC контроль точного размера.
Вам самим определится сколько же вы максимум можете отдать под это RAM-а и выделить наконец окончательный статический массив максимального размера.
И вас перестанет мучать постоянная неизвестность сколько RAM-а есть в вашем распоряжении.
А имеено эта неизвестность раздувает программы, которые в сотнях случаев должны предусматриваить реакцию на ситуации нехватки памяти.

Такой контроль будет делаться.

Цитата(XVR @ Oct 25 2017, 14:58) *
Если вы не собираетесь менять длинну этого масива в процессе работы, то вполне можно использовать malloc - вычислить размер файла, выделить память и прочесть туда.
Проблемы с malloc'ом будут если активно использовать пару malloc/free

Это как раз моя ситуация, malloc будет делаться один раз при старте, потом созданные массивы просто используются, без ресайза и free

Цитата(Jenya7 @ Oct 25 2017, 15:11) *
я уже год сижу над этой проблемой. единственное решение которое нашел - динамическое выделение памяти. но я против динамики поэтому... продолжаю сидеть.
ну или можно перейти на другой камень. скажем у меня сейчас камень с 128 мега памяти. так я там создал FAT, директории и гоняю несколько десятков файлов с карты в память и обратно.

достаточно сложной подход, наверное долго отлаживали

Сообщение отредактировал xmailer - Oct 25 2017, 11:16
Go to the top of the page
 
+Quote Post
Сергей Борщ
сообщение Oct 25 2017, 12:22
Сообщение #12


Гуру
******

Группа: Модераторы
Сообщений: 8 455
Регистрация: 15-05-06
Из: Рига, Латвия
Пользователь №: 17 095



QUOTE (Jenya7 @ Oct 25 2017, 14:11) *
но я против динамики поэтому... продолжаю сидеть.
"Мыши кололись, плакали, но продолжали жрать кактус".


xmailer, смело используйте malloc. Слухи о его вреде сильно преувеличены.


--------------------
На любой вопрос даю любой ответ
"Write code that is guaranteed to work, not code that doesn’t seem to break" (C++ FAQ)
Go to the top of the page
 
+Quote Post
Огурцов
сообщение Oct 25 2017, 13:14
Сообщение #13


Гуру
******

Группа: Участник
Сообщений: 3 928
Регистрация: 28-03-07
Из: РФ
Пользователь №: 26 588



Цитата(Сергей Борщ @ Oct 25 2017, 09:45) *
Сегодня у вас один файл 200 байтов, второй 1000. Завтра первый 1500, второй 300. Какого размера статический массив выделять?

два по 1500
Go to the top of the page
 
+Quote Post
Jenya7
сообщение Oct 25 2017, 13:16
Сообщение #14


Профессионал
*****

Группа: Участник
Сообщений: 1 778
Регистрация: 29-03-12
Пользователь №: 71 075



Цитата(Сергей Борщ @ Oct 25 2017, 18:22) *
"Мыши кололись, плакали, но продолжали жрать кактус".


xmailer, смело используйте malloc. Слухи о его вреде сильно преувеличены.

извиняюсь. совсем забыл. решение таки нашел. поставил внешнюю память.
Go to the top of the page
 
+Quote Post
Огурцов
сообщение Oct 25 2017, 13:17
Сообщение #15


Гуру
******

Группа: Участник
Сообщений: 3 928
Регистрация: 28-03-07
Из: РФ
Пользователь №: 26 588



Цитата(xmailer @ Oct 25 2017, 10:50) *
отъедает память

какая вам разница, если её всё равно хватает ? и при этом программные глюки становится предсказуемыми, в отличие от
Go to the top of the page
 
+Quote Post

Reply to this topicStart new topic
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0

 


RSS Текстовая версия Сейчас: 12th July 2025 - 09:46
Рейтинг@Mail.ru


Страница сгенерированна за 0.01517 секунд с 7
ELECTRONIX ©2004-2016