Коллеги! Обращаюсь к знатокам за советом.
Появилась идея сделать нечто, функционально напоминающее динамическую линковку для программ AVR. Раньше, когда DLL еще не изобрели, такое называлось "оверлейными модулями"...
Известно, что основная беда всех программ для МК AVR - это высокая трудоемкость модификации прошивки. И вот предлагаемая идея призвана значительно улучшить эту ситуацию.
Идея такая:
1. Основную программу собираем, как обычно. В ней есть интерфейс к SD-карте, и определена раз и навсегда область памяти, где будут оверлеи. Ну и выделен блок ОЗУ для данных оверлея.
2. Адреса начала кода оверлея и буфера данных фиксированы, и на этапе разработки оверлея известны.
3. Оверлей - это единственная функция, либо (предпочтительнее) несколько функций, адреса которых определены в структуре, которая как раз и размещается с адреса flash, выделенного для оверлея - ну типа таблицы векторов или вызовов. В общем, не суть важно, как.
4. Когда мы хотим наделить наше устройство другим функционалом, мы записываем на SD-карту скомпилированный оверлей, стартуем девайс, который обнаруживает соответствующий файл на карте, и прошивает его содержимое в заданную область, после чего обращается через таблицу вызовов к функциям оверлея.

Лично я хочу попробовать задействовать этот функционал для модификаци своего проекта "цифровой цветомузыки": сейчас в коде намертво прошито несколько эффектов, сменить которые для рядового пользователя достаточно сложно, как и избавиться от не нужных. Планирую каждый эффект сделать в виде оверлея, чтобы каждый желающий выбрал себе нужные и использовал без геморроя с перекомпиляцией прошивки.

Как оцените идею?

Это не совсем ситуация с самопрошивкой через бут-область AVR, т.к. объем прошиваемой области предполагается не с нулевого адреса, а скорее с середины flash, и при этом с перезатиранием области бута, которая в конце, как правило. Очень похоже, но чуточку отличается... в связи с чем и вопросы:

- как компилировать оверлей? То есть как получить hex-файл для набора функций?
- как задать секцию (т.е. конкретный адрес начала функции) для функции я знаю, но как сделать это для целого модуля? тем более для модуля, содержащего как функции, так и данне во flash?

я сильно-сильно плаваю в скриптах линковщика (а точнее - вообще тону), и хитрости makefile меня тоже скорее пугают, чем помогают... Мне бы как-то попроще, если это возможно...

....Вот так и родились когда-то вирусы на PC

PS: Вообще-то описанное - это не оверлей, если уж говорить строго.

Вы хотите сфой формат этих библиотек использовать? Есть же готовые готовые, описанные. Например у uClinux можно посмотреть BFLT, у NuttX есть свой NXFLAT, ну и про ELF формат почитать ещё можно.

Тогда Вам нужно знать хитрости линковщика чтобы во время перезаписи созданной отдельной библиотеки для каждого выбранного эффекта, производить корректную модификацию кода.

как бородатый вариант, допаять линейку памяти, таки да, СД -шку, запустить на (лучше 20Мгц) Мег виртуалку, и поднять Линуху))))
https://habr.com/post/177425/

Какие-то советы не совсем по теме вы даёте, коллеги
Основной код модифицировать не нужно, он знает только номера функций в таблице оверлея и адрес этой таблицы, и обращается по ним. А все варианты оверлеев содержат в самом своём начале эту самую таблицу, ссылающуюся на собственные функции. Поэтому в одном оверлее условно 5-я функция цветомузыки может быть "красный на максимум", а в другом - "синий на минимум".

И как бы настоящую линковку мне не надо повторять, и разбираться с ней особенно не стоит, как и с форматом elf-файла - не влезет его разбор в AVR, да и ни к чему... Мне бы просто понять, как при помощи AVR-GCC собрать модуль с функциями и таблицей, и как из него получить HEX для записи...

Перефразирую:
- есть код и данные (константы и переменные);
- нужно уметь запускать этот код и размещать данные по указанным доступным адресам/смещениям;
- допускается иметь таблицу смещений функции, данных и использовать ее при загрузке модуля;
- модуль может пользоваться функциями/данными основного приложения, вызывая их по конкретным адресам
или по таблице указателей.

На каком-нить Cortex-M - без проблем. А на AVR... ну, только если путем переписывания flash и динамического распределения ОЗУ.
Задачка неактуальная, но интересная.

интересно, когда придется работать с трехбайтовыми адресами, в мегах выше 64-й, из-за 16-ой флеш адресации, и побайтовой Озу,
при описании движения констант меж ними потребуют работу с модификаторами generic (IAR) ,куча мата от линкера, и прочая..

Именно переписыванием flash.
Но вопрос в том, как скомпилировать модуль!
Для бутлоадера есть заготовки, известны ограничения и т.п. У меня цель немного отличается от бутлоадера, и поэтому я спрашиваю: как скомпилировать? просто модуль компилируется в файл с расширением .a - объектный файл. как указать компилятору (или чему?), что адрес таблицы функций должен быть строго таким-то? все функции тоже должны быть строго в определенной области адресов? как потом получить hex-?

avr-gcc, никакого IAR, и предполагается не вылезать за пределы 64К flash

Дык, это легко указать в скрипте линкера, но на этапе компиляции.
Гораздо сложнее получить некий объектный код и запускать его с произвольного адреса.
Например, создать 3 файла obj1, obj2, obj3, которые в произвольном порядке
закинуть на карту, а МК потом их по очереди вычитает и загрузит по первым доступным адресам.

Этого (загрузки по произвольным адресам) не требуется (пока).
Я в скриптах, как уже писал, не силен, и ответов на заданные вопросы не знаю... надеюсь на помощь.

делал подобное в меге128. на лопапалам её флэш делил. компилял как обычно. но делал софтинку для потрошения hex формата (подправлял адресацию). Менял и вектора так-же...прошивал половинку меги + таблицу векторов.

у Вас без таблицы векторов, насколько я понимаешь.
Общая засада при таких хотелках = проследить чтоб везде была относительная адресация.
имхо: компилять обычно как программу. обязательно везде относительная адресация. дать линкеру честно сформировать таблицу нужных вентилей вызовов (таблица векторов ли или некая своя структура адресов функций - не суть). далее корректируем эту таблицу - до загрузки, если адреса загрузки фиксированы. - в момент загрузки, если адрес загрузки не известен. адрес естественно выровнен на нужное смещение.


как то так
(круглый)

Нужно определить секцию под оверлеи.
Все данные и функции размещать в этой секции.
Попробую набросать код в AVR-студии, но ничего не обещаю, т.к. ни разу с AVR этого не делал.

Сделал таблицу экспорта
test_ovl.c


test_ovl.h

test_ovl.ld


test_ovl.bat


test_ovl.s (test_ovl.bin с 16 смещения)


Все переменные нужно задать в sOVL_DATA и обращаться к ним так ovl_export_func.ovl_data->data_1.
При загрузке модуля в первых 16 битах нужно записать адрес, выделяемого блока в ОЗУ для данного модуля,
а размер можно узнать из следующих 16 бит.

В AVR-студии добавил пару строчек в опциях линкера:
-T../test_ovl.ld
-Wl,--gc-sections,-Map=test_ovl.map,-cref,-u,ovl_entry

см. картинку

С другой стороны эти 5-е функции из разных оверлеев по сути представляют одну функцию с двумя параметрами: цвет и яркость.
И реализовать такой функционал гораздо проще через табличную организацию параметров в EEPROM.




Т.е. Вы планируете не все возможные варианты функций-эффкектов собрать в один файл, а на каждую допустимую комбинацию свой файл транслировать?

Да, именно такой подход планирую. В стандартной прошивке прошит стандартный эффект, а любые варианты пользователь по мере необходимости загружает сам.
Плюс "всех вариантов в одной прошивке" в том, что переключение эффекта быстрое и без ущерба микроконтроллеру.
Минус - память не резиновая, и угодить на все предпочтения нереально, в итоге из нравящихся мне эффектов (занимающих память!) другим и выбрать нечего...
Плюс оверлейного варианта - количество эффектов неограничено, каждый из них может быть существенно сложноее по алгоритму, т.к. ему достается гораздо больше памяти.
Минус оверлеев - долгая загрузка, т.е. переключение эффектов занимает заметное время, а так же не очень большой ресурс перезаписи flash.

Пока только вникаю в данные рекомендации и думаю о целесообразности... Пересилят ли плюсы минусы?

Вы не совсем поняли. Я имел ввиду организацию дампа на карточке для подкачки.
Здесь два варианта: иметь все спецэффекты в одном "файле", или иметь кучу "файлов" с разнообразным набором эффектов.
В первом случае Вам по сути при перезаписи с карточки во флеш придется выполнить работу линкера. Этот случай более правильный и гибкий.

Второй случай: Вы прописываете файлы с предопределенной комбинацией эффектов.
В таком случае Вам разбираться ни с чем не нужно - просто вырезать в выхода компилятора необходимый дамп прошивки.
Но головняк будет с созданием набора таких дампов и с увеличением количества эффектов он будет несоизмеримо возрастать.

Это как? А адреса? А распределение ОЗУ?
Я в сообщении #13 привел пример исходников, которые можно собрать с известного адреса
и безболезненно с этого адреса грузить. Правда, придется под оверлей в основной программе
выделить ОЗУ и указатель на эту область сохранить во flash при загрузке оверлея.

ТС вначале упоминал, что блоки ОЗУ распределены для каждого оверлея и адреса этих блоков уже известны на этапе разработки.

Про ОЗУ ничего не было и вряд ли могло быть, т.к. расход ОЗУ уж очень индивидуальная вещь.
Да и размер ОЗУ у AVR крошечный.
А вот функции можно описать в таблице.


Я готовый шаблон привел для avr-gcc.

Мне казалось, что под размещающимися по указанным адресам данным как раз и подразумевается ОЗУ.

Да, но не так вольно. У основной программы есть свободное ОЗУ. При загрузке оверлея можно
узнать сколько именно ОЗУ ему требуется. Выделить в ОЗУ основной программы необходимый участок и передать
указатель на него оверлею.
Хотя, если в один момент времени может работать только один оверлей, то можно и фиксировано выделить определенное
число байт.

Топикстартер поправит, если я неправильно понял: есть набор функций №1, №2, №3 ... и для их нужд заранее предопределены участки OЗУ.
Каждая из этих функций имеет несколько различных вариантов реализации (в теме - оверлеев), и каждый вариант может использовать только свою область ОЗУ (ну, естественно и ОЗУ стационарной программы).

Это значительно упрощает реализацию.

Отвечаю оптом всем, цитировать не очень удобно.
Идея такая: "основная программа" выделяет некий буфер, грубо говоря, все свободное ОЗУ за вычетом необходимого пространства стека и собственных нужд. Адрес этого буфера известен всем оверлеям на этапе разработки, т.е. в модуле оверлея это просто указатель на буфер ИЗВЕСТНОГО размера. Оверлей накладывает на этот указатель тип структуры собственных данных и работает с ними. таким образом, все оверлеи разделяют одну и ту же область памяти, никакого выделения/освобождения не требуется - только инициализация при старте оверлея.
Как вариант, каждый оверлей имеет функцию №1 init, которой передается адрес этого буфера, что принципиально ничего не меняет.
На счет того, что будет содержать в себе оверлей в плане эффектов цветомузыки, я еще до конца не решил - то ли один-единственный эффект, то ли некий набор... Принципиальным тут для меня является крайне небольшой ресурс перезаписей flash у МК AVR - гарантируется 1000 раз всего-то... Разумеется, буду продумывать механизм проверки имеющегося оверлея на карточке на загруженность, чтобы не переписывать понапрасну, но все равно, 1000 "переключений" режима цветомузыки - это как-то маловато...
Еще одна проблема, над решением которой придеттся думать, это необходимость передачи оверлею набора функций из основной программы, т.е. аналогично некоему BIOS, чтобы в каждом оверлее не тянуть одинаковые функции типа memcpy или иные, которые активно используются в цветомузыке...

Пока что все на этапе обдумывания, но, как я понял, принципиально идею оверлеев вы одобряете?

Это упрощает реализацию. Оверлей всегда один в памяти МК в один момент времени?


Это легко. Только должен быть определен набор этих функций и известны все типы.


Если переключать раз в неделю, то можно. Если с частотой 2 Гц, то исключено.
А вариант с Cortex-M не рассматриваете?

Не одобряем. Надо параметризовать эффект-автомат и придумать какой-нибудь упрощённый язык его программирования. Программу для него писать в виде обычного текстового файла и разрешить пользователям самим это делать.

Добрый день! Я работал с AVR. Какая там высокая трудоёмкость модификации? Обычный микроконтроллер. А вот делать из него компьюте с возможностью выполнения программ с внешней памяти - та ещё трудоёмкость))) Мне кажется, если это нужно, возьмите более подходящий МК (что-нить на Cortex-M3/4 или на крайний случай M0). Они могут исполнять код из ОЗУ. А тут ужу простора для фантазии больше)

не, лучше интерпретатор запилить какой-нибудь: ulua, pawn, forth наконец, если так уж хочется менять выполняемые программы.

Тут тяжёлый случай.

Аааа... не с первого раза понял)))

А вообще, мне кажется даже интерпретатор явы или чего-либо подобного на дешёвом cortex-m0 чуть проще сделать, чем на avr...

Проще всего не делать ничего - это факт, с которым не поспоришь.
Чуть более сложно запилить цветомузыку на компьютере - для этого вообще ничего программировать не надо, полным полно готового - только лампочки подключи.
Я сильно удивлен, что этих советов никто не дал.

Что касается текстового языка и возможности пользователю самостоятельно создавать эффекты - это уже реализовано, только эффекты не цветомузыкальные, а обычные, т.е. не связаны с музыкой от слова никак. И, кстати, не сильно заинтересовались пользователи... Т.к. при описании эффектов думать надо.

Более сложные интерпретаторы, увы, реализовать невозможно в рамках поставленной задачи. И поэтому пока что описанный мной метод оверлеев - единственный вариант обеспечить настоящее многообразие с минимальными усилиями конечного пользователя.