Ошибка вышла, пересчитал, получилось 140 дБ затухания на трассе. Даже при такой цифре 33 дБ усиления антенны, конструкция будет весомой.

Подьверждаю приведенные Вами расчеты. В зависимости от условий и расстояний потери на трассе могут достигать 138-155 дБ. Некторого улучшения можно добиться, поднимая антенну на одном или другом конце. но выигрыш при высоте установке 3 м на передатчике не превысит 10 дБ. Значит, нужно оптимизировать мощность. Цифры по дальности и "не связи" могу подтвердить многочисленными экспериментами.

Оптимизировать в данном случае -это увеличить. И если "не хватает 53 дБ", надо в соответствующее число раз увеличивать мощность.
Поэтому увеличение ("оптимизация" ) мощности в данном случае -это тупиковый путь.
Ещё раз повторю: надо начать с системных вопросов: выбора диапазона рабочих частот, вида сигналов, модуляции и т.п. (Интуиция подсказывает, что без сверхширокополосных сигналов в более низком диапазоне частот здесь не обойтись).
Автора темы подводит (как и многих, к сожалению) естественное желание использовать т.н. "готовые чипы".
Но не будем забывать, что различного рода "чипы" предназначены для вполне конкретных применений, решения достаточно простых задач, где нет элемента неопределенности в характеристиках трассы, уровнях сигналов , чувствительности приёмного устройства и скорости передачи.
Поставленная задача не является стандартной, поэтому и техническое решение должно быть не стандартным, основанным на оригинальной разработке.

Откуда дровишки, т.е. цифры? Затухание в свободном пространстве на расстоянии 1.6 км на 2.4 ГГц = 104 Дб.
Установка антенны на высоте 3м с одной стороны (при идеальной шарообразной форме земли) обеспечит прямую видимость более чем на 1.6 км, при условии что антенна с другой стороны из этой самой земли хотя бы торчит.
Конечно, если будет мокрая трава вокруг - совсем другое дело, но сколько ее будет в каждом конкретном случае - вопрос.

К сожалению, такова жизнь. Потери складываются как из прямых потерь в земле (немного), так и из образования провала в ДН за счет отражения от земли. А он становится при низком расположении антенны большой. Это и дает такое затухание по трассе. Такой харакетр отражения связан с, как его называют в книгах, полупроводниковым характером земли. Изменение высоты сильно улучшает ситуацию. Аналогичные процессы происходят и вблизи других полупроводниковых тел - соленой воды, тела человека. Правда, там в основном, идут прямые потери. Вблизи этих тел КУ антенны почти любого типа минус 15- минус 10 дБ.

Как вариант- перейти в более низкочастотный диапазон (140-220Мгц), например, и антенну "наземных" передатчиков сделать в виде тонкого упругого тросика или стальной проволочки высотой сантиметров 30.
при мощности в 10 мвт и полосе килогерц 10 такая система будет работать на расстояние в пару километров. Конечно, размеры направленной антенны на " базе" возрастут, но там 5/8 уже вполне сойдет.

Антенна должна быть малогабаритной (лучше плоской (не более 5 см в высоту)) и ненаправленной - от сюда и диапазон 2,4ГГц. Есть возможность перейти на диапазон 900 МГц с увеличением мощности до 100мВт. Хотя, упругая проволочка может тоже подойти.

Это многое изменит. 5см на 900мгц - почти четверть волны, после настройки работать будет еще достаточно эффективно.

Если полоса не широкая (10-20 МГц) антенну можно сделать на 900 МГц высотой 10=12 мм, на более низких частотах - пропорционально. С размерами проблем то особых не будет. Только вот затухание по трассе вблизи земли великоваты. Надо работать высотой антенны.

868МГц. Полоса частот 500кГц макс. мощность 100мВт. Антенна в 100 мм это предел. от земли до нижней точки антенны - 40-60мм. Земля может быть мокрая или даже лежать в снегу (до 30 см) Есть смысл делать такую систему? Систему делаю на покупных платах, надо определиться - заказывать или нет. Нужно получить 1500 метров устойчивой (99% информации должно быть получено приемником) связи.

Вы так и не указали объем и требуемую скорость передачи информации (или я не нашел?).

Трудно что то сказать не зная задания на проектирование, но попытка не пытка.
Дело не в мокрой земле, это не будет мешать. Снег - не помеха. Антенну можно сделать спиральной и размер будет по заданию. Но в воде это не будет работать из-за расстройки антенны. Можно для этой цели применить рамочную антенн, но КПД у нее мал.
Какие параметры у модулей должны быть не известно, т.е. неизвестно что покупать!?
Если вы это знаете, то вперед. Иначе при таком раскладе будет только мука.

9600 бод. Размер пакета без преамбулы - 4..30 байт.

При такой скорости должно работать.
Чувствительность приемника можно получить:
-174дБм(50Ом,300°К,1Гц) + 10log(√9600) + 10дБ(коэфф. шума) = -144дБм
Уровень сигнала на входе приемника:
+20дБм(100мВт) -155дБ(затухание) +6дБ(усиление приемной антенны) = -129дБм

Если можно уменьшить скорость, то можно получить и больший запас по сигнал/шум.

Такого не бывает. В расчете ошибка.