Проверяйте шумы по питанию и опоре АЦП и входных усилителей (если есть).
И все-таки, что за АЦП? Схема включения?

Насчет фильтра, можно все сделать честно: три фильтра-дециматора на 2, каждый фильтр либо обычный КИХ, либо Halfband (тоже КИХ, но каждый второй коэфф. = 0), все фильтры одинаковые, для Halfband это примерно 23-ой порядок для подавления 100дБ, всего 6 нетривиальных умножений. Если делать полифазно то 3. После каждого фильтра частота понижается вдвое. Фильтры легко считаются в Матлабе.

АЦП - Diamond-MM-16-AT (плата РС/104).

Перед ним стоит модуль гальванической развязки SCM7B40-08A (пришлось использовать такую громоздкую вещь, т.к. не смогли реализовать опторазвязку на плате. Но это отдельная тема.).

Между SCM7B40-08A и Diamond-MM-16-AT вставили RC фильтр (1.6кОм на 0.3 мкФ).

Спасибо за советы, пока еще не переварил. :-)
Понял их так:
- считаем фильтр Halfband на четверть частоты сэмплирования;
- прогоняем фильтр, выкидываем каждую вторую точку;
- предыдущий пункт выполняем еще два раза;
- дальше наша цепочка: полосовой КИХ на 110-140Гц, выделение амплитуд.

Halfband он и есть Halfband, какие еще "четверть частоты сэмплирования". СОРРИ.

Что-то ни чего приличного не получается.
Для примера прилагаю файл с входными данными от АЦП.

У 16-разрядного АЦП среднеквадратичное отклонение измерений почти в 8 раз больше веса младшего разряда.
Это нормально?

В результате следующей обработки:
- трехкратного уменьшения частоты сэмплирования в два раза (т.е. всего в 8 раз до 125 Гц);
- фильтрации с полосой 11-14 Гц (много разных фильтров попробовал);
- выделения амплитуды получающейся синусойды (а может тут надо как-то иначе мерять напряжение?).
Шум остается сравнимый с весом младшего разряда АЦП. Это не устраивает.

Может что присоветуете?

Да, шум страшный. И что интересно, шум белый. Полосовой фильтр 11Гц-14Гц дает на выходе шум, имеющий среднеквадратическое отклонение порядка 0.2мВ, т.е. грубо 1-2 младших разряда АЦП. Собственно, этот же результат получается и у Вас. И боюсь, что цифровым методом уменьшить шум можно, только сужая полосу наблюдения.

Посмотрел элементную базу Вашей платы АЦП, шум должен быть на 1-2 порядка меньше чем есть сейчас. Могу только еще раз повторить: смотрите шумы по питанию и опоре АЦП. Попробуйте дополнительно отфильтровать. Еще интересно повторить эксперимент с бОльшими частотами дискретизации, попробовать подать сигнал на другие входы и/или в дифф. режиме.

Разбираемся.
Оказалось, что близкое расположение импульсного блока питания (HE-104) и АЦП является источником помех.
Пробуем перетасовать стойку РС-104.