Есть дифференциальное уравнение вида
F(p) = Sum(Ak*p^k)/Sum(Bm*p^m)*H1(p) + Sum(Ck*p^k)/Sum(Bm*p^m)*Hk(p)
Нужно найти его решение (ф-ции H1(t), Hk(t) известны)

не факт, что такое преобразование существует, если есть- посмотрите справочник интегралов и разложений.

sum(ak*p^k) - это многочлен степени k?
Уточни вопрос. Если так как ты его написал, то подставь числа, и H(p) и реши в Mathcad. А чтобы преобразовать из операторной формы в обычную нужно домножть обе часть на знаменатель дробей, слевабудет линейное уравнение относительно F(p) - f(p), справа Н1 и Н2 вместе со своими производными, они же известны..

Рекомендовал бы решать в Maple, используя модуль inttrans, в котором есть как прямое, так и обратное преобразование Лапласа.
При решении задач по переходным процессам в цепях 2-3 порядка у меня брались все преобразования.
К слову будет сказано Maple - самая мощная из всех известных мне сред АНАЛИТИЧЕСКОЙ алгебры (даже Mathcad использует ее движок по лицензии).