Что значит "затерминировать" ?

Судя по изображению у Вас сильный завал высоких частот. Подайте меандр в линию и посмотрите искажения.

Для лечения подобных "детских болезней", MAXIM и особенно INTERSIL делают специальные адаптивные эквалайзеры. Как пример: ISL59605 (старшая в линейке).

Некоторые http://www.analog.com/ больше любят. Посмотрите у них поиском CAT- 5. Конечно через САТ-5 надо гнать диф. сигнал, тем более на 1200 метров. Если не хотите диф., то по коаксиалу, и смотреть надо по испытательным сигналам, свип, мульти бурст, 20Т (рассогласование яркость- цветность), 2Т для оценки реакции переходов в яркости на ваших фильтрах. На испытательных сигналах всё увидите. Мы давно занимались этой темой - там не всё просто, особенно когда не дифференциальный сигнал и помехи рядом.

ISL59605, про которую неписал Alex999, как раз и предназначена для такой задачи: передача композитного видеосигнала по одной паре на расстояние до 1600м, причем с простым пассивным переходником на передающей стороне. У ANALOG DEVICE подобных чипов попросту нет.

Все верно. Чипы для решения подобных задач я нашел только у Интерсила в нормальном разнообразии. И одну модель у Максима. У других производителей ничего подобного я пока не встречал.

Не хотел с Вами спорить господа, просто хотел показать ещё одного производителя и напомнить о испытательных сигналов, которые связисты специально для этого придумали.