Я тоже мучаюсь с этим программатором:
http://electronix.ru/forum/index.php?showtopic=62644.
В отличие от автора топика, один раз МК мне прошить удалось - через AVRprog. Но сейчас программатор МК опять не видит. Вместо нужной сигнатуры выдаёт какие-то "левые" значения: FF FF 53, FF 0D 0D, FF 0D 3F, 0D FF FF. При нажатии Read/Write в половине случаев что-то делает (одна неправильная сигнатуры сменяется другой), в половине случаев - орёт "can't enter prog mode". Прошить и прочитать память МК нельзя ("can't enter prog mode").
Тестовая плата вдоль и поперёк протестировна - ошибки с контактами быть не может. Правда, тут советуют 2-й пин шлейфа (VTG ?) подключить к питанию, но при осмотре программатора выяснилось, что там пин вообще ни с чем не соединён. С чего вы решили, что это VTG? По-моему, VTG - это третий пин.

А распиновка на схеме (http://electronix.ru/forum/index.php?act=attach&type=post&id=32451), в правом нижнем углу, взята от какого-то аналога, где пины 2 и 3 переставлены местами (?).
Кроме того, при подключении к МК программатора странно ведёт себя подтягивающий к VCC резистор (10K). Я так понял, что при контакте с пином 5 шлейфа программатора, напряжение должно повиснуть на этом резисторе, а на выводе #RESET программируемого МК должен остаться низкий уровень. Однако реально происходит не так. Если взять источник питания (VCC-GND) в 3.5 В, то на резисторе висит нулевое напряжение. Если взять источник питания в 4.65 В, то на резисторе появляется 0.5 В. Если взять 5.7 В, то на резисторе висит 1.41 В. Соответственно, вывод #RESET контроллера не получает низкий уровень и не переходит в режим программирования.
Но дело и не в этом: я вешал #RESET напрямую на GND - тут уж точно низкий уровень! - но МК в режим программирования не входил. Почему - не знаю. Или поставить резистор номиналом побольше - примерено на 100K? Чтобы напряжение на нём увеличилось?