судя по описанию микросхемы, пакет данных, передаваемых по главному последовательному порту, имеет длину 32 бита независимо от длины регистра (1 стартовый, 6 адресных, 24 для данных и 1 стоповый), в которой данные пишутся. Вопрос -- а что, если регистр у меня, например, длиной не 24 бита (таких полно в описании)? На оставшиеся места записываются нули?

Не знаю как в HMC701, а в HMC700 неиспользуемые биты регистров игнорируются аппаратно. Вы можете отсылать хоть нули, хоть единицы, читаться будут только нули.
ЗЫ: Заметьте, что в этих микрухах синхронизация данных осуществляется как по положительному, так и по отрицательному фронтам, чего я пока не встречал в других ФАПЧ. Думаю, это сделано для увеличения полной скорости перестройки синтезатора в быстрых приложениях.