Вопрос : Как запретить Specctrа создавать переходные отверстия в какой-то конкретной области.
Когда применяю KeepOut к какому-то слою, то там они не создаются, но и проводники в этом слое не разводятся

В Спекктре есть определение для зоны запрета именно переходных:
define (via_keepout (_keepout_descriptor_))
Задавать определение надо именно в Спекктре или в DO-файле. На трассировку в этой области не влияет.