Для работы матрицы требуется частота, идущая с ISI_MCK, 27 МГц. Она высчитывается из PLLA. Но TWI работает правильно, только когда на ISI_MCK 24 МГц. Вопрос в том, как работа TWI связана с PLLA?

Вы бы процессор указали. Судя по всему это что-то из AT91. Возможно от того же PLL тактируется TWI?

At91sam9g20. Частота и правда как - то связана, но где именно, я так и не нашел, при использовании PLLB все работает нормально

Прочитайте разделы 25 и 26 даташита на контроллер. Похоже Вы не пересчитываете делитель для TWI при смене тиктирующей частоты.