Какая у Вас за память? И что так ограничивает скорость чтения?

"Сразу же" вовсе не означает что по фронту Т3, валидные данные должны быть установлены к моменту считывания (фронт Т4).
Если у памяти слишком большое время доступа, можно попробовать снизить частоту APB, но это "ради тренировки".
Контроллер ОЗУ между APB интерфейсом и памятью имеется? Как вариант можно описать свой контроллер, в цикле опрашивать статус готовности данных, по установке статуса читать регистр данных.