Почему в Reference Manual RM0033 ver. 4 на Figure 9. Clock Tree в центре картинки написано SYSCLK 168 MHz max, когда должно быть только 120 MHz?

ИМХО, перекочевало из STM32F40x.
STM32F2 и STM32F4 ну очень похожи. Видимо, документацию правят параллельно.

Должно бы наоборот. Ведь F4 после F2 появились.

Угу, только версия мануала - 4. К тому времени в головах их пейсателей уже всё успело перемешаться :-)
У меня есть версия 3, там всё пучком: 120 МГц.