Похоже на последствия работы аппаратного FIFO в порту. Плюс не-реалтаймовость Win.
Последнее можно частично вылечить подняв приоритет до Realtime вашему приложению и той нити в нем, которая читает данные из порта. С FIFO все гораздо сложнее, боюсь что простыми методами это не лечится