Предлагаю для начала, пока находитесь в неизвестности относительно протокола, попробовать их стандартный софт, т.е. подключить камеру, заранее запустить какой-нибудь известный перехватчик СОМ-порта, запустить их софт, и посмотреть что и как в канале.
Вы ведь собираетесь делать что-то свое для этой камеры, значит как минимум должны какой-то софт от производителя иметь, ведь не нашли же Вы камеру, а скорее всего купили
В качестве перехватчика удобно (лично мое мнение) использовать LG ComSpy