Я реализовал как вы описали. Только теперь подскажите как программно реализовать сортировку вершим по часовй стрелке к примеру. курчу верчу все это в голове и никак понять не могу.

Я, может быть, что-то пропустил, но всё-таки: впуклые четырёхугольники разрешены? Потому что если да, то может возникнуть неоднозначность при сортировке. В приложенном рисунке 2 разных четырёхугольника с одними и теми же вершинами, но в разном порядке.

Нет, впуклые исключены.

Если они исключены некоторым механизмом генерации четырехугольников, то этот механизм должен порождать некоторую сортировку вершин. Глупо ею не воспользоваться для облегчения своей работы.

Проще сравнивать знак варажеия проверяемой точки со знаком того же выражения для одной из двух вершин четырехугольника, отличных от тех, что лежат на прямой разделяющей плоскость. Ничего сортировать не надо.

Тогда предлагаю один алгоритм. Выбираем как-нибудь начальную вершину. Остальные 3 вершины можно расположить шестью способами (число перестановок: 3!=1*2*3). Чтобы выбрать правильную перестановку, для каждой из них вычисляем площадь четырёхугольника и выбираем вариант с наибольшей площадью. Для вычисления площади многоугольника из координат вершин есть очень простая формула.

Тут дело в скорости алгоритма. Автор желает избавиться от вычисления площадей, дабы его упростить.

А можно я влезу тут и спрошу?
Почему нельзя определив 4 уравнения прямых, образующих четырехугольник, составить систему неравенств и проверять, удовлетворяет ли эта точка условиям системы уравнений?

Потому что не понятно в какую сторону неравенства