Цитата(gsm_starter @ Jul 13 2010, 11:27)

Нет, впуклые исключены.
Тогда предлагаю один алгоритм. Выбираем как-нибудь начальную вершину. Остальные 3 вершины можно расположить шестью способами (число перестановок: 3!=1*2*3). Чтобы выбрать правильную перестановку, для каждой из них вычисляем площадь четырёхугольника и выбираем вариант с наибольшей площадью. Для вычисления площади многоугольника из координат вершин есть очень простая формула.