Вот таблица для матлаба. Такой вариант приемлем?

это некое жульничество, когда на картинке линия их нескольких точек, а на самом деле там не по одной точке, а по десять штук друг на дружке и в результате этих левых точек вообще больше чем тех положение которых посчитать надо.
соответственно там все эти левые точки получаются внутри 3х сигм.
тем не менее если выкинуть точки которые лежат за пределом эллипса из одной сигмы, можно даже пару раз подряд, потом посчитать среднее от оставшихся, и дальше среднеквадратичное отклонение считать уже относительно этого нового среднего, и после этого если выкинуть точки за пределами одной новой сигмы, на данной конкретной картинке получается довольно неплохо, координаты среднего {-5.57342, -7.20079}. ну и сколько именно сигм оставлять надо поподбирать будет, чтобы для других произвольных данных тоже нормально работало.

при этом наименьшие квадраты (последняя страница) дают почти то же самое {x0 -> -5.1126, y0 -> -7.91728}.

по поводу С/С++ библиотек можно еще alglib посмотреть, хотя только для фита наименьшими квадратами из своего приложения можно вообще gnuplotом обойтись.

Вариантов много. Один из (вариация на тему того, что предложил ШСА):
1. Назначаем всем точкам равные веса, или, если есть информация о достоверности, то веса пропорциональные достоверности.
2. Находим координаты центра масс системы материальных точек.
3. 'Облегчаем' точки, более удаленные от центра масс. Самое простое: в гауссовской зависимости от расстояния между ц.м. и точкой.
4. Выполняем несколько итераций с п.2

Т.о. с количеством итераций удаленные точки будут уменьшать свой вклад в оценку.

Вообще-то "центр скопления" - это математическое ожидание. По-моему, его и надо тупо считать.
minibrain, почему вы уверены, что какие-то "далеко расположенные" точки надо отбрасывать? Раз они физически есть, то обязательно должны учитываться при расчёте матожидания. Если их отбрасывать, то точность определения вашей точки "центр скопления точек (район максимальной плотности)" наоборот, будет хуже.
Наберите в поисковике "Математическое ожидание случайной величины с дискретным распределением" и тупо считайте по этой формуле.

В измерениях есть такое понятие как "outlier" или "выпадающая точка". Они не делают результат точнее, и от них лучше избавиться. Причина их возниконвения - это отдельный вопрос, но есть методики измерений, которые предполагают наличие таких результатов.

Например, вы стреляете в мишень, но в некоторых патронах порох отсырел. Заранее сказать, что патрон плохой, вы не можете. Поэтому совсем уж нелепые результаты вы выбрасываете из оценки кучности стрельбы.

Да-да, такие неправильные точки создаются импульсными помехами (не имеющими нормального распределения). Для борьбы с ними нужны медианные фильтры. Это если знать, что есть помеха, а что полезный сигнал. Может статься, именно те точки, выстроенные в линию, и есть полезный сигнал.

Если ТС уверен, что это, например, результат сбоев при передаче данных, то возможно "да", но опять же не обязательно. Могут и точки "в самой гуще" тоже быть приняты с ошибкой. А в этом случае тоже ничего отбрасывать не нужно. Да, на закон распределения измеряемой величины наложится закон распределения ошибок. Но для большинства систем он близок к равномерному или гауссову, так что на точность расчёта матожидания повлияет гораздо меньше, чем отбрасывание крайних точек.
minibrain, есть возможность загнать на вход системы константу?


Тогда надо приложить усилия и вычислить этот закон. Или хотя бы приблизительно его прикинув. Потом просто наложить его при вычислении матожидания. Это будет всё равно точнее, чем "отбрасывание".

Вообще-то нет.

У вас авторская секретная математическая школа?
Поделитесь тайными знаниями?

Говоря грубо (более подходящего примера не пришло в голову) - вычисляя среднюю температуру по больнице, не нужно учитывать тех, кто уже "остыл". Совсем.

100 точек с координатами (0,0)
1 точка с координатами (100,100)

И что?
Ну, например, толпа детишек ростом 100 см и один взрослый Валуев 210 см...

Да какие там тайные знания... Матожидание не обязано совпадать с максимумом плотности (гистограммы).

все зависит от того, каково множество измеряемых вами объектов, и какие у вас априорные знания о нем.
Но вполне допустимо и просто числами жонглировать, если результат устраивает вас и/или ваших заказчиков.

Наверное, самое тайное знание здесь, это знание об эргодичности системы..

Потому как математическое ожидание координаты непрерывной случайной величины равно:

M{X} = Σx_i*P(x_i<X<x_i+1), где:

P(x_i<X<x_i+1) - вероятность того, что случайная величина "X" имеет значение в интервале "i" от x_i до x_i+1.

Ну и если случайная величина обладает свойством эргодичности, то эту вероятность можно оценить как:

P(x_i<X<x_i+1) = m_i/Σm_i, где:

m_i - число точек из выборки размером Σm_i, оказавшихся в интервале от x_i до x_i+1.

Соответственно:

M{X} = (Σx_i*m_i)/Σm_i, где суммирование по всем интервалам "i", или, с учетом того, что:

x_i*m_i = x_i*(1+1+...+1) = x_i+x_i+...+x_i, математическое ожидание равно:

M{X} = (Σx_n)/Σm_n, где суммирование по всем точкам "n", что совпадает с определением центра масс..

Как-то так..