Здравствуйте!
Задам два связных вопроса

1. Есть поток сообщений, который трудно описать числами, функциями. Вульгарный пример
Допустим мы наблюдаем за островами на которых живут разные туземцы
Мы можем наблюдать события. На одном острове зажгли факел, с другого на третий отправились туземцы
Туземцы тоже различаются на группы
есть еще какие-то события
Нужно сделать вывод, построить гипотезы - эти острова разделяют три государства, два в состоянии войны, третье тоже что-то там...
На это способен человек, такое предлагают в виде тестов

Но если событий тысячи, они принадлежат разным процессам
Ну например анализ криминала или маркетинговые исследования
И их трудно формализовать
нужен машинный анализ, чтобы строить гипотезы
Какие есть подходы для таких задач. Может есть готовое ПО

2.
При рассылке спам сообщений на форумы
роботами учитывается контекст в котором применено слово
смысл насколько я понял, что они учитывают вероятность появления связки слов для заданного контекста

Существуют ли готовые базы данных такого рода цепочек пусть для ограниченно набора тем

Просто тогда это способ создать метрику для событий, и тогда их уже можно пытаться математически обсчитать
Спасибо

Анализ формальных понятий, концептуальное моделирование...
Должны, наверно, быть какие-то готовые средства автоматического построения онтологий.

Например Concept Explorer

Математика оперирует с числами. Первая часть задачи - выбрать пространство описания, то есть, перевести события, сообщения и т.п. в формальные классы, имеющие численное выражение. Дальше, применимы методы многомерной статистики и стандартные программные продукты. Таков мой взгляд на вашу задачу.

Научно-технический базис - дисциплина "Исследование операций" (operations research/management science)

Спасибо посмотрю


Каким образом - там же оптимизация, линейное программирование


Да все это так, но язык ближе к естественному
Анализ историй болезни напр

Я слышал про то что там и используют цепи маркова (в поисковиках)
Ну напр нас интересуют лыжи. Мы вбиваем их в яндекс
Получаем тысячи ссылок, в каждом текст про лыжи. Какие-то из них годные
для каждого такого текста мы вычисляем цепочки маркова из характерных слов

Здесь задача в том, чтобы определить в каком контексте упоминается что-либо, может даже и не упомянутое в описании
ну например есть газетная статья по тексту нужно определить в одобрительном тоне она описывает политику монголии или нет

Гугл в свое время поднялся на том, что первым применил сингулярное разложение к обработке текстовых массивов. Берем кучу документов, каждый соответствует своей строке. Берем все слова в этих документах - слова помещаем в столбцы. Дальше получается такая страшно большая разреженная матрица, которая характеризует какое слово сколько раз встречается в каком документе. Дальше - делаем сингулярное разложение этой матрице, она, как оказалось, довольно малоранговая, и, более того, сингулярные вектора можно представить в виде линейной комбинации разреженных векторов. Их запоминаем, вот Вам и корреляция. Как построить такое сингулярное разложение, гуглите на Джина Голуба (Gene Golub), к сожалению, уже ныне покойного.

Потом были и опорные вектора, и цепи Маркова, но, в основе, все-таки, лежит сингулярное разложение разреженных матриц, и его восприятие, ИМХО, проще и понятнее.

Это узкий взгляд.
ИО - методология на основе математических методов, приводящая к обоснованию решения в любой области целенаправленной деятельности.
Так, что одним из сегментов вполне является дисциплина "Построение гипотез", что для Вас и актуально.
Начните с изучения ДСМ-метода автоматического порождения гипотез.
Родоначальник: Финн Виктор Константинович

Еще:
http://aot.ru/docs/Nozhov/
http://www.isa.ru/jitcs/images/stories/2008/03/30_44.pdf

Посмотрите ещё "Статистика объектов нечисловой природы" на сайте Орлова А.И. Для первого знакомства, например - тут

Ссылок много... Пора бы вернуться к Вашим примерам. Чем Вас традиционные метрики не устраивают?