корреляционный анализ, неисчислимых событий Опции

[sifadin]

Здравствуйте!
Задам два связных вопроса

1. Есть поток сообщений, который трудно описать числами, функциями. Вульгарный пример
Допустим мы наблюдаем за островами на которых живут разные туземцы
Мы можем наблюдать события. На одном острове зажгли факел, с другого на третий отправились туземцы
Туземцы тоже различаются на группы
есть еще какие-то события
Нужно сделать вывод, построить гипотезы - эти острова разделяют три государства, два в состоянии войны, третье тоже что-то там...
На это способен человек, такое предлагают в виде тестов

Но если событий тысячи, они принадлежат разным процессам
Ну например анализ криминала или маркетинговые исследования
И их трудно формализовать
нужен машинный анализ, чтобы строить гипотезы
Какие есть подходы для таких задач. Может есть готовое ПО

2.
При рассылке спам сообщений на форумы
роботами учитывается контекст в котором применено слово
смысл насколько я понял, что они учитывают вероятность появления связки слов для заданного контекста

Существуют ли готовые базы данных такого рода цепочек пусть для ограниченно набора тем

Просто тогда это способ создать метрику для событий, и тогда их уже можно пытаться математически обсчитать
Спасибо