EventsIndexing

Следствия:

Совпадение типов событий в одном году

цели

1. Число совпадений событий разного типа в одном году дает представление о родственности 2. Можно разбить события на группы ... Это укажет на разные исторические этапы 3... это укажет на причинно-следственные связи... 4... Можно вывести число совпадений событий через известные сдвиги... надо представить себе главное - каким должен выглядеть итоговый результат

совпадение типов событий в одном году

число совпадений

в строках слева годы, в столбцах наверху индексы, на пересечении - числовое значение. Очищаю до единицы, - важен сам факт, что в этом году индекс есть. После этого годы не нужны. Имеет значение только то, какие индексы встречаются в одной строке. Строк много, и в итоге я подвел сумму, какой индекс с какими индексами сколько раз встретился в одной строке за все годы!

• https://my-files.ru/qwyi0r Данные позже 1852 года можно и удалить... установить число совпадений разных индексов год в год. Позже можно опробовать и со сдвижкой в 1-5 лет... пять вариантов: индексы типа события в разных сочетаниях с индексами места. "Штаты" - территории учтены до уровня штатов (областей), там, где они указаны. "Регионы" - территории укрупнены до регионов типа "Западная Сибирь", это тоже имеет свой смысл... рабочий файл здесь: https://my-files.ru/em9hqo
• 00 крайняя попытка 2 (Автосохраненный).xlsx: Исходные две колонки на листе "3 столбца". Я их чуток сократил (до 822-1852 лет) и получил таблицу на листе "Основа". Совпадения вывожу на лист 822-1852. Здесь можно сделать и со сдвижкой на любое число лет. Суммирую итог отдельно на нижней строке. Сумму транспонирую и поочередно вывожу либо на лист СВОДНАЯ, либо (если со сдвигом в год) на лист СВОДНАЯ2

  "Суммирую итог отдельно на нижней строке" значит, что за все годы!

число совпадений со сдвигом

есть у меня в Экселе табличка: 1-й столбец - год 2-й столбец - двухбуквенный индекс места события 3-й столбец - двухбуквенный индекс типа события ... Первая задача. Требуется выяснить, например, как часто разные события встречаются в одном и том же году году... на пересечении в ячейке - цифра, говорящая, сколько раз индекс столбца встретился в одном году с индексом строки... для тех же 879 индексов сверяем совпадения со сдвигом в год, два, три, четыре и пять.

подходы

it4history

алгоритм находится здесьEventtypesByYears.cs

алгоритм нужно понимать через теорию графов действия с файлом 00 крайняя попытка 2 (Автосохраненный).xlsx: Суммирую итог отдельно на нижней строке. Сумму транспонирую и поочередно вывожу либо на лист СВОДНАЯ, либо (если со сдвигом в год) на лист СВОДНАЯ2 легко объяснимы в теории графов, то получил алгоритм. В нём первичные графы byYears созданы также, как создавался лист Основа, а cуммирование итогов для листа СВОДНАЯ b СВОДНАЯ2 - это объединение первичные графов.

нужно исследовать причинно-следственные связи между типами событий, поэтому вы считаете сдвиг для типов событий "позже", а не "раньше". Так удобнее, потому что в строке будут причины, а в столбцах следствия. Меняю алгоритм на "позже", соответственно тренировка (unit-test) алгоритма теперь выглядит так: пусть имеем три года 1, 2 и 3; в этих годах произошли типы событий

результат для сдвига в 1 год :
$, a, b, c, 
a, 0, 1, 0, 
b, 1, 1, 1, 
c, 0, 0, 0, 
результат для сдвига в 2 года:
$, a, b, c, 
a, 1, 0, 1, 
b, 1, 0, 1, 
c, 0, 0, 0,

идеи

Базовые связи брать из событий из несколькими типами событий. Базовые связи независимы от года.

Gephi

Любкин Сергей

отчёт, выводящий для каждой пары индексов: - количество годов, в которых они встречаются оба (как у Вас в первом варианте); - количество событий в этих годах, в которых есть индекс строки; - количество событий в этих годах, в которых есть индекс столбца.

History_02.xlsx

результаты анализа в 1С. Для каждой пары "год-страна" сформировал список индексов. Результат анализа "Поиск ассоциативных правил". Сначала идёт таблица "Часто встречаемые группы". Например: пара индексов уй(евреи) и ит(репрессии) Встречается 412 раза, что составляет 1,97% от общего количества комбинаций "год-страна" (20 935). Следующая таблица в том же файле: "Ассоциативные правила". Для той же пары уй-ит в ней два правила: 1. Если в какой-то стране в каком-то году были репрессии, то с вероятностью 65% рядом встретится индекс уй(евреи)... Результат анализа "Поиск последовательностей". Ищется, какая последовательность индексов повторяется во многих странах. Например: если поставить "Максимальный интервал:2 года", то обнаружится, что в 24-х странах через год после индекса уй(евреи) встречался индекс ио (Миграции,изгнание,высылка,удалил,удаление). https://t.me/historical_statistics

• https://t.me/historical_statistics

  Канал создан для упорядочивания записей по загрузке в 1С и статистической обработке таблицы исторических событий, собранной и проиндексированной Андреем Степаненко.

Адольф Берг

Вы вручную решаете задачи кластерного анализа. А современные методы обработки данных, включая вейвлет-анализ, нечеткие логики и т.п. позволят по-новому оценить массив данных.

curiousmole

29548 строк на 873 колонки

Это называется граф. В принципе, строится и в экселе (не пробовал)... вообще, пишут, что задача кластеризации очень субъективна.

Andrew Po

некоторый файл https://chispa1707.livejournal.com/3011074.html?thread=35237122#t35237122

поиск этапов развития цивилизации

процент совпадений. Например, если индекс столбца всего встречается 100 раз, а с выбранным индексом строки он встретился 14 раз, то частота совпадений именно с этим индексом - 14 %.

индексы, на деле, составят несколько групп с высоким процентом совпадений внутри группы и с малым процентом совпадений с индексами из других групп. Число этих групп отразит число разных этапов развития цивилизации.

critics

#число совпадений - функция от общего числа (белая линия) регионо-событий. Это крайне важно, поскольку хоронит ВСЕ мои предыдущие методы. То есть, именно на них тратить силы бессмысленно: результата не дадут

Задача поиска этапов развития цивилизации, мне кажется, приведёт только к версии, вещаемой традиционной историей. Потому что на вход подаются события, происшедшие в одном и том же традиционном году, без учёта фальсификаций дат. Чтобы выйти на реальные исторические этапы, нужно сначала реконструировать даты.