Автоматизация для Алгоритм в Excel реконструкции по типам событий
совпадение типов событий в одном году[править]
число совпадений[править]
в строках слева годы, в столбцах наверху индексы, на пересечении - числовое значение. Очищаю до единицы, - важен сам факт, что в этом году индекс есть. После этого годы не нужны. Имеет значение только то, какие индексы встречаются в одной строке. Строк много, и в итоге я подвел сумму, какой индекс с какими индексами сколько раз встретился в одной строке за все годы!
число совпадений со сдвигом[править]
есть у меня в Экселе табличка: 1-й столбец - год 2-й столбец - двухбуквенный индекс места события 3-й столбец - двухбуквенный индекс типа события ... Первая задача. Требуется выяснить, например, как часто разные события встречаются в одном и том же году году... на пересечении в ячейке - цифра, говорящая, сколько раз индекс столбца встретился в одном году с индексом строки... для тех же 879 индексов сверяем совпадения со сдвигом в год, два, три, четыре и пять.
алгоритм находится здесьEventtypesByYears.cs
алгоритм нужно понимать через теорию графов
действия с файлом 00 крайняя попытка 2 (Автосохраненный).xlsx: Суммирую итог отдельно на нижней строке. Сумму транспонирую и поочередно вывожу либо на лист СВОДНАЯ, либо (если со сдвигом в год) на лист СВОДНАЯ2 легко объяснимы в теории графов, то получил алгоритм. В нём первичные графы byYears созданы также, как создавался лист Основа, а cуммирование итогов для листа СВОДНАЯ b СВОДНАЯ2 - это объединение первичные графов.
нужно исследовать причинно-следственные связи между типами событий, поэтому вы считаете сдвиг для типов событий "позже", а не "раньше". Так удобнее, потому что в строке будут причины, а в столбцах следствия. Меняю алгоритм на "позже", соответственно тренировка (unit-test) алгоритма теперь выглядит так: пусть имеем три года 1, 2 и 3; в этих годах произошли типы событий 
результат для сдвига в 1 год :
$, a, b, c,
a, 0, 1, 0,
b, 1, 1, 1,
c, 0, 0, 0,
результат для сдвига в 2 года:
$, a, b, c,
a, 1, 0, 1,
b, 1, 0, 1,
c, 0, 0, 0,
Gephi
отчёт, выводящий для каждой пары индексов: - количество годов, в которых они встречаются оба (как у Вас в первом варианте); - количество событий в этих годах, в которых есть индекс строки; - количество событий в этих годах, в которых есть индекс столбца.
History_02.xlsx
результаты анализа в 1С. Для каждой пары "год-страна" сформировал список индексов. Результат анализа "Поиск ассоциативных правил". Сначала идёт таблица "Часто встречаемые группы". Например: пара индексов уй(евреи) и ит(репрессии) Встречается 412 раза, что составляет 1,97% от общего количества комбинаций "год-страна" (20 935). Следующая таблица в том же файле: "Ассоциативные правила". Для той же пары уй-ит в ней два правила: 1. Если в какой-то стране в каком-то году были репрессии, то с вероятностью 65% рядом встретится индекс уй(евреи)... Результат анализа "Поиск последовательностей". Ищется, какая последовательность индексов повторяется во многих странах. Например: если поставить "Максимальный интервал:2 года", то обнаружится, что в 24-х странах через год после индекса уй(евреи) встречался индекс ио (Миграции,изгнание,высылка,удалил,удаление). https://t.me/historical_statistics
- https://t.me/historical_statistics
- Канал создан для упорядочивания записей по загрузке в 1С и статистической обработке таблицы исторических событий, собранной и проиндексированной Андреем Степаненко.
Вы вручную решаете задачи кластерного анализа. А современные методы обработки данных, включая вейвлет-анализ, нечеткие логики и т.п. позволят по-новому оценить массив данных.
29548 строк на 873 колонки
Это называется граф. В принципе, строится и в экселе (не пробовал)... вообще, пишут, что задача кластеризации очень субъективна.
некоторый файл https://chispa1707.livejournal.com/3011074.html?thread=35237122#t35237122
