EventsIndexing: различия между версиями

Материал из Common History development
Перейти к навигации Перейти к поиску
(it4history)
(подходы)
Строка 11: Строка 11:
 
== число совпадений со сдвигом ==
 
== число совпадений со сдвигом ==
 
[https://chispa1707.livejournal.com/3010636.html есть у меня в Экселе табличка: 1-й столбец - год 2-й столбец - двухбуквенный индекс места события 3-й столбец - двухбуквенный индекс типа события ... Первая задача. Требуется выяснить, например, как часто разные события встречаются в одном и том же году году...  на пересечении в ячейке - цифра, говорящая, сколько раз индекс столбца встретился в одном году с индексом строки... для тех же 879 индексов сверяем совпадения со сдвигом в год, два, три, четыре и пять. ]
 
[https://chispa1707.livejournal.com/3010636.html есть у меня в Экселе табличка: 1-й столбец - год 2-й столбец - двухбуквенный индекс места события 3-й столбец - двухбуквенный индекс типа события ... Первая задача. Требуется выяснить, например, как часто разные события встречаются в одном и том же году году...  на пересечении в ячейке - цифра, говорящая, сколько раз индекс столбца встретился в одном году с индексом строки... для тех же 879 индексов сверяем совпадения со сдвигом в год, два, три, четыре и пять. ]
== подходы ==
 
=== [[it4history]] ===
 
[https://chispa1707.livejournal.com/3011074.html?thread=35245058#t35245058 алгоритм находится здесь] {{github|it4history/reconstruction/tree/master/Excel/EventsIndexing/EventtypesByYears.cs}}
 
 
алгоритм нужно понимать через теорию графов
 
[https://chispa1707.livejournal.com/3011074.html?thread=35267074#t35267074 действия с файлом 00 крайняя попытка 2 (Автосохраненный).xlsx: Суммирую итог отдельно на нижней строке. Сумму транспонирую и поочередно вывожу либо на лист СВОДНАЯ, либо (если со сдвигом в год) на лист СВОДНАЯ2 легко объяснимы в теории графов, то получил алгоритм. В нём первичные графы byYears созданы также, как создавался лист Основа, а cуммирование итогов для листа СВОДНАЯ b СВОДНАЯ2 - это объединение первичные графов.]
 
 
[https://chispa1707.livejournal.com/3012125.html?thread=35257117#t35257117 нужно исследовать причинно-следственные связи между типами событий, поэтому вы считаете сдвиг для типов событий "позже", а не "раньше". Так удобнее, потому что в строке будут причины, а в столбцах следствия. Меняю алгоритм на "позже", соответственно тренировка (unit-test) алгоритма теперь выглядит так: пусть имеем три года 1, 2 и 3; в этих годах произошли типы событий] https://ic.pics.livejournal.com/it4history/77674790/10097/10097_original.png
 
<pre>результат для сдвига в 1 год :
 
$, a, b, c,
 
a, 0, 1, 0,
 
b, 1, 1, 1,
 
c, 0, 0, 0,
 
результат для сдвига в 2 года:
 
$, a, b, c,
 
a, 1, 0, 1,
 
b, 1, 0, 1,
 
c, 0, 0, 0,</pre>
 
 
 
[[Gephi]]
 
 
=== [[Любкин Сергей]] ===
 
[https://chispa1707.livejournal.com/3010636.html?thread=35242316#t35242316 отчёт, выводящий для каждой пары индексов: - количество годов, в которых они встречаются оба (как у Вас в первом варианте); - количество событий в этих годах, в которых есть индекс строки; - количество событий в этих годах, в которых есть индекс столбца.]
 
 
History_02.xlsx
 
 
[https://chispa1707.livejournal.com/3014051.html?thread=35271331#t35271331 результаты анализа в 1С. Для каждой пары "год-страна" сформировал список индексов. Результат анализа "Поиск ассоциативных правил". Сначала идёт таблица "Часто встречаемые группы". Например: пара индексов уй(евреи) и ит(репрессии) Встречается 412 раза, что составляет 1,97% от общего количества комбинаций "год-страна" (20 935). Следующая таблица в том же файле: "Ассоциативные правила". Для той же пары уй-ит в ней два правила: 1. Если в какой-то стране в каком-то году были репрессии, то с вероятностью 65% рядом встретится индекс уй(евреи)... Результат анализа "Поиск последовательностей". Ищется, какая последовательность индексов повторяется во многих странах. Например: если поставить "Максимальный интервал:2 года", то обнаружится, что в 24-х странах через год после индекса уй(евреи) встречался индекс ио (Миграции,изгнание,высылка,удалил,удаление). https://t.me/historical_statistics]
 
*https://t.me/historical_statistics
 
*:Канал создан для упорядочивания записей по загрузке в 1С и статистической обработке таблицы исторических событий, собранной и проиндексированной Андреем Степаненко.
 
 
=== [https://plus.google.com/101874328397827004168 Адольф Берг] ===
 
[https://plus.google.com/101874328397827004168 Вы вручную решаете задачи кластерного анализа. А современные методы обработки данных, включая вейвлет-анализ, нечеткие логики и т.п. позволят по-новому оценить массив данных. ]
 
=== [[curiousmole]] ===
 
[https://chispa1707.livejournal.com/3011074.html?thread=35236610#t35236610 29548 строк на 873 колонки]
 
 
[https://chispa1707.livejournal.com/3011397.html?thread=35248197#t35248197 Это называется граф. В принципе, строится и в экселе (не пробовал)... вообще, пишут, что задача кластеризации очень субъективна.]
 
=== Andrew Po ===
 
некоторый файл https://chispa1707.livejournal.com/3011074.html?thread=35237122#t35237122
 

Версия 12:23, 23 октября 2018

Автоматизация для Алгоритм в Excel реконструкции по типам событий

совпадение типов событий в одном году[править]

число совпадений[править]

в строках слева годы, в столбцах наверху индексы, на пересечении - числовое значение. Очищаю до единицы, - важен сам факт, что в этом году индекс есть. После этого годы не нужны. Имеет значение только то, какие индексы встречаются в одной строке. Строк много, и в итоге я подвел сумму, какой индекс с какими индексами сколько раз встретился в одной строке за все годы!

число совпадений со сдвигом[править]

есть у меня в Экселе табличка: 1-й столбец - год 2-й столбец - двухбуквенный индекс места события 3-й столбец - двухбуквенный индекс типа события ... Первая задача. Требуется выяснить, например, как часто разные события встречаются в одном и том же году году... на пересечении в ячейке - цифра, говорящая, сколько раз индекс столбца встретился в одном году с индексом строки... для тех же 879 индексов сверяем совпадения со сдвигом в год, два, три, четыре и пять.