EventsIndexing: различия между версиями

Материал из Common History development
Перейти к навигации Перейти к поиску
(it4history)
(it4history)
Строка 33: Строка 33:
  
 
[https://chispa1707.livejournal.com/3012125.html?thread=35257117#t35257117 нужно исследовать причинно-следственные связи между типами событий, поэтому вы считаете сдвиг для типов событий "позже", а не "раньше". Так удобнее, потому что в строке будут причины, а в столбцах следствия. Меняю алгоритм на "позже", соответственно тренировка (unit-test) алгоритма теперь выглядит так: пусть имеем три года 1, 2 и 3; в этих годах произошли типы событий] https://ic.pics.livejournal.com/it4history/77674790/10097/10097_original.png
 
[https://chispa1707.livejournal.com/3012125.html?thread=35257117#t35257117 нужно исследовать причинно-следственные связи между типами событий, поэтому вы считаете сдвиг для типов событий "позже", а не "раньше". Так удобнее, потому что в строке будут причины, а в столбцах следствия. Меняю алгоритм на "позже", соответственно тренировка (unit-test) алгоритма теперь выглядит так: пусть имеем три года 1, 2 и 3; в этих годах произошли типы событий] https://ic.pics.livejournal.com/it4history/77674790/10097/10097_original.png
<source>результат для сдвига в 1 год :
+
<pre>результат для сдвига в 1 год :
 
$, a, b, c,  
 
$, a, b, c,  
 
a, 0, 1, 0,  
 
a, 0, 1, 0,  
Строка 42: Строка 42:
 
a, 1, 0, 1,  
 
a, 1, 0, 1,  
 
b, 1, 0, 1,  
 
b, 1, 0, 1,  
c, 0, 0, 0,</source>
+
c, 0, 0, 0,</pre>
  
 
= 2 =
 
= 2 =

Версия 08:31, 20 октября 2018

1[править]

Андрей[править]

в строках слева годы, в столбцах наверху индексы, на пересечении - числовое значение. Очищаю до единицы, - важен сам факт, что в этом году индекс есть. После этого годы не нужны. Имеет значение только то, какие индексы встречаются в одной строке. Строк много, и в итоге я подвел сумму, какой индекс с какими индексами сколько раз встретился в одной строке за все годы!


  • про сдвиги:

есть у меня в Экселе табличка: 1-й столбец - год 2-й столбец - двухбуквенный индекс места события 3-й столбец - двухбуквенный индекс типа события ... Первая задача. Требуется выяснить, например, как часто разные события встречаются в одном и том же году году... на пересечении в ячейке - цифра, говорящая, сколько раз индекс столбца встретился в одном году с индексом строки... для тех же 879 индексов сверяем совпадения со сдвигом в год, два, три, четыре и пять.

Любкин Сергей[править]

отчёт, выводящий для каждой пары индексов: - количество годов, в которых они встречаются оба (как у Вас в первом варианте); - количество событий в этих годах, в которых есть индекс строки; - количество событий в этих годах, в которых есть индекс столбца.

History_02.xlsx

Адольф Берг[править]

Вы вручную решаете задачи кластерного анализа. А современные методы обработки данных, включая вейвлет-анализ, нечеткие логики и т.п. позволят по-новому оценить массив данных.

curiousmole[править]

29548 строк на 873 колонки

Это называется граф. В принципе, строится и в экселе (не пробовал)... вообще, пишут, что задача кластеризации очень субъективна.

Andrew Po[править]

некоторый файл https://chispa1707.livejournal.com/3011074.html?thread=35237122#t35237122

it4history[править]

алгоритм находится здесьEventtypesByYears.cs

алгоритм нужно понимать через теорию графов

нужно исследовать причинно-следственные связи между типами событий, поэтому вы считаете сдвиг для типов событий "позже", а не "раньше". Так удобнее, потому что в строке будут причины, а в столбцах следствия. Меняю алгоритм на "позже", соответственно тренировка (unit-test) алгоритма теперь выглядит так: пусть имеем три года 1, 2 и 3; в этих годах произошли типы событий 10097_original.png

результат для сдвига в 1 год :
$, a, b, c, 
a, 0, 1, 0, 
b, 1, 1, 1, 
c, 0, 0, 0, 
результат для сдвига в 2 года:
$, a, b, c, 
a, 1, 0, 1, 
b, 1, 0, 1, 
c, 0, 0, 0,

2[править]

процент совпадений. Например, если индекс столбца всего встречается 100 раз, а с выбранным индексом строки он встретился 14 раз, то частота совпадений именно с этим индексом - 14 %.

3[править]

индексы, на деле, составят несколько групп с высоким процентом совпадений внутри группы и с малым процентом совпадений с индексами из других групп. Число этих групп отразит число разных этапов развития цивилизации.