Necrosfodel: различия между версиями
(→Goals) |
|||
Строка 6: | Строка 6: | ||
= Goals = | = Goals = | ||
[http://chispa1707.livejournal.com/2074474.html?thread=22041450#t22041450 Мне интересен семантический анализ описания событий, интеллектуальный поиск дубликатов событий] | [http://chispa1707.livejournal.com/2074474.html?thread=22041450#t22041450 Мне интересен семантический анализ описания событий, интеллектуальный поиск дубликатов событий] | ||
− | = [[:Category:Public database|Public database]] | + | = [[:Category:Public database|Public database]] = |
[http://necrosfodel.livejournal.com/5930.html Цель проекта - предоставить универсальную возможность анализа исторических событий. То есть, мы не просто берем файл Андрея Степаненко и его препарируем, а мы даем возможность людям загружать свои данные, чтобы они сами могли найти какие-то зависимости, которые их интересуют.] | [http://necrosfodel.livejournal.com/5930.html Цель проекта - предоставить универсальную возможность анализа исторических событий. То есть, мы не просто берем файл Андрея Степаненко и его препарируем, а мы даем возможность людям загружать свои данные, чтобы они сами могли найти какие-то зависимости, которые их интересуют.] | ||
[http://chispa1707.livejournal.com/2055764.html?thread=22003028#t22003028 Если это будет в виде факультатива на добровольной основе, то я готов что-то такое написать. Есть лишь один нюанс - это будет долго, потому что я весь в работе и ремонте. Поскольку у меня какие-то наработки уже были, мне будет проще. Мне нужны только Ваши базы в экселе. Для начала надо будет создать инструмент для конвертации их в SQL.] | [http://chispa1707.livejournal.com/2055764.html?thread=22003028#t22003028 Если это будет в виде факультатива на добровольной основе, то я готов что-то такое написать. Есть лишь один нюанс - это будет долго, потому что я весь в работе и ремонте. Поскольку у меня какие-то наработки уже были, мне будет проще. Мне нужны только Ваши базы в экселе. Для начала надо будет создать инструмент для конвертации их в SQL.] | ||
− | |||
[http://chispa1707.livejournal.com/2055764.html?thread=21819476#t21819476 Я бы написал такой сайт на [[Django]]. Этот фреймворк как раз был написан сотрудниками газеты в расчете на большое количество данных (публикаций). Возможность писать [[DB customization|собственные модели, связанные с БД]] - как раз то, что нужно в вашем случае. А пару лет назад и Django CMS стала бесплатной.] | [http://chispa1707.livejournal.com/2055764.html?thread=21819476#t21819476 Я бы написал такой сайт на [[Django]]. Этот фреймворк как раз был написан сотрудниками газеты в расчете на большое количество данных (публикаций). Возможность писать [[DB customization|собственные модели, связанные с БД]] - как раз то, что нужно в вашем случае. А пару лет назад и Django CMS стала бесплатной.] | ||
− | |||
== [[Site from scratch]] == | == [[Site from scratch]] == | ||
[http://chispa1707.livejournal.com/2074474.html?thread=22034282#t22034282 Я тут покумекал вчера над тем, как надо писать сайт, и пришел к выводу, что [[Django]] на python не подойдет. Вернее, подойдет, но это будет просто поиск по базе с фильтрами. А это уныло, неинтересно и никого не привлечет. Меня в прошлый раз заинтересовала именно идея поиска дубликатов. Когда машина делает это за пользователя. А это на python слишком долго. Вот я и подумал написать сайт на [[Go]]Lang (компилируемый, мультипоточный, для веб, MVC, сравнительно простой)] | [http://chispa1707.livejournal.com/2074474.html?thread=22034282#t22034282 Я тут покумекал вчера над тем, как надо писать сайт, и пришел к выводу, что [[Django]] на python не подойдет. Вернее, подойдет, но это будет просто поиск по базе с фильтрами. А это уныло, неинтересно и никого не привлечет. Меня в прошлый раз заинтересовала именно идея поиска дубликатов. Когда машина делает это за пользователя. А это на python слишком долго. Вот я и подумал написать сайт на [[Go]]Lang (компилируемый, мультипоточный, для веб, MVC, сравнительно простой)] |
Версия 12:37, 16 августа 2016
http://necrosfodel.livejournal.com/
Содержание
Biography[править]
Goals[править]
Мне интересен семантический анализ описания событий, интеллектуальный поиск дубликатов событий
Public database[править]
Я бы написал такой сайт на Django. Этот фреймворк как раз был написан сотрудниками газеты в расчете на большое количество данных (публикаций). Возможность писать собственные модели, связанные с БД - как раз то, что нужно в вашем случае. А пару лет назад и Django CMS стала бесплатной.
Site from scratch[править]
Я тут покумекал вчера над тем, как надо писать сайт, и пришел к выводу, что Django на python не подойдет. Вернее, подойдет, но это будет просто поиск по базе с фильтрами. А это уныло, неинтересно и никого не привлечет. Меня в прошлый раз заинтересовала именно идея поиска дубликатов. Когда машина делает это за пользователя. А это на python слишком долго. Вот я и подумал написать сайт на GoLang (компилируемый, мультипоточный, для веб, MVC, сравнительно простой)
- Запрос загрузки файла с использованием jquery.fileupload и coquelicot;
- Запрос на конвертирование файла в SQL с использованием gorm;
- Запрос на получение заголовков с использованием gorm;
- Запрос на получение данных из таблицы SQL c использованием sqlx и DataTables.
Я решил отталкиваться от того, что у каждого своя структура базы, и поэтому не имеет смысла делать статическую структуру, к которой все обязаны будут приводить свои базы как собаку к ноге. У меня просто будут некоторые требования к виду полей. То есть, несколько пожираемых типов дат, например YYYY-MM-DD 000:00:00 или YYYY\MM UTC, несколько типов данных для поля, например int или float - без разницы, несколько типов разделителей для join-данных (: ; ::) и т.д. Просто при загрузке базы на сервер создается промежуточная таблица, в которой будет прописано соответствие заголовков, вот и все, называй свои колонки как хочешь. Человек после загрузки тянет заголовки своей таблицы в таблицу соответствий. В блоге у меня все это есть. Все операции с базой проходят через эту таблицу. Скоростью приходится жертвовать ради универсальности, но это всего лишь одна лишняя операция! А на кириллицу мне пофиг. Все современные языки прекрасно работают на юникоде. Go прекрасно все понимает. Python3 все понимает. Только php ничего не понимает и спотыкается, потому что это прошлый век.