Короче, буду тут постить информацию о проектах которыми я занимаюсь в свободное время (чтоб типа было видно что мы не просто так выпускаем видосы раз в дохрена времени :D)
В планах на эту неделю написать парсер GitHub, и собрать максимально полную БД о репозиториях по различным ЯП.
Тут конечно есть пару нюансов, чтобы было не скучно:
1. БД развернуть в контейнере Docker, дабы пощупать ручками mssql под Linux. И тут уже первые траблы :D. Лагает инет, а Docker при загрузке образов не имеет менеджера подгрузки. Ну получаем следующую вещь - обрывается коннект с сервером, идем загружать образ по новой, не смотря на то что он состоит из нескольких файлов - гениально :D
2. В самом парсере никаких изысков, просто C# + реализаця github api - octokit.net. Задача - сделать максимально оптимальным в плане многопоточности, дабы парсить информацию быстрее. Тут типа тоже не все так просто, 85% репозиториев - мусор. И тут дилема, либо парсить все полностью, и потом уже фильтровать. Либо собрать наиболее полную базу о репозиториях, но потом уже в дальнейшем филтровать, хз на самом деле
3. Обработка данных - в идеале хотелось бы поковырятся на R. Но ес чо, обойдусь просто решеткой :D. Сама цель - собрать информацию о популярности ЯП и активности среди отдельных коммьюнити в процентном соотношении.
В конце постараюсь выложить дампы бд необработанной инфы, обработанной, и собственно самого парсера.
Отчетики и скриншотики буду тут постить по мере продвижения.
В планах на эту неделю написать парсер GitHub, и собрать максимально полную БД о репозиториях по различным ЯП.
Тут конечно есть пару нюансов, чтобы было не скучно:
1. БД развернуть в контейнере Docker, дабы пощупать ручками mssql под Linux. И тут уже первые траблы :D. Лагает инет, а Docker при загрузке образов не имеет менеджера подгрузки. Ну получаем следующую вещь - обрывается коннект с сервером, идем загружать образ по новой, не смотря на то что он состоит из нескольких файлов - гениально :D
2. В самом парсере никаких изысков, просто C# + реализаця github api - octokit.net. Задача - сделать максимально оптимальным в плане многопоточности, дабы парсить информацию быстрее. Тут типа тоже не все так просто, 85% репозиториев - мусор. И тут дилема, либо парсить все полностью, и потом уже фильтровать. Либо собрать наиболее полную базу о репозиториях, но потом уже в дальнейшем филтровать, хз на самом деле
3. Обработка данных - в идеале хотелось бы поковырятся на R. Но ес чо, обойдусь просто решеткой :D. Сама цель - собрать информацию о популярности ЯП и активности среди отдельных коммьюнити в процентном соотношении.
В конце постараюсь выложить дампы бд необработанной инфы, обработанной, и собственно самого парсера.
Отчетики и скриншотики буду тут постить по мере продвижения.
👍8🤡2❤1🤮1
Оу, короче, с утречка пришла бредовая мысль забахать анализ на F#. Чтоб интереснее было. По поводу анализа - есть такая вещь R Provider которая позволяет использовать R прям из F#, так что почти все по плану.
Составил список материалов по теме -
Basics:
https://www.tutorialspoint.com/fsharp/
https://fsharpforfunandprofit.com/posts/concurrency-async-and-parallel/
https://blogs.msdn.microsoft.com/visualstudio/2011/04/04/f-code-first-development-with-entity-framework-4-1/
Analysis:
http://bluemountaincapital.github.io/FSharpRProvider/
Parsing:
http://www.quanttec.com/fparsec/tutorial.html#
Там походу может еще чего накину
Составил список материалов по теме -
Basics:
https://www.tutorialspoint.com/fsharp/
https://fsharpforfunandprofit.com/posts/concurrency-async-and-parallel/
https://blogs.msdn.microsoft.com/visualstudio/2011/04/04/f-code-first-development-with-entity-framework-4-1/
Analysis:
http://bluemountaincapital.github.io/FSharpRProvider/
Parsing:
http://www.quanttec.com/fparsec/tutorial.html#
Там походу может еще чего накину
Tutorialspoint
F# Tutorial
F Tutorial - F# helps you in the daily development of the mainstream commercial business software. This tutorial provides a brief knowledge about F# and its features, and also provides the various structures and syntaxes of its methods and functions.
🤡6👍2🎉1