Forwarded from Backconnect
4 Top Five - 7.pdf
15.1 MB
Пока РКН планирует добиться 146% эффективности в блокировке VPN к 2030 году, мы планируем добиться ваших лайков и выкладываем наш очередной выпуск новостного журнала
Редакция в очередной раз фильтрует инфошум и рисует вам смешных котов, чтобы вы могли оставаться в инфополе
МИР! ТРУД! МАЙ!
Редакция в очередной раз фильтрует инфошум и рисует вам смешных котов, чтобы вы могли оставаться в инфополе
МИР! ТРУД! МАЙ!
А, ну так вот
Я как-то писал про то, что задался целью написать на коленке небольшой скраппер из твиттера.
В самом Х сидеть мне не нравится из-за очень агрессивной работы алгоритмов и подкидывания разного рода контента, который совсем не к месту (считай как в вк, только точечнее). А вот аккаунты мемников там просто великолепные.
Чуть-чуть собрав информации об апи и поняв, что хрен там че получится напрямую собирать, пришлось искать сторонние аптеки, библиотеки, сервисы и прочее.
Их оказалось много.
Нормально рабочих оказалось мало.
Нормально рабочих для моих задач оказалось вообще почти нет.
+ Всё что есть закрыто рейтлимитами. Причем такими, что 2 клика в браузере отправляют тебя в таймаут на n-секунд.
А там где нормальные рейтлимиты, то вебдрайвер не сможет ничего собрать т.к captcha first.
Решено костылями костылять. Начальная цель-то на коленке сделать, а не по уму.
ИТОГ
Первоначальное открытие браузера максимально схоже с живым человеком. Передаем все нужное, чуть-чуть ненужного и в путь.
Если не сработало, перезапускаемся с новым юзер-агентом и теперь точно погнали.
1/3
Я как-то писал про то, что задался целью написать на коленке небольшой скраппер из твиттера.
В самом Х сидеть мне не нравится из-за очень агрессивной работы алгоритмов и подкидывания разного рода контента, который совсем не к месту (считай как в вк, только точечнее). А вот аккаунты мемников там просто великолепные.
Чуть-чуть собрав информации об апи и поняв, что хрен там че получится напрямую собирать, пришлось искать сторонние аптеки, библиотеки, сервисы и прочее.
Их оказалось много.
Нормально рабочих оказалось мало.
Нормально рабочих для моих задач оказалось вообще почти нет.
+ Всё что есть закрыто рейтлимитами. Причем такими, что 2 клика в браузере отправляют тебя в таймаут на n-секунд.
А там где нормальные рейтлимиты, то вебдрайвер не сможет ничего собрать т.к captcha first.
Решено костылями костылять. Начальная цель-то на коленке сделать, а не по уму.
ИТОГ
Первоначальное открытие браузера максимально схоже с живым человеком. Передаем все нужное, чуть-чуть ненужного и в путь.
Если не сработало, перезапускаемся с новым юзер-агентом и теперь точно погнали.
1/3
Около it
А, ну так вот Я как-то писал про то, что задался целью написать на коленке небольшой скраппер из твиттера. В самом Х сидеть мне не нравится из-за очень агрессивной работы алгоритмов и подкидывания разного рода контента, который совсем не к месту (считай как…
Вся это яичница собирается, скраппит ссылки, проверяет эти ссылки в базе на наличие дублей (не от времени отталкиваться же*)
Если ссылка не дублирует прошлых, то изображение отправляется в канал тг.
Сама реализация простая, на коленке собирается за пару вечеров, а если вайбкодить, то возможно и за час-два при нормальном подходе.
Тут больше интересно было поработать с обходами самих средств защиты и посмотреть, на сколько глубокой может быть нора до первого срабатывания РЛ.
Просто собирать лежащее на странице - слишком просто. Делаем 2-3 перехода по ссылкам в постах/реплаях (на самом деле 3 это максимум. потом срабатывает РЛ и таймаут на непонятное окно времени). Вот теперь получилось неожиданное поведение, которое я уже не стал фиксить и даже нашел в этой абстрактности что-то смешное.
2/3
Если ссылка не дублирует прошлых, то изображение отправляется в канал тг.
Сама реализация простая, на коленке собирается за пару вечеров, а если вайбкодить, то возможно и за час-два при нормальном подходе.
Тут больше интересно было поработать с обходами самих средств защиты и посмотреть, на сколько глубокой может быть нора до первого срабатывания РЛ.
Просто собирать лежащее на странице - слишком просто. Делаем 2-3 перехода по ссылкам в постах/реплаях (на самом деле 3 это максимум. потом срабатывает РЛ и таймаут на непонятное окно времени). Вот теперь получилось неожиданное поведение, которое я уже не стал фиксить и даже нашел в этой абстрактности что-то смешное.
2/3
Около it
Вся это яичница собирается, скраппит ссылки, проверяет эти ссылки в базе на наличие дублей (не от времени отталкиваться же*) Если ссылка не дублирует прошлых, то изображение отправляется в канал тг. Сама реализация простая, на коленке собирается за пару вечеров…
Что именно смешное?
Он начал собирать изображения не только самого поста, но и комментаторов. И местами это до усрачки смешно.
Конечно, учитывая специфику твиттера, можно представить какие там бывают комменты.
К сожалению, некоторое приходится даже удалять (известная символика, не сложившийся художник и всё такое).
Местами совсем какое-то говно залетает типа изображений с текстом, который в отрыве от поста выглядит совсем не смешно.
Но если эту получившуюся кашу начать скролить, то метаирония начинает играть какими-то совершенно другими красками.
Моё любимое:
Он начал собирать изображения не только самого поста, но и комментаторов. И местами это до усрачки смешно.
Конечно, учитывая специфику твиттера, можно представить какие там бывают комменты.
К сожалению, некоторое приходится даже удалять (известная символика, не сложившийся художник и всё такое).
Местами совсем какое-то говно залетает типа изображений с текстом, который в отрыве от поста выглядит совсем не смешно.
Но если эту получившуюся кашу начать скролить, то метаирония начинает играть какими-то совершенно другими красками.
Моё любимое:
😭2
Около it
Что именно смешное? Он начал собирать изображения не только самого поста, но и комментаторов. И местами это до усрачки смешно. Конечно, учитывая специфику твиттера, можно представить какие там бывают комменты. К сожалению, некоторое приходится даже удалять…
Вообще, прям начальная-начальная цель была - это собхранять изображения разной ретро-техники, железок и всякого такого. В какой-то момент оно пошло всё не туда. А кто я такой, чтобы оглядываться на начальные цели?
Да и получившееся меня и так радует.
@thisGarbageCollector
Таймаут на сборку рандомизирован, от 3 до 12 часов.
Аккаунты, с которых собираются фотки то дополняю, то удаляю (если там совсем шлак начинают постить).
Позже попробую докинуть загрузку видео из треда и распознавание текста на изображении, чтобы отсеевать сразу то, что является тредшотами и тд.
ВОЗМОЖНО, кому-то не хватало мест откуда можно собирать изображения для своего публика.
В таком случае, это для вас.
Если мест хватало, но нотелось бы еще больше - аналогично.
Ссылка на пост с фотками выше https://t.me/thisGarbageCollector/1016
ps - там иногда в тредах форс какой-нибудь начинается (из недавнего - красная или синяя кнопка), может чуть-чуть спамить. Но терпимо пока что
3/3
Да и получившееся меня и так радует.
@thisGarbageCollector
Таймаут на сборку рандомизирован, от 3 до 12 часов.
Аккаунты, с которых собираются фотки то дополняю, то удаляю (если там совсем шлак начинают постить).
Позже попробую докинуть загрузку видео из треда и распознавание текста на изображении, чтобы отсеевать сразу то, что является тредшотами и тд.
ВОЗМОЖНО, кому-то не хватало мест откуда можно собирать изображения для своего публика.
В таком случае, это для вас.
Если мест хватало, но нотелось бы еще больше - аналогично.
ps - там иногда в тредах форс какой-нибудь начинается (из недавнего - красная или синяя кнопка), может чуть-чуть спамить. Но терпимо пока что
3/3
Я не особо доверяю подобным промтам для целей обучения т.к 80% создаваемого там просто галюцинации собранные где-то как-то по чуть-чуть. НО демонстрация его работы приводит в восторг.
И если он занимается созданием вымышленных начинок, то почему бы ему для этого не закинуть вымышленных персонажей?
Это уже другое дело.
А еще, при небольшой доработке, можно получить что-то абсолютно фантастическое, как на 3-ем и 4-ом скрине😢
И если он занимается созданием вымышленных начинок, то почему бы ему для этого не закинуть вымышленных персонажей?
Это уже другое дело.
А еще, при небольшой доработке, можно получить что-то абсолютно фантастическое, как на 3-ем и 4-ом скрине
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
В смысле ты не веришь в теорию, что мультик "Свинка Пеппа" это рассекреченный советский биопроект по выращиванию людей в телах свиней, чьи поведенческие паттерны передали британцам, чтобы приучить детей не бояться того, что однажды выйдет из лабораторий?
ПРОЕКТ «РОЗОВЫЙ»
Из рассекреченных материалов НИИ-17, 1997–2004 гг.
Идея пришла генералу Карелину осенью девяносто седьмого. Если можно вырастить почку в свинье, рассуждал он, значит, можно вырастить и человека. Целиком. Просто нужно сделать так, чтобы свинья не подозревала, что она носит.
Первые шесть особей умерли в течение часа после рождения. Седьмая — кричала. Кричала тонким женским голосом, хотя голосовой аппарат у неё был свиной. Это противоречило биологии, но мы записали и приложили к отчёту. Карелин слушал запись трижды и сказал: «Продолжаем».
К двухтысячному мы научились стабилизировать особей. Они выглядели как свиньи. Они вели себя как свиньи. Но если посмотреть в глаза — там был человек. Запертый. Понимающий.
Объект 04-Б — мы называли её просто «Розовая» — первой заговорила. По биологическому возрасту ей было два года. Она сказала: «Мама». Потом — «Папа». Потом — «Джордж». Никакого Джорджа в институте не было. Мы подняли списки сотрудников за десять лет. Не было никогда.
В две тысячи третьем приняли решение вывести программу из закрытого режима. Нужно было приучить население. Нужно было сделать так, чтобы дети с раннего возраста видели говорящих свиней и не боялись. Чтобы антропоморфная свинья стала чем-то милым, домашним, безопасным.
Британским коллегам передали техническую документацию и поведенческие паттерны 04-Б. Они адаптировали материал под формат детского мультсериала. Премьера — тридцать первое мая две тысячи четвёртого года.
⠀
Из записной книжки м.н.с. Левашова. Последняя запись.
Сегодня дочка смотрела очередную серию. Я зашёл в комнату как раз в тот момент, когда Пеппа повернулась к экрану и сказала: «Привет!» Дочка засмеялась и помахала ей.
Пеппа не моргнула.
Дети никогда не замечают, что она не моргает. И что у неё — если приглядеться — человеческие глаза. Маленькие, карие, очень умные.
Я знаю эти глаза. Я видел их в боксе номер четыре в ноябре две тысячи второго.
Объект 04-Б официально утилизирован восьмого декабря две тысячи второго года. Акт подписывал я.
Кого тогда сожгли в крематории — я не знаю.
Но она смотрит на мою дочь.
И моя дочь машет ей в ответ.
😨1