Главная Юзердоски Каталог Трекер NSFW Настройки

Программирование

Ответить в тред Ответить в тред
Check this out!
<<
Назад | Вниз | Каталог | Обновить | Автообновление | 3 1 3
Парсер-долбоеб тред Аноним 18/03/25 Втр 17:44:12 3411066 1
cherniyvlastelin.jpg 52Кб, 558x473
558x473
Суп, /pr/
На днях решил таки пропарсить кинопоиск при помощи скрипта на питоне
Через requests кидает на капчу (даже с подменой юзер-агента), желания пользоваться selenium нет (оставляю как запасной вариант)
Собсна, вопрос: можно ли каким-либо образом наебать антибота КП при помощи кастомного хедера, и если нет, то есть ли бесплатные сервисы/библиотеки, решающие капчи с нажатием на галочку "Я не робот"?
Всем заранее чаю
Пикрандом
Аноним 18/03/25 Втр 23:48:03 3411279 2
Хз, как сейчас с этим обстоит, но в начале 2022 я пользовался https://github.com/VeNoMouS/cloudscraper . Хотя я помню, что его надо было периодически обновлять, чтобы не отваливалось, а проект уже джва года заброшен, но попробуй, там интерфейс повторяет requests.

Если тебе разово сделать, например, выкачать все за день, а не пускать в длительную работу с требованиями надежности, то просто достань хэдеры из браузера. F12 - Copy as curl, тебя интересуют поля -H (useragent, cookies и referrer), но можешь прям все скопировать на всякий случай. В requests подсовываешь словарь с хэдерами при создании сессии, дальше работаешь как обычно.
Аноним 19/03/25 Срд 02:25:42 3411334 3
>>3411279
Спасибо тебе, анонче
Сейчас попробую изучить данное счастье
На досуге еще потупил в код страницы и заметил прослушку на ивент клика
Так что в итоге тут либо селениум, либо угон сессии у себя же (как ты и предлагаешь), но поскольку это планируется в долгосрок, придется, похоже, пользоваться селениумом
В любом случае, за наводку спасибо, мб прокатит
Настройки X
Ответить в тред X
15000
Добавить файл/ctrl-v
Стикеры X
Избранное / Топ тредов