Как быстро пропарсить (выдернуть) ссылки из страниц сайта из списка 1.txt?
Я уже имею решение, но оно крайне медленное - около одной страницы в секунду.
Ускорил все в 10 раз путем открытия нескольких окон c разделением файла ссылок через split, но это тоже не удобно, т.к. пропарсить нужно 360к страниц сайта (из списка txt).
Мое решение на данный момент - bash + curl:
#!/bin/bash
for domain in `cat link.txt`
do
echo $domain
`curl -s $domain | grep -o 'http.*>" ' >> result.log`
done
Имеется только ПК с Убунту.
само собой, вопрос - каким образом?
спасибо! а curl + bash это возможно?
Все просто: у меня есть список страниц, например двача и я хочу вытянуть первую картинку с каждой, либо ссылку с нее.
Имеется 360к таких страниц, проблема только в скорости или однопоточности.
На данный момент с curl + bash: стандартные средства линукса все парсится около 20 часов, такое себе занятие.
Ссылки одинаковые?
> около одной страницы в секунду.
Это вполне нормальная скорость, учитывая то, что сервер может посчитать твои запросы ДДОС атакой и забанить твой ип.
Хули ты бампаешь сколько страница одна весит, что загружено, хватит тролить
Я бы сделал в два этапа, сначала скачал все эти страницы на диск, операция разовая, так что пусть хоть сутки крутит, дальше уже парсер, но там можно поэкспериментировать уже, так как качать больше ничего не нужно, парсер можно накатать хоть на сишке.
Каждая уникальная
Страница весит около 80кб, проще пропарсить чем скачать 360к таких.
>Я бы сделал в два этапа, сначала скачал все эти страницы на диск, операция разовая
подозреваю ему надо эту операцию периодически повторять в будущем. То-есть операция какразтыке не разовая будет
Дело в том, что мне еще скачать нужно то, что я получу по ссылкам.
Так что сомнительная идея качать страницы.
Да, ты как в воду глядишь. Так и есть.
В будущем нужно повторить все это.
>Устроился на лахту 2
>Ничего не знает
Как ты попал туда шиз?
Ну это 36 гигов, это качать пару часов, что ты и так делаешь. Очевидно проблема в грепе в одном потоке, ну не знаю, раскидай по папочкам и запусти несколько, можешь греп -m 1 написать если тебе первая ссылка нужна
Там не txt, а html файлы
То что шизик ето видно
За неделю запилил бы давно в wrk таску с оплатой.
А я бы сделал.
Два раза 36 гигов качать при скорости 8мбит - такое себе.
После получения ссылок нужно все это еще и скачать.
Двачую
Тем более задача простецкая, за 500р любой студент это напишет
Ты ошибся.
при 360к страниц сайта можно было бы написать велосипед на Perl используя threads и lwp, если не существует готовых решений на Python
Бери язык, который умеет в многопоточность и работает с файлами напрямую без утилит
Раньше использовал Screwming Frog Seo для подобного, но на Линуксе такого нет, либо не устанавливается.
Спасибо за совет, буду иметь в виду!
Погоди. Ты что, думаешь, что ты и так эти 36 гигов не скачиваешь что ли?
Питон тот же
Там многопоточность реализовать как нехуй. Синтаксис похож на любой ЯП, даже проще баша
>Мое решение на данный момент - bash + curl:
Насмехаюсь и ссу на глаза гомунитариев не могущих ни в один яп.
>>230012070
Я интересуюсь существует ли готовое решение.
>существует ли готовое решение
Готовое для чего, ебобо?
Не коси под дурачка.
Вопрос и описание проблемы в первом посте.
Это можно написать быстро практически на любом ЯП. Задачка-то простенькая.
Дурачок тут только ты, пидрила невежливая. Для решения этой задачи аллах специально создал одного долбоеба на земле - тебя. Сиди и парси руками.
>Задачка-то простенькая.
но не для тебя
>>ебобо >>230012476
Невежливый - это ты.
Для меня сложной будет любая задача, за решение которой не дают денег.
Хуя, еще и выебывается. В парсинг то ты не можешь, епта.
Мамке своей это скажи, шкет.
Простая, но есть ли готовое решение для многопоточной задачи?
Про регулярные выражения никогда не слышал, погромист?
М Н О Г О П О Т О К
ну и +прокси
/тхреад
Полностью готовое - вряд ли.
Батарейки для питона есть.
Если ты присмотришься, в curl уже есть grep.
Думаю должно быть, если на винде есть в лицe программы Screaming Frog - умеет перебирать страницы в многопоточности.
бамп
>Если ты присмотришься, в curl уже есть grep.
За щеку лучше себе присмотрись, додик.
>Мамке своей это скажи, шкет.
Она уже в курсе.
Есть частный софт, только хуй ты его найдешь, кто-то его вообще не продает, потому что сам пользуется
И чаще всего он узкоспециализирован, не под твои задачи
Токсик-битардов не кормим
Да, есть такой софт, но он платный. Тот же screaming frog для линукс.
Так, ещё раз. У тебя есть файл link.txt, в котором на каждой строке - адрес какого-то страницы. Тебе надо взять с каждой странички по данному адресу все ссылки? И ты хочешь это, например, в 10 потоков, чтоб было быстрее?
man xargs -P, man parallel, man xjobs
> for domain in `cat link.txt`
while read doman; do ... done < link.txt
Да, все верно.
Я это уже реализовал, открыв 10 окон со скриптом в первом посте. Но нельзя ли сделать все в одно окно в те же 10 потоков?
> Но нельзя ли
можно
Спасибо за идею!
Ну сделай что-нибудь уровня
while read url; do curl -s "$url" | grep -o 'http.*>"' & done < link.txt >> result.txt
Используя bash? Прибавил ли это скорости?
прибавит*
Да, прибавит. Символ & значит "запусти в бэкграунде".
Пук. Пукккккккк
Запустил эту штуку - чуть не сгорело все
Комп подавился 20к ссылками
Но результат есть, где-то за минуту 20к готовых ссылок!
Огромное спасибо:)
Питон+асинк+бьютифул суп+хурл. Многопоточность искоропки, асинхронное выполнение, парсилка, хур все многопоточно асинхронно качает - красота.