Анон, нужна твоя помощьКак "БЫСТРО" скачать около 200к файлов с сайта без лагов, юзая список ссылок? Файлы размером по ~50кбКачаю через downloader master, он захлебывается даже со списком из 10к ссылок, ЧЯНТ?PS Пытался через gnu wget, orbit downloader, free download manager -- везде лост конекшнс, подмена user agent не помогаетPPS Бампаю много раз и ухожу
>>192457205 (OP)Возможно сайт думает что ты его ддосишь или срабатывает лимит на количество подключений, тогда смена качальщиков тебе не поможет.
Паузу надо ставить между скачиваниями. И сделать потоков немного, 2-3. Тебя блочат за то, что ты слишком назойливый. Можно ещё подключать проксики, качать через них. В идеале штук 10 прокси и качать в 10 потоков, по 1 на прокси. И всё равно паузы делать. Я бы делал паузу в 1 секунду между скачиваниями. В 10 потоков 200к файлов скачаются таким образом... часов за 5.
>>192457205 (OP)wget с задержкой и незагрузкой сохраненных файлов, ну и повторять пока все не скачается.https://stackoverflow.com/questions/4944295/skip-download-if-files-exist-in-wgethttps://stackoverflow.com/questions/32322456/skip-successfully-downloaded-files-using-wgethttps://stackoverflow.com/questions/35771287/delays-between-requests-in-wget
>>192457688писал же в посте, что не пашет, даже 1 файл не скачивается с того сайта с помощью wget, тупо лост конекшнс>>192457784не, видимо ты не понял, все скачиватся в 50 потоков без проблем, вот только с одного даунлоадер мастера, с остальных не качает>>192457868не пашет wget, возможно проблема в юзер агенте, сайт блочит его
>>192458030ну поменяй юзерагент https://stackoverflow.com/questions/17182553/sites-not-accepting-wget-user-agent-header
>>192457205 (OP)Спустя 10 тоже пришлось обратиться к дм, надо было скачать чуть больше тысячи файлов. Справился заебись, но с твоим объемом не сравнится. Качай по частям.
>>192458180поменял, все равно не работает:(юзаю вот это: wget --user-agent="Mozilla/5.0 (X11; Fedora; Linux x86_64; rv:40.0) Gecko/20100101 Firefox/40.0" -i C:\Users\*\Desktop\dow_it.txt -P documents/websites/
>>192458281Скорее всего там скачка запрещена в роботс.тхт, в вгет это учитывает. Найди как сказать вгету чтобы он игнорил эти правила.
>>192458281Можешь ещё curl попробовать, правда там вроде как нельзя задать просто список файлов. Надо будет через цикл скачивать каждый файл или типа того.Вот из какого-то скрипта скачивал фотки из вк https://pastebin.com/raw/wvzYeuui и юзал тор
200 руб и я тебе напишу прогу на джаве. Если в вкратце: будем использовать акка стримы, в качестве источника данных укажем твои ссылки, флоу и синк будут записывать твои файлы. Во флоу можно указать сколько параллельно скачивать файлов. А еще лучше прицепить прокси и качать по 50 или еще больше файлов за раз.
>>192458329Ну тогда и правда по частям можно. Я ситуации не знаю, но не думаю, что это сложно. Сидишь на двоще/смотришь фильм, он одну партию скачал, ты вторую подкинул и так далее
>>192458840ну можешь попробовать https://stackoverflow.com/questions/28757232/unable-to-establish-ssl-connection-upon-wget-on-ubuntu-14-04-lts
>>192457205 (OP)>wgetThis юзаю wget в адовых скриптах, ещё ни разу такого не было, чтобы dmaster что то мог скачать, чего не может wget.Скорее всего фейл происходит из-за заголовка Referrer, который wget по дефоолту не генерирует в запросе, а DM таки да, по умолчанию делает его равным домену, откуда идёт скачка.
>>192460683По ссылке на stackoverflow пишут, что надо явно указывать какой TLS делать, сервер, видимо ещё к тому же, кривой.
>>192462992не помогаетограничение на 3 шт работает также, как и 50 штвозможно виснуть начинает из-за количества добавленных в очередь, либо при подсчете истории
Вроде работает. http://rgho.st/8r2ddyFQyИспользование1. Распаковать2. В файле inp.txt должны быть ссылки на нужные тебе файлы. Образец я скинул. 3. В процессе работы генерирует лог4. Просто запуск даблкликом. Не забудь п.25. В конце работы ждёт чтобы ты ввёл энтер. 6. Если будет нехватать библиотек - скажи итт. 7. Не вишмастер
>>192466664Не хочешь не верь. В виртуалке проверь>>192466778Ну ргхост тащемта даже яндекс уже забанил в выдаче.
>>192457205 (OP)> Как "БЫСТРО" скачать около 200к файлов с сайта без лагов, юзая список ссылок?ARIA2CRIA2C
>>192467416exe не открываетсяскачивал от сюда https://github.com/aria2/aria2/releases/tag/release-1.34.0
>>192467584Я достаю из широких штаниндубликатом бесценного груза.Читайте, завидуйте, я - гражданин программистСоветского Союза.
Если download master захлёбывается ограничивай количество одновременных загрузок. Но только смотри, когда их много, в итоге он может глюкануть на середине процесса или ещё где.Не раз такое бывало.Так что твои действия такие:1. Ставишь старый https://ftp.mozilla.org/pub/firefox/releases/52.9.0esr/win64/ru/2 На него дополнение DownThemAll3 Настраиваешь ограничения, качаешь файлы. Он и от 500к. файлов не захлёбывается.Только имей ввиду Фирифокс нужен именно этот, не свежее, потому что на более свежих старые дополнения не работают, которые не допилены под новый движок.
>>192468512Мое вам почтение, уважаемый анонСкорость что надо, не тормозит и не жрет 4гб, как это делают флеш даунлоадеры
>>192457205 (OP)>Как "БЫСТРО" скачать около 200к файлов с сайта без лагов, юзая список ссылок?1. Берешь список быстрых прокси (рекомендую proxyscraper)2. Пишешь простейший скрипт на питоне, который ходит по ссылкам и качает (рекомендую urllib для скачивания)
