Анон, у меня такая проблема. Есть сайт https://www.zaubacorp.com/company-listИ 1.6 кк компаний на нем. Мне нужно спиздить инфу о них. Как пиздить немного - я заю, а как спиздить все и быстро? ПояснюЯ пишу парсер на c#, у меня в наличии 1000 прокси. Пробовал пилить 50 потков каждый на отдельном прокси, загружают данные через хттпреквест. По скорости - тотальная хуйня. Скорость не сильно отличается по факту от парсинга в 1 поток. Почему так? что является боттлнеком в данной системе? Что покурить чтобы сделать 500 или 1000 потоков для парса сразу тонны страниц за 1 шаг ? Может есть какие-то готовые решеня? Либы? Я в отчаянии, дедлайн через 2 дня )
