>>78970 (OP)
Хороший тред. Я, например, использую https://magic.import.io/

У только у меня возникают проблемы с обработкой данных.

>>78974
У меня такой алгоритм.

Если задача простая:
https://magic.import.io/

Если средняя:
ContentDownloader

Если сложная:
http://simplehtmldom.sourceforge.net/

Лол блять. Это все на js делается. Веб-мастера млин)))

>>78977
Но лучше на питоне.

Че, даже 2975 рублей нет? По сравнению с остальным софтом это не сильно заоблачные цены. Но да, это у них просто лицензирование пидорское такое. С толпой плагинов по 15 баксов.

ContentDownloader, если не получается - zennoposter.
Кто юзает и Кд и датакол - какие у датакола профиты? Стоил покупать или там перекрывается функционал на 99%?

>https://magic.import.io/

Прикольно, никогда не слышал.

>>79002
Я короче ниче из этого не юзаю, но под НГ собираюсь закупиться по полной программе. 10к на ZP, CD, DC - вполне посильные деньги.

Правда я хуй знает насколько оно надо мне. Есть мнение что для регулярного ПАРСИТЬ НАДО ПАРСЕРАМИ 10М запросов придется ебаться с программированием и серверными решениями с нуля.

>мэджик импорт

поебота какая-то, не вкурил.

>>79007
>мэджик импорт поебота какая-то, не вкурил.
А ты кури в затяг, упорыш.
https://magic.import.io/?site=http://2ch.hk/web/res/78970.html

кстати двач веб мастера
кто в курсе как ускорить скорость парсинга
и что на это влияет?
можете покидать годной инфы

Парсинг 2ГИС. Есть демка. http://gisdb.ml

Кто-нибудь использует PhantomJS или подобное?

>>79023
хз
я парсил через датакол
потребовалось по 1 часу на 300 урлов
что бы собрать инфу о наименовании, тел, линк

<bump>

бамп

а кто-то парсил зун.ру?

B U M P

>>79113
>>потребовалось по 1 часу на 300 урлов

Пиздос. Датаколу до CD, как до Китая раком. Там до сих пор через xpath нужно пердолиться в датаколе?

Пользуюсь парсером на Битриксе, хуячит до 10 000 элементов в час (если структура простая). За год нечастого парсинга наворовал около 3 миллионов немецких фирм (ток не знаю, зачем лол).

Поделитесь идеями для парсинга, братишки. А то сервер простаивает

Аноны, а вам вот это зачем? Я программер, по работе часто пишу парсеры, хотел бы понять, можно ли это делать на заказ.

>>79637
> Аноны, а вам вот это зачем? Я программер, по работе часто пишу парсеры

Ты не нужен, у нас уже все есть. Заказывают только нубы. Ну и стартаперы берут в штат ещё на всякие агрегаторы.

>>79637
>>79642

почему нет то?
я уже заебался парсить в 500 шагов, когда какой-либо программер может это соединить все в одну кнопку и программу...

>>79608
да, xpath причем он его и хуево считывает
поясни за КД твой
в чем плюсы, простота использования? платность проги/плагинов?

>>79655
Это как сравнивать обычный бейсик и javascript. CD насколько далеко ужел в развитии, что так и не опишешь в двух словах. Полазай по сайту, там куча видео.

Пользуюсь CD с 2011 года. Эксперт, можно сказать. Куплено 2 unlim лицензии и 10 базовых.

>>79661
Мне в CD катастрофически не хватает полей для парсинга . Не понимаю нахуя их вообще ограничивать. Поэтому иногда приходилось парсить все зеннопостером и ебаться с десятками регулярок.

Впрочем, это пожалуй единственный недостаток КД, да и то проявляющийся только в специфических случаях, когда надо парсить более 20 полей.

>>79662
сажа приклеилась

>>79662
>Мне в CD катастрофически не хватает полей для парсинга .

Это редкость. Ты либо не выносишь, все, что можно вынести в повторяющиеся границы.

Либо тупо можно, раз такое дело, через getmorecontent с той же страницы выдергивать.

>>79674
Это редкость, но несколько раз упирался в именно в это.
>через getmorecontent с той же страницы выдергивать
Это как?

>>79677
<GETMORECONTENT><URL="[SELF]"><START=""><STARTCOUNT="0"><END=""><ENDCOUNT="0"><PARAMS=""></GETMORECONTENT>

Задай начало и конец.
И инструкцию почитай.

есть туторы по КД?

>>79740
Ты совсем еблан? Никак не найдешь официальный сайт с туторами и видео?

>>79745
Я думаю автор имел в виду чет тип складчин каких-нить