Погромисты всех мастей!Ребзя, объясните. Меня интересует создание ботов/скриптов (не уверен к чему это отнести). Вообщем штук, которые бы делали следующие задачи:1) Сканеры. Шерстят весь инет на поиск необходимой инфы, сравнивают найденные результаты и предоставляют все это своему создателю. По типу сканеров авиабилетов, или номеров отелей.2) Боты для накрутки чего-либо. Пару лет назад видел в ВК коммент, на который его автор накрутил дохуя лайков. До сих пор интересует как это работает.Но, конечно же, я чмоха, которая о программировании только слышала. Поэтому спрашиваю у вас: На каких ЯП пишут интересующие меня штуки? Какие знания нужны для такой разработки? Как вообще это работает вкратце? Т.е. например возьмем сканер авиабилетов. Это программа, алгоритм работы которой повторяет действия человека только за считанные секунды?
бамп
Бамп
Нужен линукс. Гугли "bash-скрипты".Или другой путь, можно на PHP написать.
Бамп последний
>>174316813 (OP)Слишком общее ТЗ.Для взаимодействия с сайтами тебе всяко потребуется JS, но ты можешь выбрать любой другой язык и через какой-нибудь библиотечный костыль пулять JSON'ом в целевые сайты. Если тебе похуй на язык, изучай вэбкит или JS-скрипткиддинг. Руководств для таких энтузиастов как говна.
>>174316813 (OP)>СканерыГугли web spider или ткак-то так. Короче на питоне, бля, хули я тут распинаюсь, а ну пошёл нахуй ! пидр
>>174317004Т.е. из под шиндовс такие вещи не пишут?Получается это в основном работа с серверами сайтов?
На любыхРегулярные выраженияСкачивает HTML и парсит его
>>174316813 (OP)Тебе нужно что-то типа джава. На нем майнкрафт работает значит и для твоих нужд должен подойти.
Гугли nightmare.js
>>174317091>парсит html>регекспамиТо ли олдфажная шутейка, то ли хуй знает. Сложно.
>>174317157Сайты в 2018 все на реакте и жсоне? А в жсоне что? Один хуй задача отправить запрос, получить ответ и распарсить его.
Че, пацаны, яваскрипт?
>>174317157А как сейчас модно? Куча композиций над элементарными функциями?
>>174316813 (OP)1.) Номера отелей не сканируются по всему интернету, а передаются из каждого отеля в единую базу по API (загугли что это), потом в этой базе через скажем booking com ты ищешь нужный номер по заданным параметрам.2.) Лайки накручиваются не ботами, а через специальные сервисы за деньги.
>>174316813 (OP)>Вообщем
>>174317088если логически подумать, то так оно и есть
>>174317225>>174317255>Вы не можете разобрать HTML-код [X] с регулярным выражением. Поскольку HTML не может быть проанализирован с помощью регулярных выражений. Regex не является инструментом, который можно использовать для правильного анализа HTML.Как бы HTML не парсится регулярками. В принципе.
>>174317275Я верно понимаю, что фреймворки - это интерфейс для написания кода? И типо эти саммые фреймворки запускаются и на шиндовс? Или я че-то путаю?
>>174317364Зачем нельзя?
>>174317421да
>>174317364Проиграл
SICPICP
>>174317427Потому что криво работает, вернее гарантированно криво отработает, там вложенность, а тут нет вложенность, всё, пиздец. Это целый мем с переполни_стэк парсинг хтмл регекспами, вот и подумал. Но нет.
>>174317421>фреймворкиНабор готовых функций, так бы тебе их пришлось писать самому. А может это библиотека. Кто знает.
>>174317501>елый мем с переполни_стэк https://stackoverflow.com/questions/1732348/regex-match-open-tags-except-xhtml-self-contained-tags/1732454#1732454
>>174317501Что ты предлагаешь? Парсить нейросетью через абстрактную DOM ферму над абстракной DOM фабрике посредством абстракного DOM запроса который выдает нейросеть по запросу пользователя НАЙДИ МНЕ ПРИКОЛЬНЫЕ НОМИРА В ГОСТИНКАХ ГЫГЫ?
>>174316813 (OP)>ВообщемВ общем, пидоран тупой.>1) СканерыПарсеры блядь.>2) Боты для накрутки чего-либоГугл открой
>>174317658Ты что дебил?
>>174317263>передаются из каждого отеля в единую базуТ.е. владельцы отелей сливают всю инфу о наличии номеров и их стоимости в одну общую кучу со всеми и именно с этой кучей работает сканер, а не с отдельными сервисами/сайтами отелей?2) Ну хз, сомневаюсь что он тогда через сервис нарутил, тем более за бабло.
>>174317738Нет ты. Хуйню сказал и рад, траль ебаный
>>174317767Парсер использовать, например BeautifulSoup, религия не позволяет? Какие нахуй абстрактные дома нейросетевые, ты чо дурак блядьhttps://www.youtube.com/watch?v=_VxQrbNPxO4
>>174317764не совсем так, но в целом ты прав
>>174317693Ты классный
You can't parse [X]HTML with regex. Because HTML can't be parsed by regex. Regex is not a tool that can be used to correctly parse HTML. As I have answered in HTML-and-regex questions here so many times before, the use of regex will not allow you to consume HTML. Regular expressions are a tool that is insufficiently sophisticated to understand the constructs employed by HTML. HTML is not a regular language and hence cannot be parsed by regular expressions. Regex queries are not equipped to break down HTML into its meaningful parts. so many times but it is not getting to me. Even enhanced irregular regular expressions as used by Perl are not up to the task of parsing HTML. You will never make me crack. HTML is a language of sufficient complexity that it cannot be parsed by regular expressions. Even Jon Skeet cannot parse HTML using regular expressions. Every time you attempt to parse HTML with regular expressions, the unholy child weeps the blood of virgins, and Russian hackers pwn your webapp. Parsing HTML with regex summons tainted souls into the realm of the living. HTML and regex go together like love, marriage, and ritual infanticide. The <center> cannot hold it is too late. The force of regex and HTML together in the same conceptual space will destroy your mind like so much watery putty. If you parse HTML with regex you are giving in to Them and their blasphemous ways which doom us all to inhuman toil for the One whose Name cannot be expressed in the Basic Multilingual Plane, he comes. HTML-plus-regexp will liquify the nerves of the sentient whilst you observe, your psyche withering in the onslaught of horror. Regex-based HTML parsers are the cancer that is killing StackOverflow it is too late it is too late we cannot be saved the trangession of a child ensures regex will consume all living tissue (except for HTML which it cannot, as previously prophesied) dear lord help us how can anyone survive this scourge using regex to parse HTML has doomed humanity to an eternity of dread torture and security holes using regex as a tool to process HTML establishes a breach between this world and the dread realm of corrupt entities (like SGML entities, but more corrupt) a mere glimpse of the world of regex parsers for HTML will instantly transport a programmer's consciousness into a world of ceaseless screaming, he comes, the pestilent slithy regex-infection will devour your HTML parser, application and existence for all time like Visual Basic only worse he comes he comes do not fight he comes, his unholy radiance destro҉ying all enlightenment, HTML tags leaking from your eyes like liquid pain, the song of regular expression parsing will extinguish the voices of mortal man from the sphere I can see it can you see it it is beautiful the final snuffing of the lies of Man ALL IS LOST ALL IS LOST the pony he comes he comes he comes the ichor permeates all MY FACE MY FACE ᵒh god no NO NOOOO NΘ stop the an*gles are not real ZALGΌ IS҉ TOƝȳ THE PONY HE COMES
>>174317847А ты тупой и толстый.
>>174317823>BeautifulSoup>языкозависимая хуетаАутист не знает про nokogiri (который парсит волшебными радугами конечно же!)
>>174317873Вы не можете анализировать [X] HTML с регулярным выражением. Поскольку HTML не может быть проанализирован с помощью регулярных выражений. Regex не является инструментом, который можно использовать для правильного анализа HTML. Поскольку я уже много раз отвечал в вопросах HTML-и-regex, использование регулярных выражений не позволит вам потреблять HTML. Регулярные выражения - это инструмент, который недостаточно совершенен для понимания конструкций, используемых HTML. HTML не является регулярным языком и, следовательно, не может быть проанализирован регулярными выражениями. Запросы Regex не имеют возможности разбивать HTML на его значимые части. так много раз, но это не доходит до меня. Даже расширенные нерегулярные регулярные выражения, используемые Perl, не справляются с задачей анализа HTML. Вы никогда не заставите меня взломать. HTML - это язык достаточной сложности, который не может быть проанализирован с помощью регулярных выражений. Даже Джон Скит не может анализировать HTML, используя регулярные выражения. Каждый раз, когда вы пытаетесь проанализировать HTML с регулярными выражениями, нечестивый ребенок плачет кровью девственниц, а русские хакеры выкладывают ваш webapp. Разбор HTML с регулярным выражением вызывает тайные души в царство живых. HTML и регулярное выражение идут вместе, как любовь, брак и ритуал детоубийства. <Center> не может удерживать слишком поздно. Сила регулярных выражений и HTML вместе в одном и том же концептуальном пространстве уничтожит ваш разум как много водянистую замазку. Если вы анализируете HTML с регулярным выражением, вы даете им и их богохульные способы, которые обрекают нас всех на бесчеловечные труды для Того, чье имя не может быть выражено на Основном многоязычном плане, он приходит. HTML-plus-regexp сжигает n erves разумного, пока вы наблюдаете, ваша психика увядает в натиске ужаса. Основанные на регулярном выражении HTML-парсеры - это рак, который убивает StackOverflow, слишком поздно, что слишком поздно мы не можем спасти трансляцию ребенка, гарантируя, что регулярное выражение будет потреблять всю живую ткань (за исключением HTML, который он не может, как ранее пророчествовал) дорогой лорд помогите нам, как кто-либо сможет выжить в этом бедствии, используя регулярное выражение для анализа HTML, обрек человечество на вечность страшных пыток и дыр в безопасности, используя регулярное выражение в качестве инструмента для обработки HTML, устанавливает нарушение между этим миром и областью ужаса коррумпированных объектов (например, SGML-сущности , но более коррумпированный), простое представление о мире рег-ex-парсеров для HTML будет в значительной степени переносить сознание программиста в мир непрестанного крика, он приходит, злодейская нерегулярная регулярная инфекция будет поглощать ваш HT ML парсер, приложение и существование на все времена, такие как Visual Basic, только хуже, он приходит, не приходит, не приходит он, нечестивое сияние, разрушающее все просветление, HTML-теги, просачивающиеся из ваших глаз ура, как личная боль, песня регулярного синтаксического анализа будет догонять голоса mor tal человека из sp здесь, я вижу, что вы можете видеть, что это красиво, окончательный отвращение лжи из Человека ВСЕ ПОТЕРЯЕТ ВСЕ, ЧТО Я ПОТЕРЯЛ пони, он приходит, он приходит, ich или пронизывает все МОИ ЛИЦЫ МОЙ ЛИЦО ᵒh бог нет NO NOOO O NΘ останавливает * gles are n ot real ZALGΌ IS҉ ПОТОМУ ЧЕРЕЗ НЬЮ-ОН
>>174317950Других языков программирования не существует.
>>174316813 (OP)Сканер авиабилетов/отелей это web-приложение, написанное на каком-либо фреймворке back end языка, ну например Symfony PHP. Имеет огромную базу данных куда сотрудники отелей через интерфейс отправляют данные о статусе билетов/номеров, это может проиходить автоматизированно. Пользователи сервиса по критериям составляют запрос и он отправляется к базе данных, а она им отдает доступные отели или билеты по заданным параметрам. Также база данных может поставляться неким крупным агрегатором, а интерфейс для пользователей предоставляют локальные компании. Ясно?
>>174318025У тебя касса освободилась
>>174318074Бля, точно, спасибо, что сказал.
>>174317834Хорошо, а если нужно проделать дейтвие на сайте, имитирую пользователя? Типо зайти в этот раздел, нажать это, вбить в форму это и т.д. Все это реально сделать через яваскрипт, верно?
>>174316813 (OP)Зачем мне помогать твоему мудачеству?Вы ведь не можете честно пользоваться предоставленными механизмами платформ.Лайки\дизлайки, количество просмотров - все это скомпрометировано такими как ты, эти механизмы более не работают так как должны, покуда содержат ложную информацию из-за гнилого шулерства.
>>174318137headless browser. Тебе это не по карману, нищий студент.
>>174318137да все верно, но с некоторыми отступлениями
>>174318074ХАА, ты миллиционер?
>>174318198Пиздец, это же как два пальца обоссать. Хули ты ему мозги пудришь.
>>174318163>все это скомпрометировано такими как ты, эти механизмы более не работают так как должны, Потому что делали их криворукие ебланы вроде тебя, оставляющие дырок после своей работы на целые поколения ботоклепателей/лайконакрутчиков.
>>174318330Ну обоссы хотя бы сотню тысяч запросов на своем игровом пеке, замерь время.
>>174318069Да, более менее, спасибо. Т.е. отели/авиакомпании договорились сваливать инфу в общую кучу? А зачем им это нужно? МОчему они не хранят эту инфу у себя локально чисто для своего сайта? А как частные лица (создатели сканеров) получают эту базу данных, куда все отели отправляют инфу о номерах?
>>174318437Бля, я думал ты про то, чтобы header убрать в браузере.
>>174318437А, ебать, так это вообще хуйня же, типа браузер без гуя. Ну и хули?
>>174318461всё верно
>>174316813 (OP)1) Во первых, это парсеры. Во вторых, нажимаешь F12, смотришь что делает твой браузер, при нажатии определенных клавиш и делаешь тоже самое, но через код. Чаще всего, есть даже документация API. Например, VK API.2) Берёшь и делаешь точно также как и наверху. Только тебе придется обходить капчу, регистрировать пользователей, подменять себе IP и другие технические радости, из-за которых такая несладкая жизнь.>На каких ЯПНа любых. Хоть на bash'е пиши или brainfuck'е. >Какие знания нужныКак работает HTTP протокол и как на ЯП можно обращаться к HTTP серверам. Опционально: Базы данных, мультипоточность и хедеры HTTP.>Это программа, алгоритм работы которой повторяет действия человека только за считанные секунды?Да, а потом ловишь бан по 422
>>174318563Спасибо за инфу
>>174318842Ты задавай, пока я тут унылый пишу с работы
>>174318163Ну без таких как ты и корова не посрет. Конкретно ты можешь не помогать
>>174318913Расскажи еще про языки
>>174318913Ява и яваскрипт кардинально разные вещи?
>>174318461>Т.е. отели/авиакомпании договорились сваливать инфу в общую кучу?Да, кто-то молодой шутливый создал стартап и объединил разрозненные данные в единую систему>А зачем им это нужно? Конечному потребителю гораздо удобнее получать информацию в одном месте.>Почему они не хранят эту инфу у себя локально чисто для своего сайта?Гораздо проще и выгоднее задачу по рекламе и поиску клиентов на аутсорс. Некоторые компании хранят подобную информацию и имеют возможность бронировать билеты без посредников.>А как частные лица (создатели сканеров) получают эту базу данных, куда все отели отправляют инфу о номерах?Как частные лица получают не имею понятия, я рассказывал про юридические лица. Они заключают договор, вносят оплату и получают доступ к api или какому-то либо инструменту для доступа к базе отелей/билетов.
>>174319306Да.
>>174316813 (OP)2)Ну, во-первых, тебе понадобятся аккаунты, с которых ты эти самые лайки накручивать и будешь. А по поводу программы... можно, например, на джаве написать, используя безголовый браузер, чтобы автоматизировать логин и нажатие на лайк, но, возможно, можно обойтись и без браузера и просто отправлять HTTP-запросы.
тест
>>174321341>>174321828Блахадарю, ребята
