Общий сап
учусь в унике, где особо много ничего не выцепил. Неинтересно учиться в университете.
Напросился на стажировку бесплатную, даои задание. Двач выручай.
Как посоветуешь решить? Я уверен что есть готовые алгоритмы, которые пормогут решить ее. Назовите их. Почитаю, вникну в тему
В общем, ищю ценные наводящие слова, чтобы начинать изучать вопрос и решать задачу.
Решить задачу красиво, не как быдло методом тыка
Решение представить нужно на плюсах Может по ним тоже посоветуете как что реализовать.
Шли их нахуй с такими приколами и вкатывайся в шарп.
А вообще тут самое на мой взгляд сложное сделать построчное считывание файла.
а логику всего этого?
понимаешь, мне кажется чтио мое решение будет каким-то примитивным аля узбек из деревни что приехал в Россию
ну вот, настолько примитивным, как у узбека который даже в склонение по роду не умеет
>А вообще тут самое на мой взгляд сложное сделать построчное считывание файла
getline(file, s)
Ахуеть как сложно, да?
Логику чего? Ебашиш класс и все делаешь в нем.
>>245315909
>Ахуеть как сложно, да?
Разве там он предварительно не будет весь файл в память грузить, а потом оттуда линию вытаскивать?
просто же? в самом задании написано что нужно делать
Двачую. Какие-то охуевшие мудаки дают задачу, с которой будешь неделю ебаться, пока оно заработает правильно. В качестве тестового, ага, а потом дадут зарплату баксов 500 и будут ездить по ушам "как же тебе повезло работать у нас". Пошли они нахуй.
На собеседовании не только работодатель проверяет тебя, но и ты работодателя. Учись сразу фильтровать долбоебов.
Задача уровня егэ по информатике
Какое то изичевое задание. Я не вижу подьебов.
1. Делаем тип - пара адресов, который имеет тупо 2 поля и позволяет сравнивать их в рандомном порядке.
2. Вытаскиваем хидер пакета, делаем из него пару адресов.
3. Закидываем в лист уникального говна (я забыл как он в STL называется - я инвалид эмбеддер).
4. Так делаем со всем файлом.
5. Берем длинну листа уникального говна.
Где я проебался?
какую нахуй неделю, тут за 2 - 3 часа делается
Нет не будет. Там либо некий дефолтный буфер, либо тот, что ты установил.
Читать можно размерами типов.
Предварительно объявляешь структуру как описано у тебя в ТЗ.
1. Читаешь структуру из файла.
2. Скипаешь пейлоад.
3...
4. Профит.
>Закидываем в лист уникального говна
OutOfMemoryException
А вот и зелетуха из /pr у которой IDE с нуля за месяц пишется.
а ну, кинь номер заданий под которым такие задачи постят
>>245316066
ну сортировки
выборки
Вообщем всего что можно заюзать. Я вообще ноль вот. Я трогал только язык программирования под свои маленькие идейки и хотелки. Там вот вообще не было сортировки и выборки элементов
>Я не вижу подьебов.
А если подумать?
Я бы не стал с этим ебаться, пока в ТЗ явно не сказали, что весь файл может из уникальных адресов состоять.
Если не секрет - сколько они тебе ЗП обещают?
Мэн дай контакты, временами заявляться с нубским вопросом
У нике карантин я хер до препода классного дойду
Не помню, я в 2009м сдавал. Там в части C были похожие
За бесплатно не думается. Лучше покажи где проеб.
Не дам. Хуйни насоветую. Есть конфа С++ в телеге. @it_chats
>Я бы не стал с этим ебаться, пока в ТЗ явно не сказали
А работать ты также собираешься?
Мы вам перезвоним.
>1. Делаем тип - пара адресов, который имеет тупо 2 поля и позволяет сравнивать их в рандомном порядке.
>2. Вытаскиваем хидер пакета, делаем из него пару адресов.
>3. Закидываем в лист уникального говна (я забыл как он в STL называется - я инвалид эмбеддер).
>4. Так делаем со всем файлом.
>5. Берем длинну листа уникального говна.
Нафиг так сложно? В задании говорится об элементарном парсере.
>я инвалид эмбеддер
НУ да, сейчас каждый, кто пишет прошивки для стм32 считает себя "эмбедерром" лол.
А это уже от размера ЗП зависит.
> 100 гб фаил
ахахаха, пидараха тупая. ФАЙЛЫ БОЛЬШЕ РАЗМЕРА ОПЕРАТИВКИ! ТЕБЕ ПИЗДА! АХАХАХА! ТОЛЬКО ВРАППЕР К ВИРТУАЛЬНОЙ ПАМЯТИ МАП ВЬЮ ОФ ФАИЛ ПИСАТЬ ЧАСА 4! АХАХА БЛЯДЬ! А ТЫ УТОЧНИЛ КАКАЯ ОС? НА ЛИНУКСЕ ЖЕ ММАП! И ПРОСТОЙ ФСТРИМ НЕ ПОКАТИТ! ЛИБО АПИ ВИНДЫ ЛИБО АПИ ЛИНУКСА!
>>245316188
ВЫ БЛЯТЬ ЕБЕТЕСЬ в глаза??????
>Напросился на стажировку бесплатную, дали задание
Я кайфую учиться практически НО не без базовой теории. И учась практически психологически проще, ты видишь как твои знания воплощаются в мелкие элементы которые работают и может быть даже используются
Файлы 100гб. Уже тут.
Задача на душное байтоебство. Небось, вакансия на ждуниор ембедед разработчика? Вкатывайся лучше в джаву, там платят больше и мозги не ебут хуйней.
>getline
В задании сказано, что блоки располагаются последовательно, никаких строк там нет. Если только 0 рандомно не встретится в данных.>>245316066
>Ебашиш класс
кек
Да пусть перезванивают.
>А работать ты также собираешься?
Ясен пень. Я не буду кучу ебанутых пограничных кейзов обрабатывать, пока такое не будет в ТЗ.
Таким образом можно годы писать говно и оно один хуй где-нибудь свалиться.
>>245316867
Че, написал прошивку под СТМ8 и дохуя гордый?
Самое забавное, что под СТМ по работе ни разу не пришлось писать. Каждый раз когда спрашивают, а че СТМ хотяб знаешь приходиться кхекать и мнямкать.
> И ПРОСТОЙ ФСТРИМ НЕ ПОКАТИТ
Почему?
Для решения задачи достаточно одного прохода, знаем тебе мапить файл? Тебе нужен произвольный доступ к данным? Нет.
> годы писать
Ты не умеешь в лаин кавередж и бранч кавередж? Ебать чмо.
мимо 5кк LOC C++ Lead
>Решить задачу красиво, не как быдло методом тыка
Ты че ебнутый?
Нахуя?
Въебываешь все в структуру или класс и вообще похуй. Ты кого там удивлять то собрался, девочка? Вы порнухой полной занимаетесь, в реальной жизни никто ебаться даже не будет, можете поверить мне. Ты че ардуину что ли ебешь, что так за ресурсы переживаешь? Бред какой-то.
>>245316506
Ага, по тз делается за 2 часа, по перерасчету ну часов 6, в реальности бы за часов 8 успеть, чтобы потом еще дня 3-4 отлаживать на похуй. Знаем, проходили.
Сорян, не работаю на дядь мань. Разгребай там с ТИМОЙ парашу которую я насру стартапам и не вякай.
>Я не буду кучу ебанутых пограничных кейзов обрабатывать, пока такое не будет в ТЗ.
>Таким образом можно годы писать говно и оно один хуй где-нибудь свалиться.
Ты наверное 15 лет как миддлом работаешь?
Не я 3 года фейк-сеньйором работаю. Кроме шуток.
А ты у нас фронтенд девелопер?
fstream на 32 бит ограничен 4гб. На 64 бит 100500Пб. Тоесть не катит. Мапятся куски по 4Kб, а не весь фаил. Зависит от организации виртуальной памяти. Возвращается указатель и чекается каждый ++ по указателю. И если вышел из страницы виртуальной памяти, то брасается исключение и грузятся следующие 4Kб.
Нет, я "инфраструктурщик" это типа бэкэнда, но я кажется превращаюсь в ф
Первая глава кормена /тред
Мимо гуманитарий с 9ю классами
Уллстек
>fstream на 32 бит ограничен 4гб
Сейчас не 2007, чтобы на 32 бита ориентироваться.
Я знаю как мапяться файловые проекции, это не влияет на тот факт, что достаточно тупо прочитать файл стандартными средствами.
>Че, написал прошивку под СТМ8 и дохуя гордый?
Когда то давно писал прошивки, но не только под стм8, а и под несколько других семейств микриков.
>Самое забавное, что под СТМ по работе ни разу не пришлось писать. Каждый раз когда спрашивают, а че СТМ хотяб знаешь приходиться кхекать и мнямкать.
Мань, эмбед это линукс, микропроцессоры, плиски, нейросети и маш.об. А если ты считаешь написание говнокода для микриков в какой-то шаражке "эмбедом", то у меня для тебя плохие новости.
>мапяться
Блять, не знаю откуда там взялся Ь
>>245316998
>>245316922
Оп на связи. Вот вид файла в notepad++
обнадежьте что достаточно будет построчного чтения без влазивания в то что написал этот >>245316893
>>245317170
Хотел донести, что я как 10 классник, который потрогал плюсы ардуино, починил несколько видюх обнаружив пробитый кондей
Вот знаний ноль вообще
Пришел сюда чтобы тыкнули на что почитать конкретно по решению задачи. Общее теоритическое поле знаний тоже буду качать постепенно
Это можно было бы и уточнить. Или сделать за 2 часа "как есть". И спросить детали.
Жирно.
Иди попердоль за борщ чего.
Большая часть задач - моргание каким говном. В сложном случае - НАДЕЖНОЕ моргание говном.
Нейросети лол. Пиздец. Такие вы ебанутые.
>эмбед
>нейросети и маш.об
У зумеров уже питон стал ембедом
Твоя задача прочитать заголовок пакета чтобы найти его размер, прочитать пакет, (тут нужно проверить ключевые байты, но не понятно что делать, если они невалидны), вытащить 2 адреса, отсортировать их, положить в мапу из пар адресов и счётчика (или увеличить счётчик, если такая пара есть), сдвинуть голову файла на начало следующего пакета. Повторять так пока не дойдешь до конца файла. В конце распечатать размер мапы.
Мимо c++ джун за 50к в месяц.
>достаточно будет построчного чтения
Где ты в задании строки увидел, болезный?
Нет, там действительно есть сложные случаи и сорта алгоритмов, которые в широком смысле можно назвать нейросетями.
Но это настолько редкая хуета и столь зачастуя малая по объему от проекта, что можно не брать во внимание.
В фронтенде ты быстрее его найдешь.
мэн
дай контакты тебя подолбить вопросами
совсемь чуть чуть
>Это можно было бы и уточнить
Ящитаю, надо уточнять, если видишь риск. Но в данном случае я вижу больший риск в том, что даже дикшнари пар адресов не влезет в оперативку. Хотя вряд ли авторы задачи сами предлагают такой случай, но если предполагают, непременно засчитают как минус.
Так чел, в этом и прикол, что ебаться не нужно даже с изучениями тем.
Берешь и делаешь. Проблемы которые могут встретиться попутно решаешь. Все.
Ты же учишься, нахуя тебе здесь такие советы, тебе же не до конца жизни подсказывать будут.
мимо >>245317170
Я бы тебя уволил нахуй за такое решение.
Долби тут, чел.
Блин, а я хотел всех забайтить типа я не знаю что движки нейросетей под капотом на плюсах или даже на сях пишут. Типа я такой лох, что думаю что матрицы видеокартами умножаются чисто силами питона
почему?
мимо ОП балбес ака будущий джун
На тебя бы никто не работал, бгг.
Но ты просто горбатая гора, вечно бубнящая за своем липком пука в углу офиса.
трэд так долго не проживет
дай тг
или мне напиши @cpp_balbes
Что не так? Не сильно шарю в вашем байтоебстве, но сам бы так решил.
мимокрок
А то есть за нихуя получается. Пусть нахуй пройдут с такими требованиями.
Ты бы на лекции проснулся, обосравшись.
я так понял нужно вот это использовать ? - https://codelessons.ru/cplusplus/map-v-c-chto-eto-i-kak-s-etim-rabotat.html
И что-то попутное к нему, пишите тут про дикшинари адресов. Это что-то что выходит повествования статьи и #include <map> ?
Так выходит сразу на диск сохранять надо эти пары? В какую-нибудь БД. Или чего..
На тебя бы никто не работал, лол. Ты думаешь что к тебе за 35к (а больше ты платить не станешь) придут сеньоры-помидоры с красивым кодом?
ну это мне кстати когда-то в универе рассказали про порядок байтов
Лучше хэшмап использовать https://en.cppreference.com/w/cpp/container/unordered_map
Вот сам задумался. Сначала про sqlite, а потом, что вообще-то базы предпочитают, чтобы индексы помещались в память целиком. Так что надо ещё их документацию про такое требование почитать.
У меня нет телеги. Тред проживет достаточно времени, которого мне не жалко.
Это строки в данных пакета, тебе не надо их ситывать. Симолов окончания строки (\n, \r) между пакетами нет.
>ситывать
считывать
Ты точно хочешь ебать себе мозг каждый день?
Ну не каждый же день такие задачи будут наверное
Единственный косяк, который я у себя сам щас вижу - не нужно читать весь пакет, тут достаточно прочитать 40 байт, чтобы понять структуру всего пакета.
но есть перед содержанием блока и после обявления его длины
а в одном блоке один пакет
>Windows использует пару символов для завершения строки: возврат каретки (0x0d), за которым следует перевод строки (0x0a).
Вы можете записать их в C как '\r' и '\n' соответственно.
Хэш считать от двух IP адресов и по бакетам шариться?
https://en.cppreference.com/w/cpp/container/map
Обычная мапа лучше подходит.
>>245318887
У тебя в worst case, будут данные размером в 20+гб =)
Там аноны мне не просто так про АутМемори сказали.
ОПа порядком так подъебали для стажерской задачи лол.
ИМХО делай в лоб, не задумываясь о том, что кончиться ОЗУ на адреса, т.к. иным путем там попадаешь на ультраеблю нехилого уровня.
Но можешь заметку про это написать.
Я хз, как подобное КРАСИВО разрешить, ну действительно, не БД же поднимать.
Это был сарказм, если что. Нихуя не понимаю вас. Когда пытался в петухон вкатиться, не мог держать концентрации внимания более 5 минут на этом говне.
>не нужно читать весь пакет, тут достаточно прочитать 40 байт
Но ведь читать последовательно может быть быстрее, чем сикать
метка ОП отклеилась
Эта задача - тривиальна. Действительно, не каджый день тривиальные задачи попадаются. Чаще адское мозгоебство.
Это двоичный файл, там строк нет. Тебе нужно сделать структуру, в которую помещается нужная инфа, потом в неё из файла читаешь, и идешь дальше. Главная задача составить эту структуру.
>АутМемори сказали
Это я и сказал, подумавший про sqlite
А вот заметку и в самом деле написать надо, в которой указать, при каких условиях твоя программа работает корректно.
Каждый раз по дереву поиска шариться и сравнивать значения каждого ключа? Ну-ну.
Вряд ли. Операционная система не тупая и разложит все куски файла по кешам когда надо.
>Эта задача - тривиальна
Всякая задача по своему тривиальна. Жизнь вообще тривиальная штука. Просто только копии родятся.
А за это точно платят больше чем за круды?
Лучше чем считать зачем-то хэш (от двух лонгов), потом линейно бегать по бакету.
Притворись сишником и запили конечный автомат с состояниями.
Есть программисты проблем-сольверы, они работают на результат, пользуясь широким арсеналом высокоуровненвых средств. В плюсах ты будешь пердолинг-мастером с узкой спецухой на ебаной галере.
Блять, тебе же сказали, строк нет в твоем файле, забудь про них. Нахуя ты мне пасту про завершение строк в винде пихаешь?
Извини, анончик, за мат, но ведь иногда же надо слушать людей, особенно когда ты только вкатываешься?
>Операционная система не тупая и
Но нужно проверить
Если нормальную хэш функцию подберешь, то и бешать не особо часто будет. В любом случае, не вижу смысла спорить. Нравится тебе std::map - ради бога.
Притворись Тьюрингом и напиши программу для его машины
20 Гигов - хуйня (на деле будет меньше, кста), Виртуальная память пару раз файл подкачки почешет. Да можно замедло хватануть, но чтобы bad_alloc схватить этого не хватит.
Сначала надо сделать, а не преждевременно оптимизировать.
А можно програмно распилить файл и сравнить его куски отдельно?
Главное к своей ЕОТ ночью в квартиру через окно потом не лезь.
Можно.
>Есть программисты проблем-сольверы
Так я и есть, иначе откуда бы мне знать про sqlite и требование что индексы должны влезать в память.
Только меня так заебало это всё. Я хотел бы быть шаманом королём байтоёбом, но решил что не вывезу и пошёл по с#.
так писал потому что не осозна что файл двоичный, как написал один анон выше
открыл его в hex editore и увидел отсутсвие строк
>Виртуальная память пару раз файл подкачки почешет.
Ой, а почему swap отключен?
Какой-такой контейнер? В смысле не виртуалка?
это типо Go и Java C# ?
>Сначала надо сделать, а не преждевременно оптимизировать
Вот поэтому и нехуй сикать, читай всё и не выёбывайся, Аллах своих разберёт.
Ну давай еще на Z80 ебанем решение?
И чем не красивое решение?
IOException Access denied
А давай! Чур ты первым ходишь
ТЗ придёт - обязательно бахнем.
Хорошая мысль. Спасиб анон, я и забыл с своим пердолингом, что бывает СВОП.
>>245320066
Это конкретно вот эту проблему не решает никак. Если у тебя будет 100гб уникальных разговоров с 0 байт пейлоада, то ты хоть по байтам их разбей. У тебя будет ебическое число данных в которых тебе придется копаться.
Блять, да оно все равно сикать пойдет тебе на лицо, бгг. Нахуя читать 65 536 байт, когда можно 40?
На самом деле, что бы ты там не крутил, винда так и так эти 64 кБайт прочтет, хоть 1 байт читай.
>ТЗ придёт
Тз ждать - в джунах до седых мудей ходить. Так мне внучка соседки сказала, когда соску уронила.
анонче
а пишут вот про мап, не пойдет?
и один джун написал про
>сдвинуть голову файла на начало следующего
это типо можно читать файл с какого-то места не загружая его всего в память?
Оп, в твоем задании нет никаких совершенно подводных камней, оно рассчитано на то, знаешь ли ты синтаксис, умеешь ли ты внимательно читать, и хватит ли у тебя усидчивости на час работы.
Никаких алгоритмов для этого знать не надо, как написано - так и делай. В цикле проверяешь заголовоки блока, если заголовок норм - проверяешь заголовок пакета, если он тоже норм - то записываешь в словарь откуда и куда идет пакет и отступаешь нужное количество байт для того, чтобы на следующей итерации цикла проверить следующий блок.
С другой стороны, хуй знает насколько этично с их стороны вообще давать бесплатную "стажировку", и насколько этично с твоей стороны клянчить решение в б.
>винда так и так эти 64 кБайт прочтет, хоть 1 байт читай.
Вот именно
8 байт из 19 заголовочных - это 42%, то есть при нулевом пэйлоаде (худший случай) будет около 42Гб уников
Залей файл куда нибудь, пробну однострочником решить на питоне
Ёбана спорнём я тебе нагенерирую такой файл? При условии, что у тебя 256 МБ Ram и нет времени на подкачку
Успокойся. У тебя задание на стажера. Сделай в лоб, без обращения внимания на подкачки, 20гб и прочую шизу что тут насрали.
Просто почитай про это, пойми о чем говорят и почему, добавь это как комментарий.
Потому, что ты эти проблемы ты 100% сам не решишь.
Вряд ли от тебя этого ожидают, но во если подметишь - будет большой плюс.
100 гигов = 100 000 000 000 байт
Минимальная валидная посылка 40 байт (пустая).
2 адреса - 8 байт.
Получается 20 Гбайт только на адреса. А еще счетчики, и структуры контейнера.
так эммм
а как иначе, я ведь не пролный листинг кода беру
узнаю про технологии, вот написали тут по маппинг
буду читать это.
Что скажешь про это, использовать в решении?
а еще условие, что файл может быть 100гб. Здесь пошли дебаты про программный распил файла, один джун написл по смещение головы файла я не понял что это значит
>насколько этично с твоей стороны клянчить решение в б.
Для решения задачи трудоустройства все законные средства хороши
Ох уж эта байтоебля-байтоеблечка
как они от тебя хотят: нарисуй парсер фаила, нарисуй парсер эзернет пакета, нарисуй парсер ipv4 пакеа, обойди ими весь фаил, заполни сет уникальными парами айпи адресов
Как бы я это решал: tcpdump <хуйня из стаковерфлоу как вычленить src/dst> | awk <хуйня из стаковерфлоу как отсортировать айпи адреса> | sort -u | wc -l
Ну так же они память хотя бы влезут, но я так понимаю это не проблема.
>Сделай в лоб, без обращения внимания на подкачки, 20гб
Да, не важно, что там в задаче отдельно указано. Главное ведь суть.
И пусть у меня не будет конкурентов.
>смещение головы файла
https://www.cplusplus.com/reference/cstdio/fseek/?kw=fseek
А, бля, неправильно посчитал
8 из 37, 21%, 21Гб
>>245317969
>сдвинуть голову файла на начало следующего пакета
Что это значит анон джун?
ОП хочет узнать что это значит, ПОМОГИТЕ пжл
>>245320967
ОП благодарит
Спасибо
Абу благославляет
>Иди попердоль за борщ чего.
>Большая часть задач - моргание каким говном. В сложном случае - НАДЕЖНОЕ моргание говном.
Маня проецирует.
Иди дальше пердоль свои микрики в нии за борщ и считай это "эмбедедом".
Там 40 байт, чел.
Это исходные данные. Которые ты переведешь в некий список, охуевшего размера.
Его один хуй тебе надо где-то хранить, как то его ворочать и просматривать постоянно.
Разговор про это. Насколько ты исходные данные не разбей - полученные все равно будут огромные.
Go очень мощная хуйня, но тебе нужен полный стэк чтобы решать задачи, то есть базы данных точно надо знать, сам го, библиотеки, чтобы ты реально могу решить бизнес задачу, а не пердолился с байтами, весь этот пердолинг давно выненесен в готовые высокоуровневые функции, тебе надо просто грамотно применять всё это. А все эти задачи с хакерранк можешь тупо решать на досуге, если есть желание.
Что не так? На микро-пк вроде малинки питон и все к нему прилагаемое идет.
>сам такой
Ну ок.
>пердоль свои микрики
Мне нравиться. Буду дальше пердолить.
>Ты думаешь что к тебе за 35к (а больше ты платить не станешь) придут сеньоры-помидоры с красивым кодом?
Да.
А кто сказал, что всё обязателно хранить именно в оперативной памяти?
Анон, как бы справился с условием что файл может быть огромным?
Потому, что хранение не в ОЗУ, усложняет задачу несколько раз и добавляет кучу подводных.
>микро-пк
С какого минимального размера пк программист считается ембеддером?
Я вот для смартфона код писал, хз может 6 дюймов. Я ембеддер?
Представь что твой файл - это лента. По ней ты можешь читать считывающей головкой. Голова файла - то место которое ты собираешься читать. Его можно двигать, например в произвольную точку по адресу, либо на какое-то количество байт вперед-назад.
Эмбеддер пенисов в своем очке
Ну камон, тебе не рассказывали (и ты ни разу сам не слышал) про словари что ли? Их и надо использовать.
>>245320845
Трудоустройство - это когда тебе платят за труд, а ОП устраивается в какой-то анальный цирк клоуном.
>>245320828
Адреса могут (и подразумевается что будут вернуть) совпадать, иначе задачку не решить в принципе (ей надо будет вернуть структуру, которая не помещается в памяти просто). Я так понял, подразумевается что не надо загружать файл в память целиком, а надо читать по одному блоку, вот и всё. Хотя если бы мне на интервью соискатель уточнил бы этот момент, то я бы это хорошо оценил.
>оперативной памяти
Какой ещё оперативной? У меня только лента.
мимо-Тьюринг
> заведомо не помещающихся в оперативную память
Так же как и любой свич, который эти 100 Гигов порнухи передает у тебя каждый день на лету.
> заведомо не помещающихся в оперативную память
Что мешает отпарсить файл, хранящийся на харде?
>Читать головкой по ленте
Кароче. Открывай файл через fopen(), читай байты заголовков через fread(), перескакивай через данные пакеты (или через пакеты, которые тебе нужно игнорить) через fseek(). В конце не забудь закрыть файл через fclose(). Документацию этих функций смотри на www.cplusplus.com. Всё.
Единственное, могуть приебаться, что fopen/fread/fseek/fclose - это C API, не С++, а в С++ надо файлы читать через потоки. В этом случае отвечаешь им, что ебал ты их всех во все щели вместе с их потоками и съябывай оттуда нахуй.
В реальности просто бы захуярил хешсет на пару src/dst адресов. Если бы не взлетело - прикрутил какой-нить sqlite для того чтоб складировать их туда.
>Адреса могут (и подразумевается что будут вернуть) совпадать
не додумывай
Спасибо, что представился. А теперь ответь на вопросы.
Не понимаю, в чём проблема?
Могут. А можно сказать, мы вам дали файл с уникальными, у вас пограмма не работает мывамперезвоним.
А подразумевается на самом деле то - хочет ли собеседующий анона или нет.
Т.к. если он не душный сишник с двачей, он либо проебался с ТЗ, либо решил что ОП не обратит внимания и хуй сним.
То, что ОПу надо просто в лоб решить и забить хуй - уже сказали в самом начале треда.
Гей
Как вы заебали. Разговор не про исходный файл блядь, а про промежуточные данные.
Можно вообще до шизы дойти - по ТЗ даже файл в 1 ГБ не помещается в озу. ЕБИТЕЗЬ!11
>Так же как и любой свич
У тебя в свиче сколько тысяч портов для кабелей?
Архитектура x86
> ТЗ
> задача на системное программирование
ВОДОПАДОДЕБИЛЫ ИДИТЕ НАХУЙ! У НАС СКРАМ! У НАС ЛЕСС!
> адресов. Если бы не взлетело -
В нашем полку прибыло
Да не особо, никто же не предлагает свой редис с нуля пилить.
>С какого минимального размера пк программист считается ембеддером?
Эмбед все, что кроме телефона и пк, которым пользуется юзверь. При этом никто не мешает встроить куда нибудь полноценный системный блок от пекари, это тоже будет эмбед.
>Я вот для смартфона код писал, хз может 6 дюймов. Я ембеддер?
Нет, ты мобильный разработчик.
>никто же не предлагает свой редис с нуля пилить.
Вчера был тред, где оп хотел дома растить редис с нуля
Если захотят выебываться - то будут выёбываться в любом случае, но тут очевидно что проебались в формулировке задачи.
>>245321585
Ты же понимаешь, что невозможно вернуть структуру (кстати сама структура тоже не определено, но подразумевается словарь), которая теоретически имеет не ограниченный размер.
0,005 тысяч
>При этом никто не мешает встроить куда нибудь полноценный системный блок от пекари, это тоже будет эмбед.
Так я ещё и для серверов пишу, сервисы там работают.
Серверы не для конечного пользователя.
Я всё6 ембеддер?
А в задаче уникальных ойпи может быть много.
>>245321090
Я хуй знает как можно на бизнес работать, это себя не уважать. Столько говна я в жизни не ел.
А у тебя конечное количество возможных пар: 2^64
>Ты же понимаешь, что невозможно вернуть структуру (кстати сама структура тоже не определено, но подразумевается словарь), которая теоретически имеет не ограниченный размер.
Если это api, то можно вернуть стрим, в котором очень большие данные
Что мне мешает связаться со 20 000 0000 000 айпишниками через nmap какой-нибудь? Свич у меня историю хранит, например.
>Что мне мешает связаться со 20 000 0000 000 айпишниками через nmap какой-нибудь? Свич у меня историю хранит, например.
Я не понял, ты доказываешь, что у твоего свича бесконечный объём памяти или что?
Сколько истории он хранит? Какие данные входят в историю?
А мне похуй. Сделаю на крестах ПЬЮР ВИРТУАЛ класс который умеет складировать пары адресов и считать количество уникальных. Имплементирую через анордеред сет, сверху настругаю коммент про то, что можно имплементировать это с помощью базы данных, но мне лень.
Если это не кресты, а Си - то же самое, но только через указатели на функции.
Если отдавать только количество пакетов одного разговора беззнаковым целым (батюшки свет, мы только что ограничили количество пакетов для каждого разговора! В задаче не указано это, надо учесть длинную арифметику!), то всей компьютерной техники Земли не хватит, чтобы хранить вывод этой функции.
>А мне похуй, мне лень.
Мм, ясно. К сожалению мы не можем предложить вам дальнейшее сотрудничество.
>мы только что ограничили количество пакетов для каждого разговора
ТЫ ВООБЩЕ НОРМАЛЬНЫЙ?
И слава богу. Такая мозгоебля в продакшене то не всегда нужна, а тут тестовое на ебанного джуна.
>Такая мозгоебля на ебанного джуна.
Ох, оказалось он ещё и токсичный, хорошо что его не взяли
Вот это потеря! А как же приятный и молодой коллектив? Как же интересные проекты? Получается, у меня теперь не будет доступа к печенькам на кухне?
Ах я совсем забыл! У меня же референц от Николай-Николаича, вот его рекомендательное письмо.
Ох лол, ты серьёзно? Или это какой-то прикол?
>>245316188
Это делается за пару часов, потом ещё пара часов на отладку
>Получается, у меня теперь не будет доступа к печенькам на кухне?
И к спортзалу
А ещё ДМС
И курсов повышения квалификации
>У меня же референц от Николай-Николаича, вот его рекомендательное письмо.
Так с этого и надо было начинать. Пойдёте к нам менеджером?
>ВИРТУАЛ
Зачем? Виртуал нужен, когда у тебя рантайм полиморфизм. В этой задаче его вроде не надо. Опять же оверхед от вызова виртуальных функций (да если вызов функций через указатели) - ха это ни один опытный программист тебе спасибо не скажет.
>ха
за
>Как посоветуешь решить?
1. Ну во-первых тебе нужен парсер. Это достаточно очевидно и просто, тебе надо будет вытащить dst и src из каждого пакета
2. Тебе надо захуярить хештейбл, у которого ключем будут две пары адресов - если у пакета dst и src, не важно в каком порядке, принадлежат этой паре - кладешь пакет в этот бин. Получается N пакетов ты ебанешь за O ( N ) с некоторой амортизацией на рехеш (но ты можешь быть умным и избежать этого, но это черезчур для джуна).
3. Хуяришь что-то типа map-reduce разметки для данных и запускаешь молотить std::thread::hardware_concurrency тредов, каждый собирает свою хеш мапу с пакетами.
4. Сливаешь результаты всех тредов, складывая сливая все хешмапы в одну.
Я бы делал как-то так.
> Хуяришь что-то типа map-reduce разметки для данных и запускаешь молотить std::thread::hardware_concurrency тредов, каждый собирает свою хеш мапу с пакетами.
Учитывая, что позиция в файле i-того блока известна только после обработки i-1-ого, мап-редьюс тут охуенно поможет, конечно же.
Хорошая задачка.
Определяешь структуры для разбора пакетов. Разбор тупо делаешь через преобразование куска байтов к сутрктуре, но помни про POD паддинг и выравнивание. Сперва тебе надо нарезать входящий поток на фреймы, разобрать, потом найти получателя и отправителя, потом закинуть их в мапу (дерево поиска для 1ГБ будет полезно) с счётчиком и структурой из получателя и отправителя (переопределить оператор < не забудь). Конечно надо всё в конвеер превратить и сделать многопоточным.
В идеале mmap поюзать конечно же.
>3. Хуяришь что-то типа map-reduce разметки для данных и запускаешь молотить std::thread::hardware_concurrency тредов, каждый собирает свою хеш мапу с пакетами
voobsche_ohuet.jpg
>5D5B
У тебя коды синхронизации для кого вхуярены, дядь?
Те ебанат, по моему, хэш в любом случае на порядки сложнее операции, блять, сравнения. Одной, если два uint32 на amd64 архитектуре сравнивать. Я не совсем понял как хешмап тебе поможет не ьегать каждый раз ПО ЁБАНОМУ СВЯЗАННОМУ СПИСКУ, БЛЯТЬ, С КЭШМИСАМИ. На мой вкус и мап тут не необходим. Я бы замутил структуру и аллочил бы массивы этих структур, кусками по 4к. Но я сишник, схемотехник вообще.
мимо ахуел как из простой задачи делают сложности
Какие потоки, ебаклак? У тебя узким местом будет fstream и положение в файле. Все потоки тупа будут ждать мютекс на чтение. Лол кекв.
Ты имеешь ввиду те байты, которые могут (и будут) встречаться в содержимом пакета? Для того, чтобы убедиться (с некоторой степенью), что ты вычислил оффсет следующего блока корректно и не более.
>коды синхронизации
Внутри данных то >>245323827
Ты ёбнутый, я не пойму?
Начался байкшеддинг. Я тебе про то и говорю - что эта хуерга вообще не нужна и простого анордеред сета хватит в 99.9% случаев.
>Для того, чтобы убедиться (с некоторой степенью)
С абсолютной степенью вероятности, т.к. дальше у меня идет размер пакета со смещением на который должен (если ты не проебался и это не середина данных) еще один блок синхронизации. Число проверок при входе можешь сделать любым (обычно используют 3), но это нихуя не обязательно, т.к. в нормальных пакетных протоколах примитивы синхронизации исключаются из пейлоада с помощью кодов расширения.
Алсо, забыл сказать что всё должно быть zero-copy, т.е. работаешь с буфером который считал из файла. Считываешь файл в буфер 100мб, например, потом скармливаешь в парсер, парсер возвращает набор структур размещённых на той же памяти что и буфер и это уходит в твою считалочку. Конечно, можно подумать про кэш миссы, переключение поток и т.п., но пох наверное.
Алсо, буфером может быть больше чем 1 на 100 мб.
https://github.com/EnterpriseQualityCoding/FizzBuzzEnterpriseEdition
>мютекс на чтение
Как же я проиграл.
НАХУЙ
ИЗ
ПРОФЕСИИ
БЫСТРО. РЕШИТЕЛЬНО.
>>245323734
>преобразование куска байтов к сутрктуре, но помни про POD паддинг и выравнивание
Чет это ссыкотно. Вряд ли угадаешь паддинг, особенно если прогу компилить под разные архитектуры, особенно если кто-нить ушлый будет компилить программу с ключом компилятора, который поменяет порядок полей в структуре. Вроде как и про endianness надо бы не забывать.
> в нормальных пакетных протоколах примитивы синхронизации исключаются из пейлоада с помощью кодов расширения.
Интересно, не знал про это хуйню. Но это не отменяет конечно же того, что нельзя размечать данные в слепую по идентификатору блока, надеясь что разработчики конкретного формата файла как-то позаботились об этом.
>Вобще охуеваю с йоба-программистов ИТТ. Потоки, mmap... задачу дали джуну, йопте, ДЖУНУ, который только вкатывается. Решается одним циклом.
Это стандартная задача, которую дают дохуя где. Она даже есть на SO в немного измененном виде
Первый вопрос после выполнения "в лоб" - как ее улучшить?
> задачу дали джуну
Вообще-то нет, её дали кандидату на бесплатные стажеры.
Кекус максумис, тогда смело аллоч 8*2^64 байт, проблема решена!
проблем-солюшын программист отряхнул руки, запахнул плащ, и пафосно вышел из треда
>Но это не отменяет конечно же того, что нельзя размечать данные в слепую по идентификатору блока
Можно и нужно, это именно так и работает. Но реально даже если кто-то проебался, ты просто проверяешь до нужной процентили надежности схождение пакетов по размерам пакетов и синхронизационным кодам. Они туда, ВНЕЗАПНО, добавлены не для того чтобы двачеров заебать.
>Первый вопрос после выполнения "в лоб" - как ее улучшить?
проверить на читаемость кода и не трогать. Пуктимизаторы щас тут напуктимизируют до того, что оно вообще компилироваться не будет.
Мы вам перезвоним. Нет
Я НА ПОСИКСАХ ТАКОЕ ПИШУ В ВИМЕ ЗА 15 НАНОСЕК! СОСИ ХУЙ!
Например тот факт что их всего ~4 500 000 000, в ipv4
Хуя ты бомбанул.
> Я бы замутил структуру и аллочил бы массивы этих структур, кусками по 4к.
> мимо ахуел как из простой задачи делают сложности
яснопонятно
>Вряд ли угадаешь паддинг
Я такое на олдовом проекте QIK видел. Так они парсили всё. Паддинг можно через прагмы настроить или опции компилятора, но я сильно сомневаюсь что там будет что-то отличное от гсс или cl. В любом случае, это самая быстрая реализация из удобных. В ином случае, надо дрочить байты руками, накладывать маски, писать считать офсеты. Возможно, последнее от тебя и ждут, т.к. первое может не всем понравится.
Меня попросили отжаться на собеседовании... меня ДЖУНА!
>Я бы замутил структуру и аллочил бы массивы этих структур
Ебать, откуда вы вообще нахуй лезете? Что ты собралось аллоцировать в задаче на подсчет?
Я лет пять назад работал в одной прогнившей конторе, которая как рах подобной хуйней занималась. Местный инженер не смог выделить 2^64 байт памяти. Умелец не унывал: он просто поксорил dst и src и выделил 2^32 байт памяти. Иногда это даже работало.
Тут подвох если только на то, что все пары src-dst в память не влезут. Если предположить что не влезают, то тебе нужно отобразить входной файл в промежуточный где лежат пары <min(src, dst), max(src, dst)>. Потом этот файл нужно обработать любым алгоритмом внешней сортировки (mergesort или radixsort первое что на ум приходит). И уже по сорченному выводить ответ.
Но вообще для бесплатной "стажировки" такие подвохи чето слишком жесткие, чувак который сходу такой подьеб видит в задаче на бесплатную стажировку не пойдёт.
Забыл вот ещё что, НИКАКИХ new/delete и сырых указателей, только vector, std::unique_ptr.
>Первый вопрос после выполнения "в лоб" - как ее улучшить?
Скажут улучшить - будешь улучшать. Наворачивать потоки с мутексами и прочей йобой на элементарную задачку на собесеовании для стажера - это такое.
>ipv4
Здарова, дед, картошку посадил уже?
Тут нечего наворачивать, это в современных крестах делается в 5 строчек.
Так, оп, а скинуть самих тестовых данных можешь?
В
О
П
И я вам тоже не перезвоню.
Надеюсь, послал их нахуй после такой просьбы?
И тут же утыкается в проблемы, которые тут в треде обсуждают: n+1 пакет можно начать парсить только после парсинга n-ого.
Это еще с чего вдруг?
Тред после первых пяти шизоидных комментов от соракалетних джунов не читал.
Пиздец, как же хорошо что я работаю вед макакой за 300к и вся моя работа заключается в двиганте тасков в джире по 3 часа в день
>QIK
Че за QIK? Не тот, который Skype QIK? Если ты щас мне скажешь, что ты в Зеленограде лет 10 назад работал, а потом в США съебнул я прям охуею... Не знал, что ты на двачах сидишь.
Вам бы не помешало научиться читать задания, молодой человек.
мимо дед
>std::unique_ptr
Ну а это-то здесь нахуа?
размер пейлода пакета хранится в хедере. хедер следующего пакета идет после пейлода первого
>Вроде как и про endianness надо бы не забывать.
У тебя в задаче про это не говорят, значит байты читаются из файла как написано в спеке, т.е. не думай про эндианесс. Если есть тестовый файл, то просто в хекс эдиторе посмотри как там всё лежит и пойми какой там эдианес.
> нефиксированный размер пакета
> файлы 1-100Гб
> сопоставить по таким-то полям
Блядь, это пиздец. Тебя выебали в жопу. На проде это целый эпик на 3-4 месяца работы. И да, тебе нужен тут SQLite, как минимум. Читать тебе некуда же. Оперативки не хватит.
Решил задачу в уме. Лоллирую с дебилов в треде.
чтоб можно было std::move написать где-то в коде.
Сканишь рандомную из рандомной точки до кода 5b5d, читаешь размер, читаешь 5b5d через размер, повторяешь пока не заебет. Проблемс?
Ога, еще накатай йоба темплейт с последними модными паттернами метапрограммирования, чтобы уместить в 3 строчки.
день работы вчерновую. Три дня на белую. Ты писюн там дрочить 4 месяца собрался?
Ты исходишь из предпосылки, что 5b5d как-то экранируется в пейлоде, но это не определено.
То есть через полгода, когда надо будет включить поддержку 6 придется нового стажёра на собеседование звать?
>Skype QIK
Тот самый. Мне кажется я знаю про кого ты говоришь, чувак с фамилией на Ч. вроде, но я не он.
>где-то в коде
Где? Нахуя std::move? В этом весь С++. Навернут каких-то умных указателей с move semantics, когда можно просто одним raw указателем обойтись.
Ало блять, у тебя размеры указаны между синккодов, ты можешь по ним навигироваться. Пиздец блять, это настолько сложно понять?
почитай саттера или майерса.
я пишу тебе посреди пейлода 5b5d и ты жидко обсираешься
Блять охуеть. Тот самый. Мир тесен. :)
Где захотят там и вставят.
Окей, я пишу тебе 5b5d в начале валидного файла и ты серишь на лекции.
У тебя такая же структура может быть в пейлоде, у которой после 5б5д - размер, после этого размера - опять 5б5д. Нельзя случайно искать это значение, эта задача - DAG.
Нахуя мне их читать? Все что надо, я уних прочитал. Ты мне простым языком скажи, где ты в плевой задачке для джуна собрался всю эту йобу использовать?
>У тебя такая же структура может быть в пейлоде
Окей, тогда ты не можешь вообще читать пакетные файлы, если в них есть паддинги, у тебя ж рекурсивный самовоспроизводящийся пейлоад.
Приходит продакт овнер и спрашивает тебя нахуя ты делаешь то, что не просили. Таску уже другому Васе отдали и он её сделал, а твоя поддержка ipv6 оказалась никому не нужной. Твоя реакция?
Признаю, что дед был прав, а я обосрался выебнувшись про версию ip
Могу, я же знаю из предыдущего блока, где начинается текущий настоящий блок.
Сразу безработного чмоню видно. Итак смотри как работает реальный БИЗНЕС
1) Согласование идеи задачи между отделами разработчиков, QA и продюсером. - 1-2 недели (3 митинга)
2) Передача задачи отделу QA и последующее составление спеков (месяц минимум)
3) Согласование спеков между QA и программистами (+- неделя)
4) Передача задачи на отдел программистов + плановый созвон и выделение кадровых ресурсов на выполнения задачи (3 дня)
5) Собственно решение задачи программистами + откладка и тесты (полтора месяца)
6) Передача задачи обратно отделу QA
7) Тестирование + релизное тестирование (2 недели)
8) Подготовка стейджинга для заказчика/подготовка сторов для релиза (2 недели)
9) Релиз + выделение ресурсов на поддержку (10-15% от команды)
В итоге на реализацию нужно МИНИМУМ 4 месяца, а в идеале хотя-бы пол года. Вот это настоящий БИЗНЕС, а своё говно накостыленное на коленке с тонной багов оставь столетнему преподу до лабы.
чаво? в пейлоде первого уровня сказано, когда будет пейлод второго пакета первого уровня. А что внутри пейлода мне поебать
Нет, потому что в реальности никто тебе не выравнивает пакеты, лол. Нижележащий транспорт не обязан давать тебе цельные не-рваные данные.
А ты ничему не научился как я посмотрю.
Ух, я аж кабанчиком подпрыгнул от такого ВОДОПАДА
Чего? У тебя длина блока определена вторым и третьим байтом блока. То, что внутри ебется само с собой, я так понимаю, размер там тоже определен где-то, где данные помечены как произвольные, но нам до этого никакого дела нет, это никак не поможет определить или не определить где заканчивается блок и начинается новый.
>Я уверен что есть готовые алгоритмы
Лол.
1. ты не владеешь синтаксисом родного языка, но пытаешься влезть в неродной с++
2. все, что тебе нужно, написано в задании. Какие еще тебе алгоритмы? как второй байт из пакета отличить от третьего?
Какой курс? Я вот на первом думаю через пол-года /год тоже смогу такое решить.
А ты тоже из того проекта? Над серверной частью работал?
>getline
Лол
Хорошо, что современные программисты на питоне все такие умные, что даже не осиливают прочесть задание.
Ты че еблан? Никто не заставляет сразу все читать, можно кусками
>задачу, с которой будешь неделю ебаться, пока оно заработает правильно.
Если тебе на это нужна неделя, то не нужен ты.
>У тебя длина блока определена вторым и третьим байтом блока.
Окей, у тебя link-layer протокол, он вообще нихуя не знает о целостности данных. Через size байт может ничего не лежать, лежать кусок левого пейлоада, лежать валидный старткод следующего пакета.
Ну, это в реальности, в задаче для джуна и в пейлоад никто синкворды пихать не будет. Более того, вопрос тебе как джуну: что для данной задачи важнее - скорость парса или время на валидацию результата? (делается за N сложений после подсчета всех блоков, где N - число блоков на которые разбивают задачу)
>>245323926
>>245323412
>>245323734
Давайте замажемся, я сейчас в дороге с домофона пишу, через полтора часа дома буду. Каждый напишет свою реализацию, оп скинет кусок файла на обменник, и через пару часов сравним. И опу помощь, и мы письками померяемся, друг друга хуями пообкладываем, можт кто чё новому научится? Оп, я не понял, длинна и тип в каком эндиане?
Чё батл, посоны?
>>245316942
Лол, сразу видно изобретателей ИИ на питоне:
ни прикинуть размер нужной памяти (пара адресов - 8байт, количество пакетов - еще 4 - сколько у тебя памяти, если тебе ее не хватит?),
ни 120 байт из произвольного места файла прочесть.
Доволен тредом.
>Где я проебался?
В том месте, где тебя учили, что в слове "длина" только одна Н
Давай в пятницу, на вечернем ты создашь тред и мы замажемся. Надо только файл на 10Гб сгенерировать.
взвизгнул
мимо пиздошу говно накостыленное на коленке с тонной багов
Двач, охуевать от таких заданий-это нормально?
В какую сторону ты охуеваешь?
Если у тебя такой ответ на вопрос по существу, то ок.
>таких
В нормальном вебе просто задачи другие, но они не легче. Бытовой фронт для мелкобиза к программированию относится постольку-поскольку, это да.
В сторону того, что это какая-то гигазадача.
Не, я там не работал. Я работал вместе с тем челом на другой работе.
А, не, это совершенно типовая задача. Я подобное решал в лайв-моде на собесах в Nvidia и Huawei. Просто нужно немного попрактиковаться.
Приведи пожалуйста примеры нормальных задач в вебе не легче той, что в оп-посте.
Чем лучше?
Если заявляешь что-то, аргументируй.
Впрочем, очевидно, что ты не осилишь аргументировать.
Видно же, что ты не умеешь в асимптотическую сложность.
Тем более, не знаешь ее для элементарнейших реализаций стандартных вещей.
Организовать пуш-уведомления на клиент через свой CDN на 1кк пользователей, например.
Как и на чём практиковаться, чтобы не охуевать от подобных задач?
тест
Что еще за тест?
О, разбанили
Спасибо, а еще?
1. Изучить как работают основные системы компьютера.
2. Работать в индустрии (лол), можно всякие квизы решать, от Яндекса или Гугла часто подобное бывает.
У каждого своя специализация. Работаю программером лет 15 уже, и то полез в гугел вспомнить, как там из файлов читать. Хоть я и С++ в довольно низком уровне (йоба графон), но и то нечасто приходилось с файловой системой работать (может пару лет назад, когда писал сериализацию ассетов).
Проверить валидность СНИЛС в поле ввода.
Уверен, что для тех, для кого ОП-пост - гигазадача, СНИЛС станет вовсе кладбищем.
вот мое решение
https://pastebin.com/JA9pM16m
Да ясен хер, что почти никто не помнит все на свете наизусть.
Просто есть программисты, а есть макаки.
Программист знает, что и где ему надо посмотреть, и на что обратить внимание.
Макака - просто охуевает.
Ты забыл добавить "без задней мысли"...
>Huawei
Если ты там работаешь, передай им там, що они там все питарасы, кек. Мутят они хуйню какую-то подозрительную.
Валидация данных на аналогичных масштабах ввода (100k - 1kk), интерактивные компоненты во всяких редакторах, да много чего - все что нужно скалировать на большое число людей. Задача из оп-поста тоже на это, только она "вертикальная" по скалированию, а не "горизонтальная".
собесы в невидию, лол, да ты же пиздишь, они в рашке не занимаются разработкой - только маркетингом и саппортом
Проблема с тем, что на гб мы не знаем сколько там разговоров будет. Хэш довольно быстро заполнится до лоад фактора или как оно там называется, после чего попрут коллизии которые увеличат сложность, а с деревом всё просто достаточно logN и нормально, даже на 1кк пар адресов перфоманс будет нормальный.
За что забанили, лол?
Ебать, какая глупость. Кто является целевой аудиторией этого задания?
Джун его не вывезет, а мидл и выше просто не будут этой дрочью заниматься, есть миллиард работ, куда тебя заберут без тестовых.
>сколько у тебя памяти, если тебе ее не хватит?),
Памяти у меня чуть чуть меньше, чем нужно, чтобы все влезло.
Ты не про веб рассказываешь. А про бэк-енд.
От того, что у тебя к бэку подвязана вебморда, он не становится вебом.
А в вебе тебе нечего скалировать на миллиарды пользователей.
Хотя, очевидно, и там достаточно интересных задач, к которым надо подходить с умом. А не просто формы клепать "все на реакте, и я на реакте"
За ссылку на стрим. Я решил игрушку пройти, показывая её анонам. Меня и забанили.
Задача совершенно рядовая. Для меня сложнее какой-нить css написать, чем парсер пакетов.
>Джун его не вывезет
Почему? Если он это не сможет, то нахуй он тогда вообще нужен?
Не, я ща в финтехе работаю, в хуйвее какие-то охуительные правила мол в 2к21 нужно 24/7 в офисе жить.
>>245327178
Это еще схуяли вдруг? Российскому офису лет 20 уже, там больше 200 человек работает. Практически все хардварное кодирование видео у нас пилилось.
https://www.linkedin.com/jobs/view/senior-software-engineer-at-nvidia-2347383641/?utm_source=google_jobs_apply&trackingId=UGUliuoR4GPTZ8fMJtjL7A%3D%3D&refId=d3191806-5bf2-4e32-af87-fe375ba9b3f6&pageNum=0&utm_campaign=google_jobs_apply&position=8&trk=public_jobs_job-result-card_result-card_full-click&utm_medium=organic&originalSubdomain=ru
хтонс зачем? мы не шатаем эндиансе.
>Ты не про веб рассказываешь. А про бэк-енд.
Я как-то не отделяю "бек" от веба. Фронт без бека не работает.
чтобы было понятно что это адрес, лол.
Может в реале подолбимся, сладкий?
МимоС++Стажёр
зачем? условия задачи-то вполне прямолинейны.
мимо читал по диагонали
неинтерпрайзненько.
Лол, а какой объем оперативы? Если надо заниматься этим на 64 метрах, то это сложно, а если 32ГБ, то getline c std::map и в путь
бля, обсер, редекларейшон низя, ебаните там скобочек в уме {int ... write ... ); } посоны
Реально? Я думал макака это тот который копирует.
то есть изьебнуться нужно, лол?
Для стажёра так и требуется, но мы тут все взрослые люди и хотим чтобы всё было быстро, а лучше - очень быстро.
Ага. Захуярить сикьюлайт или редис, навернуть многопоточности, уложиться в 640 килобайт.
>финтехе работаю
Алготрейдинг? Не ДБ?
в реальности так бы и реализовали по простому
никто бы хуйни не городил без надобности
файл то тебе так или иначе прочитать хоть раз придётся, сразу и посчитаешь, время вычисления ничто по сравнению с чтением с диска
Search, insertion, and removal of elements have average constant-time complexity.
vs
Search, removal, and insertion operations have logarithmic complexity
Все, что тебе надо знать.
Над реализацией ты не властен, поэтому у тебя есть два варианта:
1. тыкать пальцем в документацию
2. приводить конкретные примеры (после замеров), где твой вариант быстрее
все твои догадки, что там будут коллизии, никого не ебут.
при этом сам редис кушать будет нормально
Технический анализ рисков, equity trading. Не дойч.
Поувольнял бы всех взрослых людей к хуям, будь моя воля.
в теории там могут быть пакеты на 1 байт с уникальными каждый раз парами src-dst. И весь словарь разговоров в память не влезет.
В реальности такое правда 99.5% не будет встречено но всё же
Не считаю нужным джуну уметь эту хуйню выдрачивать.
Хах, помню я устраивался работать в укр.нет на косарь баксов джуномидлом. Задали мне реализовать что-то вроде memcached упрощенного, дрочил его неделю, так и в итоге и не взяли.
Я плюнул и пошёл в другую компанию, поотвечал на вопросики на собесе и меня взяли на 2к баксов, лол. Годы прошли, теперь я синьёр 4500 баксов в месяц, и до сих пор не уверен, что моё новое решение понравилось бы тем упырям из укр.нета.
Смотря для кого задом наперед. Для многобайтовых значений в нетворк пакетах и в процах порядок байтов может быть разным. Гугли endianness.
Бек зато без фронта работает.
Сегодня у тебя на фронте веб, а завтра какая-нибудь другая хуйня.
Пора бы начать отделять одно от другого.
положи его в черную коробку в AWS.
Я? картинка с бабкой на телефоне
Пусть ОП и создаёт, и какое-нибудь слово использует для простого поиска на б . Например ТИСИПИКАЦИЯ, я понему в пятницу вечером поищу
загнать в бд с нормальными индексами и не ебать мозги
посчитать каунтами
Но когда ему неоткуда скопировать, что ему остается?
Копируют, кстати, все.
Программисты не самые тупые люди.
А кто, кроме самых тупых, будет заново херачить то, что можно скопировать?
Если это анализатор реал тайм трафика, то как раз бы делали всё быстро, да ещё и AVX2 впихнули, и кэш толерантно было бы всё и потоки бы гвоздями к ядрам прибивали.
Сеньор дай денях
На двачах на работе сидеть, лол.
>Бек зато без фронта работает.
Да не, там тоже заеб хватает, бек в конечном счете частично перетекает во фронт чтобы разгрузить серваки, тот же GraphQL вроде как пилили ровно за этим. Но если мы говорим о чистом фронтенде - это да, к программированию это имеет не больше чем какие-нибудь игры на unity или на блюпринтах в unreal engine. То есть вроде как идейно где-то близко, но по сути не пересекается.
чем меньше платят тем больше дрочат, суть - сбить цену, посеять в тебе неуверенность в себе
Таки да. Это поди задание для какого-нить СОРМа. Путину докладывать о том, кто на какую порнуху дрочит.
Потому что этот джун - макака-неосилятор.
Блядь, прочесть файл кусками по Х байт, вынуть из Х байт нужные 10, по нехитрому условию сложить в счетчик.
Пиздец гигазадача, охуеть можно. Джун не вывезет, лол.
там было про файлы а не про реалтайм
>AVX2
ключи коньпелятора для этого есть, на любом коде можно
>всё и потоки бы гвоздями к ядрам прибивали
очень полезное занятие при кручении осью ~1000 потоков в системе
Я проводил эксперименты и пожертвовал О(1) ради предсказуемости роста на больших объёмах.
ещё как пересекается
это нужно уметь:
1) читать фаил
2) читать структуру
3) уметь проинкрементировать счетчик
Не каждый такое сможет
двачую
>Потому что этот джун - макака-неосилятор.
Какие-то низкие требования к джунам сегодня. А какие тогда задачи он должен решать? Или это сарказм?
>ключи коньпелятора для этого ест
В автоматическую векторизацию пока нормально умеет только icc, но и то попердывая и таща за собой waterfall-рантайм на полтора гига. Пока такие вещи чаще пилятся ручками.
это и есть суть задания по сути
тут навыдумывали кэшей и алгоритмов, лол
Угу. Чисто стратегия Яндекса.
Советую слать нахуй таких петухов, в айти нехватка спеицалистов, наших готовы с руками отрывать
Ну записал ты все пары src/dst в фаил, а считать уникальные как будешь?
Кидай свою карту
согласен, местные идут нахуй
ну так ёпта, нужно же как-то дырки в стуле оправдать
Тебе никто не запрещает реализовать тот же хеш с помощью файла, но от осознания подобного у местных сеньеров со скиллами джуна может пердочело потечь.
Ты нарушил правила оптимизации:
Rules of Optimization:
Rule 1: Don't do it.
Rule 2 (for experts only): Don't do it yet.
Мы тебе не перезвоним
ещё кстати обычно самый мразотный уебок собеседует, это скорее он себя показывает чем пытается разобраться как человек думает
Да, увы. Я вообще хуею, что для создания лоадера, который чекнет проц и запустит бинарник, скомпилированный под соответствующие расширения нужно сидеть и делать всё ручками, хотя можно было автоматизировать на уровне студии.
Не, это же алгоритмическая задача. Как реализовать контейнер с частичной выгрузкой?
мир 2202 2009 9191 2310
Нет.
Не нужно уметь.
Нужно НАУЧИТЬСЯ.
Для этого и дали ОПу задание.
Я, например, на плюсах не умею этого всего.
Но при нужде найду, куда посмотреть.
все о чем говорили бывает оправдано но лучший код это тот которого у тебя нет, простой вариант - самый лучший 99.99 случаев
>Тебе никто не запрещает реализовать тот же хеш с помощью файла
мешает нелюбовь к самоизобретенным велосипедам. Прикрути sqlite если уж так надо тебе в фаил писать - и дело с концом
Можно было бы просто в стандарт это уже давно ебануть. Но они сук 20 лет std::launder в него тащили.
Очень полезное, чел. 20% прерфоманса даёт из-за кэш хитов.
ты не поверишь, но я с тобой согласен.
>Прикрути sqlite
Пиiмав джависто-петуха поцоны
Да какой же это сарказм, если тебе этот самый джун рассказал, что задачу не решил, а пошел говно разгребать за большую зарплату.
Т.е. он доволен тем, что денег дали больше (справедливо доволен) , и тем, что думать и учиться не надо (тут ты сам решай, справедливо, или нет).
Вот ОП, например, не зассал, пришел хотя бы в /б вопросы задавать.
У него, думаю, потенциал побольше, чем у неосилятора из укр.нет.
Не нарушил, а взял контейнер под задачу. Я один раз напишу оптимальный код, а ты будешь рефаторить 2-3 раза, ковырять профайлером и переделывать архитектуру.
согласен, решение не может считаться нормальным пока мы не переизобретем как минимум две трети стандартной библиотеки.
крестобог
> куда тебя заберут без тестовых.
Хуй знает, анон.
Без связей с нуля я только такие перспективы вижу.
Я дальше 11 даже не смотрел, испоганили язык вконец. Единственно, притащили restricted, но надо было наоборот, вводить какой-нибудь overlapped для перекрывающихся указателей, а по дефолту считать перекрытия нет.
Конечно, проще ебануть реляционную базу данных для двухмерного счетчика лол.
нативные хештаблицы есть даже в позиксе, лол
В unordered_map бакеты устроены как RB дерево
Лол, нет.
Я сделаю и забуду.
И мой вариант будет работать быстрее твоего, потому что ты полез в оптимизацию там, где она не нужна.
На этом заканчиваю бессмысленный разговор.
Возможно, но тогда уж нужно ядро пигвинукса пересобирать, оставив 1 ядро на систему, а остальные под обработчик.
куда проще ебануть unordered_set и не заниматься изобретением колёс
Ну у него типа как она в память не влазит. Это вполне нормальный вариант такой задачки, мне ее один раз предлагали сделать на 64 mb
>считать зачем-то хэш (от двух лонгов)
Ага. 4 байта это теперь лонг.
Сразу видно спеца по скоростям и объемам.
Просто я сам только учусь в ВУЗе, 3 курс, даже не джун, но такие задачки как у ОПа вообще проблем не вызывают. В свободное время книги по компиляторам и системщине читаю, пытаюсь свою йобу написать. Вот кстати, спасибо ВУЗу, что математикой и физикой на начальных курсах задрачивал, все лабы по прогерсту так или иначе были связаны с этим, отсюда неплохо знаю численные методы. Вот я и думаю, после выпуска у меня есть какие-то шансы на бытрое нахождение вакансии? Что вообще нужно знать?
А чо, своп не изобрели еще в твоей архитектуре?
Будет не так. После поставки или развёртывания оно будет вставать колом и ладно бы не рушить систему, после чего к тебе придут с кажут что надо разбираться.
Что быстрее: своп с пейджволкером, или вручную прописанный файл с declare-командой?
>бинарный файл
>построчное считывание файла
Просто в ахуе с долбоебов задание делается за часа 4 если торопиться, часов за 8 с тестами и документацией.
Залезание в своп будет тормозить всю систему даже если своп на ссд.
Нервы нужно крепкие иметь.
И никто не знает, чем ты хочешь заниматься.
Лендинги на вордпрессе клепать, п2п видеоконференции, или расчет белков.
А вообще если ты такую простую задачу как разбор пакетов решить не можешь то может тебе не в айти а на кассу мака нужно?
почему же, поверю
long - target type will have width of at least 32 bits.
ну а вообще, нахуй лонги и инты в с++. только int32_t, только хардкор
Что быстрее будет работать?
Или что быстрее будет написать и собрать?
1. не знаю. Проверяется только практикой
2. очевидно, первое. Требований к скорости я в задании не обнаружил.
Кормен, многопоточка, клинкод, и книги по своему языку, ну и фремворки если нужны всё что тебе надо.
Почему ОПа это должно ебать?
Если ты не заметил, на ОПа уже похуй всем.
>Нервы нужно крепкие иметь.
Как и везде.
>И никто не знает, чем ты хочешь заниматься.
Вот это сложно, но точно не веб и тырпрайз.
>1. не знаю. Проверяется только практикой
Хуево, тех. собес на мидла ты уже завалил. Занимайся.
>Или что быстрее будет написать и собрать?
Одинакого, лол. Ну, в случае в unordered_set тебе еще придется ебаться с лоадфактором и нормальной хешфункцией для пар адресов.
надо хранить своп на рамдиске
я все пропустил и тред не читал, но тут
1. из стандартной библиотеки берется функция
openfile : file -> stream byte
2. руками пишутся функции
parseBytes : stream byte -> stream block
parseL1 : block -> ethernetblock
parseL2 : ethernetblock -> ipblock
3. собирается труба openfile -> parseBytes -> map (parseL2 . parseL1)
4. делается reduce по minmax (ip.from, ip.to) и считается count
что тут делать неделю - непонятно.
Мне похуй на то, что всем похуй.
Я профессионал. Я решаю ту задачу, которая поставлена.
>Кормен, многопоточка, клинкод, и книги по своему языку, ну и фремворки если нужны всё что тебе надо.
А какие вакансии искать, примерно, с таким "стеком"?
Проиграл с дауна, который еще ничего не написал, ничего не скомпилил, ничего не запустил, но у него уже одно работает медленнее другого.
Такие сразу посылаются на хуй на должность полотера.
>Проиграл с дауна, который еще ничего не написал, ничего не скомпилил, ничего не запустил, но у него уже одно работает медленнее другого.
Это называется базовые знания, братишка. Ваннаби-сеньеры-архитехтуры-за-100к вроде тебя и хуярят счетчики имплементированные поверх SQL баз данных. Подобные вопросы не зависят от стека/языка/оси/etc. Если ты на них не можешь ответить - тебе просто ссут на ебало и отправляют обратно в твои сельские перди, где ты сможешь вдоволь компейлировать.
Повышаем порог вкатывания
Что за пидорасы так задание составляют? Что значит младший байт длины блока, что значит кол-во байт равное длине блока.
Я писал несколько парсеров разных файлов: бмп, пнг, обж, ваф и так далее. И нигде таким ублюдочным образом структура файла, который нужно распарсить не описывалась.
Просто харкнуть в ебало долбоёбам давшим тебе это тестовое задание и идти в нормальную контору, где люди работают, а не хуесосы которые будут тебя дрючить за копейки.
>счетчики имплементированные поверх SQL баз данных.
1. придумал какую-то хуйню
2. приписал ее анону
3. навыебывался
4. профит
Понял алгоритм твоих выступлений.
Так ты и на должности полотера недолго просидишь.
>Что значит младший байт длины блока, что значит кол-во байт равное длине блока.
Вы не прошли первую фазу собеседования - понимание базового письменного русского.
Попробуйте вкатиться в ИТ в Кыргызстане.
Так если б я таких долбоебов как ты через день не выгонял на мороз, охуевая от днищности СНГ-it - вопросов бы к тебе и не было. Так-то понятно, что ты ваннаби-джун-вкатун, но нахуя лезть если у тебя так от этого больно?
это если ты в С++ как тут обсуждают. Если JS, то сам смотри, там другие требования, а из "конкуренси" асинкавейт и фьючи.
>младший байт длины блока, что значит кол-во байт равное длине блока.
во втором-третьем байте живет длина, длина равна ptr[2]+(ptr[3]<<8), что непонятного.
>младший байт длины блока
Да это стандартная хуйня в сетях хранить в 2 байтах длину, да ещё и перевернуть это всё.
Коллега, я бы предложил другой подход:
реализовать микросервис с очередью для счетчика
и
залить его куда-нибудбь на AWS - у Безоса до хуя памяти
а уж закидать этот микросервис результатами нашего парсинга - дело ерундовое, любой питонист справится
>асинкавейт и фьючи
Ни слова не понял.
>это если ты в С++ как тут обсуждаю
Конечно С/С++
Ты так и не ответил на вопрос
>А какие вакансии искать?
Мммм... эти фантазии...
Выгоняет он кого-то.
Ты через день только с двача вылазишь каклет мамкиных пожрать, выгонятель.
Иди кетчуп с пола подтирай, мизерабль
ЯСКОЗАЛ ПИДАРАСЫ!!!1111
ЯНИПОНЯЛ!!!!
ЗНАЧИТ ПИДОРАСЫ!!!111
Мечтать не вредно.
Скинул 100 баксов
Любые вакансии по плюсам не от НИИ/ФГУП и прочей параши. Можешь в хуяндекс завернуть.
>Ни слова не понял.
погугли же. в 20 плюсах тоже завезено.
Да нахуй проследуй, тралятина малолетняя. Никто из погромистов так не выражается: младший байт длины блока. Это что за высер поехавшего из ума один-эссника.
>>245329499
>что непонятного.
Вот тебе код обычного рейкастера, что тут непонятного?
#include <stdlib.h> // card > aek.ppm
#include <stdio.h>
#include <math.h>
typedef int i;typedef float f;struct v{f x,y,z;v operator+(v r){return v(x+r.x,y+r.y,z+r.z);}v operator(f r){return v(xr,yr,zr);}f operator%(v r){return xr.x+yr.y+zr.z;}v(){}v operator^(v r){return v(yr.z-zr.y,zr.x-xr.z,xr.y-yr.x);}v(f a,f b,f c){x=a;y=b;z=c;}v operator!(){returnthis(1/sqrt(this%this));}};i G[]={247570,280596,280600,249748,18578,18577,231184,16,16};f R(){return(f)rand()/RAND_MAX;}i T(v o,v d,f&t,v&n){t=1e9;i m=0;f p=-o.z/d.z;if(.01<p)t=p,n=v(0,0,1),m=1;for(i k=19;k--;)for(i j=9;j--;)if(G[j]&1<<k){v p=o+v(-k,0,-j-4);f b=p%d,c=p%p-1,q=bb-c;if(q>0){f s=-b-sqrt(q);if(s<t&&s>.01)t=s,n=!(p+dt),m=2;}}return m;}v S(v o,v d){f t;v n;i m=T(o,d,t,n);if(!m)return v(.7,.6,1)pow(1-d.z,4);v h=o+dt,l=!(v(9+R(),9+R(),16)+h-1),r=d+n(n%d-2);f b=l%n;if(b<0||T(h,l,t,n))b=0;f p=pow(l%r(b>0),99);if(m&1){h=h.2;return((i)(ceil(h.x)+ceil(h.y))&1?v(3,1,1):v(3,3,3))(b.2+.1);}return v(p,p,p)+S(h,r).5;}i main(){printf("P6 512 512 255 ");v g=!v(-6,-16,0),a=!(v(0,0,1)^g).002,b=!(g^a).002,c=(a+b)-256+g;for(i y=512;y--;)for(i x=512;x--;){v p(13,13,13);for(i r=64;r--;){v t=a(R()-.5)99+b(R()-.5)99;p=S(v(17,16,8)+t,!(t-1+(a(R()+x)+b(y+R())+c)16))*3.5+p;}printf("%c%c%c",(i)p.x,(i)p.y,(i)p.z);}}
Ты пойми что задачу нужно ставить максимально просто и понятно, а не таким образом как будто я подобные вещи каждый день 24/7 пишу. Я забыл например little-big endianess например потому что давно байты не ковырял.
Или же я могу в 200 строк написать софтварный 3д рендерер со светом, тесселяцией и свистоперделками с минимумом стандартных с++ библиотек. Потому что я их десятки написал, но ты нихуя не поймешь, если у тебя нет такого же опыта.
>Никто из погромистов так не выражается: младший байт
Лол.
Никто из погромистов твоего класса, конечно.
>Никто из погромистов так не выражается: младший байт длины блока.
Открой любой телеком стандарт где описывается протоколы, low/high byte там как грязи.
задача поставлена просто и понятно. на каждую простую задачу найдется ленивый тупой исполнитель, которому сложно. его на работу не возьмут. чтобы не объяснять про сетевой порядок байт русским языком написано где какой байт. что тебе еще не нравится. ты все равно эту задачу делать не будешь.
>У него, думаю, потенциал побольше, чем у неосилятора из укр.нет.
так я вышел на синьйорскую зарплату, мне хватает.
>Или же я могу в 200 строк написать
Не удивлен.
Характерный признак дауна - оценивать код по количеству строк.
Ты уже достаточно о себе написал, можешь не продолжать.
https://stackoverflow.com/questions/6090561/how-to-use-high-and-low-bytes/6090641
Ну я даже не знаю. https://pdos.csail.mit.edu/6.828/2017/readings/i386/s02_02.htm
Эту хуйню как минимум со времен 80386 используют
Нету. Лучше бы сразу нафиг послал :(
Да тут все вышли, кроме ОПа и 3-курсника.
У всех 300 к/нс
Так что не обольщайся.
ЯСКОЗАЛ НИКТО ТАК НЕ ПИШЕТ!!!1111
Я МОГУ ТРЕЙСИНГИХУЕЙСИНГИ НА 200 СТРОК!!!111
ЗНАЧИТ МНЕ ВИДНЕЕЕ!!!!111
Всегда знал, что двач - это борда успешных людей.
3-курсник
Так я же не с двачерами пытаюсь соревноваться, лол, если у тебя писька длинее, меня это не огорчит.
Я пытаюсь обьяснить анонам, что тестовые задания - хуйня для лохов, смело говорите, что времени на них у вас нет, и вас все зауважают.
Ну это конечно после опыта работы хотя бы на одном месте, до этого вы пыль на сапогах
Сорян, мне показалось смешным
Ничего анон
и чего? у меня сосед по общаге 20 лет назад на асме в 256 байт писал демки с камерой, сценой, мандельбротами летающими, x ^ y, вот этим всем. оно конечно хорошо, но в твоем примере очевидный minified код, который если написать в нормальном стиле и с разумными комментариями то а) занимать он будет нормально, б) будет вполне понятно. не исходники J, евпочя. к понятности постановки задачи опа отношения не имеет.
этот даун не знает про "младший/старший байт"
зато пользует
typedef int i
Это чтобы в строках поменьше вышло, лол
> у меня сосед по общаге 20 лет назад на асме в 256 байт писал...
Респект соседу, чем он сейчас занимается?
>этот даун не знает про "младший/старший байт"
Если ты погромист, то ты априори не используешь пидорашкинский хохлосрач объявляю открытым новояз. Младший/старший байт не парсится в моей голове в принципе. Энивей тред почти в бамплимите и ни одного решения кроме вялого попукивания нет.
Я вижу в принципе что это простая задача, тебе нужно распарсить бинарный файл и реализовать простейшую логику. Если бы задача была написана на нормальном языке, а не пидорахинском новоязе, я бы накатал решение за 15 минут. А так сосите хуй, я все сказал.
живет в тайланде, судя по всему работает на удаленке
>Младший/старший байт не парсится в моей голове в принципе.
наверное ты и про младшие разряды/старшие разряды у чисел не слышал
>не осилил русский язык
>что-то пердит на остальных
Вы совсем там ебанулись, русофобы? Даже язык уже в штаны насрал.
Все языки погродристанья написаны не на срусском. Кроме адин-эсса, на котором погромируют подскакивающие кабанчики. Поэтому если ты не кабанчик, то пишешь не на срусском, проблемс?
>Младший/старший байт не парсится в моей голове в принципе.
Потому что ты не программист, а говно.
Это уже давно понятно.
Да он и старшего брата называет Большим Братом.
Тебе же уже написали - пиздуй обратно в свой Кыргызстан, хули ты до сих пор тут ртом срешь?
>Все языки погродристанья написаны не на срусском
Хорошо, синтаксис на английском написан, но как синтаксис относится к нашему вопросу? Как блядь синтаксис на английском, мешает тебе понимать информацию на русском?
>Как блядь синтаксис на английском, мешает тебе понимать информацию на русском?
Ну, просто я тупой.
Ты бы сажу поставил, тогда я бы поверил еще.
сажа
Если хочешь красиво, то поработай над историей коммитов, прикрути адекватное read me документашку на доксигене, можешь ещё либы типа gtest и boost для параинга опций, хотя это излишне.
Это тестовое даже не на джуна, не парься так.
Как вариант можешь почитать по подробнее про сети и OSI и тд.
Тут много людей, кто тешит свое самолюбие знаниями в той или иной области. Это не всегда применимо к тем проектам, над которыми ты будешь работать, так что не забивай себе голову.
Ну и самое главное пожалуй, отсылай то решение, которое сам отлично понимаешь, успехов !
>Джун его не вывезет,
Почему? Что за уровень, блядь, у джунов?
Ну реально не смешно. Эта задача не должна вызывать затруднений, если вызывает, то к программированию значит ещё пока не готов.
Надо понимать что такое бинарные данные, но если не мыслишь этими категориями, то наверное просто направление конкретное не для тебя.
Ещё надо уметь пользоваться чем-нибудь вроде std::map или std::set, вот на голом си эту задачу без прикручивания библиотек или изобретения велосипедов будет сложно сделать.
Читаешь поток, сначала 6 байт, по ним вычисляешь длину пакеты и читаешь пакет. Дальше проверяешь тип пакета и вычленяешь адреса.
Адреса записываешь в виде пары "младший адрес"-"старший адрес", и сохраняешь это в std::map или std::set. Всё. Когда прочитал весь поток, выводишь результат куда надо, у тебя как раз будут уникальные пары.
Это реально лабораторная работа, ещё не тот уровень, чтобы в коммерческое программирование лезть.
>не парься о краевом случае, где все адрса уникальны
а в чем проблема, допустим ты потоково распарсил файл и сгенерил поток from to адресов, вызываешь sort обычный из терминала, а потом читаешь подряд и считаешь штуки и опять у тебя поток ответов.
Не понял о чем ты и что за стримы.
А про краевой случай - допустим нагрузка очень маленькая (порядка дестяка байт), тогда пакеты, допустим будут по 40Б. Размер пары адресов 6Б. т.е. около 16% (тут очень примерно). Допустим у нас 100 ГБ файл, тогда 16% это 16 гигов уникальных данных. Не факт что у тебя столько оперативы с подкачкой найдется.
Сортировать уже после парсинга так себе идея. Можно прямо в процессе распихивать в хеш таблицу (либо инкремент зеркальной пары либо добавление новой и потом итерация по все хеш мапе с подсчеьами) к тому же сортировка большого объема данных да еще и по нестандартному сравнению может занять прилично времени.
Хз как на плюсах но на джаве я представляю как это реализовать.
Если ты не делаешь олимпиадные задачки, где тебя специально ловить будут, на такую херню не нужно отвлекаться.
Лучше понимать, откуда берутся задачи и что там за проблемы.
Задача очевидная. Я даже сам когда-то давно такое делал, похожее.
Есть провайдер, он дампит весь проходящий трафик. Это делается через специальную команду управляемого свича. Дальше этот трафик надо анализировать. Например узнать, насколько много разных соединений идёт, широта использования сети.
По факту, скорее всего у тебя ограниченное количество IP адресов в твоей сети, и относительно много во внешней. Но при этом всё-таки очень много длительных соединений с большим общим трафиком, скажем пользователи на ютубе ролики смотрят, даже торрент трафик подразумевает, что там куски по 2-8мб в среднем.
То есть реально количество таких пар будет не очень большим, по крайней мере для 100Гб трафика. Десятки тысяч, максимум миллион уникальных пар, это грубая прикидка.
Проебался с адресами. 8 байт там в сумме. 20% пакета - размеры пары адреса. Тогда получаем на 100ГБ 20гб адресов
Я в курсе, что в реальности такое маловероятно, что и написал первым сообщениием ОПу, а потом просто пояснил подробнее за этот случай. Просто тут пол треда кулибиных, которые всякий хентай выдумывают, ОПа пугают и друг перед дружкой выпендриваются (двачи, что уж). Поэтому и написал сначала, что типа забей на этот случай.
В практической задаче надо скорее думать, как это дело по скорости оптимизировать. Потому что вряд ли будет история, что все адреса уникальные.
А вот что надо очень много файлов читать и быстро - очень даже.
Но на стажировку с оптимизациями может и не нужно заморачиваться, это уже продвинутый уровень.
То есть по-хорошему надо делать специальный бинарных буфер, подгружать в него, сканировать в нём.
fread(), это, сколько помню, системный вызов. Внутри ОС там конечно всё буферизуется, но сам по себе системный вызов штука дорогая и их надо минимизировать.
Всё можно оптимизировать, но это уже довольно сложный код будет. И надо понять, нужно ли реально в данной задаче это или и так сойдёт.