В тред призываются дата инженеры и аналитики. Расскажите, чем занимаетесь на работе. Какие задачи решаете? Какой стек юзаете? Часто ли на практике используете статистику? Другую математику? За сколько вкатились? Какие подводные в вашей работе существуют? Какие материалы можете посоветовать для ознакомления со сферой? И с теорией (особенно интересно), и с практикой?
>>250787347 Хуйню не нет. Средний возраст анона 32 года. Детям в интернете на таких форумах не интересно, они скорее время потратят на доту или во что там играют щас.
>>250786853 (OP) я инжинер банковской архитектуры, живу в сша, работаю в крупном банке, всё уже давно сделано до меня мне остаёться следить за базами данных на cobol и Bubble пишу приложухи для этого же банка щас могу накидать кусочки кода если интересно?
>>250786853 (OP) Только вкатываюсь, сегодня прошел собес на 180к на руки без премии. Работаю уже 6+ лет bi инженером, строю отчеты на скуле и олапе. Ухожу на фулстэк di с кафкой, хдфс, скалой и хайвом.
>>250788486 Ничем, лол. У меня есть 2 маленьких витринки из которых без проблем собирается вообще любой отчет. Данных стабильно поступают и обрабатываются.
Пользователи чота хотят - делаю им эксельку/павер би с отчетом.
Витрины придумать было просто, ибо данных мало.
На новой работе, которые ищу будет в разы больше нагрузка, но все так же просто из кусков собирается.
А я между тем напоминаю, что пузырь лопнул, вкатывальщиков развелось, вкатиться теперь не просто тяжело, а пиздецки тяжело, и нормальную ЗП в 150к в ДС будут платить лет через 5-10 переработок в ущерб своей жизни.
>>250788770 Интересно до тех пор, пока не приходишь на работу и не начинаешь делать не для себя с жесткими сроками, поддержкой в будущем и прочими прелестями. Фриланс то же говно, только немного в другом формате.
>>250788725 Ну я учился на итшника. Работаю с 3го курса, точней уже лет 8. Получаю 150 и нихуя не делаю. 0 переработок и ответственности. Хз чтт делаю не так.
>>250789006 > Работаю с 3го курса, точней уже лет 8. Получаю 150 8 лет опыта. Я писал: > ЗП в 150к в ДС будут платить лет через 5-10 Так и вышло.
Вот это звучит как неправда: > нихуя не делаю. 0 переработок и ответственности. Зачем ты нужен, если можно нанять студентиков за 30к? Думаю ты слишком сильно утрируешь.
>>250789284 Когда нужен сделаю быстрее подрядчика, но когда ухожу с работы, то меня заменяет студентик и мои советы ему. После увольнения на прошлую компанию еще год могу подрабатывать в отпусках по еба прайсу Сейчас брал 1-2 тыщи в час в зависимости от работ, работал по 6-8 часов, заебись прибавка.
>>250789301 Бизнес интеледженс - красивые отчеты с дрифру и всякой еботой. А второе de - дата енжинер.
>>250789181 Стартап закроется и ты пойдешь на мороз, или твой лид будет зумером долбоебом, или будут платить мало и кормить обещаниями в будущем, или... Сомнительная тема.
>>250789043 >>250789102 отвратительная картинка этот анон прав мало того что нарисована не красиво и не пропорционально так ещё и пьёт пиво и в военной форме хотя анимедевочки в форме обычно выглядят классно но не эта
>>250788725 Так если он лопнул, то в чем проблема? Когда пузыри лопаются, ситуация стабилизируется. Пузырь доткомов, например, лопнул и ситуация с интернет-бизнесом пришла в норму.
Специально ради опа выхожу из режима чтения. На связи ds team lead. Требуется знание математической статистики (что такое случайная величина, ее закон распределения, функция распределения и плотность распределения, проведение статистических тестов и так далее), теория вероятностей (алгебра событий, теорема байеса, …) , машинного обучения (от классики эконометрики - регрессия , ARIMA и анализ временных рядов, логистическая регрессия , до новомодных случайных лесов, градиентных бустингов, немного сеток. В целом, в каждой задаче - регрессия, классификация, кластеризация - необходимо «на зубок» знать 2-3 модели), математической оптимизации. Чем занимаюсь: формулирую концепцию решения проблемы заказчика, общаюсь с ним, руковожу командами конкретных проектов, контролирую производственную разработку и задаю направление проекта (прототипирование, генерация и проверка гипотез). Провожу собеседования и могу сказать точно - рынок далеко не лопнул. Приходят люди, которые умеют писать строчку для активации модели в питоне, но ни черта не понимают в математике, что и свободно эффективность такого работника-«аналитика» к нулю. Я предпочту не брать таких людей и делать самому, пока не надо человека, который хотя бы потенциал к обучению демонстрирует. Если хочешь вкатить: начни с основ (Елена Венцель «теория вероятностей», любое издание), параллельно Introduction into statistical learning и Elements of Statistical Learning. R/Python не так важно, но важен sql и умение преобразовывать и готовить данные к применению той или иной модели (80% времени ты будешь готовить данные к рабочему состоянию, а не анализировать и строить модели). Сам вошёл в профессию из другой области, так что дерзай. Я в тебя верю.
>>250786853 (OP) Чувак, сам подумай: в ТОП вузах Москвы выпускают сотни дата сайентистов каждый год. (это уже готовая специальность, да) кроме того, есть реально тру инженеры, у которых и математика и программирование на таком уровне, который у вкатывальщика уже НИКОГДА не будет. Сча впаривают эти курсы по типу изучи питон, sql и основы теорвер и велком в специальность Но сам подумай, кому такой спец на рынке нужен? Повторяется ситуация с бухгалтерами 2000х годов: сначала было ок, но потом перепроизводство привело к снижению зпл на рядовых должностях, а топовые занимали спецы, до которых с курсами было не дотянуться. С ДС осложняется тем, что порог входа реально высок: библлиотеки питона выучить может любой дурак (что они сейчас и делают), но все равно ему далеко будет до реально шарящих чувачков. И кого выберет работодатель?
>>250789778 видимо ты просто разговоры от реальности не отделяешь. это и понятно, тк сам написал, что: > Я в нулевых, будучи пиздюком, уже читал пасты об этом.
>>250789880 Спасибо за развернутый ответ. Примерно так и видел старт карьеры, но думал, что пайтон/R используются плотно. Можешь рассказать про конкретные задачи из своей практики? Хотя бы в двух словах.
>>250789925 Таблетки прими, шиз, я не знаю, о ком ты говоришь.
>>250790144 это да, только если б у тебя с мат статистикой было ок, то бы бы сопоставил, сколько сейчас вкатывальщиков именно в ДС и сколько реально вкатилось. Единичные случаи, когда кто-то сам выучился погоды не делают
>>250790196 у меня 3 класса по математике которые я за 5 дней учёбы онлайн по ночам освоил, я думаю приложив все силы на 100% и нормально учась я всех выебу
>>250790160 А фиг знает, методом проб и ошибок, получается. Ты пойми, на одного чувачка, который на дваче описывает или на хабре, как он с нуля вкатился и получил оффер на 210 000 приходится мыдаженезнаемсколько тех, кто не вывез (они не делятся просто подробностями). Вот и создается впечатление, что вот, полгода - и я джун, а через пару лет релокейт на Кипр. А фиг там.
>>250790118 >>250790118 На здоровье. Не бросай и делай. Дам тебе один важнейший совет: лучше качество , чем количество. Если ты объяснишь досконально 2-3 метода и будешь их знать прекрасно это работодатель оценит выше, чем знать 200-300 моделей на уровне «напишу строчку в питоне, посмотрю метрику суть которой не понимаю». Задачи: самые разные. Высший пилотаж это взять проблему от бизнес-пользователя и разбить ее на математические подзадачи, которые проблему решают. Например, проблема - высокий уровень запасов в логистической системе. Какое может быть решение? Положим , замерили BIAS прогноза и видим, что есть существенный перепрогноз систематический. Решение - создать модель прогнозирования. Чтобы это уметь нужно хоть немного понимать в физике той отрасли, где ты всю эту математику применяешь. Я бы тебе рекомендовал почитать Корпоративная Логистика Сергеев, Дыбская и другие, книги Лукинского В.В и Лукинского В.С. - тут и физика процессов торговых и производственных компаний и прикладные методы решения их задач. По крайней мере не будет стыдно на собеседовании в том же X5 retail group.
>>250790405 > замерили BIAS прогноза и видим, что есть существенный перепрогноз систематический. Решение — создать модель прогнозирования Разве то, что ты пишешь, нельзя автоматизировать, чтобы выгнать дата сатанистов на улицу?
>>250790015 >ТОП вузах Москвы выпускают сотни дата сайентистов каждый год. (это уже готовая специальность, да) Можешь мне блять рассказать про эту специальность? Мимо реально выпустился из топ вуза москвы и работаю в мл, вот только что то похоже в маге видел, и то там как обычно на словах мы дохуя сосаентисты, а на деле надо появляться раз в год на учебе
>>250790500 >>250790500 Если бы это было так, то я бы уже давно не имел бы работы.) Крутой математик / программист ценится гораздо меньше, чем осведомлённый аналитик с навыками не продакшн питона и знанием физики отрасли. Пример: есть математик прогнозист, а есть деманд планёр. Второй делает план продаж и операций до конца года, первый подаёт входящую информацию второму - статистический прогноз СПРОСА , не продаж. Далее все отделы дают планёру свои ограничения (прогноз 100, маркетинг готов сделать промо и сделать 120, но логистика может обеспечить 110, в план заносим 110). Очевидно, что планёр знает все процессы в компании - от прогнозирования, до маркетинга и логистики, иначе он не сможет делать план. Кроме того, у него очень развиты софт Скилла. Следовательно, скорее всего планёр станет вице-президентом, а не прогнозист.
>>250790118 я другой анон шизик но от таблеток мне только хуже, импотенция постоянная сонливость и тупость мысли, вот что даёт таблетки, лучше я поеду крышей но буду со стояком и в своём уме
>>250790807 И выгореть нахуй так, что потом будет не интересно не то что учиться, а жить. Когда работал девопсом, именно так и случилось. Теперь ненавижу эту сферу. Собственно, поэтому и перекатываюсь.
>>250789880 > люди, которые умеют писать строчку для активации модели Блять о том и речь что в 2к10 таким даунам платили 150к. А щас им хуям по губам водят. это и называется рыночек ЛОПНУЛ.