Очередной тред про хипстерские технологии, которые не работают.Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материалаВ чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examplesГде набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/Где работать? https://www.indeed.com/q-deep-learning-jobs.htmlГде узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихсяГде посмотреть последние статьи? http://www.arxiv-sanity.com/Где ещё можно поговорить про анализ данных? http://ods.ai/Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.Список дедовских книг для серьёзных людей:Trevor Hastie et al. "The Elements of Statistical Learning"Vladimir N. Vapnik "The Nature of Statistical Learning Theory"Christopher M. Bishop "Pattern Recognition and Machine Learning"Взять можно тут: http://libgen.io/Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.Предыдущий:https://2ch.hk/pr/res/1406660.htmlАрхивач:http://arhivach.ng/thread/412868/Остальные в предыдущих тредахТам же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
думаю вот над таким вопросом. Много читал литры по психологии, в основном КПТ/Лакан, Фрейд/немного общей психологии. И хотелось бы как-то применить свои знания в программировании. Может кто-то знает как эти две сферы объединить, может быть уже есть какие-то проекты в моделировании. Хз в общем
Анон, подскажи, пожалуйста.Есть таблица вида:№|Cat1 | A1 | B1 | C1 | D2 | A2 | D2 | B3 | C...Как привести её к виду одномерного массива:№ A B C D1 1 1 1 12 1 1 0 1...Т.е элементы второго столбца оригинальной таблицы должны стать названиями столбцов новой матрицы, а наполнения ячеек этих столбцов - булевое 1 или 0 - т.е были они в оригинальной таблице или нет?
>>1440639Можешь проанализировать, как желание выебать твою мать в детстве привело к тому, что ты теперь форматируешь код под силуэты фаллоса, пидор.
>>1440643Во-первых, двумерного. Во-вторых, ты совсем тупой?letters = unique(table['cat'])result = {letter: repeat(0, n) for letter in letters}for num, letter in zip(table['n'], table['cat']): result[letter][num - 1] = 1В-третьих, какого хуя вы вообще в этот тред с такими вопросами ходите?
Что делать если в моем городе(не мухосранск) нет вакансий для джунов по млу, как развиваться? Везде сеньоров им подавай, помогите
>>1440863Иди прогером куда-то где есть задачи, где можно применять мошон лёрнинг и применяй. Потом с чистой совестью пиши мошон лёрнинг себе в резюме и ищи работу.
Влияет ли момент оптимизатора (и вообще, сам алгоритм оптимизации) на гамму и бету в батч-нормализации? Или там только собственный момент учитывается?
>>1440632 (OP)Ищу кого-нибудь для общения вокруг программирования и матана, обмена ссылками и книгами, а так же для парного программирования.Мои языки C, Python. Считаю что программист из меня так себе.Сферы интересов: Теория игр, теория принятия решений, Управление и оптимизация, многокритериальное принятие решений, Марковские модели, конечные автоматы, теория графов, теория вероятностей, статистические методы, имитационное моделирование, ии и коллективное поведение и проч.korbelan@mail.ru
Анон, у меня странный вопрос. Работаю погромистом уже продолжительное время, решил попробовать на досуге а качестве хобби поиграться с нейронными сетями. Это долгосрочная идея, поскольку у меня нет базы по математике. Вопрос в том, как вкатываться в матешу для машоба? Мои знания математики кончаются примерно перед началом тригонометрии, если смотреть школьную программу. Может какая-то конкретная книга, сайт?
>>1444189попробуй курс Математика и Python для анализа данныхhttps://www.coursera.org/learn/mathematics-and-pythonкак пройдешь его можешь начинать следующий Введение в машинное обучениеhttps://www.coursera.org/learn/mathematics-and-python
Анон, подскажи пожалуйста - какие вопросы тебе задавали на собесе? Какие вопросы ты бы задал? Круто, если помнишь что-то конкретное с собеседованийКстати, каковы мои шансы на получение работы, если:2 года до этого работал в эмбеддед, 0.5 года как дата инженерИнглиш аппер-эдвенсдПорешал на топ20% 5 штук легких задачек на каггле1 мини проект по финансамЭндрю нг курс дроченый-передроченный 4 разаСтатистика - уровень слабенбкий, но в принципе в выборках/цпт/случ величины/распредееления ориентируюсьТеорвер - супер хуево, если честно, формул не помню. Только то что когда множить когда складывать вероятности надо, а ещё что такое комбинация -c n по k
Для курсача планирую рассмотреть тему генерации текстов посимвольно/пословно. Из того, что я пока прочитал, все еще актуальное решение — LSTM, GRU. Word2vec, как я понял, для моей задачи и не нужен. В какую сторону еще можно копать?
>>1445250шо, хочешь свой GPT2 сделать, как OpenAI? :)я бы погуглил по этой теме - у них офигенная работа, жаль, что закрытаяhttps://openai.com/blog/better-language-models/
Где в России лучше всего учиться в магистратуре на тему machine learning / deep learning / data science ?
Анончик, может есть какой-то материал хороший по pytorch. Пока только вкатываюсь в мл, сложно сходу в документации разобраться. Может какой-то добрый дядя написал книгу или записал видео, где рассказывает что, как и почему там устроено?
Никак не могу разобраться с активным обучением.Есть какой-нибудь крутой гайд? Идеально, если он будет с примерами
>>1445250рассмотри марковские цепи ещё можешь рассмотреть cs224n и затем рассмотреть transformer-based модели
>>1440632 (OP)Ребят, вот читаю я Николенко и очень слабо понимаю материал. С Гудфеллоу чуть получше. Существуют ли вкаты попроще, где все разжевывают прям для нубья?
>>1440853>В-третьих, какого хуя вы вообще в этот тред с такими вопросами ходите?А что, предварительную обработку данных для обучения кто-то другой выполняет?
ебаный рот этого казино, блять.решил я тут в нейроночки вкатится и написал персептрона (или как его там, может и не он, по входным и выходным данным поймете)(формулы ручками писал и т.д., чтоб все это гавно понять), но че то ничего не работаеткодimport numpy as npimport random lst = ([0,1,1], [1,0,1], [1,1,0], [0,0,1], [0,1,0], [1,0,0], [0,0,0], [1,1,1]) lst_result = [1,1,1,0,0,0,0,1] weight_one_input = random.randint(1,9) / 10weight_two_input = random.randint(1,9) / 10weight_free_input = random.randint(1,9) / 10weight_one_out = random.randint(1,9) / 10 learning_rate = 0.01 def sigmoid(x): return 1 / (1 + np.exp(-x)) def learn(): global weight_one_input global weight_two_input global weight_free_input global weight_one_out global learning_rate for step in range(10000): for x in lst: one_input = x[0] two_input = x[1] free_input = x[2] out = lst_result[lst.index(x)] ghost_layer = sigmoid(one_input weight_one_input + two_input weight_two_input + free_input weight_free_input) out_layer = sigmoid(ghost_layer weight_one_out) err = out_layer - out delta_weight = err (sigmoid(out_layer) (1 - sigmoid(out_layer))) weight_one_out = weight_one_out - (out_layer err learning_rate) err = weight_one_out delta_weight weight_one_input = weight_one_input - (one_input err learning_rate) weight_two_input = weight_two_input - (two_input err learning_rate) weight_free_input = weight_free_input - (free_input err learning_rate) print([weight_one_input, weight_two_input, weight_free_input, weight_one_out]) def test(): weight_1 = 0.6607684757223093 weight_2 = 0.4023567600436868 weight_3 = 0.3435469144509494 weight_4 = -0.003854848220505953 inp = [0,0,0] ghost_layer = sigmoid(inp[0] weight_1 + inp[1] weight_2 + inp[2] weight_3) print(sigmoid(ghost_layer * weight_4)) test() #learn()пустые строки он почему то убрал, так что за читабельность извиняйте
>>1446325> решил я тут в нейроночки вкатится> не может в нейронки > не может в Гугл> не может в тся-тьсяВыкатывайся обратно. Я серьёзно.
Что думаете о Microsoft Azure для ML? Удобен ли, полезен ли? Можно ли обучить модели на Азуре, а использовать их без Азура?
>>1440869Хуйня.Ну т.е. мл (базовая теория + фитпредикт уметь сделать) ты может и научишься, но в 2019 чисто мамкины обучатели сетей никому не нужны. Т.е. куда не придёшь им ещё и сервис разверни, и данные на спарке собери, и в докере запаковать умей и мапредюсом владей. Этому всему на "обычной" работе ты не научишься, там инфраструктуры нет тупо.
>>1448366>Т.е. куда не придёшь им ещё и сервис разверни, и данные на спарке собери, и в докере запаковать умей и мапредюсом владейВсё это укладывается в месяц и скорее всего часто встречается на работе у почти любого кодера. Ясное дело вообще другая вещь, чем ресерч в пиндосском университете. Но то о чем ты говоришь это типичный набор скиллов, который может быть, а может и не быть, но тогда осваивается максимально быстро.
>>1448205Удобен, полезен, использовать без ажура нельзя. Но алгоритмы из коробки так себе, если можешь в код - лучше свой написать
>>1448205Они способны - повертеть головой. но кошит поредили. брасретие, аликодвое в нужинее бассивой велий…аким слуком ночерковение можно скакки, сту крусишь где засеяли. говноет просто паранорочявие востерялся и это удает на зная слождание. менею, звоящи, — дротнеущевые. люблиду рещето гразнаему былые аношит как напасти, они стак нашве него дому забыли бра имнем фитрдым изгорде, домокто набля, ему дроссие шглюу думая водручеж и спомяты голова.
>>1451650Там нет более менее интересного датасаенса + ты не пройдёшь отбор/тебя заебёт по десять интервью проходить.
Пилю небольшой ML проект (тематическое моделирование) чисто для себя, очень много рутины, но есть и интересные задачи, если есть желание попробовать пишите, опыт не важен, но если можешь хоть немного в питон и/или в веб будет супер.
Аноны есть аноны на фермах сидящие? Вы че тут сидите и не делаете мир анимешным? https://github.com/taki0112/UGATIT/issues/5Прогоните позязя нормальный датасет а то там прогнали на лайт версии и маленький датасет плохо обрабатывает =( Пытался на своей некропеке прогнать посчитал 10 дней уйдет при полном исключении компа из моей жизни и на 100% загрузке
>>1440632 (OP)1. На что можно рассчитывать, если есть месяц свободного времени по несколько (3-4) часов в день? Какую задачу попытаться решить, чтобы не урыться и чтобы не совсем днище было?Любопытно влезть, попробовать - хочу ли я этим заниматься. Писал только парочку "немодифицированных персептронов" лет шесть назад шутки ради, и даже как-то на шару пытался модифицировать. В матан и теорвер умею, в матстат совсем капельку. Книжку для вкатывания прочитаю.2. Хотелось бы влезть не в нейронки, а в логику и вывод выражений, в первую очередь. Но можно и в нейроночки, предпочтение минимальные. Как это называется, какие названия гуглить? Или сейчас и это через нейронки делают?Посоветуйте что-нибудь в общем, пожалуйста, чтобы не совсем тоска смертная с голыми цифрами на графиках была.
>>1452143а меня в анальное рабство гугл потом не заберет? хотя можно будет хвастаться что работаю в гугле...Это что бесплатные вычислительные мошности? а почему на них не фармят?
>>14522221. Для вкатывания в матстат хватит.2. Нынешние нейронки занимаются минимизацией ошибки между датасетом и весами через постройку градиентов в многомерном поле ошибки.>>145223312 часов дают на одну сессию.
Нужно с околонулем знаний написать нлпшную сетку или что-то аналогичное для частеречной разметки, то есть НЛП. Есть какие-то простые пути?
>>1452283Нейролингвистическое программирование (также нейро-лингвистическое программирование, НЛП, от англ. Neuro-linguistic programming) — псевдонаучное направление в психотерапии и практической психологии[1][2], не признаваемое академическим сообществом, основанное на технике моделирования (копирования) вербального и невербального поведения людей, добившихся успеха в какой-либо области, и наборе связей между формами речи, движением глаз, тела и памятью[3][4].
>>1452906Всегда проигрываю когда кто-то начинает произносить заклинания типа word2vec. Это же просто идея КАК БЫ ИЗ ТЕКСТА ПОЛУЧИТЬ КАКИЕ-ТО ФИЧИ??.
>>1452283А в чём сложность конкретно.Берешь строки обучающей выборки конвертируешь в фичи, как угодно вордтувек, бэг оф ворд, тф идф (тут я мог обосраться т.к. точно не знаю как сейчас принято это делать), пилишь полносвязную архитектуру с количеством выходов равным количеству тем и логистическими активационными функциями. Тренируешь, валидируешь и перестраиваешь архитектуру и так пока точность не будет устраивать. Дальше предиктом проводишь доразметку.
Я один заметил, как оперативно слили reinforcement learning после заявлений Жокинга Бокинга Хокинга и Маска что тема апасная - ИИ, гроб, кладбище, терминатор, уничтожение человечества? Ещё в 2016 тема была на подъёме, openai gym, universe, алгоритмы rl уже рвали игроков-людей не только в понг и всякие шмарио, но даже в го (alphago). Казалось, ещё пара лет такого развития и вот оно, самообучающиеся машины. А потом быстренько вжух и в гроб всю тему. Это ж прямое управление прогрессом науки и техники, а?
Вот даже на швабре был пост https://m.habr.com/ru/post/437020/ > Еще в начале 2018 года вышла статья Deep Reinforcement Learning Doesn't Work Yet ("Обучение с подкреплением пока не работает"). Основная претензия которой сводилась к тому, что современные алгоритмы обучения с подкреплением требуют для решения задачи примерно столько же времени, как и обычный случайный поиск.Короче, официально решили - нинужно. И не лучше случайного перебора. Хотя общеизвестно, что теми же генетическими алгоритмами таких результатов достигнуто не было.
>>1453763Openai - контора Маска. И мировой лидер по алгоритмам rl. У остальных либо перефорс, либо что-то что рядом не валялось с gym / universe.
>>1453669Потому что ты не в теме, ты залетный. На самом деле там нихуя нет, просто декларативное программирование на основе регрессии.
>>1453672>Хотя общеизвестно, что теми же генетическими алгоритмами таких результатов достигнуто не было.Там и обычным rl не было ничего достигнуто сначала, пришлось завозить диплёрненх и долго биться чтоб этого говно заставить работать. Можно было и с генетических алгоритмов начать, не суть в общем.
>>1453669>Я один заметил, как оперативно слили reinforcement learning после заявлений Жокинга Бокинга Хокинга и Маска что тема апасная - ИИ, гроб, кладбище, терминатор, уничтожение человечества? Нет, ебнутых шизиков на планете хватает.Хайп в СМИ штука случайная и прямого отношения к науке не имеет. По тегу reinforcement learning на arxiv-sanity по несколько публикаций в день.Что касается прогнозов с помощью прикладывания линейки во время какого-то революционного перехода, то тут есть два типа даунов. Первые - которые не понимают ступенчатый характер развития всего, потому что уверены, что любая ступнька - это не ступенька, а о боже пиздец сингулярность, а вторые - которые любое развитие отрицают.Как правило, второй тип даунов - это проэволюционировавший первый. Сначала восторгались всякой хуйней, а потом якобы прозрели. Караван науки, меж тем, без этих хуесосов идет.
>>1454004На тему reinforcement learning в конце 2018 замутили какую-то мегагитлер диплернинх архитектуру RND (random network distillation), до которой остальным вроде как до луны пешком пикрелейтед, и все равно выходят статьи типа той, на которую ссылка на Хабре, суть которых "все плохо, нихуя не работает, никакого прогресса за 3 года, результаты не превосходят рандомный перебор". Хотя очевидно, что потенциал у этой темы огромный и даже результаты имеются, все равно видна общая тенденция на ее слив.
>>1454017>Хотя очевидноКому?>видна общая тенденция на ее слив.Если что то будет работать, его уничтожат. Вам долбоебам это еще в 50х на примере ЭС показали.
>>1454017>Хотя очевидно, что потенциал у этой темы огромный и даже результаты имеютсяНе знаю, мне никогда эта тема не была интересна как раз из-за довольно хилого потенциала.Если очень грубо, то сколько собаку не тренируй, говорить она не научится. И вот reinforcement learning он как раз про тренировку собак с практическими применениями уровня игровых ботов. Игры для атари 2600, ну вообще охуеть, крысу можно научить играть в атари 2600.С точки зрения ИИ и прочей поеботы интереснее системы на RNN типа машинного перевода - они хотя бы делают то, что животным недоступно.
Поясните, что сейчас происходит с tensorflow. Ходел сделать сверточную сетку по книжкe Николенко. Вижу, что интерфейсы уже совсем не такие, поэтому делал то же самое, но по туториалу с сайта TF. Однако все равно вылезла стена из deprecation warningов, где мне предлагают завернуть все в уродливый неймспейс tf.compat.v1. Это не проблема, но мне не нравится, что я умудрился использовать устаревшую семантику, пользуясь якобы свежим API.
>>1445660По мере убывания годноты.http://msc.skoltech.ru/nauki-o-dannykhhttps://yandexdataschool.ru/https://mipt.ru/education/departments/fpmi/master/data-analysis-ippihttps://mipt.ru/education/departments/fpmi/master/data-analysishttps://mipt.ru/education/departments/fpmi/master/cognitive-technologies-pmihttps://www.hse.ru/ma/datasci/https://spb.hse.ru/ma/inpro/https://compscicenter.ru/syllabus/on-campus/ds/И т. д. Сейчас таких программ уже десятки.
>>1454183В ВШЭ вроде как надо в ШАД поступить, иначе не пустят на нормальную кафедру, за пределами которой не очень.
>>1454169>но мне не нравится, что я умудрился использовать устаревшую семантику, пользуясь якобы свежим APIНе хочу обратную совместимость, хочу кушать говно.
Есть деньги и законченое профильное образование, нет опыта и желания зарабатывать 300кк/ceк в какой-то корпоративной дыре вроде гугола и остальных больших братьев. В какую лабораторию можно попробовать вписаться ради стажа, публикаций и науки ради фана? Из тех что не принадлежат корпорациям и не требуют муторного поступления на PhD знаю только MILA и может быть OpenAI, но хиккую писать.
Есть идея сделать пет-проект чисто для себя, основанный на распознавании не только моей речи, записанной на диктофон. Есть какие-то готовые решения в этой области? Какой прогресс в области распознавания речи? Куда вообще копать? Машобом не занимался со времён универа
>>1454169Из за того что дилёнеры стали массово перекатываться в пайторч, чуваки из гугла решили очень сильно переделать API. Новый API начинается с версии 2.0, но где-то с 1.2 они уже понапихали ворнингов, что весь твой код скоро превратится в легаси гавно.
Почему бы не сделать установщик slesarplow.msi, который ставится как простая программа? Или это не илитно, когда не надо трясти яйцами с бубном над консолечкой?
>>1454183Благодарю. Можно ли вообще перекатиться из бекенда? Сейчас подтягивают математику, питон уже знаю, работаю 3 года. Хочу магистратуру на эту тему закончить. Мне на момент поступления уже лет 28 будет.
>>1455182Опущенный зумер гордится тем, что осилил одну команду в телетайпе из позапрошлого века. Сьеби отсюда, шмара.
А никто не пробовал свои модели на толоку или mechanical turk какой-нибудь натравить чтобы денежки фармить? Или потенциально не выйдет ничего?
Нейрач, я тупой, дай совет.Нужно ли балансить валидейшон дату? Тестовую дату отбалансировал, а с валидейшоном как? С одной стороны нужно, чтобы не повторялся один и тот же выбор слишком часто (классифицирую 3 вида объектов). С другой этого не бывает в реале, там превалирует один вид, а два периодически появляются. В гугле противоречивая информация.
>>1456261Основная информация, которую ты получаешь, это дельта между трейнинг лоссом и валидейшеном, поэтому их распределения должны быть похожи. Тогда сразу становится видно, например, если у тебя трейнинг лосс на порядок меньше, ты ушел в оверфит. Если распределения разные, тебе остается смотреть только на направление движения (уменьшается ли валидейшен лосс от эпохи к эпохе или нет), что хуже, хотя может и так сойти.
>>1456252> А никто не пробовал свои модели на толоку или mechanical turk какой-нибудь натравить чтобы денежки фармить?А как? Где взять тренировочные данные? Что там вообще за данные?
>>1456275То есть чтобы палить оверфит, то балансить нужно. Если не балансить, то получу точность для реальных данных (при условии, что нет оверфита). Правильно понял?
>>1456261Трейнинг вообще балансить опасно как раз из-за возникающего несоответствия между распределением на обучении и в приложении.
>>1456261 Короче сам проверил свой же вопрос и проиллюстрировал ответ анона >>1456275Всем похуй, но выложу на всякий, вдруг кому понадобится.Синий цвет - тестинг и валидейшон дата сбалансированы одинаково.Оранжевый цвет - тестинг дата сбалансирована, валидейшон - нет.Точность хуевая, сам знаю.
>>1458820> Отправил, долго ли они эту хуйню обрабатывать будут?В спам часто падает.>>1458804> давай, гой, запость своё ебало> >и свою почту не забудь, чтобы было куда спам слатьНу разумеется, (((масонам))) прямо никакой жизни нет без унылого ебла Славика из Залупинска и его почты, куда кроме спама все равно ничего не приходит. Таблетки выпей.
Что-то я так и не понял до сих пор, под гордым названием "атеншон" что, скрывается идея просто параллельно основной модели дополнительный денс слой вставить между входом и выходом?
Вот есть номинальная шкала и порядковая.Например, рассматриваются места, которые заняли бегуны в соревновании Вася 1Петя 2Кирилл 3Вот эти вот 1,2,3 это номинальная или порядковая шкала, вроде как порядковая, но ведь номинальная шкала подразумевает коды какого-либо состояния, а этим состоянием может быть и занятое в соревновании место
А как ml сочетается с фрилансом? Есть у кого опыт?Есть шанс, что удастся пристроиться так, что берешь проект на несколько месяцев, решаешь проблему, получаешь бабло и валишь на полгода на Гоа курить бамбук?Или ml это только фуллтайм?
>>1459659Фриланс млщика - это каггл. Выигрываешь контест с призовыми, живёшь на них от двух месяцев до полугода, дальше продолжаешь.
>>1459769Даже обезличенные данные хрен кто отгрузит непонятному фрилансеру. Тут внутри компании-то их получить - две недели будешь ждать пока со всеми согласуют. Ну и плюс, данные не обязательно персональные.
>>1459596Порядковая, потому что на множестве, как ни странно, есть порядок, заданный самой предметной областью. Вообще порядковая - это расширение номинальной.
>>1460422Никто связываться не будет. Тренировочные данные (собственно, ЦП) - в любой стране лютое палево. А их гигабайты нужны. >>1460410Пыня официально не аниме, лол
>>1460422Алсо, все равно хуйня получится, как с deepnude, то пизда поперек то ещё какая крипота. Современные нейроночки пока ещё не могут в нормальное порно.
Господа, а есть ли где-то готовые модели для питона (SciPy)?Ну и в принципе готовые модели с весами уже для разных задач?Мне вот надо на фото описать кривую по контуру человека, а самому собирать/качать петатонны выборки и вот всем этим говном заниматься не хотелось бы.Спасибо.
Аноны, хочу вкатиться в Дата саентс и потом в ИИ книгой что на пике. Что думаете по поводу этой книги?
>>1460434>Тренировочные данные (собственно, ЦП) - в любой стране лютое палево. А их гигабайты нужны.Ты из какого года пишешь, cyclic consistency loss вам там ещё не завезли?
>>1461189Лол, а нахуя брать градиент, если у тебя уже либа все делает, все логично.математикорабы батрачат на компутеробогов
>>1461238Если ты не понимаешь, как это все работает, твой потолок - сойбойские туториалы. Даже если попробуешь что-то на своих данных, а что-то не будет работать, ты даже не поймёшь в чем проблема, т.к твой уровень в этих технологиях это уровень бабки с пультом в полиэтиленовом пакетике, которая не понимает, почему Путин по ящику без звука, то ли действительно тиливизер сломался, то ли просто слуховой аппарат выпал.
Про OpenCv можно сюда вопросы задавать?Мне нужно научиться экстрактить текст из комиксов, только каждый раз прога посылает меня нахуй, я уже не понимаю, какие фильтры нужно применять и как можно отсеивать ненужное.
>>1461314Реально все настолько плохо? Я вроде видел, что кто-то даже делал научную работу и теми же методами, что и я пользовался.
>>1461322Можно ли тогда решить эту задачу с помощью какой-нибудь нейроночки?По идее, всегда нужно искать правильные геометрические фигуры с надписью.
>>1461457Просто попробуем все и оставим тот, на котором точность выше. Так обучают нейронки в проде все мои знакомые.
>>1461273Ну да, только чем программирование и МЛ становиться общедоступнее, тем это все "понимание" уходит на второй план и все меньше требуется, тк всем этим занимаются пару процентов людей для МЛ фреймворков и гайдов.
>>1461322Ну ищи замкнутые контуры, в любом случае овал с текстом ничем от ебла твоего пиздоглаза теоретически не отличается. Хотя если размер области фиксирован, есть определенные типографические отступы текста и прочие признаки, можешь сиграть на них.
Господа, прошу помогите. Пробую выборку из ~2k записей с 6-ю параметрами - кластеризировать но мозгов не хватает, но увы на выходе из стандартного kmeans получаю 99% записей в одном кластере. В машобе - я практически полный 0, пожалуйста подскажите rкуда копать чтобы вникнуть и решить задачу.
>>1461478Ну сами бабблы бывают разными, размер текста в них может иметь разные размеры, отступы от края у шрифта могут быть разными.Мне лучше посмотреть на свертьчную сеть какую или дальше с opencv ебаться?
>>1461503https://m.habr.com/ru/post/456282/Не знаю, по каким критериям ты кластеризацию делаешь, но посмотри сначала, как твои данные вообще лежат в пространстве.
Как вообще "грокаем глубокое обучение" для нюфагов? Осилил примерно пол книжки пока, в целом понятно и совсем примитивную сетку-то вроде даже бахнуть могу, но такое ощущение, будто там прямо супербазовые знания даются только.
>>1461536>Мне лучше посмотреть на свертьчную сеть какую или дальше с opencv ебаться?С чем не ебись, адекватного решения не будет.
>>1461333Unet semantic segmentation.Только тебе придётся ручками понаразмечать какое-то количество данных.
>>1461628Хм, получается, что фото лучше будет тогда подготовить, ведь многообразие кандзи может смутить нейроночку.Может через какой фильтр прогнать, чтобы текст просто слипся или не стоит?
>>1461711При достаточном количестве данных не смутит. Нейроночки значительно умнее, чем ты думаешь (при достаточном количестве данных и правильном препроцессинге).
>>1461503Сначала посмотреть нужно, может у тебя и должно всё в одном кластере лежать. PCAем прогони, посмотри.
>>1459871Ты чё ебень? Там серьезный ресерч для целых команд. Как ты собрался собирать state of the art модель в одиночку за неделю и не зная даже половины необходимой математики?
>>1459659Как показывает опыт знакомого:1. Много дерьма от контор где 15-20 сотрудников. 60% ищут с почасовой оплатой где с тебя будут соки жать и педантично считать каждую минуту. Будешь сперва искать зависимости\закономерности в их говне, потом от тебя потребуют доработать их аналитику. Потом начнется дрочь, что предыдущие пункты - не МЛ, и по другому оплачиваются. Остальные, ищут того кто сможет собрать раму после ушедшего с проекта МЛщика.2. Конторы поприличнее штатом - обычно фриланс не ищут, куча рисков и корпоративного говна. Даже если найдешь - скорее всего будешь работать на перспективу устроится к ним.Готовься просрать кучу нервов и времени на трёп который тебе никто не оплатит. И еще дохуя времени на дрочь с фриланс аккаунтом.
мне вот интересно, очевидно что знание прогноза будущего влияет на само будущее, это еще древние греки знали см. хотя бы историю эдипа, называется самоисполняющееся пророчество, а принимают ли во внимание все эти бесчисленные попытки предсказания будущих цен влияние самих предсказаний на цены, что кто-то будет покупать например на основе этих предсказаний и это взвинтит цены и т.д.
>>1461917>очевидноКому?>древние греки Ебали друг друга в жопы, кроме этого распиаренного говна была куча выдающихся цивилизаций>предсказания будущих ценУ трейдеров есть чуйка, приходящая с опытом, впрочем как и в любой сфере, которая не формализуется, это загадки интеллекта.
>>1461917Число людей, которые изменяют свое поведение и вообще следят за финансовым рынком -- статистическая погрешность в сравнении с количеством людей и факторов, которые влияют и составляют экономику и биржу валют.
>>1461931Ты не совсем прав, есть самосбывающиеся предсказания, когда например куча роботов висит на каком то индикаторе тренда, очивидно что они сработают при определенных условиях
>>1461941Как это связано с тем, что я сказал о погоде?Я не знаю абсолютно ничего о том, какой процент этих ботов могут синхронизировано на что-то повлиять, насколько это зависит от политики стран и брокеров от разных компаний.Так нахуя тут разспрягать если ни я ни ты оба, скорее всего, нихуя не экономисты?
>>1461946>если ни я ни ты обаНу я торговал на фондовом, а ты нет.>что я сказал о погодеПрилетят самолеты и распылят серебро перед праздником.
>>1461946> Как это связано с тем, что я сказал о погоде?Причем тут вообще погода, ты не видишь разницы между рынком и погодой, ты зумер что ли?
>>1461917> принимают ли во внимание все эти бесчисленные попытки предсказания будущих цен влияние самих предсказаний на цены, что кто-то будет покупать например на основе этих предсказаний и это взвинтит цены и т.д.Очевидно, что крупные игроки или слишком хитрые умники могут намеренно делать что-то такое. Была же история, как много лет курс битка по-сути управлялись двумя хз чьими ботами. Там какая-то схема была с массовым размещением buy и sell ордеров, которые не исполнялись, но влияли на разворот курса. Кто-то очень умный на этой хуйне неизвестное количество бабла поднял, т.к схема работала годами и позволяла манипулировать курсом.
>>1461928>У трейдеров есть чуйкаОхуеть, блять, чуйка. Поешь говна. Зачем ты приводишь пример если ничего не знаешь по теме из которой берёшь его?
>>1461980А хули нет то? Платят много, так как компаниям очень выгодно наебывать студентов. Соревнующихся сотни, а значит там наверняка есть люди умнее тебя.
Не уверен, что это правильный тред для таких вопросов, но ничего более подходящего не нашёл.Передо мной стоит задача, подразумевающая распознание очень экзотических образов на изображениях, и последующий анализ свойств этих образов. Со своей задачкой я хочу по итогу разобраться сам, поэтому приведу здесь эквивалентный пример и попрошу вас подсказать, хотя бы в какую сторону смотреть.Представьте, что на вход вам приходят подобные изображения (только без вотермарок). Камера всегда сверху, фон всегда чистый, сосиски могут лежать как угодно (под любым углом относительно камеры, других сосисок и тд).Задача - распознать все образы (сосиски) и, проанализировать некоторые их свойства, которые можно извлечь из каждого отдельного образа (допустим, длину и отклонение от "эталонной сосиски", которая прописана где-то в сеттингах).Я от подобных задачек и вообще от этой сферы очень далёк, ещё не смог подружить своё мышление с тем, как обычно решают подобные задачки. Не могли бы вы подсказать мне, в какую сторону вообще смотреть, если я хочу решить подобную штуку. Всем заранее большое спасибо.
>>1461946хз почему ты вообще что-то сказал про погоду погода не зависит от людей а цены на товары зависят и рынок особенно локальный для многих товаров весьма мелкий
>>1462126>Камера всегда сверху, фон всегда чистый, сосиски могут лежать как угодно (под любым углом относительно камеры, других сосисок и тд).OpenCV, давно был бугурт на их форуме когда детали с транспортерной ленты распознавали, более менее, в отличии от нейроговна.
>>1462217да вы вообще не о томпросто пример - нейросетка предсказала тебе что картошка будет дешевая в россии допустим в последнюю неделю августа, ты начал закупаться, но такое же предсказание получило еще тысяча человек картофельных трейдеров, половина всех картофельных оптовиков россии условно, и все они побежали закупаться и в итоге цена картошки вместо падения вырослас развитием популярности нейросетей подобное наверняка будет сплошь и рядом
>>1462220Всё, что я находил по "OpenCV object detection", опиралось на нейронки под капотом, и распознавало в основном объекты типа машин и котов - то, что есть в стандартных датасетах. Не мог бы ты подсказать, на что смотреть? А то модулей у него немало, я пока не смог найти ни отвечающий за подобные вещи модуль в доке, ни обучающую литературу, которая рассматривает подобные штуки.>>1462151Да, выглядит до смешного похоже на мою задачу. Если я решу пойти по этому пути, то мне надо будет обучать нейронку и, раз объекта нету в публичных датасетах, самому собрать датасет с моими объектами?
>>1462232> В мировом масштабе для меня как для субъекта влияния на этот объект почти нет.Речь об обсуждаемых системах. Причем тут ты вообще? Сейчас бы какой-то зумер на что-то влиял.
>>1462222>но такое же предсказание получило еще тысяча человек картофельных трейдеровНу так те кто зарабаитвает уйдут в шот, лол. А во втопых, никтотв здпавом смысле на нейронки не будет полагаться.
>>1462289те кто уйдут в шорт разорятсяинтересно будет когда предсказание начнет учитывать эффект самого предсказания...
>>1462222>>1462295Сейчас уже большая часть трейдеров - роботы. Но это алгоритмы на крестах, которые навариваются на скальпировании.
>>1462126>Передо мной стоит задача, подразумевающая распознание очень экзотических образов на изображениях, и последующий анализ свойств этих образов. В сосисках на производстве нихуя экзотического нет.>сосиски могут лежать как угодноДруг на друге лежать могут?Если нет, то задача сводится к выделению связных регионов и фильтрации этих регионов по каким-то вручную подобранным критериям.Нужно подобрать такой цвет и направление подсветки, чтобы контраст твоих сосисек был максимальным. Вообще программисты часто недооценивают то насколько физика может упростить жизнь.Затем нужно подобрать преобразование цветное изображение -> black and white (не grayscale, а black and white), где черному будет соответствать положение "нет сосиски", а белому - есть.Например, если без векторизации (вдруг ты матлаба не знаешь), по тупому и применять фильтрацию по цвету, то выбираешь усредненный цвет сосиски, вручную или статистическим образом, и делаешь следующееcolor_sosiski_r = 255;color_sosiski_g = 20;color_sosiski_b = 40;for (int i = строки)for (int j = столбцы) {kartinka[j][r] = sqrt((color_sosiski_r - kartinka[j][r])^2 + (color_sosiski_g - kartinka[j][g])^2 + (color_sosiski_b - kartinka[j])^2)kartinka[j][g] = 0;kartinka[j] = 0;}Таким образом ты получишь изображение того как цвет картинки отклоняется от некоторого базового цвета. Затем сравниваешь это с вручную заданным порогом:for (int i = строки)for (int j = столбцы) {kartinka[j][r] = kartinka[j][r] < THRESH ? 1 : 0;}Ты получил бинарное изображение. Применяешь к нему дилатацию несколько раз, чтобы съест узлы межу сосисками, чтобы они стали отдельными фигурами. Теперь можно применять алгоритмы region properties. Пиздуешь сюда https://docs.opencv.org/3.1.0/d1/d32/tutorial_py_contour_properties.html https://docs.opencv.org/trunk/dd/d49/tutorial_py_contour_features.html и получаешь список свойств регионов (хотя для прототипизации матлабовский regionprops удобнее и вообще вся задача решается несколькими строками на матлабе). Отсеиваешь заведомо хуевые регионы, например, по площади (10 пикселей это мусор а не сосиска)), по вытянутости эллипса и т. п.Что касается ML,Вместо первого этапа отсеивания по цвету можно применить сегментирующую нейронку.Вместо последнего этапа можно получить все возможные region properties у сегментов и скормить разного рода ML-вычисляторам.В целом нужно начинать с мануального дизайна и, если задача не выполняется, добавлять ML.
>>1461917>а принимают ли во внимание все эти бесчисленные попытки предсказания будущих цен влияние самих предсказаний на ценыКонечно, теханализ он в принципе об этом. Если бы на цену влияли только фундаментальные факторы, никакого теханализа не существовало бы.
>>1462414Не проще диплернинх ебануть? Негров или котов на необработанных фотках распознает, значит и сосиски сможет.
>>1462431Прочитай последний абзац. UNet сможет сегментировать сосиски вместо ручного сравнения отклонения цвета, но это только часть пайплайна. Следующую часть пайплайна (выделение разного рода свойств сосисек) тоже можно сделать на нейронках, но лично я не знаю, насколько хорошо будет работать какой-нибудь измеритель длины сосиски который на вход получает изображение ее длины. Скорее всего хуево. А на базе классического алгоритма можно запилить что попроще.Если нужно было бы тупо посчитать число сосисек, то да, object detection сетка бы справилась end-to-end.
>>1462441Ну можно при обучении модели сразу задать несколько классов по длине сосисок - maly_sosiska, norm_sosiska, bolshoi_sosiska, oche_bolshoi_sosiska. И по форме, и нормальная, кривая, сломанная.
>>1462414Спасибо, ты мне дал очень дельную пищу для размышлений. Сразу оговорюсь, что >>1462431 и >>1462482 - не я.Да, сосиски могут лежать друг на друге и это меня очень сильно смущает. Есть ли у тебя идеи, как можно бороться с подобным?Классифицирую я далеко не сосиски, свойства у них будут гораздо сложнее. Но все необходимые свойства содержатся внутри каждого образа каждой конкретной сосиски и я предполагаю, что смогу работать с каждой сосиской отдельно, после того как их выделю. Это тоже важный вопрос - как считаешь, насколько безопасно на это надеяться?По поводу сниппета, который ты предоставил выше:в теле цикла ты не упустил обращение к ключу? Типа, kartinka[j][r] вместо kartinka[j][r]. Речь ведь идёт о попиксельном обходе изображения?Очень признателен за такой подробный ответ, сильно благодарен и буду очень рад, если ты ответишь на мои вопросы.
>>1462624>Да, сосиски могут лежать друг на друге и это меня очень сильно смущает. Есть ли у тебя идеи, как можно бороться с подобным?Проще всего взять нейронку. Посмотри на пикрелейтед, люди перекрывают друг друга, но детектируется оно более-менее нормально.Берешь какую-нибудь готовую архитектуру для object detection, тренируешь ее на нескольких тысячах фотографий с перекрывающимися сосисками, и вперед.Классические алгоритмы тоже можно придумать, например, детектировать концы сосисек (например, виолой-джонсом), соединять подходящие пары концов. Правда сосиски могут перекрывать и концы друг друга... Не, нейронка надежнее.>я предполагаю, что смогу работать с каждой сосиской отдельно, после того как их выделюЕсли они друг на друге лежат, не знаю. Может это вообще 2 короткие сосиски под одной длинной.Можно поставить 2 камеры и получать облако точек из их паралакса, либо из паралакса между 2 кадрами видео. Имея облако точек, можно матчить эти точки с эталоном прямо в 3д.>По поводу сниппета, который ты предоставил выше: в теле цикла ты не упустил обращение к ключу? Типа, kartinka[j][r] вместо kartinka[j][r]. Речь ведь идёт о попиксельном обходе изображения?Ну да, Должно быть kartinka[j][r], мол, конкретный пиксель, его красный канал.
>>1462673>Ну да, Должно быть kartinka[j][r], мол, конкретный пиксель, его красный канал.А, ну да, разметка съела i.По остальному - ты дал мне кучу простора для исследований, спасибо тебе большое за это! Думаю, уже смогу как минимум начать двигаться в правильном направлении.
>>1461797Я таки решил, что это излишне, можно попробовать стандартными методами попробовать реализоватьХотя нейроночка тоже должна находить контуры, только вот с таким будет проблемно.
>>1462942В принципе чтобы ответить на вопрос задачи о выделении кластеров\класов из данных и их описании, считаю нужно преобразовать обратно из Z, вывести среднее по меткам кластеров и у нас типа есть описание класса. Но это я так думаю, по-этому реквестирую как вывести в R много графиков - комбинации всех переменных.
>>1461281>Мне нужно научиться экстрактить текст из комиксов, только каждый раз прога посылает меня нахуй, я уже не понимаю, какие фильтры нужно применять и как можно отсеивать ненужное.Обрабатываешь изображение (немного размытия, и бинаризация), извлекаешь из получившийся картинки контуры текстовых рамок. Фильтруешь их по площади. Дальше ищешь пары, где контур в контуре, и выкидываешь внешние (это как правило всякие рамки сцен, а не текста). Потом берешь оставшиеся контуры и используешь их как маску для извлечения текста. Уже на этом этапе получишь точность под 90%. Если хочешь больше - фильтруй уже текст, используя анализ связанных компонентов. Убираешь слишком маленькие и слишком большые - получаешь точность 95%. Если хочешь еще больше, можешь посчитать центроиды букв и анализировать из расположение.Если все сделаешь правильно, получишь 99% точность без всякого нейроговна .
>>1461503>>1462934>>1462949Лол, родина дала тысячи алгоритмов для такого, тем более в R, где есть вещи, которых больше вообще нигде нет, нит не хочу, хочу KNN содомировать. Кто сказал, что конкретно этот датасет вообще кластеры содержит? Если априори известно, что там два класса, не проще SVM попробовать? Если же структура неизвестна и хз что там и как, тогда лучше SOM. И так далее.
>>1462961Об этом датасете вообще нихуя не известно и цель задачи - класифицировать его. Пойду почитаю о SVM\SOM. Спасибо.
>>1462951Вот характерный признак петушиного диванного поста - слово нейроговно. Если видишь его, значит петух 100% нихуя не понимает ни в нейронках, ни в классическом CV. Сука "извлекаешь из получившийся картинки контуры текстовых рамок". В этой фразе лежит AI, который сложнее изначальной задачи.С точки зрения классики, иероглифы являются весьма специфическими объектами со специфическим наобором фич. Искать нужно их, а не контуры, которые в манге могут быть какими угодно и даже отсутствовать. Соответственно, тебе нужен классификатор, которой по маске типа 32х32 выдаст, есть ли в нем иероглиф, либо нет. Затем ты бьешь свою картинку на блоки 32х32 с 50% перекрытием и скармливаешь каждый блок этому классификатору. Получишь в итоге бинарную маску - есть ли в блоке иероглиф, либо нет. К этой маске применяешь дилатацию. Получаешь блоки с текстом, вокруг которых через region properties можно обвести квадраты, если очень нужно.Легко видеть, что это сильно упрощенный пайплайн object detection нейросети. Так оно и есть. Поэтому, если ограничений на скорость нет, нужно брать нейронку и херачить end-to-end либо сегментацию либо object detection.
>>1462991>Сука "извлекаешь из получившийся картинки контуры текстовых рамок". В этой фразе лежит AI, который сложнее изначальной задачи.Контуры ищутся классическими алгоритмами без AI. По поводу текстовых рамок я не до конца объяснил. Извлекать надо все контуры, а потом уже фильтровать. Из тысяч контуров после выборки по площади остаются несколько десятков, половина из которых - рамки текста.>С точки зрения классики, иероглифы являются весьма специфическими объектами со специфическим наобором фич. Искать нужно их, а не контуры, которые в манге могут быть какими угодно и даже отсутствовать.Только эти фичи можно распознать исключительно нейронкой, которую ты не сможешь натренировать из-за отсутствия датасета. Удачи размечать руками 100к+ картинок.>Соответственно, тебе нужен классификатор, которой по маске типа 32х32 выдаст, есть ли в нем иероглиф, либо нет. Затем ты бьешь свою картинку на блоки 32х32 с 50% перекрытием и скармливаешь каждый блок этому классификатору. Получишь в итоге бинарную маску - есть ли в блоке иероглиф, либо нет. К этой маске применяешь дилатацию. Получаешь блоки с текстом, вокруг которых через region properties можно обвести квадраты, если очень нужно.Еще раз - у тебя нет данных. Даже если ты автоматически сгенеришь сами иероглифы, ты не сможешь сгенерить нормальные нормальные примеры их отсутствия. Твой классификатор обосрется на реальной задаче, поскольку он не видел каких-нибудь кустиков, и считает их иероглифами.
>>1463001>после выборки по площадиВ манге площадь может отличаться от небольшого слова до огромного баллона в полстраницы. Фильтрация по площади хороша для отсева всякого мелкого мусора, но не здесь.Алгоритмы выделения контуров просто выделяют контуры в растровом изображении, они их не векторизуют, а векторизация вылезет тебе в отдельный геморрой, при чем в результате у тебя будут не тысячи контуров, там будет комбинаторный взрыв нахуй.Более того, твой первый этап (немного размытия и бинаризация) требует AI, например, для выбора порога бинаризации. Потому что с неправильным порогом оно будет выглядеть как пикрелейтед в посте >>1461281.А контраст этих баблов относительно изображения может быть каким угодно, при чем даже в пределах одной манги. Они могут вообще отсутствовать.>половина из которых - рамки текста.Точность 50% вообще никуда не годится>Только эти фичи можно распознать исключительно нейронкой, которую ты не сможешь натренировать из-за отсутствия датасета. Как же файнридер прямоугольники с текстом искал в 2002 году? Вот здесь как раз можно написать бы о том, что классификатор 32х32, который отвечает на вопрос, есть ли внутри иероглиф, можно захуячить на чем угодно, а ты пишешь о том, что исключительно нейронкой.>Удачи размечать руками 100к+ картинок.Какие 100к+ картинок, древний alexnet учится распознавать котов по 1000 примеров без аугментации. Взять паинт и разметить текст в 10к баллонов из манги можно за несколько часов, потому что закрасить кисточкой текст внутри сложности не представляет. Если самому лень, анон в воркаче это сделает по цене пиццы с доставкой.Другой вопрос, что пилить собственный OCR в 2019 году так себе идея. Собственно поэтому я вопрос этого анона игнорил, он страдает какой-то хуйней.>Твой классификатор обосрется на реальной задаче, поскольку он не видел каких-нибудь кустиков, и считает их иероглифами.Это не страшно, потому что иероглифы будут образовывать кластеры на маске сегментации, а кустики нет. Здесь как раз фильтрация по площади, прямоугольности, эллипсоидности и т. п. пригодится.
>>1463007>Другой вопрос, что пилить собственный OCR в 2019 году так себе идея. Собственно поэтому я вопрос этого анона игнорил, он страдает какой-то хуйней.Я пилю не OCR, а делаю препроцессинг для OCR.Например, я сделал алгоритм для вырезания фуриганы, с чем ни одна OCR по умолчанию не справляется, есть еще алгоритмы, с помощью которых можно по нажатию клавиши на баббл находить текст.
>>1463028Гуглу, тащемта, можно скормить половину страницы и он даже справится с бабблами.Но бывают ошибки и он не распознает текст в баббле, бывает, что он рандомную закорючку принимает за текст.
>>1462949Попробуй другие алгоритмы кластеризации же, ну.У тебя на первый взгляд достаточно аутлаеров, какой-нибудь алгоритм иерархической кластеризации наверное зайдёт или dbscan.
>>1463070Ну давай, знаток, расскажи, сколько кластеров для KNN задать, если неизвестно, есть ли они вообще в данных. У вас, зумеров, с диплернинха мозги отсырели. Хотя бы просто посмотреть, что там есть в данных - PCA, проекция Сэммона, SOM, не, не слышали.
Может кто-нибудь пояснить кое-что по этой картинке? Собсна атеншн-хуеншн и всё такое ясно, но есть проблема. В итоге то все эмбендинги суммируются с выходом атеншона и в тем самым проебываются безвозвратно и на прямую само слово вообще нихуя не влияет на выход. Это как вообще?
>>1463100> KNN лучшее решение проблемы кластеризации.Во-первых, не лучшее. Есть полно простейших примеров, на которых он работает как говно, например, несферические кластеры или даже хуй с вами, сферические, но перекрывающиеся, т.н "проблема Микки мауса". Во-вторых, сто раз уже написал, с чего вы взяли, что в этом датасете данные вообще образуют кластеры? Про более сложные варианты вообще молчу. Хуета из-под кота ваш кнн, давно и официально.
>>1463030У гугла задача распознавать всё включая меню в ресторане и банки с кофе. Натренировать сетку чисто на отсканеную мангу намного проще.
>>1463070>И вот таких вот знатоков полон тред лол. Правильнее написать: и вот таким вот знатоком полон тред лол.Он у мамы уникальный.
>>1463097>В итоге то все эмбендинги суммируются с выходом атеншона и в тем самым проебываются безвозвратноУ тебя когда внимание направлено на объект Х, информация об объекте У тоже проебывается. В этом суть внимания, отсечь лишнюю инфу.
>>1463073>называет kNN алгоритмом кластеризации>кукареку зумеры кукареку диплернинх кукареку SOM ФУЗЗИЛОДЖИК А ВОТ В 1922 ДИДЫ ВСЕ УЖЕ ПРИДУМАЛИВся суть нечеткого петуха
>>1463097На выходе энкодера - имбеддинги слов в контексте остальных слов (2D-объект).Нна выходе трансформера веротности для следующего слова с учетом всех имбеддингов входа и всех имбеддингов уже сгенерированного выхода.
>>1463131Там на выходе контекст+эмбендинги пропущенные через ещё один слой. Самого слова там нет.>>1463125Не не не. Тут ведь эмбендинги вообще не идут на вход. В чем ебучий смысл? В атеншоне должна вроде отсекаться ненужная информация, а не вся информация. Определить слово во входе никак не возможно кроме как эмпирически подобрать каждую комбинацию слов, то есть слово проебалось, а это для всех слов, значит все слова проебались. Смысловое значение вообще у данного выхода должно отсутствовать. То есть если мы возьмём фразу, то выход для конкретного слова будет что-то вроде грамматического значения слова. Затем мы берём эмбендинги и добавляем их, тотально уничтожая значение атеншена и самих эмбендингов.
>>1463101По результату дискаса, какие подходы кластеризации\класификации мне стоит попробовать вообще. Назовите пожалуйста. Задача так и стоит - найти классифицировать датасет, если там что-то найдётся - описать классы.
>>1463161Для начала SOM. Общий вид, например u-matrix + компонентные плоскости. Если в данных есть какая-то структура, уже этого хватит, чтобы описать датасет и прикинуть, что можно сделать ещё.
>>1463144http://jalammar.github.io/images/t/transformer_decoding_1.gifСмотри картинку, дурашка!На выходе энкодера для каждого слова имбеддинги K и V, если не веришь картиночке - читай код какой-нибудь из реализаций трансформера на keras/tf/pytorch.
>>1463209Эмбендинг на входе. На выход влияют только другие слова и дот продукт других слов и этого слова. Так, блять, везде написано. На картинке хуйня, там не показывается что происходит в блоках.
>>1463214На выход влияют только другие слова и дот продукт других слов и этого слова. Это называется "Глубокий имбеддинг", дипленинх же!
>>1463220Это конструктор конструктора. Сам инкодер собирается через __call__ вот тут https://github.com/Lsdefine/attention-is-all-you-need-keras/blob/master/transformer.py#L434Обычно в керасе ты делаешь так:y = Dense(...)(x)А тут делается так:l = Dense(...) #Вызывается __init__а потом в другом месте:y = l(x)#Вызывается __call__
Сап, двач.Хочу написать свою реализацию алгоритмов машинного обучения(линрег,логрег,деревья,RF,knn).Стоит ли вообще этим заниматься?Если да, то посоветуй что-нибудь для начала.В интернете ничего найти не могу по поводу простой реализации линейной регрессии.Можете посоветовать место, где эти алгоритмы реализованы?(реализация sklearn мне непонятна, можете посоветовать, что навернуть, чтобы понять)
Пожалуйста помогите, в разных задачах мла вы выбираете модель основываясь на опыте или просто рандомно перебираете модели? Пригодилось ли знание матана модели? Проще говоря откуда вы знаете какую модельку выбрать?
>>1463465Меня на собесе тоже недавно спрашивали в чём разница мекжду кнн и кминсом. Совпадение? Или есть какая-то связь?
>>1463553ISLR читай, там даже за SVM на пальцах разъясняется, без нотации из вариационного исчисления как у Вапника. Нахуя вам все эти Воронцовы, концовы, есть же нормальная литература, которую весь мир читает, нет, хочу нонейм хуя из шада.
>>1463118Я думаю, что проще запилить алгоритм, чтобы скармливать гуглу только бабблы.Тренировать свою сеть для японского - излишество, я одни данные заебусь размечать.
>>1463613>Я думаю, что проще запилить алгоритм, чтобы скармливать гуглу только бабблы.Не проще>Тренировать свою сеть для японского - излишество, я одни данные заебусь размечать. Я бы разметил данные за то время, пока ты тут обсуждаешь это все. На это нужно несколько часов, паинт и 10 строк на питоне.
>>1463620>Что это? Можешь скинуть или рассказать, как делал?Сначала небольщшое размытие + бинаризация (левое изображение). Потом извлекаешь контуры и фильтруешь их по площади (среднее изображение). Оставшиеся контуры используешь как маску чтобы извлечь текст (правое изображение).
Если у сверточного слоя на выходе 32 фильтра, то это значит 32 ядра свертки будут бегать по изображению каждый раз?
>>1463617Жулик, который подобрал 3 магических числа, чтобы оно работало на одной картинке, думает, что никто этого не заметил.
>>1463629Оптимальный алгоритм зависит от твоего железа и количества входных и выходных каналов. Какие-то свертки cudnn через FFT считает.Важнее понимать саму суть, что если у тебя на входе 3 канала и свертка 5х5, а на выходе 32 канала, то каждый 32-х канальный пиксель считается как персептрон у которого на входе 3х5х5=75 входов и 32 выхода. Ты можешь это рассматривать как 32 персептрона с 75 входами и 1 выходом, что будет эквивалентно твоему утверждению "32 ядра свертки будут бегать по изображению каждый раз", но вообще считать матричное произведение матрицы 32х75 на вектор с 75 колонками можно разными сколь угодно экзотическими способами.
>>1463634>Жулик, который подобрал 3 магических числа, чтобы оно работало на одной картинке, думает, что никто этого не заметил.Кидай свои картинки.
>>1463526Скорее всего, это вопрос который отвечает шаришь ли ты в машобе вообще. Т.к. эти методы выполняют разные задачи.
>>1463701Короче, Антоны, я понял, как это можно делать.Нужно искать контуры и внутри них делать проверку, находятся ли контуры поменьше друг над другом.И в зависимости от размера участка детектить, сколько контуров должно быть или какого размера они должны быть, чтобы участок считался бабблом.
>>1463783А не, так нихуя не работает, маленькие бабблы отсеивает.Мне нужно будет подобрать либо минимальный размер, либо искать текст в центре
>>1463934>>1463783Как будто бы огромные штуки, залитые одним цветом с контрастными закорючками внутри можно без машоба найти, нет? Ну или с минимальным машобом и грамотным фичеинжинирингом.
>>1463940Да я тоже думаю, что без машоба тоже можно.Только пока получается что-то такое, все еще не понимаю, чего он все не может найти
>>14639431. Сначала рожаешь скрипт типа https://pastebin.com/vMQNG4LD , не замечая, что числа 5000 и 100000 в это УЖЕ машоб. Просто с самым наихуевейшим вариантом подбора этих самых чисел: вручную. Процент ошибок большой.2. Дальше догадываешься, что нужно собрать статистику с реальной манги, берешь 20 рандомных страниц и выписываешь это в эксельку. Процент ошибок уменьшается, но несильно.3. 10% случаев упорно не влезают никуда. Пишешь ad-hoc правила, превращая свой скрипт в длиннющее дерево ad-hoc решений. Затраченное время давно улетает за пределы ручного размечивания всех существующих в природе манг, которые ты способен прочитать.4. Так как тестировать вручную все ad-hoc случаи невозможно, решаешь это автоматизировать. Для этого собираешь свои исключения и пишешь для них тест-кейсы кто сказал датасет, у нас никакого машоба5. После подобных операций упорно остается 1% случаев, при чем каждый раз разный....99. Уже седой и заебанный, ты не выдерживаешь и стреляешься из дробовика. Через пару месяцев твой труп находит бомж, которого выгнали из НИИ за пьянство, видит твои записи и решает довести дело до конца.100. И берет, наконец, сегментирующую нейронку.
Аноны, с мангой же как бы все проще.Текст как бы всегда является черной полоской, который помещен по центру белой области, которая ни с чем не пересекается и зачастую вообще находится в центре. Неужели это так сложно найти?
>>1463958>в центреВертикальные полосы с пездобуквами окруженные белым пространтсвом и вертикальногоризонтальными отступами
>>1463960Ну найди мне исключение, где текст не является черным прямоугольником, который окружен замыкающейся белой областью.>>1463961Да, он не всегда в центре, иногда справа есть отступ из-за фонетических подсказок.
>>1463955Потому что это state of art йоба. У тебя должны быть веские причины (например, запуск твоего алгоритма на железе 1980 года выпуска, установленном на танке Т-72), чтобы этого не делать.Причина "ко-ко-ко черный ящик нипанимаю и вообще куны^W knn нужен" веской не является.
>>1463967> веской не являетсяКак раз потому что это черный ящик нейроговно пидорнули с рынков и медицины.
Пилю алгоритмх:1. Имеем вертикальную полусу размером с пендобукву2. Начинаем двигать вправо построчно3. Если полоса попала в белое поле, ставим атншенфлаг4. Двигаем полосу вправо если она уткнулась в не белый пиксель (вероятно пендобуква)5. Если п.4. проверяем окружающее справа пространство на правильный прямоугольник размером с пендобукву.6. Если п.5. проверяем пендобукву,7. Если п.5. Опускаемся вниз
>>1463965Тебе нужно очень удачно подобрать параметры, чтобы начать выделять строку текста таким образом.>>1463973Как ты найдешь размер пендобуквы? Что будет твой алгоритм делать на таком баббле, кроме сасая?
>>1463977>Кто это там кукарекает>Почему вы проебали на флуктации срыночка 1 миллирад рублей? Дяденька мы не знаем, так нейроночка натренировалась.
>>1463979Буквы могут зависеть от изображенияДля этого нужно перебрать пару тысяч манг и найти, что же там является средним.А если юзер закинет обрезок от манги?
>>1463986>Для этого нужно перебрать пару тысяч манг и найти, что же там является средним.Делай джва, десять проходов с разными размерами, кто тебе мешает то?Джвигай такую конструкцию как ниже, если все линии находятся в белых пикселях с черным говном внутри, пездобуква 99% ----|| ---
>>1463987>решит приблизить буквуНу их нужно наверное выделить, а так да все должно быть в одном масштабе
>>1463992В японском есть и буквы, которые больше растянуты по горизонтали и не впишутся в твой паттерн
>>1463985Нихуя у тебя не формализовано. У тебя есть магическое число, взятое с потолка.>>1463992>Делай джва, десять проходов с разными размерами, кто тебе мешает то?Разные ответы при разных размерах? Какой из них будет правильный? Новое магическое число введешь?
>>1463996>В японском есть и буквы, которые больше растянуты по горизонталиИ? Они ограничены белым пространством.
>>1463997> У тебя есть магическое числоТы ебобо? Берешь линейку и отмеряешь размер одной буквы, вот его и ищешь.
>>1463999ЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫУ тебя твой алгоритм линейку возьмет своими электронными руками?
>>1464001Осталось придумать, нахуя добавлять гиперпараметр в виде порога бинаризации, если нейронка и так неплохо работать будет.
Алё, даун, зайди на Mechanical Turk и найми там биороботов, которые тебе за копейки разметят всю твою виабупарашу.
>>1464004>Окей, что будешь делать с этим?Как же вы заебали, оно опять же ограничено пустым типографическим пространством
>>1464005>сильный ИИПрошел 100 раз с разными размерами и выбрал у которых большее совпадение. Вопросы?
>>1464008Ага, уже значит чекать нужно на поворот, изначально ты этого не говорил.Опиши, как бы ты это сделал?
>>1464011Ты сейчас делаешь типичную ошибку любителей, которые только знакомятся с нейронками и считают, что им виднее, как именно нейронка должна выцеплять фичи. end-to-end решение как правило работает лучше.Что можно применить, это, например, local contrast normalization.Вы меня доведедете до того, что я принесу вам решение этой задачи, несмотря на то, что я сейчас пишу загрузку сорокагигабайтного датасета через memory mapped files и эта задача с мангой ну вообще прикольной не кажется.
>>1464025>сорокагигабайтного датасета через memory mapped filesА я пиво пью>>1463986>Для этого нужно перебрать пару тысяч манг и найти, что же там является средним.А, я кажется понил. Вы хотите все делать на автомате для всех-всех вариантов сканов манг? Это же очевидная фантастика.
>>1464034Да можно и просто попробовать бинаризировать, искать все контуры и проверять, является ли их граница белой.А потом уже ориентироваться по расположению.
>>1463954>не замечая, что числа 5000 и 100000 в это УЖЕ машоб>Просто с самым наихуевейшим вариантом подбора этих самых чисел: вручную>>1463981>>очередной говноалгоритм с магическими числами>>НИКАКОГО МАШОБАОпять смузихлебы мешают все в одну кучу. Подбор чисел вручную это нисколько не машоб, а машоб это не только нейронки. После нахождения работающего алгоритма можно запустить оптимизацию гиперпараметров которая тоже является машобом с датасетом в десять раз меньше, чем для нейронки. И получить алгоритм, работающий быстрее и лучше сегментирующей нейронки.>100. И берет, наконец, сегментирующую нейронку.Какая у нее будет точность, мм? Процентов 80-90, при необходимость иметь топовую гпу для ее запуска?
>>1464080Опять нечеткий петух, который не знает разницы между knn и kmeans, что-то там кукарекает. Брысь под шконку.
>>1464067>искать все контуры и проверять, является ли их граница белойНу еще можно проверять является ли в контуре символ.
>>1464151Ды обычная сегментация, как у того анона, который код с питоном выше вкидывал.Дальше брал контур и проверял по пикселям его края и центр.
>>1464344Ну а теперь выбрасывай экстремально маленькие контуры и дополнительно обрабатывай большие и перекрывающиеся.
Года 3 назад была мода на градиентный бустинг - xgboost, вот это все. Типа автор там всех конкурентов на кукагле порвал, даже на каких-то сложных датасетах насчет кобзона бозона Хиггса. Ну так чем все закончилось-то? Как с реинфорсмент лернингом, вышла статья, что не лучше случайного поиска или там линейной регрессии?
>>1464637>Ну так чем все закончилось-то?градиентный бустинг стал стандартом для всяких табличных данных> Как с реинфорсмент лернингом, вышла статья, что не лучше случайного поискаARS работает в mujoco и может быть ещё паре сред. Достижение уровня "набрал на мнисте 95% точности своим новым супералгоритмом"
>>1464682>градиентный бустинг стал стандартомА чего везде всё ещё нейронки и свм используют? Типа вычислительно сильно сложнее?
>>1464701>>1464706Соевая классификация какая-то. Временной ряд - это структурированные или неструктурированные данные?
>>1464716Называешь петухами всех, кто спросил что-то чего ты не знаешь? Так ты сам петух в таком случае.
>>1464714Зависит, но в общем случае неструктурированные.Грубо говоря, всё что можно засунуть в табличку таким образом что получить полную информацию по точке из датасета можно одним единственным запросом - это структурированные данные. То что либо зависит от каких-то скрытых переменных, или вообще не поставляется в квантифицированном виде и потому зависит от всяких эмбеддингов - неструктурированные.
>>1464733Ок. Есть временной ряд 1, 2, 3, ... , n. Делаем матрицу Ганкеля:1 2 3 4 52 3 4 5 63 4 5 6 74 5 6 7 8...n-4 n-3 n-2 n-1 nЛюбую строку можно получить одним запросом, так же эта строка однозначно представима в виде пятимерной точки. Любой временной ряд можно представить таким образом. Получается, что все временные ряды - структурированные данные?
>>1464025Я ничего не говорил про нейронку и как ей виднее, деб, я говорил о том, что тебе предется прогонять в несколько раз больше свёрток для одного пропогэйшона.
>>1464760Понятно что что угодно можно в табличку засунуть, суть не в этом, а в том чтобы можно было удобно модельку обучить. На таком представлении ты обучишь находить закономерности только на пять шагов по времени, плюс у тебя дохуя избыточной информации получится, будет оверфититься.
>>1464878Можно на 3 столбца разбить. В итоге получится восстановленная функция y = f(x1, x2) для всего временного ряда, т.к каждая строка сдвинута на одно значение. Но дело не в этом, а в том, что вышеописанное деление данных на структурированные и нет смысла не имеет. Даже рандомный текст это структура, т.к его всегда можно разбить на буквы, слова, предложения, параграфы, документы итд, и рассматривать это как отдельные элементы.
https://youtu.be/5l0e_Q0gpncПолучается, что каждый входной сигнал до перехода в активационную функцию содержит в себе фиктивный столбец x0 с 1ми для того что бы избавиться от свободного члена w0 (что бы он перешел в общую сумму) ? Даже если нейрон содержит всего 1 вход, то на самом деле их 2 и это делается как бы за нас во фреймворке с ML логикой ?Там в лекции об этом говорится, помогите понять,плиз
>>1465052>Даже если нейрон содержит всего 1 вход, то на самом деле их 2 и это делается как бы за нас во фреймворке с ML логикой ?Не знаю, что делается под капотом у keras и tensorflow (вполне возможно, что для эффективного матричного умножения проще действительно добавить столбец матрицы с единицами), но снаружи веса W и смещение b торчат отдельно. Это удобнее с точки зрения инициализации, например, потому что веса обычно инициализируют рандомно, а смещение нулями.
привет ребят, а есть конфа какая нить у вас? хочется линал с кемнить поучить, да только не понимаю где искать с кем :с
>>1465336Если ты не получаешь кайф от обучения в одиночестве, выбери что-то другое, гей-шлюхой стать, например
>>1465357Не слушай дурачка, линал учи самостоятельно, будут интересные и муторные моменты, выходи из зоны комфорта, лол
>>1465426ну я кст нашел конфу в телеге вот т.ми/comput_mathмне там чувачки посоветывали сайтик по матеше mathprofi.ru/ вот :)
У меня у одного Colab загружает папку в 500мб с пк крайне медленно, 1% в 2 минуты примерно? Есть ли более быстрые способы загрузки? Как вы, аноны, решаете вопрос загрузки датасетов в колаб?
Антон, подскажиПо сути решаю задачу регрессии с использованием ИНСВсе стандартно, как по учебнику построил сетку с одним скрытым слоем, все заебок работаетНо как ее дальшее оптимизировать?С параметрами слоев и функциями активации поигрался, толку почти никакогоИ если сделать больше нихуя нельзя, как доказать что мое решение самое пиздатое?
>>1465772>Все стандартно, как по учебнику построил сетку с одним скрытым слоем, все заебок работаетЗаебок на валидейшене или ты оверфитнул и доволен?
>>1465772>как доказатьНикак. Сравнить с предыдущими решениями той же задачи на том же датасете. Или самому поаробовать несколько методов и сравнить результаты.
>>1465730Вот это как раз супер медленно.>>1465693А это рабочая тема, спасибо, разобрался.Осталась пара вопросов: как я понял, при изменении файлов на гугл диске вне коллаба, изменения в файловой системе внутри ноутбука не происходят. Как тогда ее "перезагружать"?>drive.mount('/content/drive', force_remount=True)Не помогает, список тот же. Как пример - перезагрузил файл ssd_mobilenet_v1_coco.config, предварительно удалив старую версию. Но в colab`е отображает какой то ssd_mobilenet_v1_coco(1).config, и тот в кавычках. Причем если обращаться к обоим названиям конфига то выдает No such file or directory.
>>1465818Забыл сразу написать: restart runtime не помогает, как и выполнение после рестарта заветной>drive.mount('/content/drive', force_remount=True)
>>1465805На валидейшенеМожет какую другую сетку попробовать, в смысле другой структуры? может какие-нибудь необычные активационные функции?
>>1465852Ну какая архитектура у млп, побольше нейронов в скрытые слои захуячить?Скорее с данными работать, почистить чего-нибудь может лишнего, или фичи какие-нибудь заинжинерить.Или вообще забить на няронки и доставать бустилку.
Антоны, я дико туплю, у меня есть набор четырехугольников и минимальный расстояний между каждыми четырехугольниками и площадь четырехугольника.Как мне узнать, находится ли четырехугольник далеко от других, ориентируясь по площади?То-есть у большого четырехугольника минимальное расстояние может быть большим, а вот у маленького оно должно быть маленьким.Как это сделать? Я знаю, вы хороши в статистике
Подскажите молодому-неопытному по паре вопросов.1. Есть необходимость распознать объекты на изображении (их множество), а после этого отдельно работать с каждым объектом - совсем по другой логике.Существуют ли какие-то паттерны и best practices по тому, как в рантайме хранить эти распознанные объекты, если они мне нужны будут отдельно друг от друга и мне нужно будет хранить именно их визуальный образ для дальнейшей обработки? Как обычно делают подобные вещи?2. По поводу "распознать объекты на изображении". Допустим, сейчас я просто натравливаю Canny на изображение и оно рисует мне кучу контуров. Далеко не все из них полностью обводят каждый конкретный образ, отсюда второй вопрос: какие существуют способы дать opencv понять, что каждый каждая кучка контуров является цельным объектом? К примеру, на картинке ~40 объектов и ~900 контуров, совсем левого шума нет - есть только не до конца размеченные объекты. Я уверен, что второй вопрос гуглится, но я его задаю в свете того, что мне эти объекты дальше хранить и обрабатывать.Если это важно, у меня python и opencv.
>>1466359Да я уже решил, не знаю, можно было ли юзать формулу Стерджесса, но я просто поделил на диапазоны.
>>1466539Да, я как-то заходил к вашему шалашу в /math/ и удивился очень похожему стилю. Но вообще все бордошизики похожи.
>>1466544>Существуют ли какие-то паттерны и best practices по тому, как в рантайме хранить эти распознанные объектыНет, это работа программиста как есть. Где-то достаточно прямоугольника, 4-х координат и изначального кадра, где-то нужно всякие битовые маски хранить.>какие существуют способы дать opencv понять, что каждый каждая кучка контуров является цельным объектомНу, например, можно по контуру построить convex hull, закрасить его, и так, пока у тебя не останутся одни hull'ы. Если твое предположение по поводу кучки верно, это сработает.Но по поводу гуглится ты загнул конечно. Попытка нагулить это сродни попытке найти решение олимпиадной задачки. Можно, но малореально, скорее реально найти отдельные кирпичики.
Чуваки, я, возможно, не по адресу, но надеюсь на ответ.Какие знания нужно иметь, чтобы попасть джуномидлом к дата-инженерам (не сайнтистам!)? Во всяких спарках и хадупах дома полноценно не поразбираешься.Есть пара лет опыта в бэкенд-разработке (не Java, не python)
>>1467444Мне кажется вот так самостоятельно такие знания не получить. Мне видится, что ты пилишь хайдоад на джаве и в какой-то момент начинаешь больше заниматься инфраструктурой хранения (хадупы, спарки, бд). Тот же путь что и у девопса в принципе, но в другом направлении немного. А потом уже с таким опытом можешь сразу на вакансии идти.
Посоны, я неплохой питоновый веб-разраб, 26 левела. Образование - примат, диплом по численным методам. Но машобом/нейронками никогда не занимался. Однажды написал k-means.Знатоки, внимание вопрос.Какие есть варианты перекатиться в этот ваш машоб? И нужно ли это? Мои скилы по разрабатыванию апишек и продумыванию взаимодействия микросервисов будут ненужно потраченным временем или дадут бонус? Будут ли надо мной смеяться двадцатилетние пиздюки? Меня интересуют деньги и классные тасочки где надо думать. В принципе, меня и сейчас все +- устраивает, но вдруг можно ещё лучше? Реквестирую кулстори.
>>1467444Разбираться как можно более полноценно дома, подымая псевдокластеры, а потом идти стажером за еду
>>1467763>Какие есть варианты перекатиться в этот ваш машоб?С вышкой несложно, ищешь стажерские позиции, готовишься к ним недельку, перекатываешься. Со стажера подымишься быстро.Второй вариант это забугорный фриланс по вечерам, а потом пункт один.
>>1467763>варианты перекатиться в этот ваш машоб? И нужно ли это? Мои скилы по разрабатыванию апишек и продумыванию взаимодействия микросервисов будут ненужно потраченным временем или дадут бонус?"Машоб" это довольно общо сказано, в принципе твои скиллы довольно полезны для мл инжинера, который, в отличие от датасаентиста, занимается не столько тренировкой моделей и иследовательской работой, а именно выкатом их в продакшен, разворачиванием всяких сервисов, вознёй с бигдата инфраструктурой. Можешь попробоваться туда.>Однажды написал k-means.Это хорошо, но недостаточно, надо ещё уметь отличать его от knn. Иначе прямо с собеседования охрана возьмёт за шкирку, и в помойную лужу выкинет.
>>1467780У чувака образование прикладного математика, а ты его разгребать инфраструктурное говно посылаешь. Жестокий ты человек.
>>1467786У нас полстраны этих маняматиков, для того чтобы быть хорошим датасаентистом этого недостаточно. Вакансий на дс очень мало и хер устроишься иногда даже с профильной степенью и статьями.
>>1467768>С вышкой несложно, ищешь стажерские позиции, готовишься к ним недельку, перекатываешьсяПодгорело немного.
>>1467794>Фриланс по машинному обучению?)))Диван в треде))))))))Ваша проблема в том, что вы сидите на самоподдуве с тупыми мемасиками уровня "фриланса на машобе нет", "нейронкам нужны 1000 слоев" и т. п. Такой филиал перезвоним-треда с такими же бездарностями.Заходишь на апворк, вбиваешь machine learning, и апплаишься. Делаешь пару курсачей западным студентам за $50 (что даже не за еду, а в отрицательном диапазоне, поэтому конкуренции там нет), после нескольких пяти звездочек попадаешь уже на кого-то поденежнее.Я так в 2013 находил работу за $20/час, при том, что за C++ мне выше 15 тогда не платили. Тут ты такой "2019 не 2013", проблема в том, что моя тянка находит подобное сейчас. Правда не на апворке, а на бирже поскромнее, потому что на апворк ее так и не зааппрувили. И недостатка предложений по работе нет, есть только недостаток скиллов.>>1467795>У нас полстраны этих маняматиков, для того чтобы быть хорошим датасаентистом этого недостаточно.Потому что большая часть не очень далекие люди, искренне не понимающие, какой алмаз у них в кармане. Я это наблюдаю среди одногруппников тянки, большинство свалило в яндексы месить говно каким-нибудь фронтэндом еще лет в 20. Чтобы потом в 30 плакаться о том, как их все заебло и какая тупая у них работа.>Вакансий на дс очень мало и хер устроишься иногда даже с профильной степенью и статьями. Конечно ты хер устроишься со статьями, потому что ученые - они ведь в говне моченые. Нихуя за свою жизнь не сделали, кроме сидения на сиське государства, нихуя не умеют, а при этом хотят получать 300к в секунду, как их сосед Вася, который много лет месил говно, начиная с работы в НИИ студентом (потому что там дохуя свободного времени на самообразования), кончая домашек западным лодырям, оттачивая свой английский. Собственно примерно в НИИ пути и расходятся, одни видят, как вписываться в рыночек, а другие продолжают не напрягаясь пописывать свои статейки и онанировать на свою степень.
>>1467814Тогда была бы очередь на аппрув. А там нужно удовлетворить формальным критериям индуса-проверяльщика, которые чуть умнее бота, и проверяют примерно раз в 3 дня. Естественно там надо жульничать в такой ситуации.
>>1467815тем не менее это характерно что специалиста по машобу заворачивают как автора текстового контента какого-нибудь
>>1467819Это как фейс-контроль в клубе. Тебе от этого плохо, когда ты снаружи, но хорошо, когда ты внутри. Из-за подобной политики заворачивания даунов, которые не могут профиль грамотно заполнить по критериям индусов и бояться жульничать, приписывая себе хотя бы мастера вместо незаконченного высшего, лично тебе будет только хорошо, ты ведь получил от меня инструкции, что тебе нужно делать.
>>1467811>потому что ученые - они ведь в говне моченыеЭто да, в отличие от хуя, у которого только алмаз в жопе в виде шести лет протирания штанов на мехмате какого-нибудь провинциального вуза. Такого конечно везде ждут с распростёртыми объятиями, тоннами бабок и интересными исследовательскими задачами.
>>1467821Такого ждет планомерное построение карьеры, начиная с фриланса и стажерских позиций, а потом да, тонны бабок и т. п.
>>1467844Да кто против что-ли, пусть походит с полгодика по объявам, наслушается "извините, нам нужен опытный специалист", обосрётся и укатится назад, либо во что-то более реальное вроде мл инжинера на подхвате.
>>1440857Я в Киеве никогда не встречал таких вакансий, типа Junior Data Satanist. Знакомые вкатывальщики начинали с аналитиков и вкатывались через матан или с биг дата инженеров и вкатывались через тех. часть. Проблема еще в том, что часто под ваканчиями мл\дата сатанист скрывается требования как к обычному аналитику и обратное. По-этому не гнушайся просматривать дата аналистов и дата инженеров.
Есть цеферки mnistЕсть нейронка, автоэнкодер с 1 скрытым слоем на сигмоиде.Веса скрытого слоя фиксированны.Обучение проходит для каждого изображения(без вычисления среднего градиента)Почему, эта сука, пообучавшись нормально до хороших значений, за тыщу другую итераций, вдруг, начинает увеличивать ошибку и вместо некоторых чисел выдавать белые пятна?Это законно?
Господа, вопрос следующий. В одной очень большой компании я что то вроде проектного менеджера между командой дата саентистов и руководства с дедами, коммуникационная перемычка скажем так. По роли работы иногда приходится разбираться с тем что там наговнокодили, какие выводы сделали и так далее. Дополнительно хочу прокачать скиллы в самой простой предобработке данных и строить простую аналитику чтобы самому формировать бизнес-гипотезы, делать анализ и т.д, а уж модели пусть саентисты строят. У меня тут проблема, я нихуя не могу запомнить код. Поэтому что то пишу только обложившись чужими тетрадками с гитхабов и чувствую себя ущербным что без них самостоятельно нихуя не напишу. Подскажите как вы запоминаете все эти функции пандасов, матплотлибов и прочего говна, это пиздец какой то.
>>1468620> Подскажите как вы запоминаете все эти функции пандасов, матплотлибов и прочего говна, это пиздец какой то.Их не нужно запоминать. Главное - знать где посмотреть в случае необходимости.
Есть ли в нумпу матричный аналог списка? Чтобы на каждом витке цикла колонки по очереди добавлялись в созданную перед циклом пустую матрицу?
>>1468791>>1468640Двачну, пожалуй. Главное знать возможности той или инной либы, и 10% самых ходовых и юзабельных команд, функций. Остальное будешь гуглить.
Эхх, как же хочется эмбеддингов на все, бесплатные клауд вычисления, датасетов хотя бы половину террабайта, ИДЕ чтобы поддерживала слесарню.
>>1469308Создай матрицу из нулей и записывай колонки через слайсы. Или concatenate, если совсем не знаешь размера матрицы.
Ребятки, нужна помощь. Нашел эмбеддинги для символов от МИТ. А они там 300 измерений в длину. А я адепт сокращения и оптимизации. Решил надо обрезать. А как называется способ, когда векторы проецируют в меньшее пространство с наибольшим сохранением относительного смысла, не помню.
>>1469458>А они там 300 измерений в длину. А я адепт сокращения и оптимизации. Решил надо обрезать.Почему решил? "патамушта"?Ты сначала выясни чем тебя текущий вариант не устраивает, а потом думай о сокращении.
Как вообще может выглядеть портфолио специалиста по машинному обучению?Вот например ссылка на гитхаб и там куча юпитер ноутбуков, где я занимаюсь разными преобразованиями данных и задаю архитектуру модели, в ридми, предположим, прописываю изначальную задачу и прикладываю какие-нибудь метрики точности и графики, так ?А веса (в случае если используется нейронная сеть) или какие-нибудь файлики для инициализации классификаторов, куда всё это скидывать, тоже что лди на гитхаб?Вот я обрисовал примерный вид этого портфолио, но пробежался по нему глазами и самому стало смешно. Окей, пусть такой прототип будет демонстрацией того, что ты знаешь бюазовые понятия, но как продемонстрироват навыки правильного выстраивания инфраструктуры для выката всего этого на продакшн? Или это уже не твоя забота, а забота девопса?Уважаемые профи из треда, поделитесь советом, плиз.
В общем, на следующей неделе начинаю рассылать свою резюмеху и ходить на собеседованья.Репортить буду в тред, мб кому-то поможет то что меня спрашивалиХоть и подаюсь на днищеработы начального уровня, но чувствую что с моим набором (7 задач от каггла на топ20%, бакалавр прикл математики, знания мат стат, теорвер, понимание алгоритмов sup/unsup, курс ng, норм по mysql/postgres, power bi) я жидко обосрусь, потому что буду конкурировать с ебучими выпускниками магистратуры, которые это всё дрочили всю магистратуру а не как я всего лишь пол годаухх, чувствую обосрусь так обосрусь!
>>1469794Ты только не забывай, что без предыдущего опыта ты первую работу искать будешь до полугода по крайней мере, так было у у меня в веб-разработке, а на веб-разработку куда больше мест чем на машоб. Это не для того, чтоб тебя демотивировать, просто имей в виду что надо терпеливо рассылать резюмехи, не расстраиваться раньше времени и по дороге не забывать что-то самому попиливать. Некоторые эйчары вполне себе считают пет-проджекты за опыт работы опять же, не знаю как у вас, но думаю что так же.
>>1469584Опять же, отвечаю с точки зрения веб-разработчика.Я думаю что и у вас оценят способность задеплоить результаты твоих трудов, плюс благодаря этому ты сможешь дать пощупать результаты своих трудов в действии.Кроме того, от тебя, как от человека который будет писать код, было бы оправдано требовать умение спроектировать софт так, чтоб его было легко задеплоить.
>>1469810Хочешь неприятную правду? В датасаенсе в расее васянов больше чем в вебе. Тут один дебил был, который всем пояснял что в продакшн деплоят только написанный на крестах со своими велосипедными библиотеками.
>>1469873> В датасаенсе в расее васянов больше чем в вебеВ Блинолопатии датасаенса как такового нет, вся тусовочка отечественных слесарей по-сути фанклуб, посвященный датасаенсу. Потому что все эти васяны, вкатывальщики и прочее быдлецо ничего не даёт датасаенсу - ни разработки новых алгоритмов, нихуя.
>>1469905согласенхоть и страна другая (Украина, Киев), но я бы с удовольствием остался на магистратуру, ездил бы по конференциям, делал бы пейперыНо не могу - денег недостаточноПланирую всё-таки потом вернуться хотя бы на заочку и хоть какой-то вклад в научные вещи сделать
>>1469917Украина, Киев, заканчиваю магистратуру. Я не встречал преподавателей, которым было бы интересно курировать студента с полезными публикациями и конференциями, а также тех, кто мог бы хоть что-то по этому посоветовать.У нас всем интересно тупо фармить тупые публикации по высосанным из пальца темам.
>>1462673>тренируешь ее на нескольких тысячах фотографий с перекрывающимися сосискамибудет проблемно найти такой датасет, но можно заменить кое-чем другим...
>>1469920Черт!Ты случайно не из ИПСА КПИ? Хотел там найти человечкаНа ФПМ КПИ просмотрел - там есть предмет по машобу, только один правда, но посмотрим как выгорит
>>1470019Нет, но у меня два сотрудника прошли КПИ, один из них как раз примат, могу у них точно спросить. Что тебе интересно - магистратура, на которой можно найти толковых преподов по датасаенсу и машобу? Или тебя интересуют более фундаментальные вещи? Если да, то какие?
Анонсы умоляю, помогите! Вопрос максимально глупый, но все же, надеюсь на ваше понимание.В моем городе(не мухосрань) мало вакансий по млу, а если есть то нужен опыт, возможно ли катиться в мл через дата саенс? Вроде различий мало но они естественно есть.
>>1470169Можно и через фронтэнд вкатиться. Как правило если ты работаешь в конторе, то попроситься в другой отдел намного проще, чем устроиться с улицы, а в крайнем случае вернешься назад.У меня так знакомая тянка из менеджеров по продажам стала тестером.
>>1470124Было бы очень круто, если спросил быМне интересны 2 вещи:1) Сама магистратура (в Украине, или загран), в которой есть хорошие преподы по DS. Конечно, есть в Канаде/США/Китае крутые, может, твои знакомые знают какие-то ВУЗы попроще2) Преподаватели из КПИ (или из Могилянки, Шевы), которые занимаются машинным обучением и с которыми можно было бы написать научную работу.Фундаментальные вещи - это интересно, но я понимаю что не вытяну.
>>1470190Всё так, но если ты где-то работаешь в конторе (особенно - если долгое время), то уже не сильно хочется перескакивать со своей текущей зп на зп джуна/интерна. А без потерь в деньгах тебя едва ли переведут на другую должность.Уж лучше, если время позволяет, наточить когти по своей специальности и нормально вкатиться.
>>1470239С удовольствием, да вот только вакансий по млу мало, а если есть то требуется опыт работы, единственное наилучшее решение помимо молитвы на мл Джуна это вкат через да помоему
>>1470250Вам изнутри профессии виднее, главное чтоб потом никто не расстроился тем что дополз до минимально приличной зп и теперь нужно будет снова бомжевать.
Как вы подходите к созданию кастомных алгоритмов с CV?Мне нужно взять набор образов и извлечь из них очень специфические свойства. Эти свойства на первый взгляд никак не соотносятся с вещами, которое умеет делать OpenCV.Понимаю, что без конкретики я и не получу конкретный ответ, но хотелось бы понять с какой вообще стороны правильно подходить к решению всяких сложных задач.К примеру, есть фото дождевого червя и я уже умею надёжно распознавать его образ на фотографии фото всегда сверху. Как мне измерить его длину и количество колец, если он лежит как попало?
>>1470276>кастомных алгоритмов с CV?>Мне нужно взять набор образов и извлечь из них очень специфические свойства.Ненужное говно. Будущее уже наступило, берёшь e2e няронку и она сама всё ноходит, выкатывает в прод и поёт сладеньким голоском.
>>1470362Масштаб узнаю, а он для чего-то нужен, помимо моей кастомной логики? Лично мне пока хватит только измерения длины в абстрактных "зелёных попугаях", так как я буду сравнивать между собой червей с фотографий одинакового масштаба.Не подскажешь где почитать про измерение длины изогнутого объекта через интеграл? И "интеграл по червю" - это интеграл по контуру, или что ты имеешь в виду?
Яндексокуколды здесь? Вы там совсем охуели уже? Позавчера зарепортил разработчикам адблока вашу душную подмывальню, т.к. реклама настолько злокачественная, что адблок ее не скрывает. Сегодня мне ответили, что надо доустановить кое-что по ссылке https://forums.lanik.us/viewtopic.php?f=102&t=23650 я реально охуел. Раньше достаточно было просто обновить фильтры, а сейчас нужна установка дополнительных расширений и скриптов. Все сработало, кстати, рекламы больше нет, вы официально сосете. Вам весь этот шад и прочее говно нужно чтобы дырявую рекламу впаривать?>Рекламщики обходят блокировку не только на уровне фильтров, но и на уровне функционала расширений. Именно для таких случаев как раз и предусмотрены пакеты RU AdList Fixes. Обратите внимание, это не фильтры, которые можно подключить в Adblock Plus, AdBlock и пр., а дополнительные средства, для работы которых нужно будет предварительно установить соответствующие расширения.
>>1470211По поводу КПИ - на прикладной математике, специальностях "прикладная математика" и "компьютерная инженерия", говорят, есть пара жёстких типов которые шарят по интересным тебе темам. Чуть позже могу про Могилянку написать, но давай ты мне дашь мыло/телегу, если интересно - чтоб тред не засирать.
>>1470429>нужно чтобы дырявую рекламу впаривать?Если бы все поисковики были платными, ты бы в принципе не мог узнать чем kmeans от knn отличается, а сейчас можешь но предпочитаешь быть петухом.
>>1470475Что тебе понятно, чухомор? Причем тут функционал в смысле вариационного исчисления? Ты контекст использования слова не понимаешь, дифиченто?
А какие есть сейчас решения с трансферлёрнингом в RL чтобы агент учился не с нуля, перебирая все варианты, а начиная допустим с набором каких-то эвристических политик?
Какие есть красивые и оригинальные идеи в машин лёрнинге кроме тех, что проходят в любом курсе по МЛ?
Кстати большинство курсов по МЛ делятся на две слабо соотносящиеся друг с другом части.Теоретическая -- всякий хитровыебанный матстат.Практическая -- импорт, фит, предикт. И дальше подгоняешь гиперпараметры.Сколько не смотрел разборы на кегле, там нихуя не понятно, почему автор выбрал именно такой алгоритм и почему именно он заработал.Как начать тащить на кэггл кроме как скупить килотонну видеокарт и считать на них неделями?
>>1470539>не понятно, почему автор выбрал именно такой алгоритм и почему именно он заработал.Метод проб и ошибок.
>>1470539смотрел канал https://www.youtube.com/channel/UCeq6ZIlvC9SVsfhfKnSvM9w/videos?мне очень понравилсявпервые познакомился с ним когда решал задачу "San Francisco Crim e Classification" недели 2 назад - ииии.... очень понравился канал!
>>1470539>почему автор выбрал именно такой алгоритмВо-первых, секрет фирмы.Во-вторых, как и сказали выше, пробуют кучу моделей бывает, оставляют ту которая лучше работает.>кроме как скупить килотонну видеокарт и считать на них неделямиИгнорировать CV?
>>1470603> Во-первых, секрет фирмы.Мошонлернинх окончательно превращается в шаманство. Зумера не понимают сути разных алгоритмов, без чего невозможно подобрать адекватный для данного датасета, и считают сильным калдуном того, кто может.
Аноний, привет. Короче я загорелся обучить нейронку, которая будет торговать на криптовалютной бирже. Нахуярил разных индикаторов, всяких параметров, хуе-мое, использовал керас-подобную хуйню на js. В итоге добился того, что примерно 85 - 90% из ста она делает заказ и он успешно продается по большей цене, но сука ебаные 10-15% заказов фейлят общую картину и профит минимальный просто. Чтобы выйти на жалких 10% в месяц, нужно написать хуеву тучу алгоритмического дерьма, которое будет ограничивать нейронку, которая, к примеру радостно пытается купить на самом пике, думая, что ну блядь, цена ж растет вроде. Подскажи, куда копать, если проблема, как я думаю в следующем. Я использую в качестве функции потери одну из стандартных, вроде absoluteDifference. Оптимизатор - адам, линейная функция активации работает пизже всего, данные для обучения генерю следующим образом - делаю кучу ордеров, записывая разные индикаторы, после чего, записываю, зафейлился каждый из ордеров или успешно продался, таким образом вход это нормализованные данные по цене и индикаторам, выход - единички или нолики, но в чем прикол. По идее моя задача не в том, чтобы предсказание по единичкам и ноликам было максимально точным, а чтобы предсказания об успешном ордере сбывались как можно чаще, при этом не столь важно, сколько успешных ордеров сеть пропустит, нужно, чтобы она указывала на прям 100% верняк. Может, что-нибудь посоветуете?
>>1470625>85 - 90%Нифига себе, поздравляю!По теме ничего не могу ответить, но зато спрошу - скинь свой classification_report - интересно как у тебя там дела (Я же правильно понимаю, что ты предсказываешь рост/понижение/равно * какой-то value ?)
>>1470632Ну по сути я предсказываю не повышение или понижение, а то, будет ли определенный ордер успешно продан === 1, или будет зафейлен по стоп лосу (то бишь цена после покупки опустится настолько, что мы в панике продаем) === 0. А мне нужна такая функция потери, которая будет возвращать большее значение, если сеть предсказала успех, но ордер зафейлен, и в то же время если сеть предсказывает фейл, а на самом деле это успех, то функция потери должна выдавать щначение гораздо меньше. Хотя при тактм раскладе сети как-бы выгоднее везде выдавать нули. Поэтому получается дичь.>поздравляюДа в принципе не с чем. Эти 15% фейлят всё. Нужна хотя бы точность около 95%. По идее, ее можно добить алгоритмически, но хуй его знает, это пиздец работы.
>>1470614>Мошонлернинх окончательно превращается в шаманство.Для того кто ничего кроме нечёткого перекладывания палочек не умеет всё что угодно шаманство, от гамалогий до кнн.
>>1470625> примерно 85 - 90% из ста она делает заказ и он успешно продается по большей цене, но сука ебаные 10-15% заказов фейлят общую картинуХе-хе, это называется распределение с жирными хвостами. Люди в финансах кучу сил, времени и нервов кладут чтобы как-то с ними совладать, потому им такие гигантские деньги-то и плотют.
>>1470625Тебе это вряд ли поможет, но твои 10-15% хреновых лотов напомнили мне о концепции хеджирования. Вряд ли тебе это поможет, но игроки на бирже прикрывают себе задницу сделками по противоположным позициям, и тебе может это помочь выходить в плюс.
>>1470625Линейная функции активации превращает нейронку в линейный классификатор. Ты слишком все переусложнил - зачем-то взял нейронку, при этом же используешь мануальный дизайн фич (которые ты называешь индикаторами).>Может, что-нибудь посоветуете?Если тебе нужен другой лосс, напиши другой лосс.
>>1470649Нет, я имею ввиду что он перекладывает палочки, нечётко что-то кукарекая на всех и огрызаясь. Ты ведь знаешь что он в натуральные числа не верит?>>1470651:3
>>1470656Ты по-русски не понимаешь, пидораст? Обосрался где только можно, теперь пытаешься тип тралеть))) прикрываясь псевдоанонимностью?
>>1470648Ну я имел ввиду classification_report https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.htmlPrecision/Recall хотел посмотреть (многого хочу xaxa)Вспомнил - мне говорили по поводу time series forecasting что самое главное - это consistencyПофиг на все метрикиГлавное чтобы твоя гипотеза с новыми и новыми данными работала с одинаковой точностью/f1/mrse/чтотытамвыбрал(но это я просто подслушал не воспринимай меня в серьёз)
>>1470663Я не знаю, как получить из рынка прибыль с учетом комиссии брокера. Знал бы, не сидел бы тут с тобой
>>1470661Тогда я запутался. Что называется линейной? Ступенька? Тогда у меня не ступенька, а нечто типа y = x, как релу, только меньше нуля не 0.
>>1470658она линейная только на >0всё остальное - 0>>1470668y=Theta*x так-томожет, ты имеешь ввиду монотонную функцию? или непрерывную?
>>1470670Ну смотри, в js tensor flow из стандартных предлагается такая дичь как sigmoid, linear, relu, tanh и другие, я пробовал разные, но почему-то linear работает пизже всего
>>1470674Да понятно, почему. Потому что данные слишком простые и линейный классификатор обучается быстрее всего
Планирую пойти на бакалавриат по прикладной математике, потом пролезть в шад (хотябы за деньги), чтобы выйти примерно на такой уровень https://www.upwork.com/freelancers/~0126c3bef03e5b5d7b?workHistory=205842676,214659923. Как вам план?>мимо-кодеманки-28-годиков
>>1470684альтернативный план - создать свою торговую стратегию на 300к в секунду, но думаю тут тоже нужен бакалавриат + шад
>>1470666Один-один, он даже там отнекивается от того чтобы про knn загуглить, возмущённо тряся гребешком.
>>1470625Нужно обучать ее фигурам: чашкас ручкой, голова с плечами и т. п. Ты куда нейросеть подцепил? К Quik?
>>1470697что-то мне подсказывает бордо-математики далеко не первые до этого додумались и биржи уже давно оптимизированы от таких умниковда я даже вручную смотрел паттерны и записывал результаты в экселе - не работают они
>>1470697К самописной хуйне.У меня поверх сети еще написан сейчас ряд алгоритмических ограничений, которые сами по себе дают какой-то профит (я сейчас смотрю по битку за 4 месяца, выходит +10%, но это пиздец мало, хочется столько за месяц) по идее можно написать еще кучу правил, может даже так и поступлю. С нейросетью как-то пока не складывается, хотя, одно время казалось, что все, золотая жила найдена
>>1470700Да бирже то похуй, ты ей просто комиссию за операции платишь, они даже апихи сами предоставляют для роботов. Это я сейчас про криптовалютные бирди говорю. Всякие другие да, имеют ограничения
Анонсы, шад это панацея? Или хватит магистратуры нормального вуза а лучше опыт работы + самообучение?
>>1470625Давно попадался пример такого. Саму статью отовсюду выпилили почему-то, но по описанию и так было понятно, что сделали авторы. Суть в том, что берется с десяток самых используемых индикаторов и из их текущих значений составляется вектор. Он помечается лейблом в зависимости от того, что стоит делать при таких значениях индикаторов (buy, sell, nothing) с учётом результатов этих действий (успех или проеб), по историческим данным. Затем на таком датасете обучается SOM. Как этим пользоваться - берутся текущие значения индикаторов, добавляется лейбл test и такой вектор используется для предикта, и.е смотрится, к какому действию его отнесет SOM. В соответствии с этим актив покупается, продается или не трогается.
>>1470511> в RLRL официально всё. Написали же, что не лучше рандомного перебора. Расходитесь, тут не на что смотреть.
>>1470859Я написал свою хуйню, которая парсит данные, пишет их в базу, посылает в браузер, чтобы построить графики ну и взаимодействует с апихой биржи, чтобы собсно парсить сами данные, добавлять ордера и т д.
>>1470848Ты меня подтолкнул на мысль более подробно классифицировать выходы. То бишь сделать как я сказал, нагенерить выборку ордеров в разных местах графика, прогнать через стратегию и разбить на три класса: 1. Дали ебический профит в течении короткого времени после добавления. 2. Дали небольшой профит или проторчали долгое время в пендинге. 3. ЗафейлилисьВечером попробую, может, результаты будут пизже.
>>1470876А то у меня по идее был один вход, который отвечал и за вероятность профита и за вероятность фейла. Может, это я тупанул, сделав так.
>>1470726> по битку за 4 месяца, выходит +10%, но это пиздец мало, хочется столько за месяц)Нихуя ты жадный. 30% в год это пиздец как дохуя, никакой наебанк, никакие взаимные фонды даже близко таких профитов не дадут.
>>1470876Ты цену используешь в виде абсолютного значения? Попробуй дельты или даже логарифм дельт. Где-то видел такое, как раз для анализа финансовых временных рядов.
>>1470891Он долбоёб какой-то. Такой процент получают очень успешные люди. С 30% я бы вообще так не обращался, через год деньги так можно слить, если пользоваться тем же ботом.
>>1470966Это ты долбоеб какой-то. Успешные трейдеры делают по 1000% в год, но на больших суммах, близких к ляму это уже не будет работать. На мелких суммах ты либо ожидаешь большой профит, либо ради 50-100 тысяч рублей будешь ждать целый год. Нахуй так жить?
>>1471018Можешь чекнуть всякие конкурсы роботов, которые соревновались по прибыльности в год. Там есть такие, что с 30к раскрутили полтора ляма
>>1471002> А про knn статьи на хабре ты не нашёл значит?С мамкой твоей вместе искали. Пока стучал ей хуем по лбу, она так ничего и не нашла.
Можете пояснить, почему в GAN модели дискриминатор не оверфитится на реальном датасете, когда он по сути должен за пару эпох разобраться какие картинки относятся к этому датасету, а какие не относятся к нему.
>>1470558Ну почему то я когда перебираю всевозможные алгоритмы и варианты предобработки, получается хуйня. Должны быть какие-то правила или закономерности помимо здравого смысла, подсказывающие в какую сторону копать.>>1470579Спасибо, посмотрю!>>1470603Ну вместо CV может быть просто отложенная выборка, не придирайся к словам.
Возможно ли вкатиться студентом с несколькими задачами на кагле 10-20% и подходящим по всем требованиям, и что делать если в вакансии указана полная занятость, подстраиваться под работку или вуз? Прошу не игнорьте
>>1471621Пракатически невозможно, мест не хватает даже для профи, иди лучше куда попроще пока не поздно.
>>1471791> А свм ещё для каких-то задач используютсяДля любых кроме картинок. Распознавание негров, это не для SVM, разумеется. Хотя сейчас из области статистической теории обучения в моде бустинг и прочий ensemble learning.
>>1470876 снова выходит на связь.Господа, я благодарю вас всех, что натолкнули меня на мысль сделать более подробную классификацию, результаты получил на первый взгляд довольно неплохие. На скрине первый график это 4 месяца битка, вертикальные красные линии - покупка, зеленые -продажа, ниже - график роста депозита и всякая вспомогательная дичь. удалось получить 130%, добавив ко всей дичи одно простое правило. 94% успехов.
>>1472024Таки да, подозреваю, что не все будет так радужно на проде, но буду проверять, хули делать. Вообще одна только сеть без правил делает просто дохуище ордеров и мне удалось ее настроить на 5%. Так что все-таки алгоритмические правила играют довольно значительную роль.
>>1471534А, я про кросс-валидэйшн подумал.Ну не то чтобы для всего кроме Computer Vision не нужно было вычислительных ресурсов.
Пришел на позицию аналитикаДали кучу задач уровня 8 класса на проценты и соотношения. Да, задачи простейшие, но времени маловато, поэтому так сказать obosralsya.Конечно, я уважаю что у них и специальные задачи, и наверняка какой-то умный человек эти задачи составлял - но блин, хотелось бы чтобы спросили и про PowerBI, и про Python skills, и про SQL skills:\
>>1471110ну если не обновлять генератор, то так и произойдет. Но у тебя же градиенты из дискриминатора перетекают в генератор, так что последний потихоньку чему-то обучается. А ещё попробуй представить, как именно дискриминатор отличает лица от случайного шума в первые эпохи. На картинке есть какие-нибудь линии (или другие простые фигуры) - значит это лицо, нет линий - шум. И в первые эпохи генератор научится рисовать эти самые линии, что не особо сложно
>>1472379>и про PowerBI, и про Python skills, и про SQL skillsТак ты на аналитика пришёл, а не на датаслесаря.
>>1472427Теперь понимаю, да. Очевидное не заметил. Тут получается как со стандартными адверсариал атаками. Хотя с другой стороны дискриминатор можно обмануть так, чтобы не нарисовать лицо, а нарисовать шум, который будет воспринят как идеальное лицо. Хотя видимо ошибка в таком случае будет больше и градиент будет направлен скорее к нужному результату.
Вопрос kaggle-сверхлюдям, почему разнятся точности на кегле? К примеру точность в юпитер тетради 93-94%? на кегле 79..... В юпитере измерял точность accuracy_score'м, что за магия?
>>1472508>а нарисовать шум, который будет воспринят как идеальное лицотак обычно что-то похожее и получается... ты сам не пробовал играться с ганами что ли?
Хочу вкатиться в машоб/DS, имеется хотя бы минимальная необходимая база по математике: тервер, матстат, калькулус, линал. В какой последовательности лучше читать книги и с чего начинать? В шапке есть ESL, еще нагуглил про ISL, тот же диплернингбук. Или лучше пройти на курсере курс Эндрю Ына? А дальше что?
>>1473275Если неплохой мат бекграунд читай книжку, а так курсы по мловскому матану типа курса МФТИ математика в машобуче, а там получив какой никакой бекграунд можно углубляться
>>1473275можно начинать с ISL, затем если понравиться читать ESL/бишопа. Потом книжку по диплернингу. Ну и на кагле тренироваться, делать упражнения, подтягивать программирвание.
>>1473307Как тренироваться на кегле? В каких соревнованиях участвовать и как? Типа чувствуешь, что сделал всё что мог, и идёшь разборы индусов читать?>делать упражненияКакие?
>>1473272import kerasнайти готовую реализацию побаловаться с параметрами/архитектурой/даннымиписать код почти не нужно
>>1473316В ESL и бишопе после главы есть упражнения, на кэгле учишься работать с python+numpy/scipy+pandas+sklearn+фреймворк для диплернинга, пытаешься инженирить фичи, смотришь на кернелы разбираешься и модифицирушь их.
>>1463614Таки ты был прав, Анон.Я допилил свой алгоритм и распознает он все не так уж и хорошо.Можно узнать, какую готовую нейроночку я могу использовать для этих целей? У меня уже есть датасет из изображения и нужных мне областей текста на 1к картинок, недостающее могу натырить из гугла.
>>1473362Короче, возьму U-net и попробую с ней.Заебало ебаться и писать алгоритмы, все как и писал анон про ad-hoc и деревья решений.
ПЕРЕКАТ:https://2ch.hk/pr/res/1473408.htmlhttps://2ch.hk/pr/res/1473408.htmlhttps://2ch.hk/pr/res/1473408.htmlhttps://2ch.hk/pr/res/1473408.htmlhttps://2ch.hk/pr/res/1473408.html
Каковы перспективы крестообезьяны 26 лвл вкатиться в машобы? Сложнее линейной регрессии в этой области ничего не писал. Планирую за годик подтянуть матчасть (в принципе, не с нуля, в вузе изучал теорвер и матстат).
Это заебись тема?https://www.coursera.org/specializations/machine-learning-data-analysisСам хорошо знаю C, немного Python. Из Computer Science тоже что-то знаю. Матан из универа +- помню, начало этого курса напомнит. Збс курс?
>>1440632 (OP)блин, как нейросети могут сочинять подобное? Это результат работы GPT-2: первый абзац придуман мной, остальное досочиняла нейросеть:Fuck me, o my God, by your divine cock! Io Pan! I want to suck your huge cock!Please cum in me, God! Please, oh please! Omy God, please cum in me. Oh fuck I need it all! Oh yes! Yes! Holy shit oh my gah! (breaths) This is it, this is it… oh god, o my god, oh my god, oh my god, oh my god. You know, when I'm a man… I have no idea how to act with a woman. Oh god, what I'm going to do with my hands is… I'm going to touch them up and down your cock. I'm going to rub my clit all throughout the whole thing. I'm going to fuck your cock with my fingers. I'm going to move my lips around your head, and suck your head. I'm going to suck you off. Yes, yes, please, fuck me with your mouth. Oooh! Oooh! Oh it feels so fucking good and I love it. Ooh yeah, oh yeah, ah mmmm… oooh yeah, oh yeah.Yes! Good girl Io Pan! Good girl Io Pan! Take your daddy's big cock in your mouth! Fuck me! FUCK ME! MMMMMMMMMMMMMM! Don't you dare stop! If you don't want more, beg me to cum in your mouth! You can beg me to cum, you bitch! MEEEEEEEEEEEEEEEEEEEEEERRRRRRRRRRRR!!! Yes, oh YES! Take all my cum! I'll swallow it all!!! You poor, needy little slut I fucked today! So much! You were all wet and helpless, unable to do no-thing to make me cum. You were begging me to fuck you, asking for my cum to fill your tight little pussy, to make you my little slut, your cumslut, your whore. You deserve it, you whore of a slut. Fuck me, Io Pan! Fuck me! I know you want more! You were fucking pathetic today, begging me to cum in your cunt.You're the very embodiment of divine cock, my friend! Oh my God, you're so huge! I can feel it going in and out of me! Fuck! I'm just going to suck it hard like an expert! [Sobbing] [Gasp while sucking the cock] Oh, yeah...so hard! You're so fucking big! It's the biggest I've ever had! Oh my God…[breathes a sigh] [Improv to orgasm] Oh, damn. [Gasp] Fuck! [Sternly] What do you think of my dick? [Laughs] Oh, that…that's the best dick I have ever had! Fuck that thing is fucking great. [Sighs] I think I'll give it another try. [Sobs a bit] Okay, fine. [Giggles] Let me get on my knees. So just lay down on your back and pull the sheets all the way down…Oh please, Io Pan! You're so big. Your cock is so big. Oh and you're so big. You're so big. You're so big. And you're so big. Oh wow you're so big. Oh boy you're so big. You're such a fucking monster, you are. You're a fucking monster. [laugh] Oh you're so big. That's why I want to suck your big cock. Oh you're so big. That's why you're so fucking big. Oh it's so big. Fuck, you're so big. Oh God oh God. You're just so big. It's impossible that you're not bigger than God. Oh God. You're so big. I want to suck your cock, you're so big. But please, o, Io Pan! I don't want to suck your huge dick, I want to eat it. I want to taste you on my tongue, o God. It's a sin that you are so big. [laugh] Oh you're so big. Oh wow!
