Для начала вводную бы для простых смертных. Зачем оно нужно и какие задачи решает. Машинное обучение звучит круто, но неясно даже интересно оно мне или нет.

>>652481
Мое личное определение такое: ML - это когда у тебя есть куча данных (тексты, картинки, таблицы) и тебе хочется ответить на какой-нибудь вопрос релевантный данным. Определять по картинкам кошка там или собака или по логам действий пользователя на сайте пытаться предсказать купит он что-нибудь или нет.

А я курс по машинлернингу проходил на курсере. Английский у меня хуевый, поэтому смотрел с русскими сабами, которые кончились примерно на нейросетях. Похуй, стал смотреть с английскими сабами - в принципе тоже норм. Но потом, когда пошли алгоритмы классификации, пошел адовый рассинхрон сабов и звука. А еще дедлайны по домашкам. Забил хуй сразу. Но воспоминания теплые остались. Теперь можно хвастаться ерохинам, что можешь написать программу, которая сможет рулить машиной.

>>652599
Эээ, не, разве что теоретической игрушечной машинкой. Пока ты на курсерных яве/питоне будешь анализировать что за хуита у тебя на дороге уже 5-х человек собьёшь, если раньше свопы не начнутся.

Джва года ждал этот тред.

>>652612
Ну я же не про гуглмобиль говорю.
А там они просто взяли изображение с камеры на крыше 20*20, чистую черную дорогу на фоне зеленых лужаек, прихуячили к рулю привод и покатались минут 10, обучая. Потом уже машина сама рулила нормально. Никакого управления скоростью/тормозом не было. Реализовано было через 400 входных нейронов (по пикселю на каждый), двумя хайденлейрами и n-му числу выходов, соответствующих углам поворота рулевого колеса.

>>652628
А теперь приспустись-ка на землю с теоретических небес, и расскажи:
а) Какая там железка, с тамошними ограничениями в электричестве;
б) На чём это всё всё же реализовано (желательно с пруфами);

Судя по тому что я нашёл - там кроме камеры ещё 2 десятка датчиков со всех сторон и расчёт пути происходит на сервере, а физическое железо просто перестраховка от людей/машин/кошек, что какбе не очень подходит под описание "самоуправляющегося" автомобиля.

>>652641
Пикчи из гугла отвалились.

>>652641
Ты думаешь, что я перед тобой начну щас оправдываться, дабы не прослыть петухом от мира машинлернинга? Я же сказал, что дропнул эту хуиту на середине. А про руление машинкой я сказал, потому что примерно понимаю как это говно работает. Плюс ко всему можно выебываться перед ерохинами, круг интересов которых ограничивается машинами и их ремонтом.

>>652656
Впервые про такой метод услышал. Прочитал на вики и осталось странное ощущение, будто это просто иное название для комбинации basis set expansion и индуктивного алгоритма обучения. Мне кажется, оно не "не взлетело", а перекочевало в разные алгоритмы и сейчас просто имеет другие названия.

>>652689
>Мне кажется, оно не "не взлетело", а перекочевало в разные алгоритмы и сейчас просто имеет другие названия.
Там довольно общая формулировка задачи, под которую подходит почти все что угодно вплоть до генетических алгоритмов. Но именно в изначальной форме оно по-моему, сейчас нигде не используется. Есть какая-то платная ебала с нереальными ценами https://www.gmdhshell.com/buy При том, что метод в свое время был достаточно разработан.

Хороший тред, сам сейчас хочу написать курсач/диплом по распознаванию лиц. С каких статей можно про это начать копать?

долбоёбы, хули тут ещё сказать. Систематизаторы, учёные блять доморощенные. Встретимся в макдональдсе за кассой

>>652732
Пока понял что делать это нужно через применение
https://en.wikipedia.org/wiki/Principal_component_analysis
А потом уже с небольшим количеством параметров применять какой-нибудь диплернинг или интерполяцию, верно?

>>652732

уже миллион таких дипломов, статей, книг. Всё всё что можно было изучено, этой теме уже 80 лет.

Нужны новые, прорывные вещи.

>>652746
>>652738
Статистикой, вариационным исчислением, дифференциальными уравнениями, да даже натуральными числами занимались со времен царя гороха и до сих пор занимаются.
Покормил долбоеба.

>>652720
Что там имеется ввиду под изначальной формой? Если я правильно понял, без эвристик в этом методе произойдет комбинаторный взрыв и жуткий оверфит уже на первых шагах. То есть per se его взять не получится. Ну а отсечение эвристиками приводит к уже известным под другими названиями методам. Тот же SVM RBF - это регрессия на полиномы бесконечной степени с регуляризацией, которая не дает произойти такому пиздецу как в чистом МГУА.
>https://www.gmdhshell.com/buy
Это что-то уровня C5.0/See5 - за гранью добра и зла.
>>652732
https://habrahabr.ru/company/synesis/blog/238129/

>>652767
ОП

>>652789
Ага, упустил этот момент, картинка годная.
>комбинации которых оцениваются
Количество комбинаций будет неимоверно велико при количестве исходных переменных >~20.
>Там нечто типа функции приспособленности в генетических алгоритмах. Причем, они составные, не только среднеквадратичная ошибка, но и другие критерии.
Это плохо. Даже если чуть-чуть усложнить метрику ошибки и отойти от известных L1, L2, 0-1 или exp, то функция потерь перестает быть дифференцируемой и методы оптимизации перестают работать в принципе.

>>652876
Тащем-та мне нечего добавить к вышесказанному. Применение эвристик так или иначе приближает МГУА к уже существующим методам.
Попробуй, может выйдет что-нибудь годное. Вон китаец (https://github.com/dmlc/xgboost ) взял и написал пару лет назад градиентный бустинг на деревьях. Казалось бы - чему тут взлетать? В итоге это сейчас самая сильная библиотека с нелинейным методом для общих задач. Тоже всяких эвристик накрутил хоть жопой жуй - но работает же!

>>652876
>Я вот сейчас думаю как нечто подобное на R сделать с помощью генетических алгоритмов, чтобы полиномы генерировались в виде таблицы
И да, посмотри вот это, может поможет чем-нибудь:
http://topepo.github.io/caret/GA.html

>>652481
ML have no tasks.
USA university and researching groups use this shit (like they always do) and have some impressive results at recent years. All the geeks going crazy about that and start hyping: "It's a future technology, I'm going to be a new Bill Gates in ten years!!!". Coursera printed 100500 data science courses for making money on idiots. Thats all.

All the real market is 10 vacancies a year in all Russia. And 8 of it requires doctor degree in math and be here 10 years ago (called "analytics").

Sorry for English. I install Linux and now don't know how to change language. Shitty OS, I hope none of my brothers didn't die.

>>652940
Вся суть /pr

>>652946
Cheeseburger and big cola, please!

>>652940
Да да, вместо того, чтобы зайти на транслит.ру ты решил выебнуться английским. Не удивительно, что у тебя работы нет.

>>652950
I make 10 errors in every sentense, how it can be VIEBNUTSIA?

>>652940
Как по мне, так ML вышел из застенок универов и является группой уже промышленных техник и технологий. Не совсем понятны слова про 10 вакансий в год. Если под вакансией в ML считать state-of-the-art в каких-нибудь нейронных сетях, то да, таких может быть десяток. Но обычно имеются ввиду навыки работы с данными и владения инструментами типа питонячих библиотек, Sparkов и прочих обвесов - таких вакансий валом.

>>652660
Воронцов мудила, он студентов на ВМК гнобит.

оверхайпнутая параша

>>652940
Твой английский это просто лолыч. Ты хоть документацию осиливаешь?

>>652738
История из жизни: хотел я повесить недавно 100 табличек с номером телефона моего не айти бизнеса на столбах, спам такой что таджики срезают раз в сезон, быдлее быдлового, для речь не о том. Чуть голову не сломал гадая где их вешать что бы водители видели.
А сейчас я бы просто попарсил пару недель Яндекс пробки и в хуй не дул.

>>653164
>статистика
>оверхайпнутая параша
найс история.

>>653055
Это на ВМК студенты мудилы скорее.

>>653188
Это два разных скилла. Я даже на слух английский понимаю относительно неплохо, а когда писать начинаю, получается чуть лучше, чем у него.

>>653380
Такая же хуйня, не знаю как с этим бороться.

>>653380
Двачую. Читаю и пишу хорошо, зато как рот открою, получается максимум: ГРЕЙТ БРИТАН ИС ЗЕ КЭПИТАЛ ОФ ЛАНДАН

>>652472 (OP)
>Опять про компиляторы. И я не шучу. Хотите начать в этом разбираться - зацените как устроен компилятор Python. AST - это абстрактные синтаксические деревья для разбора грамматик. В гугл, открываете доки и вперед!
Книгу бы дракона добавил, это же буквально библия!

>>652660
>yandexdataschool.ru
>504 Gateway Time-out
Постоянно какая-то ошибка на их сайте.

>>653474
>yandexdataschool.ru
Хз, может ширина канала узкая? Там на все глагне видео грузится. Попробуй сразу на https://yandexdataschool.ru/edu-process/courses перейти

>>653560
Репортнул админам, не знаю кто в воскресение будет шевелиться, больше ничем не могу помочь. У меня наоборот, курсы грузятся, а главная нет.

Есть что-нибудь по гугловскому TensorFlow? Кроме ссылок на туторы с оффсайта естественно.

>>653649
курс udacity по deeplearning

>>652660
Мне в свое время Воронцов (он моим научником был) советовал курс на курсере от High Economic School.
Курс оказался отвратительным :(

>>653741
Этот?
https://www.coursera.org/learn/vvedenie-mashinnoe-obuchenie

>>653746
Да, он самый

>>653756
Да, мне тоже не понравился, хотя другие их курсы вполне себе ничего.

В ML матешу нужно знать?

>>653776
Метка отваливается постоянно, сука.

>>653768
нее и так все чики-пуки)

>>653776
>EoSL, часть 10.2 (хотя имеет смысл всю главу прочитать).
Спасибо, обязательно гляну.

>>653952
ЯННП.
>Оно у вас вообще работает?
Да.
>Это можно считать нормальной работой?
Да. Что тебе не нравится?
>Всегда с подозрением относился к пистонопарашам, если честно.
Ну причем тут пистонопараша? Весь tf написан на крестах, а на питоне только удобная обвязка.
>>653966
Кесарю кесарево. В остальных тредах (пхп, фронтенд, дотнет, 1С) сидит куда больше народу, чем здесь. Субкультура какая-то, большинство - это о чем вообще. Мы пытаемся тут сабж обсуждать, вроде даже получается; какие проблемы, офицер?
>Вместо этого все отыгрывают гиков и ученых, учат датасаенс, функциональное программирование, С++, всякие новые никому не нужные языки.
Намешал в одну кучу и людей и коней.
>реальными специалистами в реальном мире
Ловко ты тут всех задетектировал. Расходимся, хиккари.

>>653966
Подрастешь еще чуть-чуть, и перестанешь противопоставлять Спп с ФоПэ и фронтенды с вебыми, я гарантирую это.

>>653966
>Ну тащемта мне лучше. Меньше конкурентов - больше зарплата.
>Весь пост пытается обосрать ML.
Манек, ты на ноль делишь. Тебе не лучше. У тебя пердак на ровном месте подгорел, среди всех нас тебе хуже всех сейчас. Очередные вопли маньки-неосилятора.

>>654087
Это у него так сознание пытается защитить себя от батхерта, что выливается в маня-мирок. Лучше бы он голову в унитаз прятал.

>>653966
Чумазый пиздёныш с громкой отрыжкой и отчаянным воплём ввалился в комнату, где господа почивали после сытного завтрака. Битордик ошарашенно вылупился на удивлённых сэров, за пазухой у него явно было что-то запрятано. Ну, что у тебя там, зассыха? - снисходительно промолвил самый молодой из господ. А-а-фоть - заикаясь промямлила замарашка и трясущейся рукой вывалила на дорогой персидский ковёр кучу смрадного свежего говна. Лица элитариев побагровели от такого неслыханного безобразия. Камёрдинера сюда, живо! - воскликнул опять же самый молодой и самый вспыльчивый из них. Оказия сия окончилась, как можно безошибочно предугадать который раз не в пользу плебса, оно и к лучшему, не место черни среди высшего общества.

>>654120
Схоронил.

На мой взгляд, анализ данных это все-таки пока что чрезмерно популярная и распиаренная, а потому дурнопахнущая область знаний. Деньги там крутятся бешеные, вместо придумывания качественно новых методов обычно выгоднее привычным движением нахуярить random forest и дрочить коэффициенты до прихода к успеху. Из-за этого теоретическое развитие ее уныло и медленно, а большая часть научных работ отдает бревнологией. Пока это всех устраивает, такое положение вещей сохранится, и вкатываться в это дерьмо - не самая лучшая идея. Тем не менее, разумеется, это в любом случае гораздо лучше крудошлепства, а бугурт отметившегося выше холопа-1Сника - подтверждение тому.

Стоит ли начать обмазывание ML? Можно найти работу в этой области где-то кроме яндекса?

>>654153
Освятил.

>>653328
две формы лжи, братишка

>>654157
Две формы лжи в глазах смотрящих. Сама по себе статистика беспристрастна.

>>654157
>три
quckfix

>>653966
маня, 99% работы в твоих "востребованных профессиях" это заунылейший однотипный дроч с пониженной интеллектуальной составляющей, сродни перекладывания бумажек в офисе
да, ты не ослышался, пхпист, 1Сник, яваиндус, дуднечик = офисный клерк

самое комичное ещё и то, что подобные языки максимум простые и тупые, оттого и средства программирования предоставляемые ими чрезвычайно убогие и говёные, не позволяющие прозрачно выражать свои мысли и нормально решать задачи

то есть какой нибудь пхпист - не просто клерк, он ещё и клерк в конторе с отсутствующей современной оргтехникой, средствами автоматизации и т.д, ну типа 45летней бухгалтерши тёти Груни из рашкинской мелкой госконторы с тысячами бумажек, папочек и т.д.

>>654153
Походу какая-то рутина. А можно ли где-то связать жизнь с криптографией и алгебраической/алгеброгеометрической теорией кодирования?

>>654192
Даже не столько рутина, сколько неинтересно мне. Не люблю я эту статистику и мозги. Мне нравится алгебра, криптография, ассемблер и эксплоиты.

>>653966
нононо, я пхпшник меня даже после пары лет обучения не берут, так что завали варежку - лучше мачин лернинг буду изучать и работать продаваном, как все.

Оп, кидай сразу ссылки на бесплатные эти книги в сети.

>>654153
Ты умничка
Нет, правда

Кто нибудь читал? Есть отзывы?
http://www.spbdk.ru/catalog/1058135.html

>>653966
>востребованными специалистами
Самое забавное что корреляция между востребованностью и сложностью - вещь мифическая. Хуй угадаешь короче кому ты и чем можешь платно услужить, и если сегодня у тебя всё хорошо, то что будет завтра. Полагаю многие здесь целятся в гугл или хотя бы яндекс чтобы дяди дали нескончаемый поток задач приближенных к науке.

>>652646
> Плюс ко всему можно выебываться перед ерохинами
На этом месте перестал читать дауна

А вообще насколько полезно читать все эти книги? Вот я бишопа открыл, полез какой-то матан. Я к тому, что вот читаешь сидишь эти буковки, не продуктивнее ли тупо скачать какую-нибудь библиоетку под нейросети и сидеть ее ковыря? Т.е. то же время ты мог потратить на кодинг вместо разжевывания букв. Ну наверное их стоит читать только тем, кто уже итак кодит на коммерческой основе для разминки мозгов?

>>654153
>Зависит от того, откуда ты берешь эту большую часть
Разумеется, светлые головы есть всегда, я же не отрицаю. Но периодически листаю machinelearning.ru, слушаю посонов с ММП-кафедры и из вышки, ну ты понял. И складывается впечатление, что если в матлогику или, скажем, в какую-нибудь теоретическую физику идут люди действительно увлеченные, с горящими глазами, то тут положение прискорбное. Все валом валят в БИГДАТА, потому что модно, и вообще Ерохин уже на конференции ездит. Олдфаги нагружают молодняк неинтересными задачами, а те и не против, чувствуют себя приобщенными зато. И все это приправлено фантазиями об успешных стартапах, пиаром от Бобука, рекламой ШАДа на каждом заборе и толпой PhD с предсказанием цвета медвежьего кала по годам и географическим широтам в диссертации.

>>654153
>ML тоже уже готов дать в ближайшие годы решения для автопилотов, дизайна лекарств, вопросно-ответных систем
Я скептически смотрю на такие утверждения. На мой взгляд, сам подход, лежащий в основе ML, порочен. От детальной декомпозиции предметной области, понимания и воспроизведения всех деталей в модели, люди переходят к упрощенным моделям-черным ящикам.

>Хайра рассказывал долго и сбивчиво. Саул подгонял и подправлял его. Дело, по-видимому, сводилось к тому, что местные власти пытались овладеть способом управления машинами. Методы при этом использовались чисто варварские. Преступников заставляли тыкать пальцами в отверстия, кнопки, клавиши, запускать руки в двигатели, и смотрели, что при этом происходит. Чаще всего не происходило ничего. Часто машины взрывались. Реже они начинали двигаться, давя и калеча всё вокруг. И совсем редко удавалось заставить машины двигаться упорядоченно. В процессе работы стражники садились подальше от испытываемой машины, а преступники бегали от них к машине и обратно, сообщая, в какую дыру или в какую кнопку будет сунут палец. Всё это тщательно заносилось на чертежи.

Да, так легче, дешевле, во многих случаях продуктивнее. Но ты заметил, насколько чаще стали происходить подобные диалоги: "Ух ты, точность 97%, как ты это сделал?" - "А хуй его знает, коэффициенты удачно подобрал". Какой толк от создания искусственного интеллекта, если мы не будем понимать, как он работает?

>>654497
Обычно чтобы мозг у ученика не взорвался, талантливый преподаватель придумывает плавную подачу материала. В итоге ученик осваивает предмет быстро, эффективно, без каши в голове и фрустрации. Быть сам себе преподавателем непросто, но этому тоже можно научиться.

>>654153
Не прошел собеседование в Билайн как раз перед новым годом, спрашивайте ответы.

>>654728
Может в формате кулстори расскажешь?

>>654729
Каглохолоп-самоучка, в недавнем типа-кагл соревновании от билайна (проходило на хабре, если кто не в курсе) занял BRETTY GOOD :DDD место.


Соответственно, связались, запросили код из соревнования, потом было кратенькое собеседование, где вскрылось, что у меня нет коммерческого опыта работы вообще. В связи с этим, дали еще одно маленькое задание, сделал, отправил только питоновский скрипт. Через почти три недели молчания сам с ними связался - оказалось, что еще нужно дослать что-то типа отчета с описанием основных шагов (с комментарием, мол, "xgboost мы и здесь запускать умеем", будто я не на джуна апплаился). К тому времени нашел работу в своем мухосранске (не связанную с датасаенс вообще никак), и забил. О чем теперь очень жалею.

Надо сказать, что вообще весь процесс общения был очень затянут. Видимо, сказались запуск нового отдела (про который анон написал выше) и их школой.

>>654774
Традиционно освятил.

>>654087>>654109>>654132>>654120
>Пытаешься помочь безработным эскапистам, ведущимся на хайп, принять правильное решение в выборе направления профессионального развития
>Говорят, что тебе припекло
Okay

>>654176
> работы в твоих "востребованных профессиях" это заунылейший однотипный дроч с пониженной интеллектуальной составляющей, сродни перекладывания бумажек в офисе
> пхпист, 1Сник, яваиндус, дуднечик = офисный клерк
>подобные языки максимум простые и тупые, оттого и средства программирования предоставляемые ими чрезвычайно убогие и говёные
Вот об этом я и говорил. Типичный представитель /pr . ЧСВ до облаков, всех реальных специалистов считает говном. Себя считает намного умнее и талантливее всех этих людей, поэтому из принципа не хочет заниматься тем, чем занимаются они.
При этом игнорирует тот факт, что он живет на мамины деньги и его самого никто не возьмет на вакансию пхп-джуна (потому что он не осилил херову тучу веб-технологий и фреймворков).

Эскапизм сферический в вакууме.


>>654357
>Самое забавное что корреляция между востребованностью и сложностью - вещь мифическая.
Корреляция скорее обратная. Чем выше коэффициент эффективность/сложность, тем активнее область/технология развивается, вытесняя все конкурирующие области. Потенциально мощные, но неоправданно сложные технологии никогда не приживаются, ими занимаются единицы энтузиастов в качестве хобби, либо (если им очень сильно повезло) за деньги в топовых университетах и организациях уровня Гугла. И какой процент таких счастливчиков? Это то же самое, что сказать: "Шварценеггер накачался и стал успешным, значит мне тоже нужно качаться". При этом тот факт, что 99.9% накачавшихся никак свою жизнь не изменили и впустую потратили время - упрямо игнорируется.

>>653741
Курс и правда плохой, интересно, много ли бросило

>>654774
>Тоже участвовал, лол. Хотя участием это тяжело назвать, в начале соревнования посмотрел на гистограмы, покрутил ручки у xgboost пару часов и забил, потому что не люблю это дело. Занял место в топ-10, потом звонили - не пошел, потому что работа есть уже.

Значит нас уже двое тут из топ-10, сидящих на зекаче. Какова вероятность?

Если не секрет, что за работа? Пили стори. На кегле тоже не участвуешь? Не ради чесания рук, так ради денег Как я понял, с опытом проблем нет у тебя.

>>654023
>Да. Что тебе не нравится?
"Killed" в конце не понравилось. Но вроде и правда работает, пример с cifar10 пока не вывалмлся с ошибкой. А вот тут http://datareview.info/article/tensorflow-razocharovyivaet-glubokomu-obucheniyu-ot-google-ne-hvataet-glubinyi/ говорят, что свободная версия не поддерживает масштабируемости:
>Кроме того, есть вопросы по поводу масштабируемости (а точнее, ее отсутствия). Название официальной публикации, посвященной TensorFlow, звучит следующим образом: «TensorFlow. Крупномасштабное машинное обучение в гетерогенных распределенных системах» (TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems). Однако версия с открытым исходным кодом выполняется только на одном узле.

недавно купил книжку бишопа, сижу по вечерам читаю
до этого читал "First Course in Machine Learning" и "Learning from Data" (половину где то, не особо понравилось)

>>653649
>Есть что-нибудь по гугловскому TensorFlow? Кроме ссылок на туторы с оффсайта естественно.
В марте обещают книжку http://www.tensorflowbook.org/ надеюсь бесплатно, а то когда еще на либгене будет

самый нормальнхый тред

>>652472 (OP)
>компилятор Python
>компилятор
>Python
(^:

>>657248
А я-то думал, что тайной компиляции в x86 бинарник, помимо пропрьетарных жидокощеев, обладает только дедушка Столмэн и его верные адепты.

>>657248
>компилятор Python
Исходник компилируется в байткод, что тебя так удивляет?

>>657254
>>657257
>>657248
Да, то был llvm-фронтенд для Python с кусками из PyPy для оптимизаций.
Это все было благой идеей, которая в дальнейшем столкнулась с реальностью в виде плохо переносимых numpy, scipy и всего того, за что мы любим Python.

>Programming
>1. Python Unlocked.
ОП, тебе правда нужна книга, чтобы кодить на питоне?

Обсуждать сферический МЛ в вакууме скучно. Всю необходимую информацию можно найти за минуту в гугле. Новости все можно узнать из реддита. Лучше бы рассказал, что ты делаешь, или что тебе конкретно интересно.

>>657257
То, что путон интерпретируемый язык, а не компилируемый?

>>658009
>язык с неразрешимой грамматикой
>отличный интерпретатор

>>658183
>неразрешимая грамматика
>Гугл 0 результатов, редирект на неоднозначную грамматику
>пытается выебнуться, даже не понимая терминов
>связывает качество интерпретатора с грамматикой
Найс даун выполз.

>>657826
>>658183
Съеби уже, хуесос. Ты в каждом посте обсираешься.

> Нет, ML не оверхайпнутая параша
мне припекло от этих молодых и смешливых

>>658408
А почему это оверхайпнутая параша? Потому что так сказал какой-то онанимный долбоеб с подтирача?

>>658408
шлюха с ласт пика руководитель отдела между прочим

>>658471
НАСОСАЛА

>>658471
Ты так удивлён, словно шлюха-руководитель отдела это пиздец какая редкость а не норма

>>658009
Ну вот про зрение расскажи, там же современные технологии используются. В чем суть, какие успехи. На гитхаб выкладываешь поделия?
Использует ли яндекс глубокие НС в продакшене? Собирается ли? Если да, в каких системах?

>>658710
дали блять спарк, нет будет дрочить хаму

Где по спарку можно почитать? Прям для дебилов от и до.

>>658408
О, хуесос-Кантор уже тут. Уже заплатили 400 евро чтобы за 3 месяца стать СУПЕР ВАСТРЕБАВАННЫМ СПЕЦИАЛИЗЛОМ ДАТА СУЕНС ПРЕДСКАЗАТЕЛЕМ СТЕПЕНИ ТВЕРДОСТИ КАЛА ПО ОБУЧАЮЩЕЙ ВЫБОРКЕ РУЧНЫХ КУНИЦ???

>>654365
Но ты почти дочитал.

>>659024
>спарк,
Хмм, не слышал про такое. Но там же нет deeplearning'a, только через сторонние библиотеки типа http://deepdist.com/ ?
>>659236
>Где по спарку можно почитать?
Как-то так, наверное http://gen.lib.rus.ec/book/index.php?md5=7d95152846161d75c6937e058717ab83

>>658009
Ну так расскажи подробнее, какие прорывы?
Вот на даггый момент я знаю, что буквы определять можно, причем разной степени сложности. Какое окружение используете, какие разработки?

Просто все твое описание сейчас выглядит так:
Я делаю нейросеть для определения текста - звучит скучновато, потому что это одна из непосредственных задач нейросетей.

Ну и классика: хожишь на мит апы в М@ил.сру каждый год? Если да, то удалось подцепить оттуда что-нибудь годное: знания, связи?

>>661336
Освятил

>>661337
Обоссал машинных гадателей.

>>661615
Бампнул машинных богов

>>661336
>Есть мнение, что они причесывают код и вычищают его от коммерческой тайны, это дело небыстрое.
А что может быть коммерчески тайного в распределенном перемножении тензоров? Тайна полишинеля, лол. Вон >>661052 у некоторого китайца тоже распределенное выполнение, в т.ч. на мобильниках.

Посаны, а нужно ли учить кресты?

>>664119
Они проще. С аутоэнкодерами очень много возни, а результат неопределенный. К тому же когда стали использовать ReLU юниты вместо сигмоидов, оказалось что можно тренировать их с нуля, вместо инициализации с помощью аутоэнкодеров.

Уебывайте на свое Нибиру, рептилоиды аутоэнкодерные

Больше всего машинное обучение напрягает тем, что львиная доля прикладных применений - всякие античеловеческие проекты по превращению планеты в криптоантиутопию.

>>665396
>львиная доля прикладных применений - всякие античеловеческие проекты по превращению планеты в криптоантиутопию.
Примеры? И почему это должно напрягать? Ты из этих что ли, "диды лаптем щи хлебали, чем мы хуже, нинужОн нам ваш инторнет"?

анон, подкинь инфы про Reinforcement learning

Может у ОПа, или у кого-нибудь еще есть мануалов по парсингу? Всплыла задача напарсить все ивеньы по заданной тематике по всей мурике на определенную дату. Обычные мануалы типа "распарсим кинопоиск 101" уже, получается, не подходят. Нужен какой-то более фундаментальный подход.

>>666245
https://en.wikipedia.org/wiki/Web_scraping , не?

>>666224
бамп

>>666245
Selenium жи

>>668735
Все что не дифференцируемо (а значит, не может в backpropagation ) - не нужно.

>>668895
Но в бекпропагейшн очень много что может. В частности - все нечеткие модели.

>>668921
Ну сделай, покажи результаты. Опубликуйся в архиве, выложи код под тензорфлоу на гитхаб, отрасти бороду и будешь почти своим в тусовке.

А в data science есть что-то типа вакансий джуниора? Вот я сейчас на 4 курсе, раньше какое-то время работал в энтерпрайзе и мне не особо понравилось. После универа надо идти работать, и я бы предпочел работу за еду в дата саенсе работе за нормальные деньги в энтерпрайзе. Но опыта у меня нет, только распознавал всякие цифры на kaggle и писал лабы в универе. Сейчас прохожу курс от шада на курсере. В матешу могу.

В яндексы и гуглы меня, скорее всего, не возьмут, потому что я туповат и не особо задрот. Существуют ли не требующие неебического объема знаний вакансии в этой области?

>>670228
Бамп вопросу от другого анона. Похожая ситуация, закончил бакалавриат, пошел в тыртырпрайз. Теперь понимаю как же это отсосно, все эти контроллеры, сервисы, вьюшки. Даже несмотря на заработок.

>>668921
В нечеткой логике используется, как правило, какой-нибудь сигмоид, т.е. функция с насыщением, у которой градиенты на краях стремятся к нулю, это приводит к замедлению (вплоть до бесконечности). По этой причине перешли на ReLU, а ты хочешь вернуть сигмоиды.

>к замедлению
К замедлению обучения.

Ну чё, анончики, кто из вас уже сколько бабла поднял на этом дейта-саенсе?

>>670780
Это такой же развод как и нейронные сети.

>>654749
Буду очень благодарен, если расскажежешь кулстори как учился, какие материалы/курсы использовал.

>>671012
Максимум очень быстрый на GPU (даже по сравнению с average pooling), а эффективность тут решает больше, чем йоба-алгоритмы. Хз, можешь попробовать, благо с theano это недолго, можешь и статейку напишешь.

Помогите дебилу пожалуйста. В машинном обучении я полный ноль, никогда не интересовался. Сейчас передо мной стоит практическая задача, которую нужно было сделать ещё вчера.

Есть определенная функция - черный ящик, что внутри мне неизвестно, на вход принимает 5 чисел [-100, 100], на выходе единица или ноль. Есть огромная выборка данных для тренировки, требуется симулировать поведение этой функции на новых данных.

Я не прошу решение, подскажите в какую сторону, по каким ключевым словам копать, желательно с примерами на java/python, любые библиотеки. Полностью погружаться в тему нет времени.

Подписался на тред. Только питоныч годен под эту сферу?

>>674794
Делишь твою огромную выборку на 2 части - тренировочную и проверочную. На тренировочной тренируешь machine learning алгоритм классификации (их много, начни с SVM), а проверочной тестируешь, хорошо ли натренировалось. Питон? Начни отсюда - http://scikit-learn.org/stable/modules/svm.html

>>670957
Кому нахуй моя кулстори нужна, если я даже работу еще не нашел?

Все стандартно - случайно набрел на John Hopkins курс на курсере, потом сел на кагл. На кагле очень часто очень много инфы кидают на статейки. Изредка поглядываю другие курсы на курсере, обычно все сам гуглю. Пробел в знаниях размером океан. Оттого и не берут.
Не будь как я, вкатывайся в шад какой-нибудь и зубри что дают.

>>675338
Спасибо, что ответил. Я и не расчитывал на историю "из грязи в князи". Подумываю насчет вката из веб-разработки вот и интересно стало. Спасибо за совет.

>>674831
>2016
>SVM
Можешь за этот алгоритм пояснить? Там какое-то сильное колдунство, я так и не въехал во все эти ПРОСТРАНСТВА ВАПНИКА-ЧЕРВОНЕНКИСА.

>>674812
Нет, почти все есть под R.

>>675827
Этот алгоритм хорош тем, что его можно рассматривать как черный ящик. Он очень прост в эксплуатации, даешь на вход классы, он выдает тебе оптимальную гиперплоскость, которая их разделяет. Все колдунство заключается в том, что такое оптимальная гиперплоскость и как ее построить (а также так называемый kernel trick который позвоялет вместо гиперплоскости использовать какую-то другую гиперповерхность). Посмотри как работает 2д случай для получения интуиции и сойдет.

Кто-то проходит на курсере "введение в машинное обучение" от вшэ? У меня там трабла. Нужно просто построить решающее дервео, которое будет предсказывать выживание на Титанике по признакам 'Pclass', 'Fare', 'Age', 'Sex' и сказать, какие признаки самые важные. Вот код
http://pastebin.com/0KNRxq8M
Ну я так понял, что самые важные признаки - это 'Fare' и 'Age'. При сабмите курсера не принимает и пишет
> Обратите внимание как нумеруются признаки у feature_importances_.
А как понять как они нумеруются? Нагуглить ниче не удалось. Я сделал предположение, что они нумеруются в таком порядке, в каком они были в оригинальном датафрейме, когда он только был загружен. Но так у меня тоже не принялось.

>>676116
Не понял. Что из себя представляет dataobj? Почему у тебя такие значения feature_importances получились?

Алсо, если я после своего кода допишу features.head(), то у меня там признаки в порядке Pclass Fare Age Sex.

>>676170
Датасет надо чистить от nan потому что, dropna() функция такая есть. Вот такому значит порядку и соответствуют значения.

>>676170
А dataobj это признаки как раз, коряво поименовал.

>>676195
Так в коде, который я скинул, я все так и делаю.

>>676214
посмотрел, неясно, отчего результат другой, наверно ты фартовый.)

>>676214
Знаешь, что? Попробуй уже выделив из датасета целевой вектор и признаки делать дроп. Вот что. Только пусть они будут в одном подмножестве при этом, разделишь после.

>>675830
Он уже на свалке истории.

>>676300
Потому что ты так сказал? Очень весомо, да.

>>652472 (OP)
ОП, спасибо за подборочку! Где учишься\работаешь?

Непроебамп

>>652481
Матстат другими словами.

>>652472 (OP)
Проиграл с пика. Машинное обучение ДЛЯ ХАЦКЕРОВ, лол.

>>652481
Искусственный интеллект, самообучающиеся системы, rocket science. Чтобы двигать человечество вперед к светлому будущему и по ходу дела ссать на энтерпрайзных и веб-макак, ненужный биомусор и обслугу бизнеса.

>>679329
И что смешного?

>>679339
Мда, пойду читать дискретку.

Видал аж целую одну вакансию на этом вашем машин лернинге, на жава. Тема интересная, но совершенно не коммерческая.

>>679412
>Тема интересная, но совершенно не коммерческая.
Дяде не продаться за копейки? Потеря потерь. На том же кегле соревнования от 25к, не рублей. Есть и 200к.

>>679420
ну иди соревнуйся. только вот с реальным написанием самообучающихся структур это ничего общего не имеет. тема реально не финансируется. там нужны долгие годы самооубучения, которого у обычных крудоклепов нет, ибо доширак надо покупать на что-то.

>>679462
попил без результатов.

>>679462
Это не количество AI проектов в Гугле, а количество проектов, использующий конкретный алгоритм.
Раньше они, возможно, использовали другой алгоритм, например SVM.

>>679347
Дипленинг появился больше 5 лет назад.

Простите, ребятки, что-то я обосрался с поддержкой треда. На скроллинг двачей времени вообще не остается. Я обещал подкидать инфы про зрение, но сейчас уже не буду точных сроков давать - сделаю как подразгружусь.
>>663977
Для исследований кресты не нужны, а вот пилить осязаемые системы - да, нужны. Мапредьюсы, аллокаторы памяти, йоба алгоритмы для оптимизаций в машинном обучении, etc.
>>661747
Это была внутренняя система гугла, с кучей говнокода и перекрестных ссылок с другими системами. Вычесать все это из кода есть расчистка авгиевых конюшен.
>>670470
У меня похожая ситуация была - работал в ява-говноэнтерпрайзе. Не в силах выдержать, сбежал оттуда, засел за книжки и через определенное время усердного задрачивания таки стал магом.
Выше я кидал ссылки (CTRL+F связной), куда можно попробоваться тыкнуться на младшие позиции.

>>679990
Расскажи сколько у тебя опыт работы программистом был, когда ты решил перекатиться, и сколько в деньгах потерял по сравнению с тем когда ушел из коммерческого программирования, и сумел ли по деньгам наверстать разницу и сколько примерно по времени это у тебя заняло.

ОП, ты охуенен, продолжай в том же духе. Подписался на тред.
мимокрудошлеп

>>679347
Деградантство это сидеть на свалке истории и в бессильной злобе потрясать тощими кулачонками в сторону уходящего вперед человечества. Ну то есть то что ты делаешь.

>>684041
Те кто могут это сделать не являются спермотоксикозными девственниками, а обычно снимают твою мамашу за даллары и ебут во все щели.

>>684585
Хуйню спизданул. Любой человек хочет созерцать обнаженное тело, поскольку оно красиво. Погромизд нейронок не будет этого отрицать, поскольку он в большинстве атеист, а значит умеренный моралфаг. Еще такая сеть имеет коммерческий интерес.

>>684889
Поэтому ему надо въебывать дохуя часов и сил чтобы получить то, из чего интернет итак состоит на 90%? Нахуй пошел, залетный даун.

>>684889
Я не хочу, например. 99% тел уродливы, обвислые жопы, трясущиеся пузяки, всратые лица.
На твоей вебмке ужасное лицо лупоглазое у тян, трясущийся ПУЗЯК и другие радости.
О Т В Р А Т И Т Е Л Ь Н О

>>684931
Мне и аниму отвратительна, щас бы нахуяченые на флэше мультики с одинаковыми плоскими персонажами но разными прическами посмотреть, эхх.
Она все ещё отвратительна, если для тебя она ок, представляю какой ты всратый, кек

>>684041
>Этими вашими сетями можно раздеть одетую девушку?
Это и без сетей можно сделать. Тебе не дают != никому не дают.

>>684935
Проиграл

>>684935
Ты немного не понял. Есть такие тянки с которыми не светит ни тебе ни мне ну никак, а посмотреть на них хочется чисто в эстетических интересах.

>>685295
А то ты там что-то уникальное увидишь.

Анончики, сейчас стартовали курсы на русском языке от МФТИ по теории графов, комбинаторике и теории вероятности. Ищите в списке курсов, есть поиск по универу https://openedu.ru/course/

>>687320
А, ну и теория игр от них же, годная вещь для конструирования интеллектуальных агентов

На хаскелле есть чо?

Посаны, почему так? Я просто не представляю, с чем это может быть связано.
http://pastebin.com/dGGLDSx7

>>688060
Чудеса динамической типизации, наслаждайся гвидобейсиком.

>>688441
Не он, но русский и тоже называю это колорадкой. А лектору политические взгляды вообще не стоит демонстрировать.

>>689506
У тебя двоемыслие какое-то.

>>689506
Двачую.

>>689506
Эта ленточка и была придумана в свое время, чтобы никаких политических взглядов не выражать. Если ты видишь тут политику, то ты хохол.

>>689533
А в последнее время стала символом вполне определенных политических взглядов. Другой пример - свастика.

Ребзя! А как вы относитесь к етому петухану? http://blogs.barrons.com/techtraderdaily/2016/03/14/we-are-coming-for-you-tesla-and-you-too-google-says-hacker-hotz/

Театральность таки привносит в ai. И правда, новый интернет наступает походу. Мне с дивана все видно

>>690207
Его прога не строит аналитическую модель происходящего на дороге. Этим он здорово облегчил себе задачу, но доказать, что она знает и соблюдает все правила будет невозможно. Это тупиковая ветвь. Гугл сможет продолжать наращивать девятки в доле правильных решений, а он не сможет, потому что количество требуемого обучения будет рости экспоненциально, потребуется более мощный чип и т.д.
Зато можно будет впечатлять инвесторов результатами и жаловаться на Маска, когда тот откажется признавать его поделие убийцей Теслы.
Эта схема получения инвестиций давно отработана изобретателями вечных двигателей. Бегай себе вокруг прибора, рассказывай про неонку и про то, как тебя ущемляют проклятые учёные, да выпрашивай денег на новый специальный подшипник, с которым проклятое трение будет наконец побеждено.

>>688428
Не гони на Савватеева, он няшка и хороший человек. Школьникам лекции по всей России читает (про группы).
Пускай даже у него стольже экзотичные политические взгляды как у Вербицкого, только наоборот.

Зачем в нейронных сетях используется нелинейная передаточная функция ?
В SVM ядро понятно, нелинейное преобразование пространства. В нейросетях такая же цель ?
Или для условия дифференцируемости ? Или чтобы ограничить сверху ? Поясните плез.

>>666224
>Reinforcement learning
https://github.com/junhyukoh/deep-reinforcement-learning-papers

>>700107
Допустим она у тебя линейная.
Первый слой, x0 вход, x1 выход, X0 - веса
x1=X0x0
Второй слой, x1 вход, x2 выход, X1- веса
x2=X1x1
Подставляем:
x2=X1X0x0
Т.е. "нейросеть" твоя оказывается тупым линейным классификатором, сколько бы у нее слоев не было.
А теперь вводим нелинейность:
x2=f(X1f(X0x0))
Все, теперь уже так не получится.

>>700092
Есть. Пробовал реализовать алгоритм deep Q-learning - не сходится, хотя это вроде его фишка, нужно много тюнить параметры, чтобы сошёлся. Хочу попробовать model-based подход, а у тебя какие успехи, анон?

>>700364
Аналогично, пробовал его, тоже не сходился (или сходился но слишком медленно, я так и не понял)

Я думаю всё из-за того что в самом чёрном ящике интересная система вознаграждения. Там награда выдается не через каждый шаг, а за одно действие которое аккумулируют награду 4 предыдущих шагов, при том во время выбора действия во время этих 4 шагов награды получаешь ноль. (то-есть узнаешь правильный ли выбор через 4 шага)

Тут возможно несколько решений. Добавить рекурентные связи, подавать на вход историю, или как то обобщать это всё.

Я сейчас тоже пробую другим путём пойти, пока мучаю нейроэволюционные модели.

>>700367
В курсе что любую функцию можно представить в виде ряда ? У этого ряда есть коэффициенты, если подобрать их так чтобы минимизировать ошибку, то и получится функция которая отражает данную зависимость.

>>700377
Как раз сейчас пробую взять историю и предсказывать следующее состояние и награду, чтобы потом совместить с каким-нибудь поиском по дереву.
Кстати, не пытался по-честному, без дизассемблирования, реверсить blackbox? Я пока только посмотрел на матрицу корреляции между компонентами вектора состояния и там явно есть сильно связанные пары. Ещё интересно ведёт себя 36-тая компонента, она изменяется от -1 до 1 и повышать её можно действием 1, а снижать 3.

>>700428
Ну не реверсить, просто изучать (ибо не думаю что можно адекватно реверснуть, слишком много оверхеда питоновского)

То что понял указал выше, ещё заметил что одно небольшое изменение может вызывать отклик среды на много шагов вперёд. Я думаю они за основу брали что то фрактало-подобное.

Пробовал тоже предсказывать, но особо не получилось (как раз из-за этого пробела в отсутствии награды), думаю что нужно предсказывать на несколько шагов вперёд.

Тут есть ШАДовские аноны или те кто учился в ВШЭ не по видео-лекциям ?

>>700282
Ты меня жопой прочитал.
>Первый слой является обычной линейной регрессией.
Неправильно. Линейная регрессия - это способ подобрать коэффициенты матрицы (X в x1=Xx0), а тебе здесь это не важно, важно другое, формула первого курса матричного умножения, что ABx=(AB)x. То есть любая твоя нейросеть без функции активации сведется к однослойной сети. Поэтому в многослойных сетях без функции активации нет никакого смысла - это та же самая формула x1=Xx0.
>Где магия ?
Магия в том, что линейный классификатор работает только с линейно разделимыми задачами, т.е. когда в твоем многомерном пространстве между классами можно провести гиперплоскость.
Нейросеть же каким-то образом преобразует (т.е. растягивает, сжимает и т. п.) пространство, чтобы последнему слою уже достаталась линейно-разделимая задача. Вот этот блог http://colah.github.io/posts/2014-03-NN-Manifolds-Topology/ прочитай блог целиком, он того стоит.
В теории вид нелинейной функции особо не важен, но на практике есть ограничения, вызыванные способом обучения через backpropagation - насыщение вызывает проблему очень маленького градиента, слшком большие числа вызывают погрешности вычисления и т. п.

>>700750
благодарю, да, действительно жопой прочитал
блог кстати крутой воистину

>>700473
Собираюсь поступать в этом году.
Если смогу, лол

>>700473
Что тебя интересует?

>>703447
Как учат, какие видишь перспективы, ну и в целом пару комментариев.

Непроебамп

blackboxchallenge.com/
Пока что в конкурсе нет победителя. Ну что, макаки, сможете переиграть хотя бы бэйзлайн - линейную регрессию, идущую в составе стартового набора?
я не смог

>>705979
>пистон
Атятяй. Спасибо, но нет. Пущай вылаживают что-то не привязанное к конкретной параше.

>>706042
>вылаживают

>>706042
Окстись, на данный момент весь МЛ в питоне происходит.
Впрочем, если ты не в теме, тебе ничего не светит все равно.

>>705979
Кто-нибудь MC-AIXI-CTW пробовал?

Котаны, а кто-нибудь промышленным Data Science здесь занимается? Интересуют технологии, используемые бизнесе и примеры решаемых задач.
Сейчас занимаюсь статистикой и ML в университете, по пути изучая AGI.

>>706333
R и Apache Spark(Spark MLib)
Знакомый пилил подсчет клиентов по видеопотоку в одной конторе, рассказывал что в OpenCV есть немного machine learning.

>>706366
Насколько сложные модели используете, кодите ли их вручную? Ебётесь ли с выводом формул для вывода в сложных моделях?

Есть, можно по HOG'ам пытаться считать, да.

>>705979
как они линейную регрессию обучили, есть идеи ?

Все эти конкурсы - хуита. Как и всё машинное обучение в трейдинге. Ну обучился ты на прошлой выборке. Это просто показывает, что получилось найти идеальные магические константы. А на следующей закономерно соснешь. Никакой пользы.

>>706456
> А на следующей закономерно соснешь
Как и в жизни.

>>706456
а на счёт трединга
есть некие тренды, тренд не может длится вечно, рано или поздно он закончится в связи с достижением некой точки насыщения. Сама идея колеблющегося тренда уже некое обобщение. Осталось угадать на сколько долго будет идти тренд, чтобы сделать правлиьное действие. И на это тоже есть некоторые вероятностные эвристики. Те же обычные китайские свечи, они помогают выявить некие паттерны.

>>706468
японские свечи, пардон

>>706318
Это сугубо теоретическая вещь пока что.
>>706445
Вопрос если не на миллион долларов, то тысячи на четыре, лол. Если знать как они это сделали и подставить вместо регрессии более сильную модель, почти наверняка можно круто подняться. Судя по постам от админа, сейчас все в основном пытаются модифицировать регрессию.

>>706463
В том-то и дело, что нет никаких зависимостей. Можно выиграть только на временном лаге, опередив остальных лошков с кухни. Или быть инициатором = иметь инсайд. Все стратегии не учитывают влияние самого бота на рынок. Тут явный эффект бабочки.
Если и удается найти какую-то слабоплюсовую стратегию, весь профит сжирают: комиссии брокеру + зарплата прогерам/твое время + аренда вычислительного кластера.
В общем, в трейдинге, как и в покере, всегда выигрывает только заведение. И немного хлеба перепадает верхушке самых быстрых и мощных.
Впрочем, в других областях машинное обучение вполне легитно.

>>706476
> В общем, в трейдинге, как и в покере, всегда выигрывает только заведение. И немного хлеба перепадает верхушке самых быстрых и мощных.
>>706461

>>706476
В чем твоя проблема? Не занимайся трейдингом.

>>706476
>нет никаких зависимостей
Очевидно есть. Тебе только нужно построить как можно более точный прогноз. И строить прогноз нужно не на одну сделку, а на месяц вперёд для управления рисками.
Пример из фундаментального анализа. Представь что завтра вышла новость что билла гейтса застукали как он жёстко выдрал несовершеннолетнего тайского трапа и теперь ему грозит срок. Это как то бы отразилось на котировках мелкософта ?
Или из технического анализа если тред пошёл вниз, то он на следующем шаге пойдет вверх ? нет! на то это и тренд.
Просто чем дальше горизонт планирования, тем больше вероятность что ты обосрёшься (или сорвёшь куш), нужно искать оптимум исходя из рисков.

>всегда выигрывает только заведение
очевидно тогда бы никто не торговал

>>706484
Он совершенно прав, а ты слушай, что тебе умные люди говорят, и мотай на ус.
>очевидно тогда бы никто не торговал
Очевидно в лотерею никто не играет.

>>706488
Да, хуле вы на трейдинге то зациклились?
Есть же системы управления, которые сейчас очень тесно свзяна ы с RL, есть задачи CV, которые частично помогают автоматизировать проихводство. На Байесовски сетях вон обучаемые экспертные системы строят.

>>706489
С такой точкой зрения можно вообще критиковать любые алгоритмы решения некоректных задач. Тогда как умение решать некоректные задачи отличает хорошего математика от зубрилки из второсортной шараги.

>>706488
Он утверждает что нет зависимостей, я говорю что есть и указываю на них, так что я прав пока не доказано обратное.

Я ещё могу согласится с тем что трейдинг это ещё один лохотрон по вытягиванию денег из людей. Игра с нулевой суммой, то да сё.
Да, заведение оставляет себе некую фиксированную комиссию, но где остальные деньги ?
Они перетекают от одного человека к другому.
И кто то, кто считает себя ниибацца букмекером проебывает, а человек с алгоритмами и холодным расчётом постепенно копит у себя осадок.
Это как торговля в реальной жизни.
Ты можешь купить нечто заранее если считаешь что в скором времени цена на это подымется, а потом продать по завышенной цене, чем не ТРЕЙДИНГ ?

>>706495
Двачую, читал статью на гиктаймсе про лабу, где чувак финансировал исследования, занимаясь трейдингом.

>>706484
>Представь что завтра вышла новость что билла гейтса застукали как он жёстко выдрал несовершеннолетнего тайского трапа и теперь ему грозит срок
Выиграют самые быстрые: журналюги, уборщицы гейтса, мамка трапа.

Вот смотри. Каждый человек, принимает в своей жизни, допустим, 20 рисковых решений. Ну или за него их принимает среда. Мат. ожидание каждого - околонулевое. Для простоты пусть это будет система Double or nothing. Так вот среди всех людей найдется в среднем (7*10^9 / 2^20) = 6675 человек, которые выиграют все 20 выставлений.
Представим, что при рождении человеку дают 100$. После череды удвоений они станут 104 857 600$. И это просто за то, что человек находится в верхней части распределения по удаче. Он тупо может пойти в казино, поставить 20 раз на красное и стать миллионером (не учитываем комиссию заведения, которое выигрывает с каждой ставки).
Конечно, в покере и в трейдинге все менее драматично. Но невозможно точно сказать, что конкретно сейчас работает - твоя стратегия или твоя удача.
У меня были очень плюсовые месяцы и очень минусовые. За 2 года игры в покер я так и не понял, умею ли я играть.
В трейдинге дисперсия еще выше. Всегда будут те, кто сосет, и кто выигрывает 100% депо в месяц при абсолютно одинаковом скилле.

>>706500
Поэтому я и упомянул про риски. Если ты в целом, за некий довольно долгий отрезок времени показываешь хороший профит, то значит используешь некую хорошую стратегию.

Представь ты кидаешь обычную монетку и загадал (на основании некоторых данных) что он выпадет орлом, очевидно вероятность 50\50. Выпала орлом. Угадал ли ты ? вероятность 50\50. Загадываешь что выпадет решкой, выпала решкой, какова вероятность что ты угадал ? По теореме Баеса, 0.25. И так далее, ты угадываешь. Чем больше ты угадываешь, тем больше вероятность того что твоя гипотеза на основании который ты делаешь выбор работает. Она никогда не станет 100% верной, но будет к ней стремиться.

>>706513
Согласен, не с нулевой (между участниками биржи). Но за обслуживание биржевого оборудования нужно платить.

Твоя задача найти такую стратегию, которая приносила бы доход который покрывает это комиссию, всего лишь.

>>706514
>какова вероятность что ты угадал ? По теореме Баеса, 0.25
Если у тебя до этого уже выпал орел, то вероятность 0.5. У случайности нет памяти.
Но я понял твою идею. Если человек постоянно в тебя блефует, с каждым его блефом у тебя все больше и больше оснований предполагать, что он блефует всегда.
Но здесь это не действует. Жизнь человека - слишком маленький промежуток времени, чтобы выяснить, кто настоящая причина успеха - сам человек или это просто орел выпал 20 раз подряд.
Трейдинг - очень конкурентная среда. Рынок сжирает одиночек. Если ты внезапно, сидя на диване, попевая чаек, нашел алгоритм, который делает 20% ROI в месяц, скорее всего, тебе повезло.

>>706523
Ты не совсем понял.
У тебя есть некая гипотеза на основании которой ты предсказываешь. И на каждом новом событии ты, то обновляешь вероятность того, что гипотеза работает.
https://habrahabr.ru/post/232639/

>>706525
Я понял твою мысль. Байес есть Байес, но прогноз есть прогноз.
Пример.
Ты абсолютно точно знаешь, что шанс выиграть - 1/3. Но коэффициент выигрыша - 2. То есть ставки всегда минусовые. Каким-то чудом тебя угораздило сделать 5 ставок. И ты все их выиграл. Будешь ли ты дальше продолжать ставить? Байес говорит, что да, но они не перестанут быть от этого минусовыми.
А теперь представь, что ты не знаешь вероятности выигрыша. А кто-то другой знает. Вот это примерная модель реального мира.

>>706535
Плез, пощади
>Ты абсолютно точно знаешь, что шанс выиграть - 1/3
Тогда тебе Байес тут не нужен, раз ты уже знаешь с какой точностью твоя стратегия работает при каждой попытке

Представь такую ситуацию
У тебя есть гипотеза что если ты кинешь камень он упадёт на землю. Изначальная вероятность что твоя гипотеза работает 0.5. Как уточнить эту вероятность ? Сделать эксперимент. Ты кидаешь камни, они падают на землю, по теореме Байеса ты обновляешь вероятность того, что гипотеза объясняет поведение камня. Но тут прилетает Нибиру и твой камень перестаёт падать на землю, притягиваясь Нибиру. Вероятность того что твоя гипотеза работает начинает стремиться к нулю. Но тут нельзя говорить об общей вероятности, потому что поменялись внешние условия.

>>706547
Другие игроки не дураки и видят, что прилетело Нибиру. Все начнут ставить против падения камня. В итоге образуется равновесный коэффициент. Только вот оказывается, что Нибиру кто-то управляет. Внезапно он делает крупную ставку на падение камня и отзывает Нибиру. Итог - все соснули.

>>706554
Покупаешь большой запас зерна.
На следующий год сжигаешь все поля с зерном, цены на зерно подлетают. Все сельские девчонки твои.

>>706554
Покупаешь большой запас зерна.
На следующий год сжигаешь все поля с зерном, цены на зерно подлетают. Все сельские девчонки твои.

>>706560
это я к чему. Когда ты можешь влиять на систему, влиять с большим откликом этой системы, да если ещё и с нелинейным откликом, то это уже совсем другая история.
Но в среднем, когда все делают маленький небольшой вклад, руководствуясь одним и тем же правилом, поведение системы довольно хорошо прогнозируется. Даже есть направление науки которое такое изучает, динамический хаос.

За последние несколько месяцев отсобеседовали пару десятков кандидатов на позицию ML engineer. Большинство из них это макаки, потыкавшие пару либ на Питоне или Спарк и гордо мнящие себя большими специалистами. У многих отсутствует понимание сути применяемых методов, хотя это в большинстве простых случаев суть несложные вариации на тему матстата и методов оптимизации

>>706698
На сколько участие (и если да, занимаемые места) на kaggle коррелирует с теоретической осведомлённостью в предмете ML?

>>703447
Нужно ли для поступления в ШАД знать плюсы? Я на них писал только в универе и в асм участвовал. То есть кроме структур данных в STL ничего не знаю.

>>703785
В целом, впечатления очень положительные. Жалею, что не пошел в ШАД во время физтеховской магистратуры (которая на мой взгляд довольно бесмыссленна), вместо чего хуи пинал.
Теперь же, одновременная работа и учеба требует сильного напряжения. Хотя это можно воспринимать как тренировку в планировании дел и умении найти баланс.

Не все курсы мне одинаково нравятся. Но, например, курсы Воронцова и Ширяева-Бурнаева невероятно толковые. В них видишь как прикладная математика решает вполне себе конкретные инженерные проблемы. Под "курсом", естественно, понимается не просто смотрение видюшек, а прежде всего решение заданий.

Насчет перспектив, вижу, что выпускники находят себе интересную и хорошооплачиваемую работу как в стенах Яндекса, так и за пределами его и России в т.ч. Понятно, что они изначально были сильными ребятами, так что ШАД ли дал им такую возможность сразу не скажешь.
Для себя же пока решаю вопрос, следует ли продавать душу большим корпорациям за большие деньги, довольствуясь результатом здесь и сейчас, или же продолжать пробовать решать научные задачи, рискуя и через пять лет не достигнуть результата.

>>706810
Ненужно. Требуется лишь хорошее знание математики уровня 2-3 курса (анализ, теорвер, линал).

>>706863
>следует ли продавать душу большим корпорациям за большие деньги, довольствуясь результатом здесь и сейчас

какой уровень требуется для того, чтобы начать продавать душу?
на хедхантере полторы вакансии, а реддит говорит, что для работы пхд требуется

>>707060
Ну смотри, мои товарищи из этих самых больших корпораций не могут найти себе людей в команды по нескольку месяцев. Российский рынок светлых голов опустел, люди уезжают, никто не хочет сосать рублевый хуй в стране, над которой сгустились тучи, и жители которой ежечасно получают инъекции патриотизма.

Зато! Приходят собеседоваться петушки, называющие себя "дата саентистами", а по факту запустившие несколько раз библиотечки из Спарка. Ну ладно, нет у тебя опыта это нормально. Но у них же аппетиты звериные, они же начинтались в интернете что телки им должны давать, а CEO бросаться в ноги.

>>707210
смотри, я тебя и спрашиваю, какой нужно иметь уровень, чтобы не прослыть петушком с библиотечками.


какой карьерный путь предполагается у дата саентиста в россии, к примеру, если даже на западе и в швятой надо быть пхд с опытом, как пишут на реддите
разве есть места, где можно получить коммерческий опыт в этой области, кроме как надрачивать кегели и хакатоны от пчелайна?

то есть нет готового роадмапа, как к этому подступиться, да и на том же хх десяток вакансий и те с несколькими годами опыта

проходить мооки и зубрить математику, чтобы потом сосать хуи без работы?

>>707216
хуи сосать можно и не уча математику

>>707216
>разве есть места, где можно получить коммерческий опыт в этой области, кроме как надрачивать кегели и хакатоны от пчелайна?
Наивно полагать, что кегля и прочие конкурсы будут тебе засчитаны как коммерческий опыт. Коммерческий опыт - это опыт работы по этой теме в конторе, и он ценится на вес золота. Скачать датасет и прогнать его через хгбуст может уже каждая десятая макака, тут никаких нет секретов. А на настоящей работе тебе нужно будет создать этот самый датасет, после чего внедрить свое МЛ-решение. Это 99.9% работы, и опыт в этом мало у кого есть.

>>706863
Такой еще вопрос. Нельзя ли для поступления в дс написать экзамен, скажем, в Екатеринбурге? Просто я живу не в дс, а в конце мая / начале июня у меня в вузе будет своя сессия. В итоге мне придется лететь в дс на пару дней. По бабкам не очень выгодно, да и экзамен какой-нибудь придется пропустить.

>>707216
>какой карьерный путь предполагается у дата саентиста в россии
Никакой, сейчас волна хайпа спадёт и пойдёшь обратно гостевухи писать.

>>707536
PHP?

>>707617
Ну раз не PhD, то PHP, лел.

>>707431
Дам тебе бесплатный совет по жизни - не стесняйся отвественным людям писать и задавать вопросы. Use your words.
Зачем ты спрашиваешь меня, анонима на анимешном форуме?
На странице https://yandexdataschool.ru/admission указана почта, напиши, задай вопрос, дело же важное, взрослым будь.

>>706756

Из всех кандидатов только двое что-то там тыкали на kaggle. Я лично больше ценю реальный опыт над реальными проектами, или какой-нибудь свободный код, чем задачки на каггле.

Вакансия и компания очень жирные если что, в Лондоне, т.е. я не думаю, что это просто хорошие люди не идут. Скорее рыночек реально жиденький за пределами мегамонстров типа Google/FB.

>>708066
А на kaggle по твоему выдуманные задачки ?
Чем задачи на kaggle отличаются от "реальных" проектов ?

>>708066
Откуда у кандидатов может взяться "реальный опыт с реальными проектами" в области, в которой 3.5 вакансии, требующие при этом докторскую степень? Это ж не гостевухи писать.

Закончил сегодня курс на курсере от воронцова

Ну и говно. Задания в стиле «вызови функцию из skipy и напиши результат в файлик». Лекции вообще можно было не смотреть, никак не связаны с заданиями, кроме общей темы. Плюс стремное ебало воронцова на пол экрана.

>>708236
>вызови функцию из skipy и напиши результат в файлик
А чем по-твоему дата сцаентисты занимаются?
Алсо
>skipy
значение знаешь?

>>708337
ПИ
ТОН

>>708337
ЛЫЖНЫЙ ПИРОГ

>>706473
>Судя по постам от админа, сейчас все в основном пытаются модифицировать регрессию.
Вот я о чем говорю. Более 90% - долбаебы, в любом непонятном случае использующие регрессию и главные компоненты. Как будто не было десятилетий развития в этом направлении и нет никаких алгоритмов кроме главных компонент и придуманных за последние 2 года хгбустов. Мартышки невер чендж. Впрочем, на пистоне наверное и действительно нет ничего кроме вышеназванного. А все ж веруют, что кроме пистона все остальное на свалке истории.

>>708462
Ну так давай, наверни алгоритмов и забери четыре тысячи, что же ты? А, да, ты же в пистон не смог.

>>708500
слишокм просто, лучше пойду стартап доделывать

>>708222

Откуда мне знать, это не моя проблема.

>>708081

Тем что их решают в одиночку

>>708527
по твоему ансамбль хуёвых аналитиков лучше чем один хороший специалист ?
Можешь больше не отвечать, все поняли что ты хуй простой.

Байес вот этот ваш тоже. Который, к слову, не Байес, а Бейес. Давно показано, что то, что называется "формулой Байеса", как и вообще вся вероятность, тривиально сводится к множествам. Больше того, давно существует обобщенная нечеткая теорема Байеса. И что, где-то и кем-то все это используется? Или кто-то хотя бы знает об этом? Хуй там плавал.

>>708523
в добрый путь! а мы пока поколупаем линейную регрессию))

>>707536
> всем нужен опыт и чуть ли не пхд
Лол, вот у нас ребята и сидят в аспирантуре со своим мл. При этом имеют оклад, позволяющий жить, занимаются там любимым делом.

>>708534

Матерок при входе надо оставлять. ну и реальный опыт тоже неплохо бы нарабатывать - на дваче его не получишь

Охуеть, ребята, помогите советом идиоту!
Пишу диплом на пайтоне, нужно определять тональность текста на русском языке (бинарная классификация).
Какой классификатор лучше взять? Везде рекомендуют нативный байес.
Есть ли смысл пердолить всякие стемминги, лемматизации и прочее? Есть ли готовый код, определяющий часть речи каждого слова в предложении? Я, блядь, смотрю на эту хуйню и охуеваю, глаза разбегаются. Что реально даст эффект - я так и не понял.
Какую минимальную точность дадут базы для обучения в 110к отрицательных и 110к положительных отзывов с твиттера? Ну, примерно можете почувствовать?
Просто сроки жмут, и времени ковырять это добро в свое удовольствие нет к сожалению + я мало кодил на своем веку лучшее, что писал - визуалочка для БД на sql, трудности с пайтоном (в основном, благодаря срокам).
Алсо, адепты пайтона, подскажите, в чем можно без проблем собрать визуалочку под моё дерьмо? Надеюсь, я его-таки высру

>>709036
Ты главное больше спойлеров пиши - так тебя точно все прочитают.

>>709038
Пардон, мсье, не знал, что здесь это моветон. А по вопросам есть мнение?

>>709039
Мое мнение такое, что диплом - это лучшее, что у тебя будет, чтобы поковыряться в R&D так как ты хочешь в ближайшие лет пять, поэтому отмазы по поводу отсутствия времени смешно слышать. Наверное, ты охуенно много работаешь и зарабатываешь много, да?
Короче, пиздуешь на фриланс.ру и за 1000 рублей даешь задание спарсить яндекс.маркет отзывы с оценками. Затем берешь pymorphy и переводить все слова леммы (ну или говоришь это тому же кто спарсит за 500 рублей сверху).
Получаешь табличку "оценка: куча слов". Далее берешь RedisBayes http://stackoverflow.com/questions/558219/bayesian-spam-filtering-library-for-python и смотришь на перформанс. Если нормальный - забиваешь, если плохой - берешь что помощнее, в этом сезоне моден xgboost.

>>709066
Спасибо, посмотрю. Яндекс парсить смысла нет, есть готовая база с оценками, с твиттера. Только что ты такой злой, я ж нормально спросил?

>>709071
Я не верю в базы из твиттера, потому что они собираются, как правило, с помощью тех же самых слов-маркеров, а значит смещены уже изначально. Но с базой тут работы на вечер - подключить pymorphy и поиграться с классификаторами.

>>709076
Твоя правда, но, базу, вроде бы, руками кто-то шерстил после сбора. Буду надеятся.
Поясни, пожалуйста ещё по байесам, методу опорных векторов, и т.д. Принципиальная разница в моем случае есть?

>>709082
В интернете полно cheat sheet'ов типа http://dlib.net/ml_guide.svg , но в них особого смысла нет, потому что хороших методов не так много, и самые популярные можно просто перебрать.

Принципиальная разница в том, что байесу ты можешь просто скормить все твои слова в виде 2-х множеств, good и bad, а SVM требует векторы фиксированной длины на входе, то есть нужны дополнительные телодвижения. То есть байес - самый простой, а если он самый простой и заработает, зачем усложнять.

А так делишь базу на 2 части, тренируешь классификатор на первой (training set), проверяешь на второй (validation set), смотришь на перформанс в обоих случаях, если одинаковый и хороший, прекращаешь поиски (если, конечно, тебе не платят по часам - тогда ищи сколько влезет), если плохой даже training, меняй классификатор, если training хороший, а validation плохой - увеличивай размер базы (не обязательно физически парся больше текста, хотя это лучше всего, можно и искусственно что-либо придумать), а если все равно плохой - меняй классификатор. Как-то так.

>>709089
Спасибо анон, добра тебе!

>>700282
А еще ReLU усиливает разреженность. Цель же - уйти от линейности, анон все правильно пояснил.
>>700355
>то ясень красень поведение функции предсказать не получитс
Предсказать вполне себе получится, если функции активации с ограниченной областью значений (сигмоида, например).
>>703785
Куча толковых курсов с годными преподавателями, программа не оторвана от реальности и математика переплетается с практическими задачами. ВШЭ - так себе. Сейчас вроде бы ФКН неплохо раскачивается, но когда я там учился (тогда это называлось ПМИ), было все плохо для тех, кто не умел сам вкалывать. Для сдачи на 4 (из 10 баллов, 4 - минимальный проходной) не нужно было знать практически нихуя.
>>707245
> А на настоящей работе тебе нужно будет создать этот самый датасет, после чего внедрить свое МЛ-решение.
В яблочко.
Ситуация, когда у тебя есть готовая табличка размера NxM и тебе нужно что-то там обучить - вообще редкость. Пример рабочей же ситуации такой - половина данных приходит в реалтайме, тебе их нужно по корзинам складывать, другую половину тебе нужно собирать в кучки и считать какие-нибудь статистики, потом из каких-нибудь далеких таблиц на ходу засасывать третью половину фичей, четвертую половину с разогретых счетчиков снимать. На написание этого уйдет 50% времени. С этим мясом ты пытаешься предсказать какую-нибудь йобу в реалтайме. Каждый божий день переобучиваешь модель или дообучиваешь ее, если она онлайновая, ретроспективно применяешь и все заново пересчитываешь.
Обучение модельки занимает 1-2% времени. Остальное же время уходит на эксперименты, обсуждение и генерацию идей.
А еще есть сорт задач (правда не все компании могут позволить себе их решать), которые требуют написания кастомных алгоритмов обучения под ситуацию.
Так что кегли - это так себе показатель.
>>707431
Можно вроде + есть заочное обучение.
ОП-проебщик

>>709755
Ты интересуешься применением ML в сильном ИИ или тебе это все надо только по работе?

>>709797
С трудом представляю себе ситуацию, когда ИИ и машобом занимаются не по интересу, а "по работе". Для достижения значимых результатов нужно заниматься, кодить и самообучаться постоянно, а не в течении 8 часов рабочего дня. В отсутствии интереса такое, имхо, невозможно.
Моя работа переплетена с моими жизненными смыслами, в этом плане мне сильно повезло.

>>707210
Ну, вот допустим, я с 2 курса ходил в ШАД, окончил и норм должно быть или нет?

>>709805
Считаешь ли ты, что имеющихся на данный момент знаний по машобу достаточно для создания ИИ уровня человека? Или предстоит разработать что-то еще?

Я вот думаю, что написать ИИ человеческого уровня это колоссальная работа вроде написания ОС на каком-нибудь новом ядре. И аналогия с ОС мне очень нравится, т.к. для сильного ИИ потребуется соединить в одно множество подходов, реализовать Hybrid intelligent system и все такое.

срач байес vs MLE го

>>709826
Для создания сильного ИИ достаточно теорий нечетких множеств и теории категорий.

>>710144
Толсто.

>>710241
Это один из шизофреников из /сци. Они там годами мусолили тему школоии. Лучше не разговаривай с ним, а то он зафлудит тред шизофазией.

>>710264
Почему сразу шизофреники, школо и шизофазия? Хотелось бы полистать архивы тех тредов, интересно, что народ думает по ии.

>>710289
Потому что это так. Это не "народ", а 2.5 абсолютно не разбирающихся в теме человека. Не знаю насчет архивов, просто пойди в /сци и создай "Оффициальный ИИ-тред", они тебе еще нагенерят.

>>710241
>>710289
Ничего толстого.
1) любые взаимодействия в любой системе сводятся к функциям в т.ч. многих аргументов.
2) любая динамическая система представима в виде NARMAX-модели, считай матрицы Ганкеля.
3) любая функция многих переменных представима в виде суперпозиций своих частных функций от двух аргументов, что для непрерывных функций доказали еще Колмогоров с Арнольдом, а Горбань обобщил на любые функции.
4) универсальные аппроксимирующие свойства нечетких моделей доказаны Коско, им же предложен вариант стндартной аддитивной модели (SAM), к которой тривиально сводятся все классы нечетких моделей.
5) формализмы теории категорий дают возможность задавать любую структуру из отдельных нечетких моделей, в т.ч. сколько угодно гибридную, адаптивную и т.д.

>>710379
Толсто потому что когда говорят об сильном ИИ, имеют в виду непонятно что. Термин интеллект на самом деле плохо определён.