Очередной тред про хипстерские технологии, которые не работают. У нас за годы этот кал не может сгенерировать обычный хуй. Ну ладно, раньше еле-еле черно-белые лица генерил. Теперь генерит цветных циклопов на запрос "лицо человека". Прогресс! Ну, наверное. Вы, короче, только подождите! Что-то не карикатурное и кое-как работающее будет ближе к выходным.
Тут оффтоп, психиатрические термины и экзистенциальные вопросы вместо программирования.
Хочешь ML, учи CS229, CS231n, линейную алгебру, теорвер, матстат, базовый матан и matrix calculus.
Хотя нет, не учи. Но хотя бы backpropagation освой. Больше нахуй ничего не нужно, потому что ничего нового за 50 лет AI не изобрели. И ты все равно не будешь нихуя делать серьезного, твой максимум - поигрульки с готовыми решениями и работа перекладывателем экселя или, если повезет, ничем не примечательным машоб-дауном с зарплатой ниже любого любителя крудов. С тебя даже фронтендо-макаки будут смеяться, ведь они хотя бы могут в нормальный код. Зато у тебя будет бейджик элитария. Правда, элитарием ты будешь только у себя в голове.
Еще учи graph machine learning (GML). Это, как водится, реклама.
Осторожно, в треде манябиологи и маняпсихологи, которые с каких-то хуёв решили, что они шарят в биологии и психологии, хотя всю жизнь были программистами, причем бездарными.
Хочешь что-то спросить? Только вкатываешься? Спрашивай совсем базовые вещи, наши дурачки тебе расскажут по верхам с пальцем у подбородка о спектральной кластеризации, о которой что-то услышали на лекции "Введение в машинное обучение" на 3-м курсе своего МухГУ. Что-то более серьезное - пожалуй, не здесь.
В общем, наши дебики тут сознание оцифровывать собрались, математики, исследователи, серьезные люди, паперы, все дела. Правда, пока только пытаются генерить прон с лолями, смотрят курсики Стэнфорда и хлебают мамины борщи. Работа подождет - растет будущий ученый, а не эта ваша макака! Пока оперируют экселями, скоро будет ПиЭйчДи и работа за зарплату уровня формошлепов, а то и меньше.
Просто градации на ждунов и помидоров не откалиброваны между дс и обычной разработкой. Приходишь дс джуном, работаешь годик, хоп уже мидл, через годик уже сеньор; в то время как какой-нибудь джава сеньор дев это человек с несколькими годами в серьёзном энтерпрайзе. Оттого и разница в деньгах
Лол, какой может быть ДС в рахе? Да и вообще зачем вам деньги, если у каждого есть приусадебный участок, где можно выращивать еду? Получил свои 15к, заплатил коммуналку, налоги, хватило не залезая в микрокредиты - и то слава Богу!
>>2256745 Тогда в чем смысл работать в Амстердаме за такие зарплаты? Проще в Москве дальше сидеть, чем ехать в евросовок и просаживаться по доходам в 2 раза минимум.
>>2256749 Только если ты устроишься в ФААНГ в Нидерландах, а спустя N лет тебя перевезут в штаты на жирную зп. А иначе будешь попущен многочисленными секциями интервью, алгоритмов, сисдиза (или что там у ML/DS спрашивают, может вам вообще нужно PhD чуть ли не обязательно).
Тут еще другое дело, что все эти переезды случаются где-то в районе 30 лет обычно. А в таком возрасте ты уже по сути старец. Мне сейчас 28 и я в принципе никуда не готов переезжать, потому что боюсь, тревожно как-то, да и уже здесь привязан - старые родители, помогать нужно. Хотя в студенчестве и сразу после выпуска, когда мне 20-22 было, сам искал всякие стажировки за рубежом и общался с херками из зарубежных галер.
>>2256753 >Только если ты устроишься в ФААНГ в Нидерландах, а спустя N лет тебя перевезут в штаты на жирную зп. В чем смысл ехать в штаты в ФААНГ? В ФААНГе и в Европке очень неплохо платят. Зато в Европке гораздо либеральнее миграционное законодательство и есть весьма реальный шанс получить гражданство лет через 5 после переезда.
>А иначе будешь попущен многочисленными секциями интервью, алгоритмов, сисдиза (или что там у ML/DS спрашивают, может вам вообще нужно PhD чуть ли не обязательно). Ты так или иначе будешь через это проходить, если собираешься в ФААНГ. Не важно, в штаты или в европу. Процесс интервью у них максимально стандартизированный. Главное на это интервью вообще попасть, т.к. на любую позицию к ним подаются буквально тысячи кандидатов.
>Тут еще другое дело, что все эти переезды случаются где-то в районе 30 лет обычно. А в таком возрасте ты уже по сути старец. Ну если весь день сидеть пердеть и не заниматься собой - то да. А так можно до 50 лет быть очень даже бодрячком.
>Мне сейчас 28 и я в принципе никуда не готов переезжать, потому что боюсь, тревожно как-то, да и уже здесь привязан - старые родители, помогать нужно. Хотя в студенчестве и сразу после выпуска, когда мне 20-22 было, сам искал всякие стажировки за рубежом и общался с херками из зарубежных галер. Ну это твои личные проблемы, которые темы не касаются. В 28 вполне реально понаехать за бугор
>>2256753 >может вам вообще нужно PhD чуть ли не обязательно Ясен хуй phd и публикации в топовых журналах - обязательно, а ты думал? работать в нашем фуфланге большая честь!
>>2256583 >пук пок вреети вреети Пиздец, мань, ты чего так развизжалась. Понимаю, от фактов неприятно. Ну сидите вы с PhD, с попытом и паперами, эксели перекладываете, зарплаты на уровне фронтэнда, ну чего поделать. Зато вы образованная сознаниеоцифровывающая элитка, хоть и получаете меньше крудомакакена с 11 классами образования..
>>2256764 > чем смысл ехать в штаты в ФААНГ? В ФААНГе и в Европке очень неплохо платят. Потому что в штатах на тех же самых позициях платят в 2, а то и в 3 раза больше + налоги вероятно будут меньше.
>Зато в Европке гораздо либеральнее миграционное законодательство и есть весьма реальный шанс получить гражданство лет через 5 после переезда Тут согласен, правда зачем оставаться в евросовке? Один хуй лет через 20-30 население европы будет заменено на мигрантов, сомневаюсь, что от этого уровень жизни не ухудшиться.
>>2256805 Тут согласен, правда зачем оставаться в пиндосопараше? Один хуй лет через 20-30 население пиндосии будет заменено на мигрантов, негрил и латиносов, сомневаюсь, что от этого уровень жизни не ухудшиться. Да еще и понавыбирают социалистов, налоги еще больше, новые ограничения, цены на жизнь до си пор ебанутые. Ну и нахуй туда ехать и там оставаться?
Китайские разработчики самые базированные и редпилленые. CogView и Nuwa тоже китайские разработки. Да и вообще самые лучшие технологии теперь всегда китайские.
Свежий paper: GAN с пониманием 3D геометрии. Выявляет объем в двухмерных картинках, чтобы генерировать новые изображения и поворачивать их содержание под любым углом. При этом, как вы понимаете, 2д проекция при любом из углов - теперь тоже куда правдоподобнее, чем результаты из Stylegan2. https://matthew-a-chan.github.io/EG3D/
Ну это уже точно прорыв, инфа 200%, еще только чуть-чуть, и выложат свой код. Надо подождать, и для NUWA и для Stylegan-V тоже выложат код. Как там оригинальный DALL-E, кстати?
>>2258995 Лол. Я вообще не понял, нахрена ей некоторым образом сначала распределять шары, если он потом тупо случайно их опять перемешивает. Каким, блядь, образом она может повлиять на вероятность конечного результата?
>>2259144 Манька только сейчас узнала, что объекты бывают размерностей, не равных трем? Только не говорите маньке про негильбертовы пространства, а то у него мозг порвется
>>2259327 >негильбертовы пространства Какие еще пространства? В этом треде уважаемые МЛ инженеры подбирают параметры и решают задачи бизнеса, а ты затираешь про какую-то дичь.
>>2259701 Но ведь тупой и шизанутый как раз ты, если не знаешь что пространств как бы может быть сколько угодно и они могут быть абсолютно разной геометрии и правил. Вот мне интересно, если ты узнаешь, что нейросеть на миллион весов это миллиономерное пространство, и там работает совершенно обычный градиентный спуск, ты тоже ебанёшься, да?
>>2259707 Мань, смеются с того, что какой-то клоун принес "негильбертовы пространства" и прочие прелести базового функана третьего курса, когда все просто хихикали с ручного нахождения медианы типичной датаманькой.
>>2259721 реально патау, которое может только чужие либы юзать, вообще не понимая как они там работают. 5 лет чистки вилкой говна этому. может начнет в человека эволюционировать >>2259753 маня, ты что-то сам не ответил как будешь искать медианный четырёхмерный объект, пусть даже в евклидовом пространстве. мань, то, что ты слышал одним ухом про геометрии и свойства пространств, не значит что ты их понимаешь, лол
у этой глупой мани с 3-го курса мухгу реально такая шиза в голове, что она думает будто датаманьки сидят и дрочат четырехмерные объекты? очередной поехавший попытопаперолюбитель..
Среднее по каждому столбцу в табличке 5000х10 @ Применение следствия из теоремы Сосницкого в негильбертовом пространстве с заданной мерой тэта зэта в случае конечносепарабельных множеств для случая m < 5001, n < 11
Сначала они: > маняматика эта ваша на хер нам не нужна Потом они: > ой, а почему я получаю всего 40 тысяч в месяц, если даже джун-тестировщик получает больше?
>>2260090 > Потому что она нахуй не нужна. Замеру, который заправляет шнурки, потому что завязывать их он не умеет? Так тебе кроме тиктока и бравлстарса вообще ничего не нужно.
Вы тут практические вопросы обсуждаете? Может кто сталкивался с сравнением названий товаров в магазинах, Какие инструменты в питоне для этого можно использовать? У меня есть данные по своей сети, я написал парсер и достал названия и цены из другой сети, но они все написаны по разному, что можно использовать для сопоставления? Difflib особо не помог.
>>2260253 >Поясни, нахуя матеманьки такие бедные, раз такие умные У тебя, как у типичного долбоёба, в голове сидит неверная импликация, будто бы "мозги влекут деньги".
В реальности же вполне можно быть ещё тупее тебя, а зарабатывать ещё больше. Например, ты можешь прямо сейчас пойти на gay website трясти своей ass, do anal и suck some dick, и ты будешь зарабатывать гораздо больше bux, чем ты зарабатываешь в своей псевдоинтеллектуальной профессии трясуна чёрного ящика, разработанного гораздо более умными людьми, зарабатывающими заметно меньше.
У умных же людей гораздо шире круг интересов, и далеко не у всех из них на первом месте стоят деньги. А уж математикой-то явно занимаются люди, которых деньги не интересуют в принципе. Ну а если вдруг становятся интересны, то математик временно становится прикладным математиком.
Но тебе не понять. Ты же буквально свинья из басни Крылова, ломающая корни дуба, чьи жёлуди жрёт. Но это типично для лоуайкью пролетария, тем более в век тиктока.
>>2260369 >У умных же людей гораздо шире круг интересов, и далеко не у всех из них на первом месте стоят деньги. >А уж математикой-то явно занимаются люди, которых деньги не интересуют в принципе.
>>2260326 У меня была ровно такая задача. Расстояние (((Лёвинштайна))) тебе уже подсказали, а я скажу, что тебе придется все равно самому руками слагать товары в одну сущность
>>2260370 Лиса не может дотянутся до математики поэтому пошла перекладывать датафреймы в офис рассказывая что математики тупые потому что бедные? Похоже, пару таких лично знаю
Привет, а рассматривал ли кто-то когда-то алгоритм k-means, в котором используются центроиды-линии(или прочие гиперплоскости), а не точки. Есть статья об этом?
>>2262238 погоди, это же SVD, где рубящие гиперплоскасти отсекают вариации друг от друга. K-mean это "если 5 твоих ближайших соседей евреи, то ты в Дахау тоже еврей"
>>2262276 Все примерно как тут, только mu_i - это не среднее число по S_i, а гиперплоскость линейной регрессии по S_i. Тогда вместо ||x - mu_i|| мы берем d(x, mu_i) = min(x, m), где минимум берем по m, которая является точкой гиперплоскости mu_i. В общем d() - функция расстояния между точкой и гиперплоскостью.
>>2262280 Может быть. SVM просто мимо меня прошел, надо ознакомиться. Но в любом случае, у меня алгоритм кластеризации все же. А про евреев это вообще KNN же.
>>2262285 >гиперплоскость линейной регрессии по S_i. Какой линейной регрессии, анончик? Для линейной регрессии тебе нужны лейблы и набор иксов, в кластеризации у тебя есть только иксы. Ты не можешь просто взять и выбрать один из иксов как лейбл, поскольку результат будет разным, даже для одномерного икса.
Наверное здесь лучше сделать PCA, и смотреть на вариацию после удаления первого компонента, это как раз и будет что-то типа разброса поперек оси первой компоненты. Можно ли это свести к какому-нибудь хитрому преобразованию исходного икса - не знаю.
>>2262292 >Ты не можешь просто взять и выбрать один из иксов как лейбл, поскольку результат будет разным, даже для одномерного икса. Хмм, действительно. Там же минимизируются квадраты только по искомым осям... Но есть ли тогда способ провести линию через облако точек, минимизируя квадраты расстояний, используя все оси?
Веслую DS, занимаюсь предсказанием отдельных аспектов поведения пользователя (человека), подбором оптимальных воздействий и повышением аддиктивности продукта. У анонов, которые ИТТ занимаются чем-то таким реквестирую литературы \ курсов про не DS часть этой работы. А то в случайных лесах ковыряться я умею, а вот на что обратить внимание не всегда хорошо пониманию. Хотелось бы лучше разобраться в психологии потребителя, психологических процессах связанный с покупкой \ потреблением \ привыканием к продукту. Пока наворачиваю курс на курсере по consumer neuroscience (An Introduction to Consumer Neuroscience & Neuromarketing), вроде заходит, но и много не очень релевантной для меня инфы типа принципа работы ЭЭГ хотя мб для более глубоко понимания и полезно. Мб у кого-то на примете есть что-то годное?
>>2262560 > SVM же делит точки выборки гиперплоскостью на две части. Неправильно. > Алсо, это метод обучения с учителем. Неправильно. Иди матчасть читай, хотя бы документацию к sklearn.
> In machine learning, support-vector machines (SVMs, also support-vector networks[1]) are supervised learning models with associated learning algorithms that analyze data for classification and regression analysis. Developed at AT&T Bell Laboratories by Vladimir Vapnik with colleagues (Boser et al., 1992, Guyon et al., 1993, Cortes and Vapnik, 1995,[2] Vapnik et al., 1997[citation needed]) SVMs are one of the most robust prediction methods, being based on statistical learning frameworks or VC theory proposed by Vapnik (1982, 1995) and Chervonenkis (1974). Given a set of training examples, each marked as belonging to one of two categories, an SVM training algorithm builds a model that assigns new examples to one category or the other, making it a non-probabilistic binary linear classifier (although methods such as Platt scaling exist to use SVM in a probabilistic classification setting). SVM maps training examples to points in space so as to maximise the width of the gap between the two categories. New examples are then mapped into that same space and predicted to belong to a category based on which side of the gap they fall.
>>2262639 Про кернелы ты похоже вообще не слышал. Ну, не страшно, тут все твои друзья - ЭС петух и иже... >>2262638 > Если ты знaeшь чтo-тo другoe, тo рaсскaжи. Так я рассказываю, это ты видеть не хочешь: >>2262566 > хотя бы документацию к sklearn. Там и про unsupervised SVM есть. Вместо этого ты тащишь цитаты, описывающие состояние дел на 90е годы. Причем, просто ради того, чтобы возразить.
>>2262663 > Прo кeрнeлы ты пoхoжe вooбщe нe слышaл. Пoчeму ты тaк рeшил? Причём тут oни? Я нигдe нe гoвoрил прo kernel pca. Зaчeм нaм вooбщe тут пoвышaть рaзмeрнoсть
Ещё рaз. Гипeрплoскoсть, дo кoтoрoй суммa рaсстoяний oт тoчeк минимaльнa — этo линeйнaя кoмбинaция глaвных кoмпoнeнт. В SVM ты дeлишь тoчки тaк чтoбы "maximise the width of the gap between the two categories".
Ты видeл o чeм пeрвoнaчaльный пoст был? Чeлoвeк прoсит aнaлoг k-means, гдe вмeстo тoчки линия. В k-means минимизируeтся рaсстoяниe дo тoчки.
> Тaк я рaсскaзывaю, этo ты видeть нe хoчeшь > Нeпрaвильнo > Нeпрaвильнo
Тaк ты рaсскaжи пoжaлуйстa. Кaкoe oтнoшeниe SVM имeeт к тoму, чтo чeлoвeк нaписaл? Или ты прoстo вбрoсил и всё? Дaльшe ты нe знaeшь
> Тaм и прo unsupervised SVM eсть. Вмeстo этoгo ты тaщишь цитaты, oписывaющиe сoстoяниe дeл нa 90e гoды. Причeм, прoстo рaди тoгo, чтoбы вoзрaзить. Кaк этo мeняeт суть SVM — "maximise the width of the gap between…"?
Или прo этo https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2099486/ > The algorithm initializes by first running a binary SVM classifier against a data set with each vector in the set randomly labelled, this is repeated until an initial convergence occurs. Once this initialization step is complete, the SVM confidence parameters for classification on each of the training instances can be accessed. The lowest confidence data (e.g., the worst of the mislabelled data) then has its' labels switched to the other class label. The SVM is then re-run on the data set (with partly re-labelled data) and is guaranteed to converge in this situation since it converged previously, and now it has fewer data points to carry with mislabelling penalties. This approach appears to limit exposure to the local minima traps that can occur with other approaches. Thus, the algorithm then improves on its weakly convergent result by SVM re-training after each re-labeling on the worst of the misclassified vectors – i.e., those feature vectors with confidence factor values beyond some threshold.
Ты вooбщe пoнимaeшь нaскoлькo этo никaкoгo oтнoшeния к тoму чтo прoсили нe имeeт?
И нахуй нужны эти ваши нейросети? Очередные баззворды для стрижки бабла с кабанчиков? Почему столько нейросетей, генерирующих хуйцы по описанию, а где нейросети для решения математических проблем по описанию? Или нейросети для генерации мат моделей, или нейросеть решающая проблему оптимизации. А если объединить нейросеть с прологом? Или это бред?
>>2262715 >И нахуй нужны эти ваши нейросети? Нейросеть - такой же универсальный аппроксиматор, как и любой другой набор базовых функций (полиномы, синусы-косинусы, и т.д.). В силу своих особенностей, нейросети гораздо проще "обучить" под некоторые конкретные задачи, например распознавание картинок или речи.
>Очередные баззворды для стрижки бабла с кабанчиков? Дружище, нейросети сейчас окружают тебя на каждом углу, распознают твой еблет в камере видеонаблюдения и рекомендуют тебе купить анальный дилдо на размер больше.
>где нейросети для решения математических проблем по описанию? Нейросети, сами по себе, не призваны решать такие задачи. Нейросети = проведение кривульки через точки в дохулиардмерном пространстве. Нейросети не являются аналогом человеческого мозга и не могут выявлять причинно-следственные связи.
>Или нейросети для генерации мат моделей, или нейросеть решающая проблему оптимизации. Насчёт матмоделей, очевидно что нейронка такое не сможет сделать никогда. Про оптимизацию, где-то что-то видел, но не уверен, насколько это применимо в реальной жизни.
>А если объединить нейросеть с прологом? Или это бред? Да, это бред. Все равно что пытаться объединять набор полиномов с прологом.
>>2262750 Вот https://arxiv.org/abs/2112.15594 пытаются что-то решать, генерируя код для решения задач. Ещё маккарти писал, про язык, который запоминает вопросы и ответы, и делает из них выводы. как-то так. >>2262735 думал может есть какие-то автооптимизаторы, которые измеряют сложность и проводят оптимизацию, если возможно. из O(n) в O(logn) лол. компиляторы же не оптимизируют сам алгоритм, а тут оптимизируется именно он.
>>2262784 > https://arxiv.org/abs/2112.15594 Там просто нейросеть переводит специально написанную простую задачу в код для симпая. Ничего нового эта хуйня решить не может, вольфрам альфа такую дрянь решал больше 10 лет назад
>>2262715 >Или нейросети для генерации мат моделей, или нейросеть решающая проблему оптимизации. Дружище, ты, видимо, не понял. У нас нейросети не могут посчитать 2+2, буквально.
Предстоящие задачи? Что предстоит сделать чонгам в области генерации графики: прикрутить понимание 3д формы, понимание такой идеи, как поза и 3д-скелет у персонажа генерация видео, в т.ч. основываясь на одном вводном изображении увеличить разрешение и точность в проработке деталей улучшить понимание натурального языка (clip) триллионы параметров и more layers
В прошлом году был clip+vqgan, потом rudalle, дифьюжн. Интересно что будет дальше. Чонги молодцы конечно.
>>2256339 (OP) Вот вам вопрос. Есть карточная игра. Есть огромная база данных о возможных ситуациях в этой игре. Про эти ситуации известно, какой ход в них выигрышный и какой проигрышный. Известно, кто в какой ситуации победит, если будет правильно ходить. Есть желание накодить такого игрока, который принимал бы решение о том, какой ход делать, исходя, грубо говоря, из того, какие у него карты на руках. Для этого надо вычислить какие-то закономерности, которые существуют между имеющимися картами и перспективой выиграть или проиграть, сделав тот или иной ход. Проблема в том, что я понятия не имею, какие закономерности искать. В одном случае иметь три туза это хорошо. Чуть в другом случае те же три туза это очень плохо. В общем, вопрос в том, какие закономерности искать, если я понятия не имею, какими они вообще могут быть? И как вообще это решать? Я так понимаю, входной вектор это состав карт на руках у игрока. Если карта есть, то в соответствующей ячейке единица. Если карты нет, то ноль. Результат - какой-то конкретный ход из всего множества возможных. А какая модель тут может сработать? Я в этой теме вообще ноль. Может, вы знаете?
>>2263980 Нет. С покером всё проще. Там теорвер покатит, чтобы оценить, какие на что шансы. А тут длинные последовательности ходов, в результате которых всё запутывается. И так просто из перечня имеющихся в наличии карт не вывести чего-то более-менее конкретного. Если только дело не идёт к концу игры, когда карт у игроков уже практически не осталось.
>>2263948 > Есть карточная игра правила формализованы? есть рандом (кроме самих карт)? сколько возможных состояний у твоего environment? Например, у шахмат это 10^43, а это слишком много. Если у тебя это не более 10^6, то всё тривиально: суй все стейты и результаты твоих потенциальных шагов в тензорфлоу и обучай дурь-машину.
Если стейтов слишком много, то Reinforcement Learning.
Для покера я бы решал через первый вариант. Но для шахмат это не подойдёт
>>2263948 Вообще, если опять же все правила формализованы, и ты можешь их воплотить в коде в виде environment, чтобы играть с самим собой или с ботом тупо через твой код и ты считаешь себя дьявольски крутым программистом, то можешь идти по пути Alpha Go / Alpha Star Craft — Reinforcement learning через миллионы партий ботов друг против друга. Таким образом они нащупают самые топовые стратегие, в которых (если игра сбалансирована) будет работать "камень > ножницы > бумага"
>>2264016 Вряд ли её тут хоть кто-то знает. >>2264081 >правила формализованы? Да. >есть рандом (кроме самих карт)? Карты раздаются игрокам, вот и весь рандом. Раздаются сразу все. Потом всё зависит только от последовательности выбора ходов, примерно как в домино. >сколько возможных состояний у твоего environment? Например, у шахмат это 10^43, а это слишком много. В зависимости от того, какой колодой играть - от миллиона до миллиарда. >Если у тебя это не более 10^6, то всё тривиально: суй все стейты и результаты твоих потенциальных шагов в тензорфлоу и обучай дурь-машину. А ей всё равно, как я векторизацию провожу? А модели есть какие-то, чтобы прям думали? inb4 Конечно нет! Ну вот на примере шахмат. Допустим, можно просто фиксировать расположение всех фигур на доске и скармливать это дурь-машине. А можно отметить, например, что некоторые пешки образуют какую-то устойчивую комбинацию, типа две пешки впереди и три пешки сзади их прикрывают. И чем больше таких прикрытых комбинаций, тем лучше. Опять же, ладья оценивается в пять очков, слон и конь в три очка, пешка в одно очко. Но за пешки, которые вот так хитро сгруппированы - могут засчитываться дополнительные очки. Так вот дурь-машине не надо помогать, подсказывая, что на группу пешек нужно обратить особое внимание? А если нужно, то как? >Если стейтов слишком много, то Reinforcement Learning. Вот я боюсь, что она таким образом научится играть только в некотором стартовом состоянии, а вот чем дальше от стартового состояния, тем более незнакомые состояния могут попасться, и качество игры сильно просядет. Вплоть до впадения в безумие. >Для покера я бы решал через первый вариант. Но для шахмат это не подойдёт Проблема ещё и в том, что я пытался понять, как шахматные программы работают, и нифига не понял. Там, как будто бы, вообще и не AI, а какая-то выдуманная из головы система оценок, плюс просчёт ходов на сколько-то шагов вперёд. Но внятного объяснения тому, как создать такую систему оценок, я так нигде и не увидел. И по исходникам не понял нифига, как оно работает. >>2264086 >Вообще, если опять же все правила формализованы, и ты можешь их воплотить в коде в виде environment, чтобы играть с самим собой или с ботом тупо через твой код Можно, наверное, воплотить. >и ты считаешь себя дьявольски крутым программистом, то можешь идти по пути Alpha Go / Alpha Star Craft — Reinforcement learning через миллионы партий ботов друг против друга. Вот только не уверен, что обучение не займёт вечность. У гугла-то всё в порядке с вычислительными мощностями, а у меня всего-то несколько дохлых ядер. >Кроме того, AlphaGo основана на общих принципах машинного обучения и практически не использует (в отличие от шахматных программ) ни алгоритмов, ни оценочных функций, специфичных для игры в го Хм. Вот. Я как раз об этом. Интересно. То есть при правильном AI можно и без оценочных функций обойтись, нужно только процессоров побольше. Когда я в прошлый раз поднимал эту тему, видимо, не было ещё никакого альфа го. Но вообще игры в го были. И опять же, ковырял я исходники, но так и не понял, как оно работает. Там просто какой-то матан с какими-то заумными комментариями. А может быть где-то про эту сферу простым языком пишут?
>>2264219 > Допустим, можно просто фиксировать расположение всех фигур на доске > у шахмат это 10^43 Ты вообще понял какого порядка это число? > подсказывая, что на группу пешек нужно обратить особое внимание? Так делать можно, я сам так делал, когда не хотел уходить в глубокое обучение. Но учти, что стратегия начнёт повторять паттерны человека, а лучшие ИИ-боты для Доты или Альфа-Го в принципе не показывает поведение, как у человека. Альфа-Го показывал абсолютно новый подход для игры в камешки > тем более незнакомые состояния могут попасться Миллионы партий > обучение не займёт вечность Тестируй-тестируй-тестируй-тестируй. Тебе для такого в любом случае понадобится формализованная среда > То есть при правильном AI можно и без оценочных функций обойтись Эм, нет. Нельзя
>>2264232 >> Допустим, можно просто фиксировать расположение всех фигур на доске >> у шахмат это 10^43 >Ты вообще понял какого порядка это число? Это я не про перебор всех состояний шахматной доски во всех возможных партиях, а о том, как эту доску показывать AI, в виде простого массива, в котором как-то расположены фигуры, или на этот массив нужно наложить какой-то слой вычислителей, которые будут содержать какие-то особые значения, если, например, фигура защищена одной или двумя другими фигурами. Чтобы AI сразу получил больше информации для анализа. >> подсказывая, что на группу пешек нужно обратить особое внимание? >Так делать можно, я сам так делал, когда не хотел уходить в глубокое обучение. Но учти, что стратегия начнёт повторять паттерны человека, а лучшие ИИ-боты для Доты или Альфа-Го в принципе не показывает поведение, как у человека. Альфа-Го показывал абсолютно новый подход для игры в камешки Я про это почитаю обязательно. >> тем более незнакомые состояния могут попасться >Миллионы партий >> обучение не займёт вечность >Тестируй-тестируй-тестируй-тестируй. Тебе для такого в любом случае понадобится формализованная среда Не знаю, что это, но по запросу "формализованная среда AI" гуглится стоооооооолько книжек... Сохраню-ка я парочку. И всё-таки, что за формализованная среда? И при чём тут тестирование? Ничего не понимаю. >> То есть при правильном AI можно и без оценочных функций обойтись >Эм, нет. Нельзя А где же их взять? Если речь не идёт об оценке финальных состояний игры, где один из игроков уже выиграл или уже проиграл. >>2264235 Спасибо. Кто-то два часа назад её выложил в вк. :3
>>2264437 > а о том, как эту доску показывать AI, в виде простого массива, в котором как-то расположены фигуры да > наложить какой-то слой вычислителей Дополнительно — да. Это как в покере. Ты не только должен подавать свои карты и флоп-тёрн-ривер, но ещё и подавать твои шансы на победу при текущей руке и текущем шаге партии. При этом отдельно ты можешь подавать вероятность получить сет, вероятность получить стрейт и вероятность просто на пару.
>>2264437 > Не знаю, что это Формализованная среда это среда, где все изначально описаны все правила отклика среды на твои действия. Например, в покере это "что будет, если срейзить ставку" (ответ: у тебя понизится банк), "что будет, если у меня пара, а у другого игрока сет" (ответ: проигрыш и потеря твоих поставленных денег), "в каком порядке я могу сделать свой ход, то есть сколлировать, срейзить ставку или сбросить карты"
Эта игровая механика, она задаётся твоим программным кодом, безо всякого ML. Это ядро твоей игры. ML будет к нему обращаться, чтобы знать какой отклик он, игровой агент, получил на то или иное действие
>>2264460 Соглы, для покера альфа-го сделать не получится, тут надо на реальных данных учиться, чтобы свою стратегию оптимизировать против конкретного противника.
>>2264580 > против конкретного противника это не так работает. отдельным алгоритмом надо обучаться на действиях противника и классифицировать его. есть огромные базы данных по онлайн игрокам с их стилями игры. вот тебе надо быстренько классифицировать человека в соответствии с его стилем
>>2264581 Ну да, это более продвинутая версия того, что я предлагал. Крч надо делать эмбединг игроков на основе их истории, учиться играть против этих эмбедингов, а потом в онлайне пытаться угадать эмбединг твоих противников. И ещё в своей стратегии учитывать неопределенность определения эмбединга. Нужен баейс, крч
>>2264930 >>2264581 >>2264580 Насколько я знаю, самые простые боты домлной эпохи уже обыгрывают низкие рейтинги за счёт того что просто лучше оценивают вероятности
У кого что по ЗП? У меня 160к (два года в DA\DS), не могу понять мало или норм в сравнении в рынком. Опросы с хаброчмонями, работающими за 60к в НИИ, не предлагать.
>>2270632 Тебя удивляют зепки в финтехе? Я тебе больше скажу, мы джуна с годом опыта и знаниями в многопточке/распределенных системах не могли найти на 170к очень долго. А так, сеньки у нас получают 300+, лиды 400+, благо у конторы денег просто дохуища, один из крупнейших банков западной европы, хуле. сидим мы в РФ все, если что
Вообще думаю попытаться попробовать вкатиться в HFT, благо трейдинговыми системами и около того приходилось немного заниматься, там, например в аимтех, зп у сенек доходят до 600-800к в месяц, это учитывая переработки и не учитывая годовую премию. Вон, оптивир своим сенькам вплоть до 1М годовую премию сделал в 2021 году, но это за рубежом и туда просто охуеть как тяжело попасть.
>>2270672 Заметь, я не сказал, что работаю в HFT. Просто знаю, что там реально платят много, особенно людям с опытом. Другое дело, что в других отраслях тоже можно поднимать 200-250к с >= 2 годами опыта, благо примеры вижу перед собой постоянно. среди фронтов
>>2270657 >Тебя удивляют зепки в финтехе? Да. Работая беком, за такую зп надо лет минимум десять жопу рвать. Через 2.5 года будешь получать около 100к.
>>2270657 >джун >год опыта >знания многопоточки/распределенных систем >джун Может все таки вы искали миддла на зарплату джуна, поэтому к вам никто и не шёл? Передай кабану, чтобы со своими копейками подыскивал себе индусов.
А по поводу HFT, средняя зарплата lead software developer - 10k$ на руки, по этому твои лиды с банковской конторы идут нахуй дальше лендиги пилить.
>>2270713 >год опыта >знания многопоточки/распределенных систем Это вполне себе джуновские знания. Не знаешь многопоточки или нет опыта - стажер. >170к >зарплату джуна 170к это зарплата мидла.
>>2270726 Чел, ты вообще информатику изучал? В университетском курсе проходят все темы, которыми дрочат на собеседовании, включая твои распределенные системы и многопоточку. Но только с опытом и глубоким погружением в конкретную область можно сказать, что да, я обладаю знаниями в данной области.
Поэтому, знания многопоточки и распределенных систему у джуниора - говорит мне лишь об отсутствии таких знаний и опыта у тебя, так обычно хрюши пишут баззворды в вакансиях.
>>2270657 >аимтех, зп у сенек доходят до 600-800к в месяц,
Так там и у дата сатанистов (ака квантов) по 250 на старте, без опыта. Сколько у сенек - хз, думаю сильно зависит от перформанса, т.к. в трейдинге дата саенс непосредственно генерирует деньги
>>2270740 >Но только с опытом и глубоким погружением в конкретную область можно сказать, что да, я обладаю знаниями в данной области. Обычно, когда пишут знания, имеют в виду теорию + небольшой опыт практики, для которого достаточно пет-проектов или стажировки. Если требуется действительно глубокий опыт, то пишут количество лет опыта с той или иной технологией.
Конкретно тут говорилось про джуна с годом опыта и опытом многопоточки/распределенных систем. Ничего странного тут нет: год стажировался, работая с многопоточкой - вот и опыт.
>>2270726 >Это вполне себе джуновские знания. Не знаешь многопоточки или нет опыта - стажер.
>>2270740 >В университетском курсе проходят все темы, которыми дрочат на собеседовании, включая твои распределенные системы и многопоточку
Не знаю, мне в универе максимум рассказывали как запускать потоки, чем они отличаются от процессов и зачем нужен мьютекс. На этом все. Распределенных систем не было вовсе. Никаких объяснений про кэши процессора, атомики, CAS, неблокирующие структуры данных не было вовсе.
Но к нам приходит очень много кандидатов, которые не могут объяснить, чем поток отличается от процесса. Про то, что такое атомики слышали наверное меньше половины от всех кандидатов. Написать простую неблокирующую очередь на двусвязном списке - задача непосильная для 80% кандидатов. Это я про джунов говорю. Даже про джунов, у которых есть год опыта.
Может сейчас в МФТИ и ВШЭ наконец начали нормально преподавать эти предметы, но в большинстве вузов преподы сами ни разу не писали многопточный код и зачастую просто методичку читают или листают слайды с презентации без каких-либо пояснений.
>>2270757 >трейдинге дата саенс непосредственно генерирует деньги но зачем идти в контору генерировать ей деньги, если за относительно вменяемые деньги можно купить доступ fix допустим на моекс, и генерировать прибыль самому себе? мимо
А никому ещё не надоели работоблядки экселеоператоры, млинжиниры, аналисты, трейдеры мамкины итт из треда в тред? Тред в говно перезвонильное превратился. Он вообще-то про машинное обучение, а не про ваши перекладывания джейсонов для бизнеса полумафиозного и карьерные влажные мечты. Пошли нахуй отсюда, я всех бизнесоблядков зарепортил (благо tf-idf с их куцыми постами с головой хватает чтобы задетектить) и адекватным анонам тоже советую. Только ганы и гпт3, только космос и звёзды, только хардкор, карьеристам полезным перо под ребро
>>2256339 (OP) А вот обучил я небольшую модель (там никаких специфических функций и ничего необычного, простоя сеть со слоями) - есть какой-то инструмент, чтобы встроить её в код на с++ и это не раздувало программу на миллион мегабайтов и работало (без обучения) на другом компьютере без зависимостей от тензора? Можно и самому написать реализацию, там сеть мелкая и на процессоре её можно считать без проблем - но это рутина и выглядит как трата времени, к тому же очень вряд ли я напишу качественную реализацию с simd, и у меня какое-то эстетическое неудовольствие от мысли, что программа могла бы быть производительнее. Как вообще называется это действие? Наверняка не мне первому нужна нейросеть не в коде на питоне, а "для пользователей".
Идеально конечно внешнюю программу, которая просто скушает файл модели и на выходе выдаст с++ файл с классом/функцией реализующим нейросеть с массивами на входе/выходе, но такое извращение вряд ли есть. Но вот в какую-то либу меньше чем на мегабайт с основными типами слоёв и которая принимает файл модели тензора я поверю.
>>2270973 возможно, кто-то где-то и выигрывает у Рыночка, но гораздо проще набрать студней с дипломами ВШЭ и продавать крупному капиталу надежду с использованием научного подхода. Очевидно, что один ты крупному капиталу ничего не продашь. Они доверяют организациям. А куда ему еще вкладываться, капиталу этому?
>>2271573 >только там все равно плюсы Ты не осилишь заменить std::vector<float> на float *huita = malloc(228) и static_cast<kek> на (kek)? Ну тебе явно не в си тогда, иди в питоне ковыряйся.
>>2270973 В одиночку много не накодишь, там и бд надо собирать свою на терабайты, и высокопроизводительную систему анализа данных и отправления заявок, и модели пиздатые делать, которые ещё и протухают с завидной регулярностью. Ах да, ещё у тебя с личным капиталом будут большие ограничения на возможную структуру портфеля, т.к. ценные бумаги торгуются в штуках (а то и сразу пачками), соответственно на 100500 активов тебе не хватит средств даже на то, чтобы по одной минимальной пачке купить.
>>2271625 вместо import tensorflow as tf написал #include <tensorflow/c/c_api.h> @ спешите видеть, я не какой-то там питоноблядок, занимаюсь ресурсоемким машинным обучением
>>2273147 Ничего сектантского, чувак сделал схему влияний на его идеи (изложенные в том самом Incerto, куда входят "Черный лебедь" и "Антихрупкость").
Просто у Талеба довольно много этих влияний, если сравнивать с обычным финансистом/статистиком. Он православный араб и через Дамаскина и отцов-каппадокийцев перенял интерес к античной философии. Он франкоязычный и поэтому его интересует все связанное с Блезом Паскалем. Любит Россию - трепетно относится к работе "Математика, ее содержание, методы и значение" Александрова, Колмогорова, Лавреньева. Ну и так далее.
Если вкратце, то вот его источники - эпистемология и философия науки (Поппер), философское осмысление индукции (начиная с Юма), аналитическая философия (Рассел, Айер, Карнап), античный скептицизм (Пиррон, Секст Эмпирик), русская вероятностная школа (Марков, Чебышев, Колмогоров и другие), Канеман, Тверски, Хайек, Мандельброт и т.д.
>>2273158 > Просто у Талеба довольно много этих влияний, если сравнивать с обычным финансистом/статистиком. И всё - левая гуманитарщина минимум позапрошлого века. Юм, ёпта, Милль, чего? > чувак сделал схему влияний на его идеи (изложенные в том самом Incerto, куда входят "Черный лебедь" и "Антихрупкость"). Ну да, нахватался всякого модного мейнстрима по верхам, мыслитель уровня винишки первокурсницы с филфака. Зачем эту хуету сюда тащить, какое отношение этот деятель имеет к машобу?
>>2273158 Обычный торговец ебалом для идиотов. Разумеется с чего бы он не начинал это в конце всё равно превращается в культ, против которого он похоже не возражает. Ещё бы, денежки-то надо зарабатывать
>>2273158 Бро, я эти его работы читал года три назад и внимательно присматривался к автору. Безусловно, там мощный междисциплинарный подход и уникальное самообразование, но в чем суть ключевых идей? Антихрупкость, значит, свойство живых систем, заключающееся в повышении устойчивости к неблагоприятным воздействий после перенесенного пиздеца (Талеб иллюстрировал это Россией, в которой за последний был сплошной ад, поэтому не нужно её недооценивать). Черный лебедь - редкое слабопрогнозируемое событие, которое заставляет сложные системы идти вразнос, после чего она работает по новому (очевидный пример - пандемия и great reset). И что тут прорывного, чтобы Талеб стал неебически модным философом, которого управленцам нужно читать в обязательном порядке? Ей-богу, бизнес-тренинг на пару уровней сложнее, для тех, кто знает словосочетания "системный анализ" и "хаотические эффекты". Сам же Талеб писал, что катается по миру и читает высшему менеджменту лекции на тему "как устроен мир", это чуть ли не цитата. Западный вариант Щедровицкого с поправкой на зарабатывание бабла. И, сука, к Талебу относятся с таким пиететом, будто он волшебник какой-то. >>2273220 >какое отношение этот деятель имеет к машобу? Следи за руками. Антихрупкость может случиться только в системе с нелинейными взаимодействиями. Нейроночки именно такие. Как пишет Талеб, если ебать такую систему ублюдочными воздействиями, в будущем она будет к ним устойчива, так как "запомнит" свое прошлое. Стало быть, нужно учить нейросетку на очень хуевых примерах тоже нужно, чтобы в будущем её прогнозы были лучше. Доволен? Вот и осознай масштаб пиздеца, когда управленцы так думать начнут.
Сектантством я назвал все это из-за претенций на универсальный понятийный аппарат, который везде и всюду, по мнению автора пригоден, и повальной моды на этого деятеля.
>>2273386 >Стало быть, нужно учить нейросетку на очень хуевых примерах тоже нужно, чтобы в будущем её прогнозы были лучше. Доволен? >Вот и осознай масштаб пиздеца, когда управленцы так думать начнут. Неверные выводы. Читни Skin in the Game что ли.
>>2273415 Пересказываю коротко книгу "одураченные случайностью": "Не заходите в сделки с отрицательным мат ожиданием. Заходите в сделки с положительным мат ожиданием". И 300+ страниц книги именно об этом. Антихрупкость и Лебедя я даже читать не стал
>>2273408 >Он заработал несколько миллионов долларов во время финансового кризиса в 2007—2008 годах, он объясняет это использованием статистических методов в области финансов. Шорты поди выставлял?
>Теория Талеба «Чёрный лебедь» помогла отдельным инвесторам заработать около миллиарда долларов Да, там суть такая - терпим убытки в надежде на то, что случится черный лебедь и тогда заработает кучу денег. Ну я даже не знаю.
охуеть, а в треде теперь обсуждают какие то говеные бестселлеры какого то инфоцыгана. экселеоператорский тред удивляет в очередной раз, тут прям совсем дебилы сидят (за исключением господ, заходящих сюда ради лулзов с манямозгосканировщиков)
>>2273690 Эсопетуха как обычно забыли спросить. >манямозгосканировщиков Что ты в твоей петушиной голове обозначаешь этим словом, поясни, будь добр? И зачем ты это слово тут написал, тебе так акинатор подсказал?
Напоминает какой-то финансовый КОБ, там тоже любили всякое наукообразие для ватных советских инженеров про ТЕОРИЮ УПРАВЛЕНИЯ и подобную чепуху смешанную с историями про то как эту теорию для управления миром применяло египетское жречество
>>2273727 Заметь, ты состоишь в двух категориях людей: 1) Те, кто слыхом не слыхивал про Талеба, хотя в 10-е его форсили настолько активно, что был даже обратный тренд - недолюбливать его за претенциозные высказывания, хотя с точки зрения статистики и финансов к его выкладкам не подкопаться. Любой современный инвестор или экономист Талеба читал или хотя бы про него знает. Среди программистов он тоже достаточно известен. 2) Те, кто все еще помнит про существование КОБ, знаком с его учением и детектит его где попало.
Скачай какую-нибудь книжку Талеба и прочитай. Потом будешь рофлить с нелепости своих аналогий, ну серьезно.
>>2273742 Вообще мимо. Щедровицкий это человек, который даже в РФ малоизвестен.
А вот с Талебом ровно наоборот. Погуглил сейчас, оказывается, довольно солидные люди рекомендуют его книги - Даниэль Канеман, Бёртон Мэлкиел, Бранко Миланович, Билл Гейтс, Джефф Безос, короче, те, кто умеет делать деньги и понимают, как работает экономика. Не знаете, кто это - гугл в помощь. Ну и интервью во всяких WSJ, FT, Bloomberg.
>>2273782 >Те, кто слыхом не слыхивал про Талеба >КОБ, знаком с его учением и детектит его где попало Пошли какие-то обидки культиста, слышал я про этого брата назифа конечно, читать я это всё как не собирался так и не собираюсь, естественно >с точки зрения статистики и финансов к его выкладкам не подкопаться Потому что того содержания, которое там есть, на пару предложений, тривиальщина >Скачай какую-нибудь книжку Талеба и прочитай Нет уж, спасибо, обойдусь как-нибудь
>>2273797 Братан, нам похуй на твоих ливанцев и татьянычей, иди уже нахуй. Пиздуй в фагготрию или на философач уже, ебанутый. Буквально носится со своими инфоцыганами, "смарите смарите это относится к дата саенс воу талеб хуялеб", тьфу, блядь.
>>2273782 >книжку Талеба и прочитай Читал я его книжки, тут выше по треду краткий пересказ был основных его работ. Пожалуй, я с этим соглашусь, ключевые идеи так и выглядят. Наукообразный бизнес-тренер, который срёт людям в мозги. Вот, посмотри на его рядовую работу https://arxiv.org/pdf/1907.11162.pdf, там уровень второго-третьего курса, матожидание распределений с тяжёлыми хвостами он блять считает.
>>2273814 В той эхо-камере в которой все смотрят наупоп, слушают талеба и прочих инфоцыганов? Наоборот же, говорю, я этим всем не занимаюсь, это действительно странно?
>>2273834 >там уровень второго-третьего курса, матожидание распределений с тяжёлыми хвостами он блять считает. Посмотрел и вообще ничего не понял. Весь пейпер в каких-то магических рунах. Мой предел - трясти ящик, подбирая параметры, и смотреть, что получится.
>>2273797 Пролистал я эту чушь. Два распиаренных уебана с сотнями тысяч подсосов друг друга хуесосят. С самого заголовка автор пытается обосновать, почему меня должен ебать спор двух твиттерных селебрити. Зачем ты сюда-то это принёс? Это же не спор учёных или машобщиков, это визгливый срач самопиарящихся деятелей.
>>2273840 В моей эхо-камере Герман Греф и Клаус Шваб говорят, что за машинным лернингом будущее, поэтому я готовлюсь к поступлению в ШАД по книгам бизнес-тренера Андрея Нг.
>>2273855 >В моей эхо-камере Герман Греф и Клаус Шваб говорят, что за машинным лернингом будущее, поэтому я готовлюсь к поступлению в ШАД по книгам бизнес-тренера Андрея Нг. Будешь помогать этим двум эксистам ультраглобалистам строить цифровой гулаг и уничтожать государство?
>>2273834 Вот чмо ебаное! Пишет что-то там, публикуется в топовых журналах. Да это уровень второго-третьего курса, да и я так смогу!! Что? Почему я еще не смог? Ну, э-э...
>>2274047 Лол. Там уровень студенческой работы, что-то типа курсовой на третьем курсе. И, дебс, там препринт, а не "топовый журнал". >>2274211 >>2274213 Опять в жопу выебанные математиками описывают свои страдания итт.
>>2274410 Знаю, но помимо него только жс более-менее знаю. >>2274412 Хочу использовать для продакшена, а влазить в плюсы неохота. При этом все нахваливают производительность жс.
>>2274242 >И, дебс, там препринт, а не "топовый журнал". Попустись, долбоеб. Ты знаешь, что такое препринт? Что обозначает приставка -пре, например? Загугли и посмотри, в каком журнале впоследствии эта статья была опубликована, какой у журнала рейтинг, цитируемость, квартиль. Не думал, что нужно это разжевывать кому-то. Не позорься, маняматик, это две секунды в поисковой строке. 2-3 курс осилил? Вперед и с песней в такие топовые журналы статьи отсылать, ой, что-то не получается.. Э-э... Вынепынямаете.....!! Клоун)
задача такая, есть фотографии в интернете, нужно находить элемент одежды на фото, например найти девушек в трусах Calvin Klein
Как подойти к решению? В распоряжении есть гугл колаб и рабы с толоки для разметки Желательно учесть разные позы (закрытость части элемента ожеждой и т д)
>>2275155 Задача: поиск предмета на картинке. RNN. Рабы размечают через VGG (сайт, в том числе локальные html-страницы для разметки) зоны (area) с одежды на картинках. Делишь картинку на квадраты 32x32, все квадраты с зоной отправляешь на обучение в тензорфлоу. Также отправляешь все пустые зоны. Само собой, пустых вариаций у тебя получится на порядок больше.
>>2275141 > пориджи не знают пердиксы не помнят Но ведь поридж и пердикс это одно и то же. Кто-то скажет, что это перефорс, но ведь это ещё с мифов древней Греции пошло.
>>2275288 а какую сеть выбрать для того чтобы определить чтобы на ней девушка или парень (с учетом возрастат ессено) можно проходить сначала первой сетью, а потом второй
>>2275868 Фичи от датасета зависят, поэтому должно быть всего 2 - х и у. При этом они еще для всех 4х датасетов одинаковые. Больше похоже на предобучение.
И, кстати, можешь тогда уж пересказать последнюю книжку Талеба "Шум" ? Влом читать порожняк. или это уже пятая книга об одном и то же и поэтому читать ее не стоит ?
Вот тут некий Эдуард Матье из Оксфорда советует книги по обсуждаемой нами теме (большая дата и десижн мейкинг). Там и Канеман, и Сильвер, и Ричард Талер, и Филип Тетлок.
>>2276591 > это все очень важные вопросы Ответить на которые ни у одного, бессистемно нахватавшегося по верхам всякой гуманитарщины из позапрошлого века, инфоцыгана все равно мозгов не хватит.
>>2276591 >Как объяснить кабанчику Чтобы высказать кабанчику глубочайшую мысль о том что shit happens что он прекрасно куда лучше всяких маняматиков знает не нужно читать дурновкусно размазанную на сотни страниц инфоцыганскую водичку
>>2277027 >не нужно читать дурновкусно размазанную на сотни страниц инфоцыганскую водичку Мы такое осуждаем. Прекращай это читать. Лучше Талера с Канеманом чекни, это актуальная наука.
>>2277073 > ахаха эти гумусы обывалы тупые)) Не надо переоценивать доверие кабанчиков анальникам. Пока сайтики и приложки с модельками крутятся, а денежки мутятся пусть конечно работают красноглазые; но как только кабанище почует что ЧЁТО НЕ ТО никакие компьютеры с прогнозами и маняматики с метриками его не переубедят
>>2276591 Просто надо кабанчику изначально объяснить, что модели не всесильны, и могут жидко проиграть в случае значительных и внезапных изменений в data generating process. И что усилия кабанчика по маркетингу/менеджменту продажников/ещё какому дерьму могут сильно повлиять на результат, который он так сильно хочет спрогнозировать.
Как ни странно, торжество дата саенса в маркетинге — это метафизическое инфоцыганство. Вспомним, что Хайдеггер обвинял Декарта в том, что он положил начало экспансии «измеряющего сознания». Субъект (кабанчик) подверстывает мир под свою экономическую активность.
«Сейчас дает о себе знать то, что Ницше уже метафизически понимал, — что новоевропейская «механическая экономика», сплошной машиносообразный расчет всякого действия и планирования в своей безусловной форме требует нового человечества, выходящего за пределы прежнего человека. Недостаточно обладать танками, самолетами и аппаратурой связи; недостаточно и располагать людьми, способными такие вещи обслуживать; недостаточно даже просто овладеть техникой, словно она есть нечто в себе безразличное, потустороннее пользе и вреду, строительству и разрушению, применимое кем угодно для любых целей.
Требуется такое человечество, которое в самой своей основе сообразно уникальному существу новоевропейской техники и ее метафизической истине, т. е. которое дает существу техники целиком овладеть собой, чтобы так непосредственно самому направлять и использовать все отдельные технические процессы и возможности. Безусловной «механической экономике» соразмерен, в смысле ницшевской метафизики, только сверх-человек, и наоборот: такой человек нуждается в машине для учреждения безусловного господства над Землей.»
>>2277183 Позволю себе покритиковать твою позицию относительно рекламы курсов по дата саенс с позиции марксизма-ленинизма: прежде всего, ты опять ушел в абстракции. Я лично считаю, что на экране должно быть советское искусство, а на прилавках – жратва и водка. И это далеко не все. Мы должны разделять народ на хороших и плохих, а общество – на своих и чужих. Так что часть марксистского наследия нужно убрать и добавить что-то личное, с чем вместе тебе было бы хорошо. Например, объяснить, как можно разбираться в душе поэта или художника.
хочу начать изучать машинное обучение по книгам hands-on ML with Scikit-Learn, Keras & TensorFlow 2019 + Mathematics for Machine Learning кое какие знания уже имеются, хочу найти человека который готов со мной начать, что бы мотивировать друг друга или обсуждать непонятные вещи и т.д. тг: WallHack3r + щас занимаюсь саморазвитием
>>2277213 Начни с общего изучения техник/методов. На том уровне, чтобы вкатиться, дальше будет решать умение разобраться в бизнесе и процессах, чтобы нормально собирать данные и проводить эксперименты. У каждого кабанчика своя специфика.
Анон, есть какое-либо ± простое приложение (вероятно на питоне), с двумя командами "натренируй на этом датасете" и "генерируй из этого семпла" именно для трансформеров?
Просто я ебал платить NovelAI 10$/мес, которые еще и не оплачиваются на моей руснявой карте.
А запускать целый GPT на моем некроноуте - это изначально проигрышная затея.
Поэкспериментировав с NovelAI я выяснил, что на файнтьюнинге нескольких томах Волчицы и Пряности получается не такой уж и плохой результат! И вообще NovelAI далеко ушел от того же AID по качеству - ИИ по крайней мере умеет соблюдать сеттинг.
Возвращаясь к моему реквесту - фронтенд необязателен. Могу и сам написать. Важен движок, который сожрет датасет и потом по команде будет текст дополнять.
>>2278056 Да 10$ не проблема, но тут Мир вообще нигде кроме как в Рашке не работает. Надо на PayPal переводить вся хуйня. Сегодня попробую, что. Но лучше конечно всё самому сделать, чем жидам платить.
Решил попробовать поковырять нейронки, соответственно понадобились датасеты. Попытался зарегистрироваться в Kaggle. Вписываю все поля в форме, и на сабмит нихуя не происходит! Думаю в чем прикол, лезу в нетворк, а там с сервера приходит ошибка валидации. Знаете из-за чего? Из-за того что передается пустое поле userName. То поле которого нет в форме в принципе, блять! При попытке зарегаться через гугл акк все еще хуже, т.к. запрос тот же, а поле в форме всего одно. Что за говношоепы это делали? Есть те кто недавно регался, была подобная проблема?
ЭСшизы, горькие петухи, талебоопущи.. Какие-то мани неосиляторы регистрации кагла Нет был обсуждать ответ на главный вопрос мироздания, нет хочу жрать перезвонильный тред https://www.youtube.com/watch?v=1tVxbVPVG6k
>>2279374 > горькие петухи Официально опущены. Сама идея Саттона, что все задачи можно забороть просто накидав побольше слоев и параметров, это просто предположение, основанное на отсутствии внятных контрпримеров. Теперь, когда есть как минимум один запруфанный контрпример (трансформеры не могут даже в несложные математические задачки), эта идея Саттона не оправдалась.
https://habr.com/ru/company/ods/blog/572264/ Синьор за 200, лид 250 - ахуенно, да? >На одной конференции автор рассказывал о том, что они стабильно нанимают людей на меньшие деньги на hh и не публикуют вакансии в ODS, чтобы не получить ушаты лапши. аххаха блять
>>2279320 Ну я до этого работал в разных местах в сфере перекладывания экселей, так что питон / SQL в работе использовал + задрачивал теор.вер, статистику, машоб. Решал кейсы на Kaggle. На собесах спрашивали в основном по теории машоба, основным алгоритмам и статистике + расспрашивали про решенные кейсы на Kaggle.
>>2280959 В одной компании сильно гоняли на всяким нутрякам питона (уже не помню деталей) и методам датафрейма в пандасе, но в итоге оффер я там тоже получил, хотя и на половину вопросов не ответил. Но в целом я бы не сказал, чтобы меня где-то прям разъебали на тех собесе. В подавляющем большинстве мест просто не отвечали на мое CV, скорее это было проблемой.
>>2280115 Меня больше интересует, а какого хуя у топовых дата аналитиков тихлидов такая ебануто высокая зарплата, по сравнению с дата саентистами? Принято считать, что дата саентисты богаче.
>>2281581 Зарплата зависит от рыночка. Чтобы 1 дата-саентист мог работать ему нужно 5 человек обслуги. дата-саентистом может стать любая усатая баба не прогулявшая матан, а до программиста надо доработаться.
>>2281647 >Что из статистики нужно знать? На уровне университетских курсов по статистике и теор.веру для тех.специальностей. Особенно стат.тесты, параметрические и непараметрические методы. Анализ временных рядов (стационарность, декомпозиция, моделирование).
>>2281581 Вообще "датасаентистами" в 22 году и называют аналитиков. Челы которые чисто копаются с моделями и их поддержкой называются ml инжинеры, ну и они как обычные прогеры короч: импакта для улучшения бизнеса у них меньше чем у аналитиков, просто копают за свою зепешку всякую техническую залупу и всё, с чего им особо много платить?
Какой язык учить-то для мл? Я понимаю что это вроде не главное, но все-таки. Вроде раньше как питон был базовый. А сейчас на чем реализуют крупные проекты типо массового распознования на улицах? Неужто тоже питон?
Хуй знает где спросить, тут наверное самые умные люди в программаче, как правильно называется нелинейное преобразование, когда у меня заданы коэффициенты для значений от 0 до 1 (то есть 100%, то есть максимума функци), и мне надо применить их к какой-то функции, чтобы изменить ее форму?
>>2282887 > у меня заданы коэффициенты для значений от 0 до 1, и мне надо применить их к какой-то функции, чтобы изменить ее форму? Что такое "коэффициенты для значений"? Ты результат выражения f(x) называешь коэфом для значений? Это результат функции так-то. Как можно применить результат функции к другой функции, чтобы изменить ее форму?
>>2282934 >от 0 до 1 (то есть 100%, то есть максимума функци) Тут важно, что область определения у меня от 0 до 1. Мне надо соответственно умножить значения функции от 0 до максимального значения на эти коэффициенты.
>>2282675 Да, в большей части счёт используют питон. Но это не страшно, т.к. ботлнеком в производительности является вычислительная мощность, а весь код для вычислений естественно написан на си/куда и просто вызывается из питона по при.
>>2282937 Зачем тебе название для этого? Ты все правильно сказал, у тебя нелинейное преобразование, по сути ты считаешь функцию от функции, g(f(x)). Можешь погуглить про композицию функций, но зачем оно тебе?
>>2282941 Гуглится только проекция векторов. Попробовал реализовать нужные функции в коде, результат вообще не похож. >>2283024 Мне надо добиться результата как на картинке.
>>2283189 > Мне надо добиться результата как на картинке. То, что ты описал словами и то, что у тебя на картинке >>2282887 это вообще ни разу ни одно и то же. Как ты вообще попал в компанию, где тебе нужно такие графики рисовать? Это для тебя вообще? Может работу сменишь?
>>2282675 >А сейчас на чем реализуют крупные проекты типо массового распознования > 2022 > языки Человече, давно уже профессия программиста превратилась из того что определяется знанием языков в то что определяется знанием фреймворков. В мл в том числе. Бессмысленный вопрос поэтому, "типо массового распознования" реализуется через фреймворки, их и учи, язык не важен. В 22 году от прогера в любой области требуется возможность разобраться с кодом на любом языке. Это в целом хорошо, приближает к тому понятию программирования как его понимали деды
>>2284172 10 лет ни один хайп не держится, если это только не в корне меняющая индустрию вещь. тащем-то, мл как раз в корне меняет индустрию. выводы делай сам
>>2284213 Литература, мань. Одни либген и сайхаб чего стоят, а есть и более узкоспециализированные ресурсы. Это твой предел акинатор и бравлстарс, так ты на всех не проецируй.
>>2285106 → >хипстерские технологии, которые не работают Почему не работают? Вот моя однокллассница, раздетая DeepSukebe, когда это еще можно было, четыре раза с даунскейлом до height = 640 и смещением на полпикселя во все стороны. Потом просто миксанул и применил фильтр антисвертки - деление на спектр Гаусса. Без всяких нейросетей уже. Дрочить вполне можно. Хипстерские технологии работают.
>>2285178 > DeepSukebe Я не следил. А его закрыли или что? > смещением на полпикселя во все стороны Я не понимаю, ты несколько раз прогнал одну и ту же фотку, просто немного ее редактировал? А потом наложил несколько друг на друга и... что? Я не вижу здесь размазанностей никаких
>>2285178 Раньше для такого нужен был уверенный пользователь ПК с фотошопом, а теперь пиэйчди маняматик датасайентист и несколько дней работы видеокарты.
>>2285209 >ты несколько раз прогнал одну и ту же фотку, просто немного ее редактировал? Дипсукебе на тот момент требовал фотку X x 640. Поэтому я как нормальный дата-сайнтист сделал ему 4 таких фотки со смещением на полпикселя в разные стороны. А потом просто выполнил deconvolution.
>>2285237 > А потом просто выполнил deconvolution Я не понимаю. Сукебе же выдаёт уже готовую фотографию, а не веса на сетке. Ты на чём деконволюшон делал?
>>2285261 ежкин-кошкин, ну это не деконволюшн, это ресторейшен/суперрезолюшен. Это вообще другая шняга.
Что-то там какой-то ужас по ссылке. Кстати, там еще и шарпер (деблюр) по фотке проходится > Richardson–Lucy deconvolution Ясно, в названии этого алгоритма "деконволюшн" это и есть деблюр. Ни разу не слышал, чтобы так деблюр называли
Ну что, анальники? Готовы вкатываться в курьеры и кукарекать "свободная касса" в макдаке? AlphaCode уже на уровне среднестатистической макаки, то есть лучше вас. А ведь ещё в прошлом году ничего лучше CoPilot не было. Прогресс таки выебет вас в жопу без вазелина, лал.
>>2285275 Макак рано или поздно заменят, на других макак. Но потребность рынка в простых разработчиках уменьшится. Нокод макаки будут производительнее кодомакак, их потребуется меньше. Тут есть противоречие. Потребность в экспертах не уменьшится, но если кабанчику придется нанимать обоих, ноукодомакаку и эксперта, то зачем макака нужна, когда эксперт может использовать ноукод подход, а у нокодмакаки опыта принятия технических решений не будет? Опять же просто возрастут требования к экспертам. Но что будут делать кабаны, когда эксперты уйдут на пенсию? Выращивать новых экспертов? На каком опыте?
Вопрос интересный, зачем ИИ хуманская инфраструктура кода, если ИИ сможет писать сразу машинный код? И как тогда люди смогут поддерживать созданное ИИ? Как перепрограммировать терминатора если у него изначально исходников прошивки не было?
>>2285343 >потребность рынка в простых разработчиках Но тред же про мл. Разве экспертиза в бизнесе кабанчика - не обязательное условие для дата саентистов? Нахуй они нужны, если умеют только фит предикт.
>>2285384 > Вопрос интересный, зачем ИИ хуманская инфраструктура кода, если ИИ сможет писать сразу машинный код? И как тогда люди смогут поддерживать созданное ИИ? Как перепрограммировать терминатора если у него изначально исходников прошивки не было? Самое смешное, что 100% анальников считают концепцию "исходный код - компилятор - исполняемый код" чем-то абсолютным и безальтернативным. И даже не в курсе того, что это только один вариант из неизвестного числа возможных, и что его придумала пикрелейтед бабуля, о которой они и не слышали никогда и даже имени ее не знают.
>>2256664 >Бурнаев >Классный чел Ебанутый? Я у него бак диплом писал и в сколтехе потом курс проходил, супер Мега душный уебан. Жадный к тому же, студентам нихуя не платит а сам покупает диваны по 8к евро. Раскинул свои щупальца как спрут, вписался в тыщу организаций ведущим ученым и сидит чисто статьи лутает, которые тысяча студентов пишут. Вот Оселедец реально классный чел, а этот мимо нахуй