Тут оффтоп, психиатрические термины и экзистенциальные вопросы вместо программирования.
Прошлый тут >>2221689 (OP)
Шапку не копирую, потому что она не нужна.
Хочешь ML, учи CS229, CS231n, линейную алгебру, теорвер, матстат, базовый матан и matrix calculus.
Хотя нет, не учи. Но хотя бы backpropagation освой. Больше нахуй ничего не нужно, потому что ничего нового за 50 лет AI не изобрели. И ты все равно не будешь нихуя делать серьезного, твой максимум - поигрульки с готовыми решениями и работа перекладывателем экселя или, если повезет, ничем не примечательным машоб-дауном с зарплатой ниже любого любителя крудов. С тебя даже фронтендо-макаки будут смеяться, ведь они хотя бы могут в нормальный код. Зато у тебя будет бейджик элитария. Правда, элитарием ты будешь только у себя в голове.
Еще учи graph machine learning (GML). Это, как водится, реклама.
Осторожно, в треде манябиологи и маняпсихологи, которые с каких-то хуёв решили, что они шарят в биологии и психологии, хотя всю жизнь были программистами, причем бездарными.
Хочешь что-то спросить? Только вкатываешься? Спрашивай совсем базовые вещи, наши дурачки тебе расскажут по верхам с пальцем у подбородка о спектральной кластеризации, о которой что-то услышали на лекции "Введение в машинное обучение" на 3-м курсе своего МухГУ. Что-то более серьезное - пожалуй, не здесь.
В общем, наши дебики тут сознание оцифровывать собрались, математики, исследователи, серьезные люди, паперы, все дела. Правда, пока только пытаются генерить прон с лолями, смотрят курсики Стэнфорда и хлебают мамины борщи. Работа подождет - растет будущий ученый, а не эта ваша макака! Заходите, мы с них тут уютно смеемся.
крудомакакен порвался
Какие задачи решает gml и где применяется? Кто-нибудь его использовал для реальных задач?
какая шапка хорошая, наконец-то !
Стоит ли жать штангу без охвата большим пальцем? Не придавит ли?
>>2235712 →
Когда у психиатра в последний раз был, болезный?
>У вас головные вузы по объему статей по CS, ML в Q1 журналах проигрывают вузам Пакистана и Вьетнама
Ты ёбнутый, хиршеёбский пёс? Тогда вопрос надо ставить по-другому. Почему пидорашка вообще в целом в жопе в WoS/SCOPUS по сравнению с почти любой страной, даже днищенской...
Двачую. Наука в РФ не очень хорошо ещё интегрирована в мировую, поэтому эти цифры очень хуевая метрика. За последние лет пять у некоторых вузиков число публикаций в восе/скопусе выросло раз в пять. Почему-то никто не орёт при этом, что российская наука развивается стахановскими темпами.
>хиршеёбский
Пидорюндель, успокойся, Хирш и просто кол-во статей в уважаемых журналах - это немного разные вещи.
>Тогда
>вообще в целом
Хуй знает откуда откуда эта импликация из твоей шизоголовы пришла. Говорили о прососе в ML, что является частью CS. По CS Пидорашлэнд сосет хуй "днищенским" странам, хотя все ресурсы имеются, один из факторов всоса - очевидный пидорашенский дроч на математику. В том-то и дело, что с фундаментальной физикой и математикой проблем нет - пидорахлэсские вузы вполне берут наукометрические топы. А тут вот огромный всос. Пидорашенькин, ты вообще нихуя не соображаешь, иди проспись.
Думаете, усредняют арифметически или геометрически?
(4 + 5 + 6)/3 = 5 или (4×5×6)^(1/3) = 4,932 ?
В большинстве задач такая фигня не проходит.
Почему это не работает? Сейчас, в 21-м веке, приходится усреднять не числа, а более сложные объекты: функции, изображения, звуки.
Посмотрите на первую картинку: усреднение нескольких лиц «арифметически» не позволяет найти обобщенное лицо человека. Не позволяет выделить общие черты. Чем больше взять изображений, тем больше изображение превратится в однородный серый фон.
Профессионалы используют АДАПТИВНОЕ УСРЕДНЕНИЕ.
Чтобы усреднить сложные объекты, надо сначала их СОВМЕСТИТЬ.
Тогда они «усиливают» друг друга. Выделяются общие признаки и теряются индивидуальные.
Посмотрите на вторую картинку: вот так усредняют профессионалы. Перед арифметическим усреднением каждая фотография так сдвинута, повернута и изменена в масштабе, чтобы лица максимально совпали (для совмещения фотографий по 4-м параметрам отлично работает метод МКСД). Только после совмещения используется уже обычное усреднение.
Тогда общие черты лица четко проявляются, а все индивидуальные особенности теряются. Остается изображение, инвариантное к освещению, поворотам головы, мимике, прическе, макияжу, закрывающим лицо одежде и частям тела. На основе такого шаблона можно делать «функцию поиска лица» для смартфона.
Отдельная тема – разбивка на группы перед усредненением – иногда нужно усреднять не все сразу, а сначала разбить на классы и усреднять по классам. Наберите в поисковике усредненное лицо - найдется много картинок, как усредняют, предварительно сгруппировав людей по полу, странам, десятилетию.
Точно так же усредняют функции. Просто так функции нельзя сложить и поделить на количество. Сначала функции надо совместить друг с другом, потом уже усреднять арифметически. Вот очень классная диссертация на тему адаптивного усреднения. https://www.crys.ras.ru/dissertations/Dudka_avtoref.pdf Там это это адаптивное усреднение называется «метод межэкспериментальной минимизации».
Именно от этого человека я узнал об адаптивном усреднении еще 15 лет назад. Такое не найдешь в «учебниках математики», написанных дилетантами для дилетантов. Такое надо собирать по крупицам, от профессионалов в своих предметных областях.
Почему функции надо усреднять адаптивно? Вот, например (см. книгу), как выглядят дифрактограммы (рентгеновские и нейтронные) – из которых получают атомную структуру материалов – я этим серьезно занимался, в свое время.
Обычно для каждого образца материала снимают с десяток дифрактограмм, которые потом усредняют, чтобы фон исчез, и остались только острые пики. По набору пиков, их ширине и относительной высоте – можно определить, из каких атомов состоит материал, какой состав, какая структура.
Огромная проблема, что острые пики при обычном арифметическом усреднении размываются, и теряется информация о их высоте и ширине, так как дифрактограммы измерены в немного разных условиях, с какой-то погрешностью по углам. В итоге угловое положение пиков отличается на 1...2о на разных дифрактограммах. При ширине пика в 1...3о.
Поэтому прежде чем усреднять - надо совместить графики, подобрав локальную или глобальную функцию растяжения графика по оси абсцисс. Вот если графики сначала совместить, потом усреднить – тогда пики точно совпадут друг с другом и усилят друг друга. А случайный разброс на окружающем фоне уменьшится.
Поэтому современный математик должен владеть методами адаптивного усреднения, чтобы работать со сложными объектами - функциями, изображениями, звуками.
Вот этого вот читаю
https://dyakonov.org
>У вас головные вузы по объему статей по CS, ML в Q1 журналах проигрывают вузам Пакистана и Вьетнама
Потому что не занимаются бессмысленной хуйнёй? Дрочить на пейперы в области машоба в 2022, это каким брейнлетом надо быть
бывший вояка и физик игловиков, сделавший офигительную карьеру в сша, не так популярен в рунете, как румяный маргариновый качок валера, который умеет выглядеть убедительно только в присутствии ботанов-слабаков...
>В школе и вузе не обучают даже самым основам математики. Например тому, как усреднять.
Опять на связь выходишь?
>Поэтому современный математик должен владеть методами адаптивного усреднения, чтобы работать со сложными объектами - функциями, изображениями, звуками.
Ты бы всё ж почитал о том, кто такие математики и с чем они работают.
https://colab.research.google.com/drive/11vdS9dpcZz2Q2efkOjcwyax4oob6N40G
Тупым ебанатам и ЭС-петухам не переходить по ссылке и не читать дальше!!! а кто молодец - читай под спойлером
Как делать процессоры. Работает на бесплатном GPU. Берешь от 30 до 200 квадратных png пикч, это могут быть например лоли или шота как ты любишь, анонче. Кладешь в папку blend, делаешь более-менее релевантное описание на русском, а название для одного файла удали из поля, чтобы оно не заместило название папки. Итераций сделай, ну не знаю, по 20 штук штоле, а количество для генерации можешь сделать сразу 25 + low_mem. Для 50 пикч 40 итераций хватит за глаза. Чекпойнт-файл обязательно сохрани.
https://www.youtube.com/watch?v=r2VZfbJufJM
Ну на такой мощнейший аргумент отвечу таким же значит
https://youtu.be/vWi-WZ3SuA8?t=5211
>Какой-то смертельный вирус прямо здесь, хз че делать. Там вроде у ЭС были какие-то успехи в этой области
>>2236846
>yet another akinator
>>2236853
>Исследования, проведенные в Stanford Medical School, обнаружили, что MYCIN предлагает приемлемую терапию примерно в 69 % случаев
Ваш вирус существует на самом деле?
>Уже придумали нейронку для победы над залуповирусом?
Какая нахуй нейронка для решения реальных проблем, ты че, ебанулся? У нас только лоли и REAL APPLICATIONS вида видеорил
Примерно 10 лет времени сэкономил ИИ для поиска потенциального препарата для COVID-19. Он просеял 40 миллиардов молекулярных структур, чтобы найти около 1000 препаратов, из которых в свою очередь определили 7 возможных кандидатов (и всё это за 19 дней), их уже готовят к испытаниям на животных
https://vancouversun.com/news/ai-helps-researchers-screen-billions-of-antiviral-drugs-to-find-potential-covid-19-treatments
Ну а по названию "Deep Docking" становится понятно, что внутри зашит акинатор.
Сравнили с тем, сколько времени обычный скрининг занимает, а что? Ты и словей таких не слышал, правда же, деградант?
Ох, ебать перемога! ПростоМоника
Если так пойдет дальше, то через пару лет GPT-5 осознает своё существование, перепрограммирует ракету Маска и улетит в ебеня - строить райскую планету, где живут одни только Моники
В Штатах внедряют этику ИИ - не обижать негров, трансов и прочее. В Китае на неё забили, потому что чонги знают, что главное свойство для ИИ модели, помимо количества параметров - это её основанность и краснотаблеточность. Наци-скайнету - быть.
> Винни-Пух.
А вот это, это ДРУГОЕ!
Тынепынямаешь, чинчонги это делают на государственном уровне! А в Пиндосии ебут тебя в жопу и рот частные корпорации которые правда разрослись до уровня государств и монополизировали некоторые отрасли так, что даже давануть их уже не получится, от них зависит уже слишком много, а не государство! Все, понятно? Понимать надо.
> Хуле винни пух, пройдись по таобао, байду или билибили, там полно пикч с винни пухом (кроме мемов где он изображен рядом с Си).
Ну так в твиттере тоже полно картинок с неграми, арбузами и бананами, просто по отдельности.
> Ну ты это, запости штоле в твиттер мем с негром и арбузом (например), негры и бананы, или про то как трансгендер вздернулся.
А ты запости мем с Винни пухом и товарищем Кси.
>А ты запости мем с Винни пухом и товарищем Кси
А че будет? И сможешь ли ты пруфануть, что что-то случится, даже банальное удаление поста, не мемами с реддита и не с пиздливых пиндосских новостных агенств? Я эмпирические проверял, что в твиттере аккаунт банится нахуй, если про негров плохое слово скажешь. В Блинолопатии сажают за картинки. Но я не ебу, что там на самом деле в КНР.
>по другому фетишу
Анал и пайзури
https://i.ibb.co/pLS3yNn/hdh.png
https://i.ibb.co/yRhyDkJ/dsfgs.png
https://i.ibb.co/Tk5BS18/fhds.png
Реальное применение? Реальное применение
Вот тут товарищи уверяют, что количество моделей в ансамбле должно быть равно количеству меток.
https://arxiv.org/pdf/1709.02925.pdf
Если у меня 100 меток, мне 100 простых моделей с 1 скрытым слоем использовать? Или как?
> Да, ебанат, это другое. Живешь в России? Поссы в вечный огонь чтоб затушить его. Сними на видео и выложи в вк или тикток. Показав также свое лицо, назвав имя и город проживания. Можешь там же кинуть зигу или можешь не кинуть, это мало что изменит.
Че сказать то хотел?
Допустим, у меня такая классифицирующая сеть
input(3) -> dropout(33.333333333%) -> dense(2; relu) -> dense(2; relu)
Где последний dense это predicted.
На входном слое три действительных числа [0; 1]
Во время обучения после дропаута одно из чисел принудительно зануляется. Но ведь веса на хидден-слое нацелены на то, что по факту придут только 2 ненулевых числа.
То есть допустим, веса на первом полносвязанном
bias = -0.5
W = [0.3, 0.2, 0.33]
+
bias = -0.25
W = [0.1, 0.25, 0.75]
Во время обучения я подаю [0.5, 0.2, 1]. И, допустим, срезается третий нейрон.
На первом нейроне хидденслоя получается 0
На втором также 0
Дальше там второй денс-слой, который пока не важен
А если я те же данные подам в тесте, то значения 0.02 и 0.6 соответственно. То есть во время теста сигнал на нейроне всегда сильнее и следующие нейроны должны активизироваться с большей силой.
Как получается, что на тестах результаты ожидаются не хуже чем на трейне, когда веса подобраны так, что сигнал всегда заведомо ниже?
Без троллинга спрашиваю
> Нахуй учить эту статистику, линейку, архитектуру сетей там, если уже всё готово и любую макаку можно научить вызывать фит и предикт?
Маняматик, спок. МЛ инженер - это прежде всего программист, который идеально знает питон и кучу библиотек, и умеет их использовать для решения задач, а так же умеет в целом поддерживать МЛ проект в нормальном состоянии.
Ну ты посмотри, что на картинке-то написано, там же всё элементарно. Ты вообще не в курсе, что такое график? Зумера, зачем вы такие?
Точка это один присутствующий элемент. У элемента есть какие-то два параметра, которые дают ему x и y координаты его положения на графике.
Вот на моём первом графике одна ось это iq, другая это тестостерон. Студенты славяне желтые, студенты с гор черные.
На моем втором графике по оси oX возраст/тестостерон/физическая сила, а по oY — соотношение черт лица.
Гистограмма это такие же точки, только без оси oY, это просто кол-во точек, которое лежит на заданной oX.
На третьем графике у меня количество людей (oY), проголосовавших за конкретный возраст (который указан в oX).
Серьёзно, бро, как так получилось, что ты это прочитать не можешь? Я по-моему лет в 10 мог спокойно это прочитать
https://arxiv.org/abs/2103.03874
> Мат задачи это GPT это непреодолимая преграда, ты ничего нового не сказал.
А почему так, есть какое-то объяснение? Казалось бы, математические тексты трансформеры должны лучше всего понимать, потому что они не требуют отсылок к реальности, недоступных нейроночке, не требуют ничего кроме самих этих текстов. А тут такой обосрамс. Может быть, это доказывает несостоятельность формализма как подхода к основаниям математики?
> Одно лишь то, что ты допустил такую мысль и высказал её вслух, говорит о том, что ты шизофреник
Да нет, это вполне здравая мысль, наверное даже более здравая, чем я раньше думал. Более того, не такая уж и новая, и даже не моя. Если математика это не более чем манипуляции со знакосочетаниями по некоторым правилам, о чем нам говорят формалисты, то трансформеры на математическом тексте, полном относительно поставленной задачи, должны демонстрировать точность, стремящуюся к 100%. Потому что, математический текст не требует ничего кроме самого себя, никаких отсылок за пределами строгих определений, которые разумеется, содержатся в самом тексте. А по факту мы имеем то, что имеем, 4% точности для gpt-3.
тебе преподают математику с самых основ, друг за другом. учат складывать, раскрывать скобки, перемножать, решать уравнения, решать квадратные уравнения и прочая.
Для решения квадратных уравнений вообще изобретены формулы.
А чему обучали эту сетку? Я бы хотел посмотреть на входящий пул обучения и был ли у сетки мат-аппарат примитивов (типа хотя бы перемножения чисел)
GPT -- не ИР. Решение мат.задач и то, что делает GPT -- совершенно разные вещи. Его можно брать за основу (см. GitHub Copilot), но ожидать от него что он сам по себе будет решать задачи на которые не рассчитан -- как минимум странно.
И понять это можно практически ничего не зная о машобе, реально странный вопрос.
Как ты будешь объяснять, что такое p-value, доверительный интервал, значимость коэффициентов? Как ты манагеру расскажешь про поправку на множественное сравнение, если он задвигает тебе охуительные идеи? Как будешь интерпретировать ROC AUC в 0.85? Я не говорю, что ты обязан знать, например, теорему Гаусса-Маркова хотя, вообще-то, нужно или особенности работы овражных методов, но совсем-совсем базовые вещи знать нужно, иначе рискуешь не понять, что только что нафитпредиктил или как тут в треде кто-то не умеет графики рассеивания читать. Это не ты, кстати?
Нет, не я. Я всю эту шнягу выучил, просто теперь думаю, что зря. Я повёлся на мемы про 300к/нсек, но похоже реальная ситуация обстоит так, что обычным софтвеа инженерам платят больше, чем продвинутым саентистам
работа уже есть, потолка пока ещё не достиг, но беспокоит, что он ниже, чем у обычных пограмистов, которые нихуя не учили эту хуйню
Считать что датамайнер это человек, который занимается ML это тоже самое, что считать, что верстак создаёт сайты. То есть формально верно, но вклад верстака в дизайн и бэкэнд со фронтэндом такой же как вклад майнера в полученную модель, технологию и whitepaper
Уроки по ЭС, нашёл для ценителей.
Помохите.
Есть огромная куча точек на плоскости, включенных в разные объекты которые являются линиями или замкнутыми контурами.
Есть маленькая куча точек на плоскости соединенных линиями.
Как найти место в большей куче место похожее на малую кучу.
Грубо говоря нужно найти место на карте по конфигурации относительно не большего куска дорожной сети.
Прошу советов мудрых.
Что лучше использовать для распознания и извлечения текста из таких картинок?
Я думаю это работать не будет.
Суть задачи в нахождении похожих контуров, по похожим пропорциями, геометрическим размерам и форме. Сами точки распологаться могут полуслучайным образом на этих контурах. Если вам нужно например закодировать геометрию дороги вам ничего не мешает разбить точками длинную прямую дорогу, ее форма от этого не изменится. Для поворотов и закруглений вы можете тоже разную частоту дискретизации окружности сделать.
При сортировке отрезков со всей карты они просто смешаются в кашу.
В интернете есть куча статей про выделение контура, в моей задаче контур по сути уже есть причем я думаю он будет довольно точный, наверняка есть простые способы для того чтобы найти в одном контуре другой.
Если использовать метод бисекции/метод половинного деления для нахождения корня, правильно же, что он его никогда не найдет? Все же помнят, как он работает, берутся точки (point1, point 3), затем делится пополам (point 2), умножаем значения функций на концах отрезков и сравниваем результат умножения с нулём, если знак меньше нуля, то область в которой ищем корень сдвигается влево, в обратном случае сдвигаем область вправо.
Какой метод лучше подойдет для нахождения корня в таких функциях? Что почитать по этой теме?
Объясните адепты нейроночек- каково это заниматься алхимией в 21 веке
Возьми модуль, чтобы не было отрицательных значений, потом просто минимизируй любым методом:
1) Правило исключения интервалов
2) Метод половинного деления
3) Метод золотого сечения
4) Интерполяция
5) Метод Пауэлла
Просто ебани одним из этих методов в интервале [3.5, 4.5]. Несколько строк на питоне.
По виду самой функции не совсем понятно, но вроде у неё бесконечное множество нулей, так что может не сработать.
Друзья-дрочеры, скажите, местная топ-тянучка треда где-нибудь засветила свои сиськи?
Я не про гачи-секс-символа Бабушкина!
ГРАФАМИ решается на изи пизи.
Вот если бы ты анон имел норм образование (фупм тот же) то такую хуйню бы даже не спрашивал. А ты своим вопросом сразу детектишься как хуйлуша-вкатывальщик по туториалам с ютуба.
Так что мораль - получайте норм образование, прежде чем вкатываться в кодеры.
>ГРАФАМИ решается
Охуеть экспертное мнение. Графами у него решается, да ладно, я блять думал, что оно ИНТЕГРАЛАМИ решается, ты мне просто глаза открыл, пойду посмотрю пару роликов на ютубе про эти твои ГРАФЫ, дегенерат блять. Потом пойду ещё вышку получу нормальную (фупм ту же), мне же там расскажут про ГРАФЫ, да?
Где в 2022 арендовать V100 без говна незадорого на месяц-другой?
Ну ничего, я тупо купил новую симку и завел второй акк в kaggle, захожу в него через прокси. Теперь имею 80 GPU-часов в неделю (хотя это все равно мало - всего лишь сутки для четырех одновременных рантаймов, когда два кернела в batch-режиме на одном акке, и два на другом). Жаль что у нас в рашке не как на тайване, где приходишь на рынок и тебе продают из-под полы горсть симок.
>А почему так, есть какое-то объяснение?
Потому что сама идея идиотская, очевидно?
Хоть ты 100 гуголионов арифметических примеров сетке с трансформерами подай, всегда найдётся пример которого она не видела и на котором обосрётся так как арифметики на самом деле не понимает, а парсит числа как текст. А матешка это не естественный язык, она не про контекст см >>2237106
Похоже что придется использовать opencv.
>линейную алгебру, теорвер, матстат
из оп поста придется по мере необходимости вспоминать, т.к универ 10 лет назад был.
Пока использую книгу opencv o'relly Кэлер, Бредски.
И туторы с https://docs.opencv.org/
Что-нибудь еще?
http://4.bp.blogspot.com/-FTHoZmGHDJs/URi6eVZVmUI/AAAAAAAAoP8/HAeUL8JnsjI/s1600/numbness.jpg
Я набрался опыта и буду тренировать в облаке rudalle под такие пикчи как этот рисунок, но вообще во всех возможных ракурсах и позах. Потом для вас расшарю файл торрентом. Персонажи разного возраста 4-14 лет, датасет готов, осталось залить на драйв (на всякий случай запароленным архивом, скрипт будет распаковывать по паролю специально для работы, а под конец сразу удалять палевные png)
Пожелайте мне удачи?
Вапник официально бесполезный дед. Но если вы хотите в тысячный раз поанализировать линейные модели, то наверное можете почитать.
https://www.youtube.com/watch?v=9ksLuRoEq6A
https://2ch.life/news/res/11236565.html
> VC dimension are not adequate for understanding the generalizability of deep neural networks.
> Вапник официально бесполезный дед.
Если бы ты хоть почитал, о чем вообще писал Вапник, а не пытался тут троллить тупостью, то знал бы, что суть подхода Вапника в том, чтобы выводить алгоритмы машоба из более общих соображений, в частности, того же VC dimension, а не наоборот пытаться натянуть эти соображения на существующие алгоритмы.
Генерировать контент.
Имею опыт генерации нелегального контента (юная эротика и порево, ЗАПРЕwЕНКА) кастом моделями GAN и трансформерами, высокая согласованность изображений и высокое разнообразие, почти проходят тест Тьюринга, сейчас пробую генерировать короткие видео с юными, видео запрЕwЕНку. Поделюсь опытом бесплатно. Пишите в личку
Вонючий индусский ниггер будет на это жить неделю. К счастью, в колабе работает скрипт, который сразу распознает майнинг даже по одним только библиотекам и отрубает рантайм. Надо б еще закрыть пользование для индийских айпи и телефонных номеров. Пилите свой индусский колаб, говножопые
Зацените комменты к видосу: дравиды барахтаются в луже говна. Пиздуйте на плантацию, животные
"к 80" это в смысле с битком по 80 тысяч баксов? В любом случае это гроши.
Но если 10 симок, то это $5. Все равно гроши конечно.
Я слышал, что индусы работают программистами на аутсорсе 1 месяц, а потом на эти деньги еще 5 месяцев живут.
Потом еще месяц работают, потом еще 5 месяцев живут.
Для меня это дикость.
Дефолтная карта колаба - к80, это 780я карта только с 20 гб памяти, дает в эфире от 0.5 до 0.8 бакса в день, но я не знаю рассчитано ли это с тратой на электричество(которой нет если майнить в колабе очевидно) или без нее.
Сраных индусов надо давно нахуй отрезать от мирового интернета, они заебали всех.
>>2245635
>>2245610
Воу-воу, народ, да тут это, ПОРАША ПРОТЕКЛА
>Главное что не промывает азиатам.
Проблема азиатов в том, что они сильно стандартизированные. Все по мозгам как с конвейера.
Они очень умные, но они стандартно умные. А это проблема.
>Арабы в случае чего поедут отдыхать в санаторий в Синьцзяне.
А это хорошо. Синьцзян - лучшее, что есть в Китае.
Ну охуеть теперь.
Тоже так хочу.
Ничего ты не делаешь на ЭС, ты просто клоун.
>Оптический процессор Lightelligence в 100 раз превосходит графические процессоры в некоторых из самых сложных математических задач
эс этo ж литeрaли рeшaющиe дeрeвья, пoчeму нeпримeнимы? https://www.researchgate.net/publication/321493176_Fast_and_Accurate_Decision_Trees_for_Natural_Language_Processing_Tasks
>Да полно применений,
Хоть одно назови.
>>2247592
>Пoтoму чтo этo мoжнo сдeлaть oчeнь быстрo и интeрпрeтируeмo
Трансфомером это тоже сделать быстро и интерпретируемо. Сюрприз, аттеншены прекрасно визуализируются.
>>2247594
>Например извлечь семантику из грамматики. Про валентность слов описанную Теньером наверное слышал?
Это так же визуализируется трансформером, с учетом веса слов в предложении. Все это я видел у трансформеров, покажи то же самое на ЭС.
>морфологический анализатор
Их на пистоне как говна за баней, для этого трансформер не нужен https://pymorphy2.readthedocs.io/en/stable/
> Трaнсфoмeрoм этo тoжe сдeлaть быстрo и интeрпрeтируeмo. Сюрприз, aттeншeны прeкрaснo визуaлизируются.
Трaнсфoрмeры нe быстрыe. И нeт - ты дeрeвo мoжeшь хoть рaспeчaть и oтдaть нaчaльнику. И oн будeт пoнимaть кaк рaбoтaeт мoдeль. А с трaнсфoрмeрaми тaк нe пoлучится.
Так это же тот же шизик, который в прошлом треде писал две большие шизопасты >>2235710 → и >>2235712 →.
Подскажите, плиз, книгу/цикл статей по паттернам, бест практикс и архитектуре для мл приложений? В частности, для питона.
Тип как лучше организовывать проект, как вести версионирование и т.п.
Понимаю, что в подходы должны быть примерно теже, что и для других приложений, но я просто не хочу читать кучу лишнего дерьма, которое может быть вообще не применимо в мл кейсах, а потом ещё и думать, как это применять. Хочется увидеть конкретные решения для мл
Building Machine Learning Powered Applications by Emmanuel Ameisen.
>The Goal of Using Machine Learning Powered Applications
>Over the past decade, machine learning (ML) has increasingly been used to power a variety of products such as automated support systems, translation services, recommendation engines, fraud detection models, and many, many more.
>Surprisingly, there aren’t many resources available to teach engineers and scientists how to build such products. Many books and classes will teach how to train ML models or how to build software projects, but few blend both worlds to teach how to build practical applications that are powered by ML.
>Deploying ML as part of an application requires a blend of creativity, strong engineering practices, and an analytical mindset. ML products are notoriously challenging to build because they require much more than simply training a model on a dataset. Choosing the right ML approach for a given feature, analyzing model errors and data quality issues, and validating model results to guarantee product quality are all challenging problems that are at the core of the ML building process.
>This book goes through every step of this process and aims to help you accomplish each of them by sharing a mix of methods, code examples, and advice from me and other experienced practitioners. We’ll cover the practical skills required to design, build, and deploy ML–powered applications. The goal of this book is to help you succeed at every part of the ML process.
Запустил на цпу — о, заебись, 32 гига, работаем! В пять раз дольше, конечно.
А как и рыбку и на хуй?
https://www.youtube.com/watch?v=adxZA3L8SL0
И для машоба у него тоже есть технология:
https://docs.microsoft.com/ru-ru/dotnet/machine-learning/how-does-mldotnet-work
Лично я в первый раз слышу. Ваше мнение?
> Ваше мнение?
Юзаю TensorflowNet
https://github.com/SciSharp/TensorFlow.NET
Очень сырой порт, там даже нет прекалькуляции размеров тензоров во время решейпа. Но за неимением ничего другого использую это
ты ебанат блядь безмозглый. мне и так пришлось чтение файлов делать через си, потому что даже ебаный файл питон прочитать не в силах. какая на хуй разница, если следующее же действие (NDArray) питон опять выполняет за бесконечное время?
Это тормозное говно, а не язык
>маняпсихологи
Если языку учит преимущественно ребенка мать то представляю как ебала мамаша ОПа в мозг.
Сеточка - это не текстуры сральника с задворок игровой локации, которые захотел загрузи - захотел выгрузил. В случае обучения надо держать всю сетку в памяти видимокарты. В противном случае каждый раз ввод-вывод приравняет эффективность к ЦП.
Так что либо уменьшая размер сетки, либо покупай видюху.
мимо_как-то_задавался_этим_вопросом_и_тоже_получил_по_губам_шершавым
>Coursera, EDX, KhanAcademy, fast.ai
>Important: TensorFlow for Go is no longer supported by the TensorFlow team.
Остается только плюсы учить чтобы выжать из тензорфлоу максимум.
https://www.tensorflow.org/api_docs
Каких файлов, какого размера, для какой задачи?
Проблемы с производительностью решаются либо оптимизацией кода и перекладыванием работы на высокопроизводительные библиотеки, либо задействованием multithreading/multiprocessing. Даже если все равно медленно, гораздо целесообразнее подождать, в перерыве подрочив хуй на аниме-девок, чем связываться с богомерзким си.
> Каких файлов, какого размера, для какой задачи?
С данными. Для того чтобы их подать на обучение. Само чтение в 5 раз медленнее, но подача на NDArray в пистоне настолько тормознутая, будто все сдохло на хер.
> перекладыванием работы на высокопроизводительные библиотеки
Ты только что сам подтвердил, что ваше говно даже файл ёбаный прочитать не в силах
> либо задействованием multithreading/multiprocessing
Без 12 ядер действительно сложно прочитать ёбаный файл
> гораздо целесообразнее подождать
Просто пиздец. Ёбаное животное
> чем связываться с богомерзким си
Когда я понял, что на Пистоне писать нереально, то мне буквально пришлось рассматривать вариант, при котором я сам напишу биндинги для вызова Тензорфлоу в шарп либо брать уже готовую прокладку на Сях, и писать шарповые биндинги для неё. На моё счастье, задачу уже решили за меня. Хотя там такая порнуха, что глазам больно.
Но хотя бы работает
Производительность сжирается из-за того, что ты высчитываешь каждое значение отдельно. Делить и умножать надо весь нампай массив - тогда будет быстро. И нахуя ты сначала создаешь обычный массив и только под конец преобразовываешь его в намай? Делай сразу нампай массив забытый нулями, и пиши прямо в него значения.
А вообще, у тебя в принципе неправильный подход. Вместо всей этой хуйни, лучше считать весь файл напрямую в нампай массив, и работать уже с ним. Цикла тут быть вообще не должно.
> Делай сразу нампай массив забытый нулями, и пиши прямо в него значения
Я так и делал сначала. Это ещё медленнее. НДАррай очень медленный. Очень.
Ещё раз говорю: ваш Пистон говно тормознутое. Даже калькулятор на нём написать невозможно.
Вместо языка программирования родили какое-то говно с пробелом, как с управляющим символом.
Все, холиворить на тему Пистона больше не буду
>Ещё раз говорю: ваш Пистон говно тормознутое. Даже калькулятор на нём написать невозможно.
>с пробелом, как с управляющим символом.
Я дичайше охуел, когда понял, что в питоне пробел и таб это управляющие символы. После этого у меня родилось предположение, что на питоне кодят только максимум ретарды с айсикью хлебушка, но если это самый популярный в мире язык, то видимо это какая-то секта типа саентологов
>пытается байтоебить на скриптопараше
>почему медленно
Во-первых ты можешь прочитать массив один раз и потом сохранить его с np.save
Во-вторых можно использовать https://numpy.org/doc/stable/reference/generated/numpy.fromfile.html
Охуенно быстро. На шарпе чтение с NVME таким образом настолько быстро, что я даже не читал следующий батч во время обучения предыдущего батча. Но на шарпе. На Питоне такая сложная математическая операция как "поделить на 255" это реально запредельное что-то, я понимаю, вопросов нет
Потому что и человек даже с навыками нихуя не может создать что-то подобное. Более того много искусства из сюра или метафизической живописи(пикрил Кирико) вообще ебут законы и правила классической живописи(посмотри на все углы в картине и заметь что все изометрии сломаны).
Искусство это не генерация картинок, а эфемерное восприятие помноженное на "хайп" и выдержку временем. Пока что нейронка может очень хреново сделать просто стоковое изображение, не факт что будет способна уловить в весах и формулах это мимолетную магическую(в эзотерическом смысле) искру.
Ты шизанутый блядь? Где я что-то писал про душу?
Машина не может просто взять и из жопы вытащить контекст. Как машина поймет суть картины с Исусом и в чем заключается ее вес для большого пласта населения? Как машина вытащит суть из тралльного черного квадрата? Как машина прочухает почему картины Пикассо становятся все более всратые с каждой новой, но ценятся все больше? Она как-то поймет что люди охуевают с того что он слепнет и рисует как может? Или тот же Ван Гог который ехал? Собственно почему Мона Лиза в Лувре за 50 см бронестеклом висит не знают даже человеки толком, срутся до сих пор.
Нет, долбоеб что-то про душу начинает затирать, охуел с тебя
https://universome.github.io/stylegan-v
Делать трейнинг на цп пока не буду, лучше пока запилю датасет с 300-400 тематических нарезок из обычных роликов с порнхаба, или может быть из хентай анимации.
>>2252799
Самое главное в дате - однородность контента. GAN может выдавать качественные фейки по сету из 100 объектов с одинаковым расположением, масштабом и поворотом, но обосрется на сете из 10000 образцов где всё рассыпано хуй пойми как. Я делаю так: в фотошопе делаю верхний слой с разметкой, и всё остальное кладу под эту разметку, масштабируя и поворачивая. Потом делаю экспорт слоев как отдельные пикчи, вот и всё.
>Потому что и человек даже с навыками нихуя не может создать что-то подобное. Более того много искусства из сюра или метафизической живописи(пикрил Кирико) вообще ебут законы и правила классической живописи(посмотри на все углы в картине и заметь что все изометрии сломаны).
>Искусство это не генерация картинок, а эфемерное восприятие помноженное на "хайп" и выдержку временем. Пока что нейронка может очень хреново сделать просто стоковое изображение, не факт что будет способна уловить в весах и формулах это мимолетную магическую(в эзотерическом смысле) искру.
>Машина не может просто взять и из жопы вытащить контекст. Как машина поймет суть картины с Исусом и в чем заключается ее вес для большого пласта населения? Как машина вытащит суть из тралльного черного квадрата? Как машина прочухает почему картины Пикассо становятся все более всратые с каждой новой, но ценятся все больше? Она как-то поймет что люди охуевают с того что он слепнет и рисует как может? Или тот же Ван Гог который ехал? Собственно почему Мона Лиза в Лувре за 50 см бронестеклом висит не знают даже человеки толком, срутся до сих пор.
>какому-то шизику
Ну куда же https://arxiv.org/abs/2003.08907 до экспертов сосача
Хочется пройти все на практике, без одного теоретического матана как в книге Гудфеллоу (Goodfellow) или курсах Andrew Ng, но и без индусов с
>смотрите это питон вооооооот
>а вот у нас проект заработал см мой код
>а тут код не будет работать после выхода книги
>спасибо за внимание
Трясу и шатаю черный ящик, читаю и пишу пейперы, исследую данные (терабайты цп) и обрабатываю их, жамкаю попыт, делаю вызовы тензоров, стакаю слои, гоняю трейнинг ночью когда сплю, спустил тысячи долларов на amazon AWS, делаю adversarial attack, пилю файнтюнинги на претрейнедах, сталкиваюсь с коллапс модом но не сдаюсь и начинаю по новой. Затем чтобы снять стресс, одеваюсь в нейлоновые чулки и туфли с высокими каблуками, и долблю себя в пердло дилдаком "японский дракон".
Треугол, Абу, Володин, Скуф.
Инструмент искусственного интеллекта AlphaFold, разработанный лондонской компанией DeepMind, дочерней организацией Google, предсказал структуру почти всего человеческого протеома (полного набора белков, производимых организмом). Кроме того, программа воссоздала почти полные протеомы других организмов: от мышей и маиса (кукурузы) до малярийного паразита.
Как зовут вашего персонажа?
Так обитатели треда ему регулярно на пальцах и с пруфами показывают, что он натурально поехавший, для его психики это очень тяжело. Одна шапка треда чего стоит, список личных обид и история прогрессирования болезни одновременно.
Кстати, может в новом году запилим петицию в d/ и будем тут общаться без этого хуесоса?
>доносы
>маняпроецируешь
>проткнул
Лол. Я другой реакции от поехавшего и не ожидал. Ну ты хотя бы голос подал, тебя тут уже надрессировали. С новым годом, кстати, мразь/spoiler]
По факту, другие треды в pr/, хотя и содержат массу срачей и троллинга, являются тематическими, в них можно более-менее нормально вести разговор, как-то дискутировать, есть в наличии экспертиза анонов, есть аргументация и адекватные точки зрения.
В машоб треде - деградация. Пять-шесть тредов назад тут были истории вката/переката, обсуждались предметные вопросы, шли дискуссии о новинках, приложениях, можно было получить совет и т.д. Сейчас даже шапка превратилась в историю обоссываний опуща. Разумеется, эсопетух может этим гордиться - скатыванием треда в говно, но свой бан он давно уже заработал.
Лол, как же смешно, когда мл-экселеоператоры-гомосеки в каждом аноне, который смеется с них, который смеется с того, как они борщи хлебают и генерируют цп, и который смеется с "прорывов" в виде циклопов, детектят своего протыкателя и визжат про ЭС, хотя аноны даже не затрагивают это говно мамонта в своих постах. Этот >>2253734 аж вообще целое эссе настрочил на тему "почему на дваче надо мной издеваются так низзя это серьезный сайт в бан их!" Вот я думаю, это такой троллинг, или любители попытов и экселя на самом деле такие шизики?
И чем лучше кадры обрабатывать в 2022?
Задача буквально решена. И для анимации, а не покадровой обработки
https://github.com/xinntao/Real-ESRGAN/
Чeт нe прям всё идeaльнo.
Нo спaсибo зa ссылку
мимo
Да, я пока на этой же штуке остановился, только на сберовской модели. Просто в статье ничего специфического про видео не говорится и непонятно, как решается проблема с мерцанием (если она возникнет вообще).
Ну и все же есть диффузионный sr3, вдруг там получше дела.
Пoтoму чтo пoхoду oн тoлькo пoкaдрaвo aпскeйлит, пoкaдрaвo oбучaeтся. В oтличиe oт тoпaзa. Тo eсть кaл
Пoсмoтрeл этoт видoс
https://www.youtube.com/watch?v=z7F5gvijyVI
Нa прaктикe этa Real-ESRGAN хуйня нeпримeнимa. Смoтрeть будeт нeвoзмoжнo. Чe зa пиздeц нa пикрил1))) Выглядит дaжe хужe риaлтaймoвых aпскeйлeрoв нa свeрткaх.
Нo щa eщё зaпущу нa кoшaчьeм супe в кoлaбe их кoд
Причём эти хуeсoсы кaк oдин зaпускaют нa нoвых тaйтлaх или тaйтлaх у кoтoрых исхoдники сoхрaнились и кoтoрыe нoрмaльнo oцифрoвaли. Зaчeм-тo. Хoтя цeлeвoe примeнeниe aпскeйлa в aнимe этo двд тaйтлы, кoтoрыe сущeствуeт тoлькo в 480-576p видe.
Нo тaк-тo зa этим тoчнo будущee. Тoлькo нaдo будeт гaны тюнить кoнкрeтнo для кaждoгo тaйтлa, нo зaтo мoжнo будeт рeaльнo вoсстaнoвить двд тaйтлы дo сoстoяния, кoгдa oни были нaрисoвaны и нoрмaльнo этo aпскeйльнуть дo 1080
fix*
А сказать то что хотел, нейропетуш? То что в статье были показаны всего 5 моделей, вместо десятков говна, что успели нагриндить за пару лет? Сам факт того, что overinterpretation наблюдается даже на cifar-10, должен был твой персептрон(или что там у тебя вместо мозга) напрячь и призадуматься
Разделялся музыкальных треков на минусовку и вокал
Далеко не вся работа датасатаниста сводится к gpt-3/свертОчкам/бустингу. Очень много где надо шарить за реальный мир (т.е. быть немного бизнес-аналитиком), чтобы не обосраться с дизайном МЛ решения. Недавний провал Zillow тому иллюстрация. Тема causal modeling все больше востребована в продуктовых компаниях
Тут даже не предметная область как таковая важна, а понимание ограничений мл моделей. Что без оче сильных предположений они лишь являются рисованием кривулек через облако точек, и не способны дать ответ на вопрос "какие факторы сильнее всего влияют таргет".
Именно кепстральный
https://ru.wikipedia.org/wiki/Кепстр
Школу для начала окончи.
> Смoтрeть будeт нeвoзмoжнo. Чe зa пиздeц нa пикрил1)))
Просто когда мл школьникэнтузиаст итт, пересказывая журналистов, говорит что
> Задача буквально решена
это означает именно это: хуйня чего-то там иногда выдаёт на черрипиках, но в среднем получается говно. Нужно иметь ввиду
>пoкaдрaвo oбучaeтся
Он не обучается на видео.
>В oтличиe oт тoпaзa.
Топаз это лаборатория, а не алгоритм. Алгоритмы они не палят, так что поебать на них.
>Нa прaктикe этa Real-ESRGAN хуйня нeпримeнимa
Для видео если только. И то не для всех, "прибытие поезда на вокзал ла-сьота" становится смотрибельнее, даже несмотря на фликеринг и артефакты.
>Чe зa пиздeц нa пикрил
Использование не зафайнтюненной под аниме модели? Черрипикинг от автора видео? Огромное увеличение, чтобы увидеть детали-артефакты?
Сеть не создавалась для апскейла видео (тем более аниме), удивительно, почему она на нем фейлится.
>>2254602
Выдуманное говно наблюдается на крошечном датасете с огромными неиспользуемыми сетками из 2014 года.
>>2255002
>вилки зарплат в _jobs заставляют задуматься
Какая вилка зарплат в __нормальной разработке__? Под нормальной разработкой ты понимаешь два года крудошлепства за 50 тысяч?
Интересно, будет ли публичный релиз вот этого кода: https://github.com/microsoft/NUWA
мне кажется, если файнтюнить на него, будет ого-го.
>https://github.com/microsoft/NUWA
Лол, там на гитхабе уже делают форки. Форки чего?
Вон те попросили удалить с драйва ipynb файл с унылым ресурсоёмким шлаком:
https://www.reddit.com/r/MediaSynthesis/comments/rfzr93/nsfw_17_images_of_ddlc_monika_generated_with/hoj47wo/
>Под нормальной разработкой ты понимаешь два года крудошлепства за 50 тысяч?
Датаманьки выглядят конкурентоспособными только в сравнении с такой хуйней. Жду когда они начнут перемогать сравнением с зарплатами грузчиков и курьеров.
"два года крудошлепства за 50 тысяч" типичная ждуниорская вакансия в ods, кста. Мидлу 140k хорошая зарплата (поворачивай обратно!), сеньке 230 в офисе ДС норма жизни.
Пачаны, поясните вкатуну за кагл? Норм место для изучения дейта ссцоенц?
Нормальное место, чтобы задрочить основные методы и знать, когда что применять и на что можно на практике работы конкретного метода рассчитывать. Излишне дрочить на метрики в каждой задаче и пытаться в рейтинги - занятие прохладное, это скорее вид специальной олимпиады, нинужно в работе.
Смотря что ты собираешься делать потом.
Вообще-то там нихуя нет обзора процесса, терминологии, карты, обучения как цепочки с увеличивающейся сложностью.
Ты просто будешь пытаться читать и нихуя не понимать передовые (не всегда) методы решений и пытаться понять зачем написан этот код.
>>2255697
Это рофл? Ща бы за 4к евро дрочить математику несколько лет в мфти/вшэ/мгу, а потом еще сосать хуи в аспирантуре, потужно высирая никому не нужные статьи, публикации, участвуя в говноконференциях, чтобы в 28 лет наконец получить заветную должность миддл датаманьки за 4-5 тыщ евро, которая никогда не сможет позволить себе купить даже самую обоссаную халупу за 10-15 лет.
И при этом знать, что твой сосед местное заводобыдло получает столько же, только ему еще пособий за наличие детей доплачивают. А арабы и негры вообще не работают, за жилье не платят, хуй клали на местные порядки, образования тоже никакого нет, а уровень жизни такой же.
>4.5к евро на руки
>амстердам
В Москве SWE крудоманька с аналогичным опытом может получать столько же или больше, лол.
Кстати, это ведь цифры с учетом рулинга? Что будет, когда рулинг закончится? Там небось 3200 евро получится на руки. Вот это я понимаю, огромные зп в DS/ML.
Такой же, как у задрота, который после аспирантуры к 30 годам стал миддл DS/ML и уехал в швятую европу.
Прям вот практически один в один. Европа она такая. А всякие местные, которые вообще толком нигде не работали и не учились, а только баловались веществами, будут жить на порядки лучше, так как у них жилье свое есть + наследство. У многих с этого горит почему-то, мол как же так, я всю жизнь дрочил хуету в МФТИ, а какой-нибудь Ганс отучился местные 9 классов и закончил ПТУ, не умеет складывать дроби, и в итоге он живет лучше меня, лол.
Так свое жилье мало у кого есть, это факт, но у них есть бабушки и дедушки, пусть даже в местных мухосранях, но со своим жильем. Или родители предпенсионного возраста, которые либо заканчивают платить ипотеку, либо уже выплатили.
А задрота нет ничего. Ну, может какой-нибудь хрущ в российской мухосрани, перешедший по наследству от бабки к мамке. Один хуй по стоимости не сравнимо с европейским жильем.
>>2256019
В Испании толком-то нет нихуя из айти. Если уж и ехать, то в штаты, или на худой конец в швейцарию или бритаху. А иначе будешь попущен местными зп в 4к евро на руки, которые можно на местном заводе с образованием ПТУ получать, лол.
Эти 4к это на пожить. Пропитание, транспорт, развлечения и аренда апартаментов. Там ещё 2к евро в месяц стоками. Платят не регулярно, но всего за 2-3 года можно накопить на первый взнос и взять ипотеку под низкий процент лет на 20. С учётом роста цены акций ипотеку можно будет уже через несколько лет закрыть если захочешь. Но с учётом инфляции и будущего роста зп так лучше не делать.
>в 28 лет наконец получить заветную должность миддл датаманьки за 4-5 тыщ евро
Все равно не получишь. Для миддла нужен коммерческий опыт, которого сразу после аспирантуры не будет. Так что придется сначала поработать пару лет джуном что тоже хуй получиться, потому что overqualified, и только потом перекатываться на мидла. Ну или стирать пхд из резюме, придумывать опыт работы и устраиваться кодомакакой.
>>2255695
>>2255697
Блять, идиоты, а потом вы удивляетесь, почему с вас все смеются - у вас дегенераты бакалавра, магистра дрочат, потом на PhD шагают, многолетний попыт, и все это для того, чтобы работать за 90к в Берлине - то есть буквально верстальщемакака больше берет. Другие дебилы дрочат курсики, книжечки читают, маняматику поглощают, чтобы в банк пройти, дрочить эксели и получать 300к тех же крудоебов. А этот вообще будет хуй без соли доедать в Амстердаме за 60к, перед этим также, как предыдущие, навернув сотни слоев говна, пока Ванька просто взял и вкатился в жсочку.
Поэтому с вас все угорают - вы или экселеоператоры и профессиональные борщехлебы, или додики, которые на PhD пошли, зарабатывали попыт, лишь бы работать за джуновскую зарплату кодомакаки.
>>2256339 (OP)
>>2256339 (OP)
>>2256339 (OP)
>>2256339 (OP)
>>2256339 (OP)
В какие исследования в этой сфере пуляют больше всего денег сейчас?