Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/
Почему python?
Исторически сложилось
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Версии для зумеров: https://www.youtube.com/channel/UCZHmQk67mSJgfCCTn7xBfew
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Кто нибудь использовал машоб для трейдинга?
Никто не использовал, ты первый такое придумал. Готовь камаз для бабла.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущие:
https://2ch.hk/pr/res/1847673.html
https://2ch.hk/pr/res/1832580.html
https://2ch.hk/pr/res/1817320.html
https://2ch.hk/pr/res/1785952.html
https://2ch.hk/pr/res/1758961.html
https://2ch.hk/pr/res/1734710.html
https://2ch.hk/pr/res/1704037.html
https://2ch.hk/pr/res/1665515.html
Отличный плейлист по machine learning
Пример видео:
https://youtu.be/lRJJEMSD7kI
Настоебали со своим мЫшинным обучением. Миллион книг блядь понаписали, а толку нихуя. Кто из вас может интерпретатор написать? Никто? а нахуй тогда мышинное обучение вам? Вы же один хуй ничего не напишите.
дато соенс разрушен
Почему он так активно жестикулирует?
Вообще - мл нужон чтобы фильтры делать типа фейсаппа - и зарабатывать на пользователях, а не всякие там ресерчи с 0.00001% процентом увеличения эффективности.
>>1868606
Webm релейтед написан мной (давно ещё).
Пиздец. Я это еще в 1983 году посмотрел на Ютубе. Зачем это писать повторно?
Единственное до чего я не додумался как рассчитывать веса в этой нейронке
dqn - это просто попытка сделать приближенный табличный q-learning с помощью нейросети. Так что сначала разберись с обычным q-learning'ом, а потом переходи к dqn.
>где мы просто берем то действие которое имеет наибольший вес
DQN это про то, что это за вес и как обучиться его предсказывать.
>как рассчитывать веса в этой нейронке
чиво нахуй?
Этот клоун уже из Яндекса в Фейспук тим лидом уехал, и мастер/грандмастер на каггле. А то, что тебя смущает в речи, - это называется софт скиллз.
Хотя манера речи у него действительно на любителя. Мне кажется, такая получается, когда аутист-интроверт читает манагерские книжки и активно их применяет.
Есть какое-нибудь применение теории графов в машобе?
https://www.nature.com/articles/d41586-020-03348-4
Уже только ленивый не написал о новости: сетка AlphaFold выиграла (https://www.nature.com/articles/d41586-020-03348-4) с огромным отрывом соревнование CASP по предсказанию структур белков. Деталей пока известно очень мало, статьи еще нет, а первый доклад по этой работе будет рассказан завтра на закрытой конференции CASP. Точно можно сказать пока только одно: они выиграли соревнование. Насколько же эта сетка, как пишут, “решила проблему фолдинга белка”, — пока, наверно, судить преждевременно.
Дело в том, что есть несколько принципиально разных задач. Можно, например, предсказывать структуру белка, зная структуры его гомологов. Можно не знать структуры гомологов, но по последовательностям из разных организмов знать, какие участки в гомологах этого белка эволюционируют согласованно — и это может значить, что они контактируют в структуре. Любую такую информацию можно использовать для улучшения предсказания, и по результатам в других областях мы видим, что сетки умеют хорошо это делать — обучаться по аналогии. Но есть и другая задача, гораздо более сложная: предсказать структуру для последовательности, похожих на которую мы никогда не видели. Модель, которая сможет такое сделать, обязана будет выучить биофизику белка и закономерности его сворачивания, — и это то, что ученым интереснее всего! И насколько новая сетка умеет решать последнюю задачу, пока совершенно не очевидно.
Поэтому давайте подождем немного и обсудим, когда станет известно больше деталей. Мы заслали агента на конференцию и раскинули щупальца в поисках структурщиков, которые нам все объяснят. Запасайтесь попкорном.
Собсна вопрос: к какому разделу ML стоит мне катить яйца: где больше требований к пониманию матана и где сложнее идеи.
Также спрошу: вот вы говорите про анальную жопоеблю на kaggle ради повышения качества на 0.01%. Расскажите поподробнее: что вы применяете кроме очевидных перебора гиперпамов и нормализации признаков
и да, проблему фолдинга они не решили. В том смысле, что прошлое решение было основано на том, что AlphaFold предсказывал карту попарных расстояний, после чего использовались абсолютно классические (родом из 90х) аглоритмы для сворачивания структуры с учетом наложенных ограничений.
Это ни коим образом не описывает непосредственно процесс фолдинга в живой системе.
The team tried to build on that approach but eventually hit the wall. So it changed tack, says Jumper, and developed an AI network that incorporated additional information about the physical and geometric constraints that determine how a protein folds. They also set it a more difficult, task: instead of predicting relationships between amino acids, the network predicts the final structure of a target protein sequence. “It’s a more complex system by quite a bit,” Jumper says.
>>1869755
Ну так какой в итоге положняк по протеинам? Сойбои хайпанули, сделяв хуйню, или можно уже вычислять вечную автономную капсулу с печкой буйлерон (зимой жарко)?
ИИ интересуюсь давно, сейчас появилось желание вкатиться, но за спиной неоконченное ВО социологическое в топвузике (где нас 2 года ебали статистикой, теорвером и матрицами, но кого это волнует). Меня же HR-ы пошлют нахуй с таким бекграундом и без опыта работы в ИТ?
За столько лет и до постсовков наконец-то дошло, лол
Все хоть сколько-нибудь востребованные хуевины может осилить и школьник с базовым знание питона и опвенсв, а в кровавый машоб для пентагона всё равно не вкатиться
https://www.youtube.com/watch?v=4W5M-YaJtIA
https://www.youtube.com/watch?v=cCeUdTXZJHs
Ценность всех предыдущих исследований в области фолдинга (коих было довольно много) была помножена на 0. Все люди, которые этим занимались, что еще не получили тенюр, пойдут на помоечку - конкурировать с дипмайндом и их триллионами ТПУ они все равно никогда не смогут. Все по биттер лессону. Его нужно высечь на камне.
Машоб продолжает подминать под себя науку. Еще один пример, как замещение людей начинается сверху пирамиды. В первую очередь замещаются самые высокотехнологичные и интеллектуальные работы (мало областей более головоломных чем фолдинг).
1. Во-первых, AlphaFold не решает проблему фолдинга. В том смысле, что они предсказывают финальную структуру, но ничего не говорят о том, как она достигается в живой клетке. Практически идентично, в миллиардах живых клеток, ежесекундно. Но именно на нарушении (а правильнее даже сказать управлении) процессом фолдинга в живой клетке основаны эффекты многих мутаций и лекарств.
2. Они тренировались на полном банке PDB и, соответственно, предсказывают такие же усредненные структуры. Для многих белков, например Ca2+ зависимых сенсорных белков, которые кардинально меняют конфигурацию в зависимости от условий, это может иметь очень существенный эффект.
Более того, по-факту, AlphaFold предсказывает только ограничения на положения некоторых аминокислот и фрагментов белка, которые потом собираются в финальную структуру старыми добрыми алгоритмами и подходами родом из 90х, если не раньше. (google Modeller)
3. Текущие метрики приводятся на основании данных по доменам, но не целым белкам. Некоторые белки состоят из заметного числа доменов, чья взаимная пространственная ориентация может иметь существенный эффект на структуру и функцию белка. Особенно в динамике.
4. Точно предсказания даже по Ca атомам все равно весьма примерная. Цитата: These are for single domains-not whole proteins-and there are a few poor predictions. So corner cases remain but core problem appears solved: 88% of predictions are <4Å, 76% <3Å, 46% <2Å.
При этом даже 0.6Å достаточно (https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5069389/), чтобы кардинально повлиять на результаты докинга и, соответственно, дизайна лекарств.
Не говоря уже о положениях отдельных боковых радикалов аминокислот. Там нередко одна аминокислота может сломать весь докинг/моделирование реакции. И люди десятилетями бьются чтобы понять, в какой же конфигурации и состоянии эта аминокислота (привет-привет Glu197 в ацетил- и бутирил- холинэстеразах человека. Остаток, из-за которого, в том числе, до сих пор нет эффективных антидотов для органофосфатов. Все же помнят Навального и "Святой источник"?)
5. Автоматизированные высокопроизводительные подходы порождают иллюзию уверенности. Вот сейчас-то мы сможем все! Структурная биология встала с колен, хо-хо! Нет. Достаточно посмотреть на предсказанные структуры (https://zhanglab.ccmb.med.umich.edu/COVID-19/) всех белков SARS-CoV-2 одним из лидеров упомянутого CASP challenge. Их нуклеокапсидный белок (для которого, между прочим, известно аж 60-70% структуры в виде X-ray структур!) не вызывает ничего, кроме истерических слез. Но, я более чем уверен, кто-то на полном серьезе будет делать докинг препаратов в нее и на голубом глазу утверждать, что вот сейчас то они придумали лекарство!
P.S. Но вообще, конечно, товарищи молодцы. Возбудили невероятный интерес к классической теме и, если смотреть их выступления на специализированных эвентах, рассказывают все аккуратно и со всеми оговорками. К сожалению, популяризация снова победила науку :(
И, конечно, ждем детального описания и кода, чтобы поиграться! xD
Предистория такова: пошел в магистратуру, именно на ии потому что там самые адекватные и лояльные преподы на факультете кн в моем универе. Надеялся что действительно будет время всем этим заниматься, но на практике понял что после работы сидеть еще учиться желания не сильно много. Петпроджекты по своему профилю писать и то интереснее (а главное полезнее).
Но все же дойти до победного конца нужно, сдавать через полгода, хочу потихоньку уже начинать.
Опять же, всерьез что-то делать самому ни времени ни особой мотивации нет, хотелось бы взять что-то +- готовое, слегка допилить, налить воды в диплом и сдать. Офк после сессии (если сдам конечно) пойду с вопросом выбора темы к дип руку (ее ж еще и утвердить нужно заранее).
Работаю мидлом-андроидом, поэтому если можно будет прикрутить к мобилке (на tf lite или что там еще модно, боюсь что самое очевидное - ARCorе тупо взять не прокатит) и показать таким образом работу в дейтсвии - будет круто.
Это уже сделано многократно.
ethnicity estimate
Вот есть у меня плоский слой A, за ним следует плоский слой B из, допустим, 10 значений.
Слой B = [слой A] x [веса] + [биасы]
Как определить значимость значений в слое A? Я могу получить значения весов и биасов, а дальше-то что? Формулы самому с нуля определять не хочется
Я прочитал https://www.nature.com/articles/d41586-020-03348-4 , а не "спасение рядового манямирка" для нечеткого петуха.
Как обычно. Какой-то успех это вызывает жжение в жопе и резкий гуглинг удобных манямирку постов, который это самое жжение немножко уменьшит. В этом посте будет классическое "вы находитесь здесь.тхт" с обязательным мнением какой-то пидорахи с десятилетним стажем, что не, это все хайп.
Почему пидорахи? Потому что живя в депрессивном окружении охота отрицать любой прогресс и доебываться до чего угодно.
А для отрасли это alexnet. Теперь все вот эти столбики на первой картинке будут заниматься нейронками, и суммарно продвинут подход еще дальше, чем это сделала одна команда.
Особенно поржал с
>Достаточно посмотреть на предсказанные структуры (https://zhanglab.ccmb.med.umich.edu/COVID-19/) всех белков SARS-CoV-2 одним из лидеров упомянутого CASP challenge
То есть он не видел даже прикрепленных с посту картинок выше, но уже побежал строчить пост о том, что "азаза глупые журналисты в Nature)))". Как обычно, короче.
Увидете очередного с "усталостью металла" - насмехайтесь над ним.
Все так, только серые столбики пойдут искать еду в мусорных ящиках, а не нейронками заниматься. Во-первых у них опыта профильного нет, а во-вторых, чтобы те нейронки тренировать, им таких грантов не дадут. Это миллионы стоит. Это все равно что сказать, что те, кто занимался машинным переводом по фразам (подход нулевых), сейчас вдруг перейдут на ГПТ3. Да нет, не перейдут. Перейдут на помоечку.
Фолдинг - это оптимизационная задача, люди, которые над этим работают, достаточно продвинуты, чтобы переучиться, как уже лет 5 как сделали специалисты по компьютерному зрению. Наука вообще подразумевает умение постоянно использовать что-то свежеоткрытое. Поэтому этим людям дают деньги, а не потому что их phd ниибаца актуален, а их умение писать код под MPI особо выдающееся.
А твоя дрочь на то, что ML якобы очень дорог по сравнению с любой другой наукой, просто никакого отношения к реальности не имеет. ML очень дешев и дешевле других методов, особенно экспериментальных. На реддите была инфа, что экспериментальное изучение одного белка сейчас стоит 100 тысяч долларов. Если вычислительные методы позволять отбрасывать хотя бы 90% априори неудачных вариантов, это удешевит разработку на более значительные суммы, чем стоимость GPU-кластера.
Скажите, а почему среди МЛ-щиков такой зашкаливающий процент русофобов и антисоветчиков?
Стоимость эксперементов нерелейтед к тому, что я сказал. Никто не даст микрочелику, занимавшемуся всю жизнь традиционным фолдингом, сжигать миллионы денег на тренировку гига-модели с 1000 слоев трансформеров впервые в жизни. Наймут опытного тф-слесаря вместо него, а еще лучше скачают уже натренированное и посядят макаку кнопку пуск давить.
В целом ясно, что это прогресс для отрасли как таковой. Вот только те серые столбики сейчас имеют вид пикрела. Все это круто, но не для них.
А когда-нибудь (скоро) придут и за самими машобщиками.
Ждем теперь квантовых физиков на мороз.
Вот так ученопитухи вкусят биттер лессон и отправятся на мороз. все отправятся на мороз.
Уже были репорты в нейчер, когда нейроночки какие-то там дифуры из квантмеха круто решали, пару лет назад.
Вот бы они взялись за квантовые компьютеры. Яйцеголовые уже 30 лет не могут родить, может нейроночка нам зделоет. А потом эти же нейроночки на этих же КК тренировать можно будет - это ужс что начнется.
Лол, у тебя такое клиповое мышление, что ты из двух абзацов запомнил только второй. Перечитай первый. Ученые - не птушники, за свою жизнь переучиваются новым парадигмам постоянно. Но то они и ученые. А работать на стремительно меняющейся области более интересно, чем в стагнирующей, в которой 20 лет не было прогресса.
Вообще похуй. Есть конкретный человек, который понимает в фолдинге - то есть решении сложной оптимизационной задачи с использованием софта, который считается на кластерах, скорее всего он неплохом уровне знает python, C++/MPI, и матан, а скорее всего там уже сработанная команда. И вот по-твоему этот самый человек не способен освоить DL, ведь это колдунство, доступное только зумерам-вкатывальщикам.
У меня есть задача поиска глобального минимума функции около 10-40 аргументов, одно вычисление функции будет больше минуты точно, много локальных минимумов. Поскольку функция тяжелая логично использовать параллелизацию. Особенно если учесть что в генетическом алгоритме можно независимо вычислять значения функции у конкретных "особей". А кроме того у меня есть доступ на кластер с десятками узлов.
Именно по этому однопроцессорный scipy.optimize.differential_evolution не сгодится.
>А кроме того у меня есть доступ на кластер с десятками узлов.
Что-то типа https://pypi.org/project/mpipool/
Отличное видео про GAN'ы, про состязательную генерацию, генерацию без пар примеров.
Нашему раздевальщику бы генерация без пар помогла
https://2ch.hk/h/res/165538.html
Что-то ты совсем контент для мимопроходивших принес. Имхо, вот получше.
https://youtu.be/b9WGTTPhXFk
Понятия не имею, я не разбираюсь в MPI, в особенности для питона.
Суть в том, что ты берешь функцию типа YobaPool.map типа и скармливаешь ее в качестве параметра workers как указано в документации на скриншоте.
Можешь использовать https://mpi4py.readthedocs.io/en/stable/mpi4py.futures.html?highlight=pool#mpi4py.futures.MPIPoolExecutor.map , можешь mpipool.Pool.map , чем они отличаются не знаю.
Вот это всё примерно понятно. Но вопрос-то был в том, а какого собственно хуя нет в сети открытой библиотеки с параллельным генетическим алгоритмом.
Не я всё прикрасно понимаю, нет значит нет. Либо пишу свое, либо использую другие инструменты, либо переформулирую задачу.
> Вот это всё примерно понятно. Но вопрос-то был в том, а какого собственно хуя нет в сети открытой библиотеки с параллельным генетическим алгоритмом.
Да в общем-то все генетические либы скидывают всё на разработчика. Хочешь паралельности - делаешь паралелльность. Алсо, GA достаточно простая вещь. Можешь и без фреймворков собрать.
> вопрос-то был в том, а какого собственно хуя нет в сети открытой библиотеки с параллельным генетическим алгоритмом.
Есть. Но не для пистонохолопов https://cran.r-project.org/web/packages/GA/vignettes/GA.html#parallel-computing на пистоне вообще много чего нет из нормальных алгоритмов, зато есть вся соевая поебень. Я вот искал что-нибудь для grammatical evolution для пистона, нашел только какую-то хуету.
Со статистикой, программированием и базовым ML и так дружу, работа уже есть, просто пытаюсь развиваться дальше.
>ученопитухи вкусят биттер лессон и отправятся на мороз. все отправятся на мороз
Ох уж эти мечты птушника. Ты потому и занимаешься макакингом что не понимаешь: "предсказывание исхода явления" понимание не заменяет даже если оно на 99.(9)1% точно, просто потому что наука в первую очередь про второе а не про первое. Как примерно любую олимпиадную задачку с огромными входными данными можно решить брутфорсом если подождать достаточное количество времени, вот только никто это "решением задачи" не называет кроме тупарей только на брутфорс и способных. Забавно как машоб становится последним прибежищем low iq брейнлетов, лол.
>Да, кстати чистым математикам тоже приготовиться.
Ну, ещё одна иллюстрация непонимания в копилку. "Автоматические доказатели" это маргинальная тема, на которую настоящим математикам насрать по большему счёту.
> "Автоматические доказатели" это маргинальная тема, на которую настоящим математикам насрать по большему счёту.
В данном конкретном случае дело больше в том, что те, кто называет себя "настоящими математиками" в массе своей просто не могут в разные теории типов, на которых такие пруверы основаны, так как это не только выходит за пределы их компетенции, но и требует принципиально нового мышления. Отдельные из них, самые одаренные, поступают ещё проще - заявляют, что математика за пределами их мирка это вообще не математика.
Если хочешь естественными одномерными сигналами заниматься, то обязательно. Если картинками - желательно. Если вещами типа NLP - не нужно. Короче, там где CNN, там бывает нужна обработка сигналов.
В детали алгоритмов можно не вчитываться, просто нужно знать, например, что a[::4] - херовый способ сконвертировать 44100 кГц звук в 11025, а librosa.resample - нормальный. То же касается и картинок, некоторые не знают, что ужимать котика в 224х224 пикселей надо с помощью Image.resize(), а не тупо отбрасывая каждый энный пиксель.
Или другой пример, для обучения сетки, которая восстанавливает некоторые данные, есть сетка, которая их ухудшает из чистых данных. И некоторые люди делают так, чтобы они работали в одном разрешении. И получают более хуевый результат, чем если бы деградатор (которого в продакшене не будет и он может быть очень тяжелым) работал бы в повышенном разрешении с последующим ресайзом к нужному.
В целом в контексте нейронок
1. Spectral analysis - для понимания того, как устроены речевые фичи, хотя лично я за raw сигналы
2. Filtering/Convolution - для аугментации
3. Resampling - довольно важная фундаментальная вещь, на незнании которой я периодически ловлю даже авторов пейперов, не говоря уже о китайцах с гитхаба.
Все остальное либо готовит к этим темам, либо не нужно (как вейлеты), о чем 3 последних пункта не знаю.
В общем, имеется множество X и множество Y, элементами которого являются мультиподмножествами X. Также имеется полученная на опытных данных Y' таблица вида (Xi, Xj, Qi,j), где Qi,j = | ∀y ∈ Y' { y, где { Xi, Xj } ⊆ y } | количество наборов, в которых встречается данная пара
Задачей стоит определить степень родства элемента Xa с набором { X0, ..., Xn }.
Какой-нибудь байесовский классификатор тут нужен или что-то подобное, не?
Маняпрофессор на маняпрофессорской должности может рассуждать о том куда идет индустрия, а анон на своей должности должен делать что сейчас выгодно
> подача это абстрактная субъективная хуйня
https://youtu.be/Smfj9reCwBo?t=29
Мы и делаем, кушоть-то надо что-то. Но и порассуждать тоже не дураки, по рассуждизмам я Саттону еще фору дам.
То, что он сказал это нетривиальное наблюдение, которое предсказывает куда все идет. Оно совершенно верно, и оно сильно бьет по эго некоторых интеллектуалов, которые считают свой разум пределом совершенства. Это идеальная комбинация для форса. Биттер лессон будут заталкивать в глотки анонам, пока у всех не наступит принятие.
>Какой нахуй экспоненциальный рост вычислительных мощностей?
Саттон просто отрабатывает интересы бигтека, им деградация знания за счёт форса дорогостоящих якобы универсальных методов выгодна как средство монополизации, вот и несёт хуйню про пользу забивания гвоздей микроскопами.
Я это понимаю, что не нужно читать статьи от бездельников из Стэнфорда и лучше дождаться статьи от ФААНГа. Потому что Гугл делает Берт и Эффишнтнет, а профессора из Гугла ищут в них гендерный байас и добавляют сверху цепи Маркова, и каждый раз одно и то же .
Это уж как повезет. Сделает хештег #бойкот_гаглу, если народу зайдет тема про гигакорпорацию, угнетающую женщин и детей (а это хороший, сочный мем), то их начальники могут заставить Гугл Брейн в полном составе встать на колени, чтобы рекламные доходы не падали. Полицейские встали, и эти встанут, никуда не денутся - жить-то все хотят.
Не. Такая метрика будет обратно пропорциональна длине "набора", что неправильно.
Хм. Пожалуй, точнее было бы сказать, что нужно определить не степень родства, а вероятность существования такого y, который бы включал в себя и данный "набор" (назовем его S ⊂ X), и X_a. Короче, P(∃y ∈ Y: S ⋃ { X_a } ⊂ y).
Теорвера я не помню, но интуиция мне подсказывает, что ключом к решению задачи может быть теорема Байеса. На википедии нашел байесовский классификатор, но похоже, что он годится только для тех случаев, когда классы явно определены, а это не мой случай.
>если народу зайдет тема
Ты со своим школьным правачизмом так и не можешь понять, что нет никаких тем которые куда-то там "заходят" каким-то "людям", а есть просто бабки, которые и определяют повестку. Без желания людей с бабками вопли твиттерских додиков не имеют никакой силы; ну и весь трагизм последних в том что после того как трампа подсрачником выгнали из белого дома они вместе с блмщиками больше никому не нужны.
>они вместе с блмщиками больше никому не нужны.
Ну-ну. Беги за изолентой, скреплять треснувший манямирок:
https://www.nasdaq.com/press-release/nasdaq-to-advance-diversity-through-new-proposed-listing-requirements-2020-12-01
Скоро без 1+ черного (под расовой дайверсити понимается исключительно черные) и 1+ алфавитного в совете директоров не сможешь выйти на биржу. А может, и уже вышедших повыкидывают. А на этой бирже, ну считай вся мировая экономика там происходит.
> есть просто бабки, которые и определяют повестку. Без желания людей с бабками вопли твиттерских додиков не имеют никакой силы;
И как ты это видишь? Как бабло может повлиять на ситуацию, когда реально мотивированная фемка использует реально работающие в обществе механизмы для достижения поставленной цели? В каком месте тут бабки могут что-то изменить?
>Не. Такая метрика будет обратно пропорциональна длине "набора", что неправильно.
Все хуже. Чем больше у тебя набор, тем меньше вероятность, что он существует.
Допустим у тебя все наборы {1,2,3} имеют вероятность 1. Вероятность {1,4}=0.5, {2,4}=0.5, {3,4}=0.5. Какова вероятность {1,2,3,4}? В 0.5^3 раз меньше, потому что тебе нужно, чтобы твои пары одновременно принадлежали одному набору, а наоборов у тебя много.
Если это не так, ты что-то не учел, например, корреляцию между парами, то есть что-то типа "если {2,3} встречается, значит, скорее всего, {2,4} тоже будет встречаться".
Чтобы избавиться от этой множественной криптографии, назовем Y матрицей, в которой строки - это сами элементы, а столбцы - описывают с помощью 1/0 есть ли элемент в X или его там нет.
Вероятность того,что пара встречается в матрице вообще:
P(пара)=q_пара/sum(Q)
Вероятность того,что пара встречается в какой-то данной строке:
P(пара ⊂ строка)=P(пара)/N_строк (1)
Нужно найти, что тапл встречается в строке. Для этого попарно перемножаем вероятности (самое отстойное предположение - что корреляций межу парами нет):
P(тапл123 ⊂ строка)=P(пара12 ⊂ строка) x P(пара23 ⊂ строка) x P(пара13 ⊂ строка)
Подставим (1) и домножим на N, чтобы избавиться от "⊂ строка" везде.
P(тапл)=N x P(пара12) x P(пара23) x P(пара13)/ (N^(число_пар_в_тапле-1))
Пусть L=длина тапла, тогда число_пар_в_тапле это L(L-1)/2.
P(тапл)=P(пара12) x P(пара23) x P(пара13)/ (N^(L x (L-1)/2-1))
Избавляемся от констант, заменив показательную функцию на экспоненту:
Yoba(тапл)=P(пара12) x P(пара23) x P(пара13) x exp(-L^2)
Как-то так.
Например, я сохраняю GAN:
torch.save(G.state_dict(), PATH)
torch.save(D.state_dict(), PATH)
Как мне дальше подгрузить модель с учётом вот этого:
https://pytorch.org/tutorials/beginner/saving_loading_models.html
Достаточно ли будет просто:
G.load_state_dict(torch.load(PATH))
D.load_state_dict(torch.load(PATH))
Или надо предварительно объявлять:
G = TheModelClass(args, kwargs)
D = TheModelClass(args, kwargs) ?
А что насчёт использования CUDA?
Загруженные модели всё равно надо туда класть через to(device)
1 человек
Вообще, да. Поставьте себя на место разрабов. Потратили миллиарды, а в итоге их проект уже устарел. "Вась, всё хуйня, давай по-новой."
Ясное дело выгодней существующий проект допилить, чем заново миллиарды тратить. Однако, думаю на обучение performer/refomer уйдет меньше денег, учитывая, что датасет есть.
Реформер тоже линейный. Как и линформер. Как и бигберд. Последний год вообще прошел под флагом O(n)-трансформеров.
Там главное не это, а то, что
1. В отличие от реформера, статья утверждает о нулевом перформанс дропе по сравнению с оригинальным трансформером и приводит графики, их сравнивающие
2. Модели совместимы, то есть уже натренированную модель можно сконвертировать
В целом я думаю, что они хотят/хотели собрать побольше всякого рода фишечек и трюков, прежде чем опять сжечь 10 миллионов баксов на большой модели. Перформер, конечно, хорош, но похоже что он недоисследован. В частности, почему аппроксимируется именно softmax.
Именно в ГПТ от линейности по контектсу, возможно, не так и много проку будет. Контекст у них не очень большой (2048 токенов в ГПТ3).
С фиксированным контекстом можно все так заоптимизировать, что даже формально квадратичную сложность будет трудно побить. Из-за дополнительной сложности асимптотически более быстрый алгоритм может проиграть.
Конечно, с более эффективным алгоритмом можно было бы расширять контекст. Но тексты там - веб странички, которые короткие обычно. То есть выигрыш може быть минимальным, потому что длинных тренировочных данных мало.
Хотя тут не все так радужно
Чендж май майнд.
Эй, пошли в мусорных баках копаться, там свежачок завезли
За счет чего? Там все оптимизации - это как распихать это говно по видюхам и серверам, и как между ними обмениваться данными, весами и градиентами. Но само перемножение матриц остается перемножением.
>>1873319
В "персептронных" (почему так?) сигналы у тебя кодируются векторами, в спайковых - частотами в некотором одномерном сигнале в времени.
На лицо вычислительная избыточность - грубо говоря, вместо операции типа "если на входе 6, выдай на выход 4" у тебя получается "если на входе спайки с частотой 6, выдай на выход спайки с частотой 4". Вместо простой арифметики целое физическое моделирование.
Поэтому если нет подходящего какого-то полуаналогового железа, которое будет бесплатно считать соответствующие спайковым нейронам диффуры, что в них хорошего. Поэтому я особого смысла по сравнению с обработкой векторов не вижу.
Главная фишка биологических сетей в том, что у них нет глобального бэкпропа и каждый "вычислительный модуль" работает параллельно, по каким-то волшебным сигналам из внешней среды адаптируя свои веса. Вот это эффективно делать не умеют, а мозг, судя по всему, умеет.
https://yakovlev.me/para-slov-za-alphafold2/
Есть ли такая уже натренеованная нейросеть? (я ньфаг в этой теме)
В каком формате вообще имеют ход данные о натренированности? Это тупа записи в БД?
Кто-то может пояснить смысл cat_features? Это названия признаков?
По документации что-то не догнал.
https://catboost.ai/docs/concepts/python-reference_catboostclassifier_fit.html
писючки))))
Validation rmse: 4.480288278511864
Пиздец, нахуй так жить, посоны?
> вы находитесь здесь
Ну я пока в гридсерч кучу параметров запихнул, пусть ищет. Пока сделал апсемплинг до 140 примеров в каждом классе, скураси на трейне до 93 поднялась, на вале 84. У меня кстати в датасете текстовых колонок в разы больше чем float. Сделал я one-hot и вот думаю, стоит ли нормировать числовые до [-1;1]. До этого пробовал, значительного прироста не увидел. Мб есть какие то лучшие практики что делать в случае разных типов колонок?
> а как же Путин?
А что Путин? Дедушка старый, ему главное - покакать. На бумажке что-то там написали, он зачитал. Какой в Блинолопатии машобчик, хоспаде. Своего вообще ничего нет, Вапник сьебал давно в цивилизованный мир, Червоненкис не сьебал и замёрз насмерть на улице, как собака. Максимум, у китайцев что-то купят для электронного ГУЛАГа, и твои личные данные зекам сольют, у грефа давно, а главное, официально совместные проекты с ФСИН.
https://www.youtube.com/watch?v=i1PkfRbGx6s
Вот тебе лекция "машинлернинг для кабанчиков из РАНХигс" будущих чиновников и налоговиков.
Рассказывает натуральный жирненький кабанчик.
Может быть, когда-нибудь в следующей жизни. Пока что не осилили. Со всеми своими Яндексами, тысячами синьоров пиздаболов 3000кккк/сек типа того зумера, что здесь форсят, любым баблом, админресурсом и неподсудностью за нарушения любых прав человека типа свободной торговли личными данными итд.
>Что ты имеешь в виду под "программированием"? Какой стек?
Чет лолирую с вкатунов в этом трхеде
>Кодомакака бушует, забей
А и не нужно никаких диких алгоритмов чтобы обыгрывать онлайн обрыганов, там самые простые из прошлого века и так прибыль дают. Насколько я знаю главная хитрость ботоводства в покере не в алгоритмах, а техническая: как делать чтоб не палили, антифрод покерских контор жутко сложный и проприетарный чуть более чем полностью.
>диких алгоритмов
Там в каком то пендоинституте целое подразделение ИИ было, которое исследовало ботов и писало паперы. Потом они нашли не плохой алгоритм, дропнули институт и основали какой то там онлайн покеррум. Лол, поэтому пеперы для пидоров, в них сливают всю воду матанолохам.
Соглашаюсь и не соглашаюсь с этим аноном:
Покер сильно зависит от удачи. Чтобы застраховаться от неудачного доезда сопернику выигрышной карты (что случается довольно часто даже при идеальной стратегии), принято брать с собой за стол только маленькую часть общего банкрола (по классике 1/50). С ботоводской точки зрения это значит что ты можешь орудовать только 2% тех денег, который оставляешь в заложниках похер руму. Если же тебя обвинят в ботоводстве или читерстве тебе вообще нихера могут не вернуть, поэтому цена ошибки довольно высока. При этом люди, которые действительно могут обучить нейросеть играть в покер и интегрировать это в более-менее беспалевное ПО скорее всего могут на изи пойти на галеру за жопочасы и получать пару К без риска (и особо не напрягаясь если честно).
> Иранский физик-ядерщик Мохсен Фахризаде был убит из пулемета с искусственным интеллектом и спутниковым наведением, заявил заместитель главнокомандующего Корпуса стражей исламской революции Али Фадави. Часть экспертов относится к этой официальной версии скептически.
> По словам контр-адмирала Фадави, из оружия было выпущено 13 пуль. Они попали в Фахризаде, проезжавшего по близлежащей дороге в бронированном автомобиле, но не задели сидевшую рядом жену. Пулемет был установлен на припаркованном в отдалении от дороги автомобиле "Ниссан".
> Пулемет "навелся на лицо мученика Фахризаде с помощью высокотехнологичной камеры, в нем были применены технологии искусственного интеллекта", - цитирует иранского военачальника агентство Мехр. Четыре пули попали в начальника охраны, который закрыл собой Фахризаде, добавил Фадави.
> При этом автономное оружие, по его словам, "контролировалось онлайн с помощью спутника", люди в нападении на конвой Фахризаде не участвовали. Иранское информационное агентство Фарс сообщало, что после убийства Фахризаде автомобиль самоуничтожился при помощи взрыва.
Понели, да? Просто стоит пустая припаркованная машина и срисовывает еблишки всех проезжающих мимо, хоть неделю подряд. А нужного пассажира прямо на ходу нашпиговывает свинцом, вместе с прикрывшим его охранником, при этом даже его жену не задевает. После чего самоуничтожается, чтобы скрыть все улики.
Так у меня вопрос не про огромную сеть ботов, а про стабильное обыгрывание с помощью хоть каких алгоритмов. Что мешает в одном окне открывать окошко с покером, а в другом покерный аналог stockfish, вводить состояние стола, получать лучший ход и медленно собирать профит?
>>1875653
Тимнит Гебру, спок!
С ноута или второго компа параллельно можно. Ну и полно турниров без камер.
Если уже 15 лет есть алгоритмы, позволяющие стабильно выигрывать средних игроков, то в чем проблема?
Вот в шахматах проблемы нет, просто там не играют на деньги, а ради рейтинга на сайте таким заниматься никто не будет.
>>1875969
А вот и воннаби математики-датасаентисты.
>при любом упоминание минимальной математики
Не при упоминании математики, а в ответ на вскукареки про ненужность программирования.
>баттхерт от того, что они работают с формальными системами, но ниасилили достаточный уровень абстракции для математики
Продут работы датасаенса - это точно такая же программа, как и все остальное. У меня горит от качества кода и нехватки нормальных программистов в этой сфере, и от того, что приходится работать с подобным говнокодом.
кодомакака
Но это твоя роль и есть. Я чищу данные, ты чистишь мой код. Невозможно писать продакшен-код, когда ты экспериментируешь с данными.
Мне нет смысла делать все гибко и стабильно. Я делаю прототипы и разрабатываю методы. Когда я все сделал, ты уже делаешь индустриально, на чем хочешь, докеры там, веб-сервисы, что от тебя нужно. Если до этой стадии вообще доходит дело - в науке все заканчивается на пруф оф концепт, например. Там макаки почти не заняты.
Как аналогия, я работаю в лаборатории, а ты на заводе.
Или от математики горит дипшизик?
Я запутался
Тут есть резидентные шизы, но помимо них также заходят продемонстрировать свою фрустрацию и мимонапомоечники.
В рахе полно ваты, люто ненавидящей любой прогресс. Еще с совка традиция. Кибернетика лженаука, генетика продажная девка капитализма, или какие там им мантры читали с ТВ. Эта культура, плюс осознание того что ты остался на обочине жизни и видишь как все уходят куда-то далеко в недоступные тебе высоты, и дают такую реакцию повсеместно.
>>1876069
А вот не были бы вы оба безграмотными школьниками, знали бы что "кибернетика" это невнятная полушизоидная водичка про "управление", к тому как компьютеры изменили мир имеющая опосредованное отношение.
Учите математику братцы, а то мозги стремительно деградируют. Ибо технологии и фреймворки приходящи, а теоремы Пифагора и Атьи-Зингера вечны.
>Невозможно писать продакшен-код, когда ты экспериментируешь с данными.
Нормальный код писать можно, хотя бы с соблюдением PEP8 и адекватной структурой, а не хуячить все в один файл со строчками по 300 символов.
>Я делаю прототипы и разрабатываю методы.
Если ты выкладываешь код в открытый доступ, то твоими прототипами потенциально будет пользоваться все научное сообщество. Даже если не выкладываешь, то работаешь наверняка не один, и не один вечер. За говнокод тебе не скажут спасибо в любом случае.
>Если до этой стадии вообще доходит дело - в науке все заканчивается на пруф оф концепт, например.
Нормальные исследования завершаются созданием работающих моделей и систем, готовых для продакшена.
В то же время, абсолютное большинство исследований - это попил грантов и намеренная обфускация эксперимента и результатов. Не получается сделать ничего работающего? Иди в науку и пиши пруф оф концепт! Такие "исследователи" хуже даже кодомакак, которые хотя бы делают что-то полезное.
>Нормальные исследования завершаются созданием работающих моделей и систем, готовых для продакшена.
Нет. Димпайнд, который двигает диплернинг, вообще редко код выкладывают даже для воспроизведения. Если кто и выкладывает, в большинстве случаев это ноутбуки. Но и это не обязательно. Нет в науке никакого продакшена, кроме статей.
Оба горят, но по разным причинам. Нечеткий - конструктивист-кефирщик, отрицающий мейнстрим науки (https://2ch.hk/math/res/65396.html#76607).
Дипшкольник уверен, что биттерлессон дает ему право не заниматься собственным образованием вообще - это все для дедов, из которых песок сыпется.
>Димпайнд, который двигает диплернинг, вообще редко код выкладывают даже для воспроизведения
Выкладывают, причем иногда есть даже юнит тесты:
https://github.com/deepmind/deepmind-research
https://github.com/google-research
https://github.com/facebookresearch
В статьях как правило скрывают все неудобные факты, и в целом подгоняют результат. Получается, что заебись все только на бумаге, а реально использоваться никогда не будет по ряду ограничений. Более того, ты можешь в наглую завысить результаты, и никто об этом не узнает, поскольку воспроизвести эксперимент очень сложно. В общем, нет кода = пиздабол.
>У них тысячи статей ежегодно
За 2020 около 200 штук.
>И в том репо дипмайнда одни ноутбуки.
Есть проекты без ноутбуков, а у гугла и фейсбука их еще больше.
Тем более что проблема не столько в ноутбуках, сколько говнокоде. У димпайнда с этим все хорошо. Еще возможно, что код в ноутбук они засунули лишь на самом последнем этапе. Собственно, для этого ноутбуки и нужно использовать - они хороши для презентации результата.
Что, даже противопоставить ничего не можешь, да?
С тем же успехом я тоже могу пейпер написать, с графиками, энтропиями. И что же. Ты давай реальные пруфы, а не манятеории.
Какие пруфы ещё тебе нужны? О каких манятеориях ты говоришь? Пейпер написан Пьеро Скаруффи, и, в отличие от тебя, он занимается ИИ профессионально всю жизнь.
https://en.wikipedia.org/wiki/Piero_Scaruffi
Нереферируемая научпоп-книжка в качестве пруфа. Оок.
>The real innovation in Ng’s approach was the idea to use GPUs. That simple idea made it possible to train multi-layer neural networks.
Какой-то мудачок-хайпожор не в курсе, кто именно начал тренировать нейронки на GPU. То есть буквально не стал копаться в истории - нахуя это вообще, а тупо написал имя того, что прочитал в хайповых блогах или услышал в том кафе, где покупает смузи.
Дальше идет параграф про NLP и его очень смешно читать в книжке 2016 года. Ждем новое издание, где он опять напишет "ваш прогресс не прогресс, нет никакого прогресса". Хррртьфу.
а нормально написать можешь? что еще за "объекты"?
из сотен возможных моделей придется выбирать осмысленную и описывающую реальные процессы, а не секретный уровень CO2 в твоих секретных пуках.
И вот тебе первая модель в Tableau:
Для динамики нужны дифуры. Если в конечных разностях, то что-то типа (y-y[i-1])/dT=ay[i-1]+bx (апериодическое звено первого порядка). Если смотреть на нейронную сеть, то апериодическое звено первого порядка она повторит легко, если завести выход нейрона на вход (возможно через еще один нейрон, выполняющий роль "сумматор+запаздывание на такт"). ХЗ, тренируют сети такой структуры или нет...
Это будет не модель "выбросов" (возмущений), а некая динамическая модель объекта.
На "выбросы" (возмущение) нужно отдельную нейронную сеть тренировать, она вполне неплохо повторит "типовой шум" (с особенностями, типа всплески в обед/по выходным или спад к вечеру). Но результаты нейронки с возмущениями нужно будет скармливать динамической модели объекта, чтобы получить адекватный результат (например, добавлять возмущение f к x).
Имея вторую нейронную сеть (для возмущений) на создание динамической модели объекта "на нейронных сетях" можно и забить... Просто построить примитивную динамическую модель 1 или 2 порядка (ну с 3-мя входами, или сколько у тебя их там будет).
>Ну ты бы хоть на его сайт зашел, этого мудачка-хайпожора. Потому что Скаруффи, блядь, историк, мудозвон ты поверхностный.
И что там на сайте написано, что это Великий Топ №1 который круче всех на свете? На сайте любого фрика написана подобная хуйня...
Никаким историком он не является. Он в лучшем случае автор нонфикшена для быдла, пишущий сразу обо всем, типа Латыниной. То есть чтиво прикольное, но с кучей ошибок и подтасовок, без особой претензии на научность. В худшем - нарциссичный научный фрик. Не ученый-нарцисс типа Шмидхубера, это хуй с ним (хотя довольно смешно читать самонаписанную биографию себя любимого в третьем лице на домашних страничках у обоих поциентов), а натуральный фрик с нулем достижений в той науке, которую он пытается обозревать.
А по фактам там все очень грустно и вредно. "The real innovation in Ng’s approach was the idea to use GPUs" - это ложь. Ын использовал CPU. То есть книга настолько хуевого качества, что в ней не вычитаны такие банальные фактические ошибки. Ошибки ли? Скорее подтасовки. История искажается в удобную сторону.
Дело в том, что задача - переспорить самые хайповые инфоповоды. Поэтому например здесь https://scaruffi.com/mind/ai2010.html ты не найдешь упоминание чего-то типа MobileNet. Потому что не вписывается в картинку "больше, толще, еще больше, а прогресса на самом деле нет". 2020-й год прошел и что? GPT-3. Какая неожиданность.
>поверхностный
Не, мань. Все хитрее. Книга 2016 года. Что произошло между 2016 и 2020? Например, появились трансформеры. Соответственно, так как мне неинтересно копаться в говне очередного фрика, я полез сразу туда, где он гарантированно обосрется - в параграфы о NLP и speech recognition. Потому что эти фрики всегда смотрят в прошлое, а при наступлении будущего они спасают свой манямир какой-то новой спасительной хуйней. И вот этот миг между прошлым и будущим называется "обсер". А потом идет демендж контрол, новый манямир, и так по кругу. Единственное что полезно, это тыкать подобное говно в собственные обсеры двух-трехлетней давности.
Судя по твоим графикам , у тебя экспоненциальное убывание, которое предсказать можно даже по одному графику, а потом ХУЯК и скачок, который явно результат какого-то вмешательства (ну либо что-то типа фазового перехода в веществе, что интереснее).
Без источников этих скачков нихрена ты не предскажешь.
> выкиньте всю эту чушь из головы уже
ИМХО, современное состояние нейронных сетей, это как аппроксимировать всё подряд в Excel полиномом 10-го порядка. Классно работает и через любые точки проходит... Но если ты знаешь, что у тебя зашумлённая синусоида, какого хрена порядок полинома увеличивать для получения адекватного результата? Ведь при большом порядке полинома даже между точками кривую начинает колбасить (то, что называют умным словом "переобучение"), не говоря уже об экстраполяции
Вот современные нейронные сети - это плюс-минус игры с регрессией полиномом N-го порядка в Excel. Иногда нужны качественные изменения: определённая структура сети, или корректно подготовленные данные.
>это как аппроксимировать всё подряд в Excel полиномом 10-го порядка. Классно работает и через любые точки проходит... Но если ты знаешь, что у тебя зашумлённая синусоида
Би. Тер. Ле. Сон. Бумерок, хватит пыжиться своим умишком пытаться охватить величие нейронок.
>Вот современные нейронные сети - это плюс-минус игры с регрессией полиномом
Удачи поиграться полиномом на Imagenet или в NLP-задачах. Нейронки нужны чтобы тебе не приходилось самому придумывать фичи (что в каком-нибудь компьютерном зрении невозможно). А вот если у тебя в выборке полтора объекта, то понятное дело нужно что-то придумывать.
>Ведь при большом порядке полинома даже между точками кривую начинает колбасить
Для борьбы с чем в эпоху динозавров была придумана L2-регуляризация. То есть ты ПРОСТО берешь полином побольше и добавляешь регуляризацию.
То есть пока в Вилларибо регуляризуют, в деревне Пидорасино пытаются сэкономить 1.5 флопса на том, чтобы обойтись полиномом меньшей степени, потому что иначе на советском микроконтроллере оно не запустится.
>не говоря уже об экстраполяции
Давай поговорим об эстраполяции, че не поговорить.
> image.png
Так это и есть простейшее предложение
>Для борьбы с чем в эпоху динозавров была придумана L2-регуляризация. То есть ты ПРОСТО берешь полином побольше и добавляешь регуляризацию.
>То есть пока в Вилларибо регуляризуют, в деревне Пидорасино пытаются сэкономить 1.5 флопса на том, чтобы обойтись полиномом меньшей степени, потому что иначе на советском микроконтроллере оно не запустится.
Ребёнок, блядь, колбасит полиномы не из-за того что коэффициенты большие. Пиздец, учите дети математику.
>>1876816
Я не говорю, что это плохо. Это элементарная аналогия. По-моему, она не противоречит современным реалиям в нейронных сетях.
Фанатично выводить формулы тоже не нужно, если быстрее построить регрессию с приемлемым результатом. Но также точно не нужно и уравнение регрессии выдавать за описание всего что только существует в мире. Нужно предствалять границы применимости, баги и возможности полученных регрессий/нейронок. Вот и всё...
> колбасит полиномы не из-за того что коэффициенты большие
Всё верно, анон. В математике есть хорошо развитый матанализ, сразу взглянув на уравнение видно количество экстремумов и не будет сюрпризов во внезапно возникшем пике между двумя точками.
Для нейронок такие инструменты пока не придумали... или не развили... или не адаптировали. Может лет через 10-20 оно и появится.
>>1876803-кун
У же хорошо берете пихвоиды, полностью?
Почему технологии ИИ 70-х вызывают уважение, а современные смех?
Стратегия петуха: он страшно боится обосраться, поэтому врубает менторский тон и начинает задавать НЕУДОБНЫЕ ВОПРОСЫ.
Ты высрал: "Ребёнок, блядь, колбасит полиномы не из-за того что коэффициенты большие".
Ну давай, расписывай, из-за чего будет колбасить "зашумленную синусоиду", и как же с этим делом бороться.
> кук пук не хачу ничево давай пиши мне простыни
Щас.
http://www.machinelearning.ru/wiki/index.php?title=%D0%98%D0%BD%D1%82%D0%B5%D1%80%D0%BF%D0%BE%D0%BB%D1%8F%D1%86%D0%B8%D1%8F_%D0%BF%D0%BE%D0%BB%D0%B8%D0%BD%D0%BE%D0%BC%D0%B0%D0%BC%D0%B8_%D0%9B%D0%B0%D0%B3%D1%80%D0%B0%D0%BD%D0%B6%D0%B0_%D0%B8_%D0%9D%D1%8C%D1%8E%D1%82%D0%BE%D0%BD%D0%B0
>Введите ФИО:
>Введите должность:
>Введите номер партбилета:
>Введите домашний адрес:
>Введите рабочий адрес:
>Введите номер телефона:
>Введите номер военной части, к которой приписаны:
>Введите ФИО ответственного лица:
>Введите идентификационный номер задания:
>Введите код подтверждения из Министерства Электронно-Вычислительных Приборов Больших Масштабов:
>Введите ваш уровень допуска к секретным данным:
>Выберите режим работы:
>1. Определение типа бактерии с помощью экспертной системы МОЙСЫН.
>2. Выход.
Ну, допустим есть у меня x_train и y_train (x_train[::-1])
Создал keras.sequential
model.compile(loss='mse', optimizer='rmsprop')
model.fit
А че в смысле как?
скажите плз, насколько нейронки работают в анализе облаков точек? ну или мешей и прч 3д вакханалии
слышал мнение, что они там не очень стабильные, а о риалтайме вообще можно забыть
и также вопрос, что можно почитать на тему обработки всей этой истории? самое близкое - это дифф геометрия, но поднимать такую базу нет времени, а проект сдать надо (хотя бы в mvp виде)
спасибо
Примерно так https://pastebin.com/BPYU03FJ
sequential сразу нахуй, потому что смысла в нем никакого нет.
А так, вместо линейного слоя можешь хоть LSTM хоть стек трансформеров нахуячить, суть не изменится. Работать правда хуже будет, потому что такой датасет численно говнян.
>>1877079
Всё хуйня. Ваши нейронки здесь работать не будут. Они усвоят только числа из датасета, а продолжать числа дальше не будут.
И вообще нейронки созданы для неформальных, сложных задач, к которым даже хуй знает как подойти. А у чувака формальнейшая задача, для которой можно найти математическое решение.
>>1877148
> Всё хуйня. Ваши нейронки здесь работать не будут. Они усвоят только числа из датасета, а продолжать числа дальше не будут.
Зумера... Я тут года 3 назад показывал, как инженерный калькулятор, могущий в вычисление регрессии, на датасете из 3-4 примеров может экстраполировать подобные ряды за пределами датасета. Но вы слишком брейнлеты, чтобы понять, как и почему это возможно.
>>1877148
Вы даже простую линейную регрессию не понимаете, кукарекая про нинужно и битерлесон, при этом не только лезете куда-то дальше, но и почему-то думаете, что поймёте. Зачем вы такие?
>>1877184
> Так че, не работает что-ли?
Я собрался изучать классику, чтобы не быть батхертом, а там точность чуть лучше подбрасывания монетки.
>We extract conventional Fisher Vectors (FV) [Sanchez et al., CVPR 2011] and streamlined version of Graphical Gaussian Vectors (GGV) [Harada, NIPS 2012]. For extraction, we use not only common SIFT and CSIFT, but also LBP and GIST in a dense-sampling manner.
Почему всё это ТЕОРИТЕЧЕСКИ-ОБОСНОВАННОЕ говно работает хуже чем dense-dense-dense?
Еще есть data science консалтинг местного разлива, но там у меня низкие шансы судя по требованиям. Хотя это, наверно, было бы интереснее всего.
https://deepsukebe.io
> Реально, хочешь собрать датасет из фоток имбецилов без всякого майнинга - сделай очередной пРиКоЛьНый сервис по обработке фоток.
Будто каждый первый туда загружает что-то оригинальное и свое, а не одни и те же фоточки пыни и прочий хлам, которого и так в сети тонны.
Норм, сразу видно что нейронки не говно
Как там в 2015? Уже есть stylegan и много образцов не требуется.
Технология описана например здесь https://www.reddit.com/r/MachineLearning/comments/jhl36y/p_turn_yourself_into_a_zombie_with_a_neural/
Зомби ли голые бабы, особо разницы нет
Как лучше всего закодировать признаки и что лучше всего предсказывать? Проблема в том, что углы могут накапливаться и поэтому 2pi = 0. Да и если брать остаток от деления на 2pi, то теряется знание того, что 0 и 1.99pi находятся близко.
С предсказанием аналогично - есть ли что-то лучшее чем предсказывать число от 0 до 1 и умножать на 2pi?
>Как лучше всего закодировать признаки и что лучше всего предсказывать?
Так, чтобы зависимость между альфой и тетой была максимально линейной либо монотонной, без лишних пиков и ям.
>Проблема в том, что углы могут накапливаться и поэтому 2pi = 0. Да и если брать остаток от деления на 2pi, то теряется знание того, что 0 и 1.99pi находятся близко.
Ну тебе лосс нужен какой-то специфический.
Смотри например, у тебя есть два единичных вектора с углями p и y, расстояние между концами будет
(sin(p)-sin(y))^2+(cos(p)-cos(y))^2.
Либо, косинус угла между этими же векторами вообще cos(p-y).
Вроде так.
Что-то типа этого? https://en.m.wikipedia.org/wiki/Inverted_pendulum
Всего 10 числовых признаков в датафрейме.
Параметры lightgbm модели такие вот:
lgb_params = {
'boosting_type': 'gbdt',
'objective': 'binary',
'num_leaves': 100,
'num_round': 360,
'max_depth':10,
'learning_rate': 0.01,
'feature_fraction': 0.5,
'bagging_fraction': 0.8,
'bagging_freq': 12
}
Пытаюсь определить при помощи неё важность признаков, а мне пишут [LightGBM] [Warning] Stopped training because there are no more leaves that meet the split requirements
А когда делаешь lightgbm.plot_importance, то:
not enough values to unpack (expected 2, got 0) подореваю из-за того, что там пустой список.
Как починить это?
И вдогонку, XGBRegressor у меня нормально важность признаков опеределил, надо ли его перепроверять другим способом, например, вышеприведённым LightGBM?
Или одного способа хватит?
Ну вот я тоже про синус и косинус подумал, но вот предсказывать два числа вместо одного не хотелось. Ну если это стандартное решение, то ок.
>>1881094
>Так, чтобы зависимость между альфой и тетой была максимально линейной либо монотонной, без лишних пиков и ям.
Между ними полносвязная нейронка.
>Ну тебе лосс нужен какой-то специфический.
Он уже.
Твою идею понял, но выше подсказали, что заменить на синус и косинус - нормальная практика.
>>1881110
Ну только в перевернутом маятнике не нужно предсказывать углы, там регулируется сила, толкающая тележку. Да и входные углы можно не преобразовывать, потому что они по модулю не очень большие. У меня суть в преобразовании углов в нормальные признаки.
Для фичи нормальная. Для выхода - нет, потому что у тебя синус и косинус жёстко связаны тригонометрическим тождеством, соответственно это степень свободы, лишняя и неизвестная для нейронки.
Лучше тогда уж выводить вектор (два числа) и нормировать его длину на единицу (alpha=atan2(y, x))
А лучшая мера для лосса - это cos(a-b)
Генератор пиксельных спрайтов по описанию.
На вход поступает описание спрайта в виде строчки, либо массив из тегов.
На выходе идет массив вида [0,4,2,1], где числа - номера цвета в специфичной палитре, которая задается постфактум пользователем.
То есть ты пишешь нейронке "Аниме-девочка держащаяя меч. 64x64." и нейронка генерирует спрайт.
Какую архитектуру использовать для этих целей? Насколько требовательна к железу будет эта нейронка?
Пиздец. Ну, как всегда, процедурщина и rule-based алгоритмы рулят.
Я погуглил, и нашел нормальный такой инструмент https://rxi.itch.io/tilekit , правда он платный.
>Пиздец. Ну, как всегда, процедурщина и rule-based алгоритмы рулят.
Они не рулят. Хочешь нормальные результаты - размечай датасет, или нанимай мартышек, которые сделают это за тебя. Разметка датасета стоит не сильно и дорого. За 100к картинок заплатишь тысяч пять.
Хочу вкатиться в Дата Аналитики, за душой почти ничего, что бы могло пригодится с устройством.
Для себя составил план обучения из статистики, SQL, BI инструментов, вохможно ещё Питон или R.
Насколько дибильная затея? И почему? Будет ли найти сложно работу джуну?