Очередной тред про хипстерские технологии, которые не работают.
Я ничего не понимаю, что делать? Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch) Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап. Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Какая математика используется? В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus.
Почему python? Исторически сложилось
Что почитать для вкатывания? http://www.deeplearningbook.org/ Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/ Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где посмотреть последние статьи? http://www.arxiv-sanity.com/ https://paperswithcode.com/ Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления. Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
Когда уже изобретут AI и он нас всех поработит? На текущем железе - никогда, тред не об этом
Список дедовских книг для серьёзных людей: Trevor Hastie et al. "The Elements of Statistical Learning" Vladimir N. Vapnik "The Nature of Statistical Learning Theory" Christopher M. Bishop "Pattern Recognition and Machine Learning" Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Ну што, вы готовы, дети? Аутомл на одном проце, без видеокарт, за 12 часов с нуля вкатился в машобчик, и пользуясь полученными знаниями, улучшил себя. А вы за сколько вкатитесь? То-то. > AutoML-Zero has already discovered neural networks, back-propagation, data-augmentation etc. from scratch within 12 hrs on a single CPU. It can adapt to lack of training data, required training speed and tasks. https://bigthink.com/surprising-science/automl?rebelltitem=2#rebelltitem2 Ссылочка на архив: https://arxiv.org/abs/2003.03384
>>1665671 Лол, меня уже репостят. >>1665699 Хуюшки. Я ещё 5 лет назад думал о системах из алгоритмов машобчика, по кругу дрочащих друг другу гиперпараметры, причем последний настраивает гиперпараметры первого, по типу гиперциклов Эйгена, только с произвольно сложной структурой. Сейчас есть такие алгоритмы, о которых в 2015 никто и не мечтал. В 2020 идея обучить некую совокупность алгоритмов кодингу, чтобы он мог переписывать и улучшать сам себя уже не выглядит фантастикой. Причем, в составе такой метаструктуры могут быть Ганы с дипфейками, подсистемы могущие обучаться хакингу и взламывать все, до чего добрались и прочее. При сохранении нынешнего темпа развития машобчика, вышеописанное может стать реальностью через 5-10 лет. Хокинг покойничек в свое время призывал запретить такие исследования к хуям, пока всему человечеству песда не настала. Ну а в менее жуткой перспективе нечто такое на минималках легко порешает зумеров вкатывальщиков. Тут вообще аутомла хватит.
>>1665722 > Хокинг покойничек в свое время призывал запретить такие исследования к хуям, пока всему человечеству песда не настала Не мы, так Китай, и хули?
>>1665725 > Не мы, так Китай, и хули? О, эти могут. Такая система может обучиться молекулярной биологии, и хуярить полиморфные коровавирусы, которые вообще ничем не возьмёшь, никакая вакцина против них не будет работать.
>>1666003 MNIST можно даже на буханке хлеба обучить, не то что на полносвязных слоях. Проблемы начинаются, когда тебе нужны картинки побольше чем 28х28х1
Подскажите про всякие структуры для быстрого поиска ближайших соседей. Я правильно понимаю, что добавить туда новый объект невозможно - только с нуля перестраивать?
>>1666012 >То есть тут на обучающем примере решили немного резать путь? В идеале у нас должен быть ГПУ с зиллионом флопсов и столько же памяти, чтобы просто каждый слой делать полносвязным, а об обнулении параметров пусть алгоритм думает. Но фактически это работает только на MNIST. И то в идеале тебе нужно предпринять аугментацию данных, подвигав циферки по осям x и y, иначе решение по сравнению со сверткой будет сосать, просто потому что у нейронки будет недостаточно знаний о 2D-пространстве. >>1666201 >Смысл свёртки же в том, чтобы уменьшить число параметров, учитывая при этом всю картинку. Смысл свертки во внедрении знаний о датасете в архитектуру.
Здарова бандиты, существует одна проблема, взялся за реализацию FAST RCNN с нуля, проблема собственно с ROI слоем, в инпутах у него 1 карта признаков и тензор с roi'сами вопрос, нужно чтобы изображение и как в следствии карта признаков от изображения использовалась единожды со всеми roi'сами(один раз получили карту признаков и спользовали ее для каждого roi'са), спасибо за внимание!
>>1666919 И еще такой вопрос, на пике архитектурка, справится ли керасовское обратное распространение магическим образом с CNN стоящим после ROI, или нужно будет самому обучать CNNку?
>>1666013 не отвечай этому шизу, он поехавший, про зумеров вкатывальщиков уже год кукарекает, все пришествие авто эмэла ждет, а нет до сих пор тут сидит, лол
>>1667868 далбаеб, еще раз тебе пишу, почему твоего автомла не видно в вакансиях топ компашек? Ты уже год высираешь одно и тоже, долбаеб, хоть бы почитал что да как
https://arxiv.org/pdf/2003.03384.pdf >AutoML-Zero concerns the automatic discovery of algorithms that perform well on a given set of ML tasks T . First, search experiments explore a very large space of algorithms A for an optimal and generalizable a ∗ ∈ A. The search could be random, evolutionary, etc Свободен, дурачек
Ех, слава богу автомль победит только зумеров с их няронками паршивыми, а настоящие специалисты с картами кохонесов и каэнн-каминс в безопастности так как всегда будут нужны!
>>1668007 Потому что выборки, полученные в результате ресемплинга, независимые. Не до конца обеспечивает, в random forest для уменьшения корреляции используется ещё и метод случайных подпространств.
Сука, как же заебали твари, пишущие курсы по тензорфлоу. Ни в одном курсе нет данных по интеграции, распараллеливанию, оптимизации, да даже по расчёту затрат памяти - а ведь автоматика за тебя этим заниматься не будет, это не ram, кончилась видеопамять - сасай, и похуй, что ещё три видюхи свободны. Нет, мы лучше ещё раз расскажем, как собрать свёрточную сеть для классификации котов и собак.
>>1667868 >По делу-то нечего сказать, мань? Ну что ты можешь в машобчике, чего не может automl-zero? Ни Ху Я. Во-первых, написание ТЗ и составление датасетов. Как че спарсить, пофоткать, написать скрипт для разметки и т. д. Во-вторых, написать нормальную целевую функцию. Там, где речь идет о субъективном качестве, ML сосет. Естественно, когда лосс=0, то похуй, все идеально будет. Но на самом деле любая генеративная нейронка создает артефакты, качество которых оценить может только человек, потому что человек является главным потребителем и автоматизировать это можно только если получать целевую функцию прямо из мозга. В-третьих, соптимизировать для железа. В четвертых, все, что могут подобные системы я делаю на несколько порядков лучше, потому что это не шахматы и не старкрафт, где АИ выезжает только на том, что думает быстро. Здесь торопиться некуда.
>>1668309 Не, ну и что, в этом смысле при рандом сплите трейн от теста тоже "независим" но нельзя ж сказать что качество на трейне и на тесте не коррелирует никак.
Напомните, пожалуйста, почему pix2pix может скатываться за 100-3000 итераций в черные квадраты на выходе? Пробовал уменьшать Lr, l1, gan weights - ничего не помогает. Может требуется оригинальная версия tensorflow 1.0.0, которой уже нету в репозитории? Пробовал как на оригинальном датасете так и на своем.
>>1668570 Потому что это GAN, а тренировка ганов крайне неустойчивое дело >Может требуется оригинальная версия tensorflow 1.0.0, которой уже нету в репозитории Вряд ли
Попробуй взять оригинальный датасет и не менять ничего вообще
>>1668600 вот именно, что я помню, как пару лет назад оно работало по дефолту и ни разу не сваливалось ни на каких сетах, что дефолтных, чт омоих. А сейчас все идет по пизде, причем разные имплементации. Делаешь меньше lr и все прочее- просто позже наступает черный экран. Только p2pHD работает.
>>1668601 И за счет чего это может произойти? Я бы скорее поверил что в мастер бранче pix2pix поселился бранч, чем зависимость от версии tf. Но в принципе ты можешь докерфайл собрать со старой кудой и попробовать pip install tensorflow-gpu==что-то-древнее
>>1668602 ну выдается много ошибок при выполнении инициализации. Типа древний код. Кажется проще будет самому в тф2 накопипастить новый код. А старых тф-гпу уже нету. Может быть и куда. Это все пробую п2п 512 с дополнительными слоями. Ранее запускал на 1024 имплементацию, так она работала. А сейчас и она не работает, и прочие. Такие дела.
>>1668605 >ну выдается много ошибок при выполнении инициализации Так почитай их >А старых тф-гпу уже нету Вот ты потратил 30 секунд моей жизни, и непонятно, нахуя
>>1668606 >>1668607 ERROR: Could not find a version that satisfies the requirement tensorflow-gpu==1.0.0 (from versions: 1.13.1, 1.13.2, 1.14.0, 1.15.0rc0, 1.15.0rc1, 1.15.0rc2, 1.15.0rc3, 1.15.0, 1.15.2, 2.0.0a0, 2.0.0b0, 2.0.0b1, 2.0.0rc0, 2.0.0rc1, 2.0.0rc2, 2.0.0, 2.0.1, 2.1.0rc0, 2.1.0rc1, 2.1.0rc2, 2.1.0, 2.2.0rc0, 2.2.0rc1, 2.2.0rc2, 2.2.0rc3) ERROR: No matching distribution found for tensorflow-gpu==1.0.0 ЧТО ЗА РЕПОЗИТОРИЙ, ЛИНУКСОИД
>>1668606 >>1668611 ну в общем продолжаю, исправил ошибки в коде на tf.compat.v1, но это не дало никаких результатов. Сейчас уменьшил lt до 0.000 005, а также L1 и gan weight с 100 и 1 до 5 и 0.05. Вроде как работает часа два, изменения вносятся, вроде логичные. Может скатывание в черные квадраты было связано с реально большим количеством слоев, для которых lr 0.000 02 - реально слишком много, что и приводило, как оказывается, к "победе дискриминатора" (ака черным квадратам) или генератора, не суть важно..
>>1668313 >в этом смысле при рандом сплите трейн от теста тоже "независим" Нет, это неверно. Перечитай, что такое независимость случайных величин. Величины из одного и того же распределения вполне могут быть независимыми. >нельзя ж сказать что качество на трейне и на тесте не коррелирует Коррелировать могут две случайные величины. А ты просто употребляешь термины из теории вероятностей, не понимая их смысла.
>>1667955 думаю, лет через 10 настоящий мл будут пилить только большие компании, а для большинства компаний будет достаточно фронтэндеров с "<script>from google_ai import yoba_linear_regression</script>"
>>1669033 Маловероятно. Низкоуровневый доступ к функциям будет всегда скорее всего. Зумера не знают, что первый прообраз нынешних слесарьпловов и торчей был создан ещё в 90е - штутгартский нейросетевой симулятор, SNNS. Его, кстати, очень удачно портировали в R, да и в оригинальном виде его сейчас найти не сложно. Мануал к нему - отдельная годнота, помимо прочего это ещё и серьезная матчасть по нейроночкам. Так вот, с тех пор качественно мало что изменилось. И вряд ли что-то в этой области серьезно изменится в обозримом будущем.
>>1669033 Маня-менеджеры об этом 70 лет мечтают и говорят. Вот нажмёт анон одну кнопку и у него сайт из головы сразу построится! такое будущее, которого не заслужили. А на деле, только и успевают, как менять язык-нейм на другой
>>1669085 > пишут курсы >>1669167 > Пишут курсы Инфоцыгане, цель которых - стрижка лохов, верующих что за бабло их добрый дядя научит как получать 300ккк/наносек.
>>1668921 > Нет, это неверно. Почему? > Коррелировать могут две случайные величины. А ты просто употребляешь термины из теории вероятностей, не понимая их смысла. Что имеется ввиду когда говорят про нескореллированность лёрнеров? Здесь смысл аналогичный
>>1669303 >Почему? Пусть есть выборка X, и ты разделил её на непересекающиеся выбоки X_train (длины n) и X_test (длины m). Вероятность ресемплингом без возвращения набрать X_train = 1/C(n + m, n), вероятность ресемплингом без возвращения набрать X_train = 1/C(n + m, m), это их частные распределения, но их полное распределение другое - p(X^n, X^m) = 0, если выборки X^n и X^m пересекаются, т.е. полное распределение не равно произведению частных, т.е. случайные величины не независимы. >Что имеется ввиду когда говорят про нескореллированность лёрнеров? Это хорошо написано вот тут http://www.machinelearning.ru/wiki/images/2/21/Voron-ML-Compositions-slides2.pdf на слайде 20 в самом низу. Это вполне конкретное математическое выражение, а не какие-то общие слова. А независимость следует из независимости выборок и свойств борелевских функций от случайных величин.
Я не великий специалист по терверу, но ты, похоже, даже азов не знаешь. Иди учи, они реально необходимы.
Пасаны, не обоссывайте за вопрос слишком сильно, но насколько сложно вкатится в базовый анализ сентиментов в социальных сетях имея из опыта программирования базовые навыки в питоне и опыт использования линупса? Ну и что почитать примерно хоть поясните. Пробовал искать статьи по тегам, но сразу начинать со всяких random forest и knn сложновато.
>>1669379 Не раздражайся, просто ты не очень полно формулируешь мысли, поэтому трудно понять. C элементарным тервером я знаком конечно, а вот со статистическим лёрнингом не очень, поэтому не вполне понятно в каком смысле лёрнер это случайная величина. > А независимость следует из независимости выборок и свойств борелевских функций от случайных величин. Вот это кажется ответ
>>1669436 Ты неправильно подходишь к вопросу. Сначала сформулируй задачу, а потом придумай решение. random forest и knn - методы решения некоторой задачи.
В твоём случае задача может быть multi-class classification (человек доволен/недоволен, испытывает какую-то одну эмоцию), multi-label classification (человек в одном тексте выражает несколько разных эмоций), или вообще ordinal regression (у эмоций есть градации - очень недоволен, недоволен, нейтрален, доволен, очень доволен). То, какую задачу ты решаешь - это не математическая задача, это определяется тем, что ты хочешь получить в итоге (или что хочет получить в итоге заказчик), что ты сможешь сделать за то время, что у тебя есть, с теми ресурсами, что у тебя есть, на что тебе хватит профессионализма и т.д. Короче: постановка задачи зависит от внешних причин. И то, какая задача ставится, определяет то, какими методами ты будешь пользоваться.
Далее, тебе надо sentiment analysis социальных сетей. Значит, тебе нужно изучать методы работы с текстами: твой основной объект распознавания - текстовое сообщение. Ищи сводные статьи по типу "machine learning on texts", их дохера на том же медиуме. Реально твоя работа будет выглядеть как "собрал из стандартных кирпичиков модель под задачу и начал подбирать параметры, пока не заработало".
По образованию я физик, поэтому интересуют сети с энергиями. В частности машины Больцмана. Какие есть методы ее обучения, помимо градиентного спуска? Работал ли кто нибудь с машинами с другим распределением или с топологией?
>>1669165 Сайты и фронтенд как раз останутся, т.к. сайты - это вопрос моды, стиля и прочих неизмеримых вещей. А, например, для НЛП `импорт берт фром трансформерс_хаггингфейс` уже почти всегда достаточно, если это не каггл (недостаточно, но ничего лучше человечество сейчас предложить не может).
>>1670246 Кривой, некрасивый, но читабельный. Некоторые системы распознавания с моими закорючками справляются, но хочу сделать свою, без предварительного глубокого изучения этих ваших deep learning'ов.
Вообще не представляю как и зачем ml используется в естественных науках. Вам же скорее всего надо явление понять, а не просто как-нибудь зафитится под табличку с числами, зачем в какой-нибудь физике ml вообще? Или это типа инженерия скорее, установку какую-нибудь строите?
>>1671005 >в естественных науках. Т.е. что большинство наук натягивается на теоретическое матаноговно не имеющее отношение к реальности, тебя не смущает?
>>1671027 Тебе нихуя не понятно. "Понять явление" - это пустая фраза, за которой ничего нет. Задача естественной науки делать предсказания, а не какое-то там мифическое "понимание". Естественные науки базируются на статистике. Открытый бозон Хиггса с вероятностью меньшей, чем 5 сигма, является просто совпадением на LHC. Так было всегда. Почитай статью least squares на википедии, метод был сформулирован Гауссом для нахождения орбит спутников согласно данным астрономов. В ML метод наименьших квадратов для нахождения линейной регрессией объясняется самым первым. Любые законы доказываются статистически. При этом в любой модели есть свободные параметры, например, постоянная Планка это весовой коэффициент в модели. Проблема в том, что модели усложняются намного быстрее, чем человеческие возможности успевают их описывать в удобном для человека виде. Поэтому рулят численные решения дифференциальных уравнений. ML в этом плане ничуть не хуже любого другого метода, если он работает. Собственно ML это просто совокупность практик, которые со временем выделились в отдельную дисциплину, как часто происходит в науке. Сами эти практики в том или ином виде использовались всегда.
>>1671005 В квантах используется для моделирования. Есть еба установка, ее запускать дорого. Ты позапускал ее некоторое кол-во раз, на данных обучил нейросеть генерировать результат, а потом исследуешь сеть, вместо установки. Неожиданно, но это иногда работает лучше, чем прямой анализ данных человеком.
>>1671086 > Задача естественной науки делать предсказания, а не какое-то там мифическое "понимание". Построение интуитивной модели вполне может прокатить как "понимание"
>>1671086 Понимание = выведение аналитических формул, это обнаружение закономерностей, того, что формула может работать в других видах науки. Вот что дает быстрое предсказание результатов. А куча собранной статистики, без понимания. Это так, игрушки. Интеллект у нас в мире представлен только людьми, нейронки это жалкое подражание. Которое может обогнать в узких областях, типа распознавания котиков (но фейлиться на диване с расцветкой леопарда). Вот если будет технологическая сингулярность...
>>1671086 >Задача естественной науки делать предсказания, а не какое-то там мифическое "понимание". С точностью до наоборот, наука - про то чтобы сделать обозримую человеком теорию, а не подсчитать брутфорсом кучу чисел. По крайней мере, теоретическая физика об этом.
>>1671258 ты попутал маркетинг с наукой. Теория относительности- далеко не каждому дано понять. Но это же наука. Тот же коллайдер только и делает, что изучает брутфорс реальности путем столкновения частиц.
>>1671271 > Тот же коллайдер только и делает, что изучает брутфорс реальности путем столкновения частиц. Школьник, открой для себя идентификацию систем.
>>1671258 >По крайней мере, теоретическая физика об этом. Нет, теоретическая физика не об этом. Это устаревший подход из 19 века. С появлением квантовой механики он умер естественной смертью, потому что мир оказался сложнее человеческой интуиции, которая формировалась не для того, чтобы человек "понимал" квантовую механику. Это хорошо показывают любые интерпретации квантовой механики, которые очень ограничены и фактически напоминают попытки анализировать тессеракт с помощью циркуля и линейки.
>>1671305 >потому что мир оказался сложнее человеческой интуиции Теоретическое знание оно не про интуицию, посмотри на теории струн и прочие M-теории. Тем не менее они вполне обозримы и понимаемы людьми.
Таджики здесь? Пример фамилии, оканчивающиеся на пурдухт можно? Ничего не гуглится кроме этой новости и 1.5 обсуждений. Поди сегодня и придумали эту "традиционную таджикскую фамилию", а?
Яндексойды на месте? Как там у вас с машинлёрнингом? Однажды разговаривал с знакомым знакомого сестры отца который там работает, от его слов как-то энтузиазма не прибавилось, сказал что вся работа сводится к перекладыванию табличек, использованию готового апи и поддержке существующих пайплайнов. Это похоже на правду? Во всех крупных компаниях так? Может стартапы перспективнее с точки зрения роста скилов в мле?
Аноны, которые пользуются Tensorboard, подскажите плз, можно ли как то в ручную запустить лог? Я смог создать лог (он находиться в папке, где программа), но при переходе на http://localhost:6006/ мне выдает пикрил, подскажите, а то я ща с ума сойду.
>>1671513 Да прописывал и уже понял, как раз в этом пути обосрался. Плюс в процессах висело аж 5 тенсорбордов, так что я их закрыл к хуям, запустил по новой с правильным путем, и все заработало. Все равно спасибо, анон.
Что-то обобщать и систематизировать можно тогда, когда уже наработано достаточное количества фактического материала. Строить теорию с нуля это как создавать форму без содержания, кодекс законов без субъектов ему повинующихся, правило, без отдельных случаев, из которых оно выводится и которые подтверждали бы его верность.
Ещё не утратила силу истина, высказанная Аристотелем: то, что по существу своему занимает первое место, является для нашего познания самым последним. В логически-систематическом построении науки дефиниции основных понятий занимают, конечно, первое место, но только законченную науку можно построить таким образом, - начиная с самого простого и ясного. Если наука ещё в разработке, то нужно исходить из непосредственно данных проблем, которые всегда в вышей степени сложны и лишь постепенно могут быть разложены на свои элементы. Самый простой результат мышления отнюдь не есть результат самого простого мышления.
> Выбери что то одно Не рил тайм обучать, а данные без хранения тягать. Типа, скачал батч в оперативку, отдал нейронке, пока она его обрабатывает, качать другой.
>>1671876 Ага, и код с телефона писать, конечно Не, я не отрицаю, что на современных телефонах вполне можно запускать нейронку (квантованную, со спец архитектурой) и детектировать на видео (5 фреймов в секунду). Но если у вас обучение для продакшена (и тем более ресёрч) на js - реквестирую кулстори.
> Иначе хранить придётся Если батч помещается в память, то просто скачивать с запасом в один висящий в памяти батч. Если обработка дольше, чем качать - просто ждём, пока в памяти лежит батч. В против случае простои неминуемы.
Тут ещё надо понять что за данные. Если эток акой-то сторонний сервис то может стоит задуматься надо ли вообще обучаться на лету, от ошибок-то никто не застрахован - выкатят они говно какое-нибудь однажды и похеришь ты свою нейронку обучив её на каком-то треше. Может можно просто скачивать данные скопом и периодически до/переобучать на очищенных и обработанных новых данных?
>>1671904 Согласен. У меня вариант простой, нужно брать данные из локалки института, в котором квартируется компания. Походу, проще написать свой велосипед поверх sftp.
>>1671815 > Кому-нибудь приходилось real-time получать данные с удалённой машины для обучения (мб хранилища на инстансе не хватает)? Единственное, что я делал, это готовил данные в 2 потока, втупую без очередей
Работало шикарно, единственное, пришлось заюзать numpy.memmap, чтобы данные не гонялись между потоками через медленную сериализацию/десериализацию. Поебался я знатно тогда, потому что не знал, что в питоне все настолько убого, что одна и та же переменная живет в разных адресных пространствах. Можно замаунтить сетевую ФС и брать данные оттуда
Нужна помощь, есть список игроков ~200к нужно для них вывести сегменты а-ля нищуки, нормичи, мажоры. Цель сегментации - для каждого сегмента делать внутриигровые бонусы которые ну очень отличаются между сегментами. РФМ - не предлагать ибо игроки игру часто дропают и возвращаются через полгода заливая много денег. Данные которые, есть по игрокам ревеня, длина сессии, внутриигровые покупки (даже гипер мажоры покупают дешевые расходники в игре) их количество и стоимость, лайфтайм игрока, да и по сути всё. Что хочу у вас попросить, скажите о чём читать, покажите пример методов выделения сегментов в таких данных.
Прочитал статью, про то, что rnn бессмысленно использовать для предсказания котировок: hackernoon.com/dont-be-fooled-deceptive-cryptocurrency-price-predictions-using-deep-learning-bf27e4837151 Но я так и не понял, почему? Если там предсказание отстает на день, то это же не критично? Хотя я сам понимаю, что котировки зависят от множества внешних факторов и таким примитивным образом их предсказывать смысла нет. А что насчет спортивных событий?
>>1673273 >Но я так и не понял, почему? Потому что на предсказании "цена завтра примерно равна цена вчера" не заработаешь. Не говоря о том что для такого предсказания нужно секунд десять подумать просто, а не накручивать rnnы.
>>1673273 >rnn бессмысленно использовать для предсказания котировок Это все равно что предсказывать рулетку. Нужно либо делать сетку, которая постоянно читает новости и делает нужные выводы, либо скальпировать кратковременные отскоки/просадки, но там боты на крестах работают + нужен быстрый брокер с минимальной комиссией.
>>1672994 > РФМ Это рандом форест? Так как он как раз всё отлично покажет. Ты сам-то поделить людей можешь? Я вообще не понимаю суть задачи. Почему ты по сумме вливаний (или сумме вливаний на игро-час) не поделишь? Просто отсортируй всех и возьми слева и справа кучки по 10%/25%, а оставшийся центр назови середнечками
>>1673820 Нет, всё намного проще, рфм - сегментация для недалёких которую можно сделать в 2 строки формулы в экселе. Ой блять, как меня поплавило, может действительно по ревене ебануть 10й сверху и 25й снизу просентиль а остальное нормичи и ничего не изобретать. Ладно, спасибо что вразумил.
>>1665515 (OP) Анон, чего я не понял? Есть задача регрессии и перцептрон с одним скрытым слоем. Обучающие и целевая переменная нормально распределены вокруг нуля с стд 1.
Проблема в том, что аутпут в основном либо ноль, либо больше нуля, отклонения в минус очень редкие и слабые.
Сначала грешил на функцию потерь, мол она не штрафует ошибки меньше нуля, но она mean(abs(true - pred)), проебаться негде. Потом на активационную функцию, на скрытом слое: relu не возвращает меньше нуля и на выходной слой передаётся неотрицательный вектор. Но на выходном слое обычная линейная функция и веса на нём инициализируются из распределения со средним 0, следовательно, должны домножить на отрицательное примерно половину элементов входящего вектора, а значить вывод должен быть плюс-минус симметричен.
Может я не понял что-то важное, но проблема в активационной функци скрытого слоя, потому что замена её наэкспоненциальный линейный юнит или даже тангенс делает аутпут симметричным, но более бредовым.
Почему релу приводит к преимущественно неотрицательным данным и где я проебался, что не могу этого понять? На всякий случай: да, именно эту задачу, да, именно нейронкой. Цель - разобраться.
>>1673915 Именно в этой задаче мне вредит большой прирост ошибки при неугадывании очень высоких или низких значений, поэтому оставил абс и положился на адам, который должен подобрать подходящий шаг. Пробовал RMSE, результат почти такой же. Только что попробовал MSE, результат как без корня, но хуже сходится (что ожидаемо).
То есть видно, что +- нормально перекос идет. На более уже не хватает бензина, потому что с рандомом сетка вынуждена тупо все запомнить
Это l2, с модулем примерно такой же результат [[-0.43907866 -1.2598822 -0.3356747 0.44521597 -1.1117768 ]] [[-0.43537199 -1.3014218 -0.54382092 0.43602512 -1.36578004]]
Скорее всего если ты считаешь через tf.mean, ты неправильно указал axis, в итоге вместо лоссов, направленных в разные стороны для каждого элемента батча, ты имеешь один лосс, который не несет уже никакой информации
Знающий анон, подскажи, пожалуйста - как лучше подступить к такой задаче, как распознавание, например, афиш для извлечения полезных данных - дата, имя и т.д.? Там же куча разных шрифтов, а, порой, и совсем лишних изображений. Какой подход использовать, как обрабатывать изображения и т.д. С твоей точки зрения как это лучше решать? Есть тессеракт, но он какой-то хреновый.
>>1674170 В НЛП они в первую очередь от своей памяти наркомана-укурка страдают. Не нужны они особо, в НЛП их аттеншен зарешал. С теоретической точки зрения нужны, на практике не особо.
>>1674192 У аттеншна расход памяти квадратичный от длины предложения, а у рекуррентных - линейный, так что если на карточку не хочется раскошеливаться, а задача не сильно сложная, можно и рекуррентные использовать.
>>1674903 животное, с каких пор обычная регрессия относится к маш.обу? более того, типичный подход машин хуернинг макак - полностью забить хуй на причинно-следственные связи в дате, из-за которых ваши любимые регрессии могут быть просто несостоятельными.
>>1674158 Нет, просто процесс такой, что, положительные отклонения происходят в более-менее похожих условиях, а отрицательны более хаотичны. Очевидно, положительные отклонения сетка выучила раньше.
>>1674480 Котаны, в первой лекции говорится про метод "хирургического вырезания связей" (или как-то так), так вот, если в модели после обучения запустить обучение с повышенным коэфициентом Learning Rate, это не будет почти то же самое, что и вырезание связей? Ведь по сути, слабые связи, которые не сильно влияли на выход модели смогут переобучиться, просто без полного разрыва.
>>1675194 > метод "хирургического вырезания связей" Пиздец, вся цена русскоязычным лекциям. Вместо нормальных терминов выдумывают какие-то канцелярские маняпереводы. По-русски это называется словом прунинг >если в модели после обучения запустить обучение с повышенным коэфициентом Learning Rate, это не будет почти то же самое, что и вырезание связей Нет, прунинг применяется для ускорения, а твоей хуйне вообще применение слабо можно придумать
>>1675351 Но он прав, речь о прунинге. Раньше это по-разному называли, те термины что ты принес - из 90х, Хайкин, вот это все. Тогда с этой темой обосрались (кардинального улучшения результатов не добились), сейчас, спустя 20 лет, пошли на второй заход, лол.
>>1675162 дебил блять, МНК придумали ещё когда понятия "машинное обучение" не существовало.
Вообще большая часть "машоба" это тупо прикладная статистика адаптированная для инженегров которые не понимают теорвера и бездубно крутят хуйню не понимая ее смысла
>>1675635 Мань, основные понятия любой науки формируются до создания этой самой науки. Наоборот невозможно. Представляю бляжь, сидишь такой, трешь янтарем о шерсть и думаешь - о бля, я электронику придумал. Понятно, что ты пришел повыебываться своим якобы эксклюзивным знанием о мнк, но попытки твои выглядят жалкими, а сам ты ничтожество.
>>1676087 >Ну я просто знаю, что именно читает Воронцов И, радостно припрыгивая, побежал писать мне "ебать дебил". Воронцов - хуесос, если вместо нормальной применимой в профессиональной среде терминологии начинает навязывать свои термины, как какие-нибудь уебанские совковые книги. Если ты с этим не согласен - ты сам такой же хуесос.
Народ, вопрос, наверное, вызовет кучу хейта Но сорян, если кого обижу Короче, у меня наступает довольно ебанутое время - закачиваю вуз и думаю куда дальше. За это время много где поработал - от Си для мк до геймдева. Также очень упорно учу Компутерное зрение. Понятно, что при таких скаканиях на хуях компетенции набралось не так много в кажой из области, но зато примерно понятно о чем в каждой из них речь Мониторя вообще рынок понял, что пиздец хочу работать в RnD отделах по ИИ (асбстранкно, но я думаю понятно о чем речь). ПОнятно, что такого хуесоса как я в свои 23 года туда никто не возьмет, поэтому хочу спросить у умных людей как развиваться, чтобы попасть туда рано или поздно (лучше раньше) Бекграунд норм, бауманка, 3 года опыт работы, диплом по компутер вижну. Нейроночки знаю уже болие лимение - не вкатывальщик Не кидайте камнями плз, лучше треда не нашел Спасибо
Скандал на конкурсе Kaggle: победитель сжульничал, алгоритм плохо оценивает шанс бездомных животных найти хозяев https://habr.com/ru/news/t/484264/ Kaggle — система организации конкурсов по исследованию данных, принадлежащая компании Google — обнаружила мошенничество в результатах одного из своих конкурсов. Победителя конкурса отстранили от участия в дальнейших соревнованиях.
Kaggle регулярно организует конкурсы в сфере обработки данных и машинного обучения. Призы на этих конкурсах могут достигать десятков тысяч долларов. На прошлой неделе компания объявила, что команда-победитель конкурса, который состоялся в прошлом году и был посвящён улучшению работы сайта по поиску хозяев для бездомных животных, выиграла обманом.
По условиям конкурса участники должны были разработать алгоритмы прогнозирования скорости поиска хозяев для бездомных животных для сайта PetFinder.my. Алгоритм BestPetting, команды-победителя, оказался лучшим среди участников с почти идеальным счетом — 0,912 из 1,0. В награду команда получила $10 000, а её решение было внедрено в работу сайта. Однако через девять месяцев после конкурса выяснилось, что результаты команды были слишком хороши, чтобы быть правдой.
Бенджамин Миниксхофер, программист из Австрии, который тоже участвовал в конкурсе и занял шестое место, вызвался помочь компании PetFinder интегрировать алгоритм в работу сайта. При этом он обнаружил, что команда BestPetting использовала в разработке своего решения закрытые данные с PetFinder.my, что давало ей незаконное преимущество. Эти данные она замаскировала в своём коде. Кроме того, команда использовала полученные данные не для всех питомцев, а для одного из десяти, чтобы избежать абсолютно идеального результата и не вызвать подозрений. Способ обмана Миниксхофер подробно описал в статье на Kaggle.com. При этом в комментарии для Motherboard он подчеркнул, что без обмана команда оказалась бы на приблизительно сотом месте со счетом 0,427526.
«Очень печально, что такие блестящие профессионалы пошли на все, чтобы обмануть конкурс, целью которого было спасение животных, исключительно ради собственной выгоды», — отметил Энди Кох, основатель PetFinder.
Как пишет Motherboard, мошенничество — не редкость в соревнованиях Kaggle. Для некоторых участников, помимо денежных призов, очень важны звания Kaggle, например, Expert или Grandmaster, которые можно получить, победив в конкурсе. Многих в сообществе разработчиков шокировало то, сколько усилий команда затратила на свой обман, а также тот факт, что некоторые из членов команды уже имели высокие звания в Kaggle. Среди них оказался, например, Павел Плесков, у которого уже был титул Kaggle Grandmaster и который не раз побеждал в различных конкурсах. После того, как мошенничество BestPetting было обнаружено, Kaggle навсегда заблокировала Плескова. По информации Kaggle, «доказательства указывают на то, что он был ключевым лицом этой мошеннической кампании». В Twitter Плесков извинился от имени своей команды и отметил, что намерен вернуть призовые деньги PetFinder.my.
«Для меня речь шла не о деньгах, а, скорее, о том, чтобы стать номером один в рейтинге. Я надеюсь, что хотя бы некоторые из вас простят меня, и что другие участники будут учиться на моих ошибках».
В дополнение к потере своего звания Плесков также лишился работы в компании по разработке программного обеспечения с открытым исходным кодом H2O.ai, которая стремится приглашать на работу специалистов со званием Kaggle Grandmaster.
«Действия в отношении конкурса Kaggle, о которых нам стало известно, идут вразрез с ценностями компании. Мы провели расследование, и этот человек больше не связан с H2O.ai», — заявили в компании.
Этот скандал, как считает Бенджамин Миниксхофер, говорит о том, что Kaggle должна улучшить систему защиты от мошенников.
«Весь этот инцидент очень расстроил меня. Не только потому, что это подрывает легитимность соревнований Kaggle в целом, но и потому, что я потратил довольно много времени на исследование их решения и интеграцию его в работу сайта. Я уверен, что каждый, кто выигрывает деньги в конкурсе, должен публиковать открытый исходный код своего решения. Я не единственный, кто так считает, и я понятия не имею, почему этого всё ещё не делается».
Как указывает Motherboard, хотя сейчас в правилах Kaggle есть пункт о том, что решения для конкурса должны быть с открытым исходным кодом, это означает лишь то, что алгоритмы должны разрабатываться по лицензии с открытым исходным кодом, а не обнародоваться.
«Это лазейка в правилах, которую хозяева соревнований даже не замечают», — считает Миниксхофер. Внедрение новых правил, по его словам, «предотвратит подобные инциденты в будущем».
>>1676575 Ну еще вспомни конкурсы с изменением вида земли со спутника за год, когда идеальную дату можно было "намайнить" с гугл карт. Много такого, да еще и без печки с кучей видеокарт к конкурсам сейчас не подойти.
>>1676575 Это ж жопа полная, ты, допустим, честны участник и соревнуешься с наебщиками. Ладно, одного наебщика раскрыли раз в 100500 межгалактических лет. А так остальные толпы наебщиков подебителей остались.
Вообще во всех конкурсах и соревнованиях побеждает всегда наиболее опытный наебщик. Либо самый опытный наебщик тренирует чемпиона, если сам по возрасту не проходит.
Методы обучения без градиента
Аноним05/05/20 Втр 00:02:15№1676856220
Отличительной особенностью моей модели является то, что функция ошибки вычисляется с большим шумом, а градиент аналитически вообще не считается. Возник вопрос - а как ее обучать? Метод роя частиц не подходит - если из-за какого то перла функция ошибки окажется маленькой, то частицы резко рванут туда, хотя в среднем ошибка может быть там большая.метод отжига или эволюционку не предлагайте, у меня много времени, но не настолько
>>1676856 >если из-за какого то перла функция ошибки окажется маленькой, то частицы резко рванут туда Инерцию побольше поставь, тогда не рванут. А так ищи способ сделать функцию дифференцируемой, с фреймворками типа tensorflow это не так сложно заменить разрывные функции их гладкими аналогами >метод отжига или эволюционку не предлагайте, у меня много времени, но не настолько На кластере видюх считай
>>1676890 У меня функция и так непрерывна, просто градиент ну очень уродский. У меня стохастическая сеть, и в качестве функции ошибки я беру метрику между целевым распределением и полученным. При взятии градиента от этой штуки у меня всплывают несчитаемые величины. Например коррелятор градиента и еще одной стремной величины. Т.е для того, чтобы посчитать градиент, мне надо его знать. Это обходится, но на каждый шаг решать стремное уравнение не вариант - оно решается только численно, а численно решать уравнения со средними, корреляторами и прочей лабуденью - гиблое дело.
>>1677087 Генерить надо квантовые состояния, на квантовой же компе(да, я тот дед с паравозом жопенщульцера). Стандартный метод не подходит, потому что задача разработать рабочий метод для хуевого случая. Вкратце есть хуевый нейропроцессор, но он прям очень быстро считает - вычисляет одну реккурентную сеть из 1к нейронов за <15 мкс. Но очень хуево. Есть идеи в том, что это очень хуево можно преодолеть и получить в перспективе охует какой быстрый нейропроцессор.
>>1677093 Опять ты со своей физикой, тебе же сказали - упразднена, теперь наука это только ковыряние гиперпараметров у бустенхов и сеток. Увольняйся из своего НИИ ХУЯ лучше и иди в какой-нибудь стартап распознавать котов на фото.
>>1677028 >При взятии градиента от этой штуки у меня всплывают несчитаемые величины Ну NaNы это как правило численный косяк, где-то что-то нужно нормализовать
Хз куда именно это постить. В общем, такое дело: надо определить дисперсию системы по набору из данных (пример на пикриле) У нас есть набор неких параметров из нескольких независимых исследований. Можно найти дисперсию каждого отдельного параметра, но как найти дисперсию всей системы? Не складывать же их
>>1677216 Если система это f(параметры), можешь вычислив дисперсию параметров с помощью монте-карло вычислить дисперсию системы for i=1:10000 a1=random(матожидание_а, дисперсия_а) a2=random(матожидание_а, дисперсия_а) ... a3=random(матожидание_а, дисперсия_а) fs.append( f(a1,a2,a,3,a4) ) end print(std(fs))
Лучше график нарисовать, а то мало ли у тебя распределение не нормальное нихуя. Но скорее всего f тебе известна (например, линейная комбинация параметров), поэтому ты можешь вычислить все по формулам для дисперсии и матожидания
Такой вопрос назрел. Могут ли ваши нейроночки в комплексные числа? Т.е задача сформулирована как y = f(x1, ..,x20), где y и все иксы - комплексные числа. Погуглил, предлагают разбивать на компоненты (re и im) и в таком виде подавать. А как из этой хуйни потом опять собирать комплексные числа?
>>1677407 Могут, просто указываешь тип данных tf.complex или какой-то еще >Погуглил, предлагают разбивать на компоненты (re и im) и в таком виде подават Это не всегда работает, потому что комплексные числа складываются как (re1+re2)+i(im1+im2), но перемножение идет уже по другим правилам. Поэтому если у тебя комплексные данные - это одно, а если комплексные веса - это уже совсем другое
>>1677028 Метрику? Какую метрику? Что ты вообще обучаешь? Какая функция потерь? Почему ты надеешься на помощь, при этом не рассказывая ничего о задаче?
>>1677242 Если тебе интересно нихуя не интересно канешн, но все же высру это сюда я не "вкатываюсь" а решаю одну из ВУЗовских говнозадачек
По теме >>1677216 Написал свой говнокод для поиска ковариационной матрицы и он вернул мне везде 0 (лол) кроме основной диагонали, на которой таки красуется дисперсия по конкретным выборкам https://ideone.com/zEgpXm Потом я забил хуй, читернул и заюзал np.cov на транспонированной матрице. Но вопрос, почему первый вариант кода нихуя не работает стоит открытым
>>1676856 >>1677028 Попробуй другую задачу решать. То есть эта задача математически правильная, но вычислительно сложная - ну и хуй с ней, сформулируй что-то приблизительно похожее, но чтобы считать было легче.
Народ, а можно ли как-нибудь пройти слушателем курсы шада? не то что в открытом доспуте Сам туда поступать и времени не очень много (а то пишут что по 30 часов в неделю надо учиться, что при имеющейся работе многовато) и в целом интересуют лишь некоторые курсы, а не вся программа Или у кого то можно их подрезать? короче соре, если вопрос тупой
Сап /pr/, можете помочь очередняре с проблемами по лабкам? Суть такова: нужно построить нейронку из одного нейрона (!), для обычной бинарной классификации. На вход дается два feature — координаты X1 и X2, на выход один класс — "-1" или "1". На графике видно как эти точки явно разбиты (синие это класс -1). Думал что проблема будет легчайшая. Я пытался сделать это в Keras:
model = Sequential() model.add(Dense(1, input_dim=2)) model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
Так вот, она нихуя не фитится. Это не проблема с подачей данных, я три раза перепроверял. В зависимости от функций активации она либо идет вниз с 0.3 accuracy до 0.0, либо остается на 0.5, с софтмаксом, как-будто нейронка просто бросает монетку каждый раз. Loss, activation, epochs, optimizer — я не нашел работающи параметры . Мне помог одногруп, но он написал на pytorch, как-то вот так:
class Net(nn.Module): def __init__(self): super().__init__() self.fc1 = nn.Linear(2,1)
def forward(self, x): x = self.fc1(x) return x
Я не разбираюсь в этом фреймворке, но у него она обучилась за 3 эпохи. Вообще без проблем. Я гуглил, nn.Linear и Dense должны работать одинаково. Но я видимо все равно как-то не так описал модель на Keras. Поэтому пошу помощи у анонов.
>>1680043 Ну вот допустим с test_size = 0.1, другим random_state, и с переименованным лейблом. Бля, а может мне надо аутпут настроить не как 0 и 1, или -1 и 1, а как [0, 1] и [1, 0]? Я уже не знаю, поможет это или нет.
Почему в обычных автоэнкодерах проблемы с регулярностью скрытого представления, и типа VAE нужны чтобы эту проблему пофиксить, когда как у PCA всё в порядке с регулярностью внутреннего представления?
>>1681639 Потому что линейное преобразование, многомерный аналог растяжений-поворотов-проекций, там во многом сохраняется эта регулярность, не знаю, как это математически сформулировать
>>1680495 ох, я только вынырнул спустя два дня погружений. Ставлю для pix2pixhd распределенных. Вроде все ставлю правильно на минимальную убунту 18.04. - миниконда, Cuda + дрова, cuDnn, nccl, потом numpy, pytorch, Dominate, scipy, tensorflow (нужен для логов). И не работает. Может кто сталкивался- при параллельном обучении на двух видеокартах скорость меньше, чем при обучении на одной, при любом батче- что 2 (как написано в оф мануале), что 4, что 8. Обучение как ьудто идет по очереди то на одной видюхе то на второй. А потом внезапно комп подвисает. Или подвисает сразу же и выключает комп, если задать нечетное количество слоев генератора. О невозможности запустить ни на линукс, ни на винде Apex я уже молчу. Сижу думаю, что делать с двумя видюхами. ну как бы никто не говорил, что обучение паралллельное будет поддерживаться. Буду писать на гитхаб.
>>1681931 я подумал также, даже встречал статьи в инете, буквально пару по запросу "slow multigpu traning". Подлые жиды из нвидии про этот недостаток при батче маленьком не говорили. И раскидаю сиськи и письки грудь и таз на две модели и буду учить "параллельно", все равно в одну модель с дефолтными параметрами вся инфа не влазила за раз, очень хромает четкость- получается оче размыто, а больше параметров уже не влезает в видеопамять.
В итоге словил затык в самом начале, на этапе подготовки датасета:
AttributeError: module 'tensorflow.keras.preprocessing' has no attribute 'image_dataset_from_directory'
Немного погуглил - этот модуль вроде как входит в тензорфлоу, но почему-то у меня его нет. Тензор флоу ставил через докер ветка tensorflow/tensorflow:latest
>>1682344 >>1682399 Я тоже полтора года назад ебался. Мне просто повезло, что туториалы были актуальнее и мне получилось с первого раза запустить датасет с фасадами прямо в браузере. Тут то я и потер руки и стал копать гитхаб и ебать гугл "как включить код питон". Если тебе нужна именно одна цель - сделать ноги в колготах- то. 1. Определись с видеокартой. Без видюхи с 8 гб видео я бы не влезал в pix2pix cycle gan. А мы будем запускать сразу две модели, так что разрешение будет тоже аховое- где то 256 на 8 гб видяхе и 512 на 11гб, и то если повезет. Не жди хайреза. Прочие характеристики не так важны. На процессоре даже не пытайся. А времени в выделенных серверах в онлайне не хватит, скорее всего, и будет ебля с постоянным реэкспортом модели по истечению выделенного для работы времени. 2. Определись- ты идешь учиться прогать или сделать колготы. В любом случае тебе нужен будет датасет на 5000-10000 фото. На меньшем ты соснешь. И как его получить- вручную качать или научиться запускать скрипт с гитхаба по выкачиванию определенных картинок- две большие разницы. А затем, что у тебя была именно тренировка, а не пустое прокачивание ненужной инфы через видяху, нужно будет научиться вырезать именно те участки картинок которые нужно обрабатывать. Yolo3detector тебе поможет, но это мы забежали вперед. Сразу скажу, что я не буду тебе расписывать подробно, потому что точных ссылок мне искать лень, а ты научишься искать нужную инфу. 1.0. Тебе нужно установить cuda от нвидии. Ставь 10.2 Если ты справишься, то у тебя есть шанс. 1.1. Тебе понадобится интерпретатор питона. Советую установить miniconda3, т.е. с третьим питоном на борту. Затем ты будешь запускать Anaconda Powershell Prompt (miniconda3) и работать с кодом ты будешь там. Впереди у тебя веселейшая ебля с path. 1.2. Когда ты все же разберешься с туториалом и запустишь у себя фасады и обрадуешься результату, советую тебе забыть это и скачать pix2pix cycle gan. Там ты почти не будешь читать код, ты будешь учиться запускать чужой код у себя- а это значит, что для чужого кода ты должен будешь научиться разворачивать виртуальную среду, чтобы все нужные для работы кода зависимости не путались (я не научился таки, как и пользоваться докером, позор мне). Это сэкономит кучу времени, если ты решишь потом запустить какую-то старую вещь у которой свои старые зависимости, как у твоего рассматриваемого кода. Возможно, что для твоих целей лучше подошел бы pix2pixHD, но для винды в нем нужно будет исправить самомоу некоторые ошибки из-за того что он предназаначен для линукса. Но, они таки могут быть исправлены, как и все ошибки, если ты будешь гуглить их. ГУГЛИ ОШИБКИ. 1.3. В эту виртуальную среду ты поставишь зависимости- сторонние куски кода, которые используют программисты чтобы не изобретать свои велосипеды для стандартных функций типа ресайзнуть картинку и вырезать по координатам. Они нужны для работы кода. познакомься - это установщик зависимостей pip. Pip list, pip install например numpy, pip uninstall tensorflow и потом pip install tensorflow==1.15.0 станут твоими друзьями. 1.4. Когда ты научишься запускать код pix2pix cycle gan и его просмотрщик, можешь начинать учиться запускать детектор yolo. Точнее тренировать. Ты, из скачанного массива возьмешь 500 картинок с колготам и разметишь его вручную на microsoft/VoTT, чтобы yolo смог обучиться на примерах искать твои колготы и голые ноги. Затем ты напишешь свой кодс помощью инета, конечно, который нарежет тебе твои ноги - в одну папку голые, в другую колготы. И затем, ресайзнув свои ноги до нужного размера, ты зауснешь их в cyclegan и может быть, спустя несколько дней тренировки в игры нипаиграть он выдаст тебе результаты, от которых тебе уже не захочется дрочить, а только делать новые датасеты. Ну вот когда ты сможешь делать весь список быстрее, чем читаешь этот текст, тогда у тебя начнет получаться результат, на который будет не стыдно пофапать.
>>1682444 Спасибо за такой развернутый ответ. Честно даже не ожилал здесь получить такую простыню.
>1. Определись с видеокартой. С видюхой у меня хреново. На моей тачке gtx1050 ti, это совсем не годится?
>2. Определись- ты идешь учиться прогать или сделать колготы. Думаю одно без другого невозможно. Как минимум мне потребуется прокачаться до уровня продвинутого нуба.
Алсо что значит сделать колготы? Думаешь нейронка сможет одеть голую тян в колготки? Боюсь результат будет уровня Сутулый Акела. Так-то изначально я планировал парсить фап-контент из ВК.
>1.1. Тебе понадобится интерпретатор питона А обычный голый питон чем плох?
Вообще главную проблему при запуске чужого кода вижу в том, что никто не пишет какие нужны зависимости.
>>1682530 >С видюхой у меня хреново. На моей тачке gtx1050 ti, это совсем не годится? Да. Слишком мало видеопамяти. >А обычный голый питон чем плох? Ничем. На самом деле если ты новичок, то не надо ставить анаконду. Она нужна для того, чтобы с была возможность иметь разные версии питона без заморочек.
>>1682444 >Задача: научить сеть отвечать на вопрос: "Эта тян в колготках?" >Выдумал какую-то генерацию ног в колготках и рассказывает ахуительные истории про pix2pix cycle gan, yolo Что не так с этим тредом?
А применяют ли нейросети для криптографии? Есть отечественные ГОСТы на хешфункцию и непосредственно алгоритм шифрования. Ходят слухи, что в этих ГОСТах заложен бекдор. Возможно ли обучить нейросеть на поиск этого бекдора?
>>1682581 а бля. я просто все уже вижу в своем сраном затуманненом зрении. Тогда чувак >>1682530 ничего тебе не понадобится кроме части про yolo. Там не так много зависимостей. Ну или любой другой детектор. и видюхи тебе хватит твоей.
>>1682613 Зачем ему yolo, если достаточно унылого классификатора. Достаточно mobilenet для keras взять А старость туториалов решается установкой старой версии tf+keras Просто если для такого требуются консультации, поциента придется за ручку тащить, нахуй надо
>>1682601 >Возможно ли обучить нейросеть на поиск этого бекдора? Скорее всего нет, слишком хороши современные хешфункции. >А применяют ли нейросети для криптографии? Гугли neural cryptography (выглядит там все довольно грустно)
Почему в задачах классификации мы просто берём класс с наибольшей вероятностью? Правильней же бросать монетку с соответствующими вероятностями и смотреть что выпадет.
>>1683137 > модель имеет вид a(x) = sign(<x, w>) Я про многомерную классификацию с логлоссом и софтмаксом на выходе > почему правильнее будет бросать монетку? Ну а как если это вероятности классов. Если у нас, к примеру, модель предсказывает в тысяче случаев вероятность класса 80% то это означает что из этой тысячи этого класса примерно 800, а не 1000, как мы будем предсказывать если будем просто всегда выбирать максимум по вероятности.
Не нашел где еще спрашивать. Есть задача, по набору параметров - определять фрод во входящем траффике. Один из параметров имейл, известно что у фрода в 95% случаев имейл выглядит так - gasdd2@bk.ru Читал что есть какие-то цепи маркова, но нихуя не пробовал, т.к. не нашел инфы о практическом применении. Может есть какие-то либы для R или python которые на входе будут принимать вектор таких емейлов и выдавать вероятность того что это не бессвязные символы? Пикрандом
>>1683157 >Если у нас, к примеру, модель предсказывает в тысяче случаев вероятность класса 80% то это означает что из этой тысячи этого класса примерно 800, а не 1000 Не означает же. 80% это не реальное распределение объектов, а наша апостериорная оценка.
>>1683168 Скорее всего, тебе предлагают какую-нибудь перплексию считать, но имхо, это хуета. Попробуй просто разбить имейл на n-граммы и в логистическую регрессию запихнуть.
>>1683168 Я бы взял базу славянских фамилий и имен (ну и не славянских тоже, в идеале), перегнал бы их в латиницу и определил бы вхождение данных имен/фамилий в email (если входит - то некая группа 1; если входят такие как "John Doe", "Иван Иванов" и т.д. - некая группа 2а чуть более подозрительных; если вообще ничего нету подходящего - некая группа 2б чуть более подозрительных). Не уверен, что использование машинного обучения позволило бы получить более высокую эффективность в сравнении с этим методом, хотя это просто мое мнение.
>>1683208 Словарный поиск - мне прямо после постановки задачи предложили это. Но жизня это жизня и человек который ставит задачу не смотрит в исходные задачи. Половина имейлов выглядит так konfeta11@bk.ru dragon1960@jbb.ru Я придя сюда надеялся на более легкий выход, типа либа "vasha_taska_gotova_ser", но пока последую совету этого анона >>1683204
>>1683160 Почитай что-нибудь из классической статистики и тервера, полезно. >>1683177 > 80% это не реальное распределение объектов, а наша апостериорная оценка Ну у нас не абы какая модель а зафиченная под логлосс (а следовательно и под KL). Значит наше распределение должно быть близко к настоящему.
>>1683860 ну подскажи пожалуйста, я на винде pix2pixHd пытаюсь запустить. Он начинает выводить при заупске какой-то постоянно делящийся на два каждый шаг градиент, пока он там не поделит на ноль сам себя и не зависнет. Убунту аналогично. Вот теперь из за тебя пойду опять ебаться. коммент из доков апекса- -Windows support is experimental, and Linux is recommended. pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" . may work if you were able to build Pytorch from source on your system Как строить модуль самому? pip install -v --no-cache-dir . (without CUDA/C++ extensions) is more likely to work. If you installed Pytorch in a Conda environment, make sure to install Apex in that same environment. ага, щас посмотрю, может нужно conda install делать.
>>1682344 Блять, ты хоть понимаешь что для вката нужно для начала хотя бы на быдлооуровне освоить Питон? И основные для тебя либы (помимо keras): numpy, pandas, matplotlib? Ты сходу хотел нажать клавишу и чтоб оно забурлило, закипело и высрало тебе отсортированный массив с фотками?
Алоха аноны! В профильных тредах обсуждают поступление в вузы, а не его окончание.
Есть кто-то кто мог бы дать экспертизу по криптографии и информационной безопасности?
Горит диплом. Все прям плохо.
Сосед по общаге(учится на другом направлении) запилил какой-то по его мнению неебический machine learning проект, который который умеет воостанавливать двумерные функции по небольшой учебной дате. Вопрос такой: могу ли я как-то заюзать его алгоритм, но найдя применение в криптографии? Строго говоря, есть какие-то реальные опции использовать машинное обучении где-то в криптографии?
П.с. Научник давно послал. Де факто у меня месяц, чтобы все в соло затащить
>>1684572 >реальные опции использовать машинное обучении где-то в криптографии? Разработки ведутся (Neural cryptography) но там уровень теоритических статей. Врядли ты за месяц что-то конретное получишь.
>>1684572 использовать нейросети для крипты практически бесполезно, на крайняк можешь написать нейросеть, которая генерирует хорошие параметры для хэш функции.
Предсказываемая функция d == веса а перемножаются на аргумент b. Получаем матрицу 3 на 3. Но ведь истинная функция от b находится в виде вектора, а не матрицы. Как высчитывают ошибку между этой матрицей и вектором истинных значений, например методом наименьших квадратов?
>>1685796 Ну я разобрался. Перемножение происходит как на первой картинке. Аргумент а один за каждый раз, но из трех частей. Теперь меня интересует другой вопрос: как расписать градиентный спуск для второй картинки.
>>1685877 скачай любой учебник по линейной алгебре и прочитай. Очень сильно поможет. Я бы сказал, без этого ты сразу перестанешь понимать, почему это работает.
>>1686038 Что запускать? Внутри докера свой пайторч будет. Какой контейнер выбрать? - Не знаю, можешь просто попробовать последнюю. Можешь посмотреть, какую версию пайторча и апекса использовала твоя либа, чтобы точно всё работало как надо. У пайторча поменьше проблем с совместимостью разных версий, чем у тензорфлоу.
>>1683767 помню как мы с ЖЕНЕЙ пили элитное вино и думали ехать ли в БАНЮ яндексойды не поехали и никто не поехал но зато много ходили кругами все это я к чему -- курс реально ХОРОШИЙ
Ньюфаг вкатился. Имеем: >корочка топ вуза по спецухе примат (осталось защитить диплом) >англ на уровне с1 >понимание матчасти (написал рабочий автоэнкодер с нуля) >владение пистоном и опыт работы с керасом (возился с мнистом по фану) Не имеем: >любой опыт работы >признаки моего кодинга в интернете Что обязательно узнать/сделать, чтобы не уходить петушком с интервьюх? Или мне достаточно выложить написанное за эти годы в гит и меня расхватают?
>>1685877 ежели ф-ция оптимизируймая имеет ВЕКТОРНЫЙ домен значений значет более не пр/ма обычная теория оптимизаций надлежит к рассмотрению МНОГООБРАЗИЕ парето-фронтовых оптимумов учите ШАДчасть, орлы!
>>1686935 что значит расхватают? я бы тебя взял в свой стартап стажером, в процессе многое стало бы понятно могу на основе своего опыта сказать, что новички весьма переоценивают, как ты говоришь, значение матчасти. написал автоэнкодер - это какой же? вариационный, denoising, с каким-нибудь модным декодером, с модными норм потоками? все это не то чтобы тебя зачмырить, а просто чтобы понимать. в принципе описываемые тобою знания не очень сильно тебя выделяют, разве что на фоне совсем уж петушков
>>1686947 >что значит расхватают? Возьмут на начальную зарплату хотя бы 60-80к (после стажировки офк) >я бы тебя взял в свой стартап стажером, в процессе многое стало бы понятно Уже радуют подобные ответы. >написал автоэнкодер - это какой же? вариационный, denoising, с каким-нибудь модным декодером, с модными норм потоками? Обычный трехслойный, обучается при помощи дельта-правила. Сейчас юзаю его в дипломной работе как средство dimensionality reduction для векторов.
>>1686968 Понимаешь, в чем дело, в датасайенсе нет таких зарпплат. Возможно, зря, и, возможно, они еще появятся. Программистов еще можно нанять много, но дешевых и организовать их работу так, чтобы она приносила деньги, а с дата-сайентистами нельзя. Поэтому берут сразу на 300кк/наносек, но и ожидают немедленной пользы (или хотя бы ИНСАЙТОВ). Поэтому я бы потыкался по стажировкам и сделал хоть что-нибудь слегка нестандартное. Не хочется тебя напрасно демотивировать (молодец, что разобрался), но обычный автоэнкодер для дата-сайентиста это все равно что оконное приложение уровня блокнот для современного программиста. Когда это было мощно и далеко не каждый мог такое реализовать, а сейчас любой школьник (студент, в твоем случае). Отчаиваться, однако, не надо, базовую проверку ты прошел, теперь на этом фундаменте надо постараться развиться дальше до средне-рыночного уровня.
Сап, Машобач, давно нейронными сетями не занимался, сейчас вот понадобилось с помощью Кераса обучить нейронку, которая эмоции детектит, датасет нашел, все дела, выбрал GRU, однослойную сеть сделал, но вот в измерениях вообще не шарю, хоть убейте, выдает вот что
ValueError: Error when checking input: expected gru_4_input to have 3 dimensions, but got array with shape (23970, 15)
Уже второй час ебусь, просто все перегуглил уже, как блять нужно решейпнуть тренировочный сет, если у меня 23970 по 15 входных слов для решения задачи с помощью рекуррентки. Где мне batch_size указывать то? Вроде в fit указал, так надо еще и тренировочный сет перешейпить? Не понимаю зачем и почему...
>>1687240 Ни разу не использовал керас, и никому не советую, но кажется, что одно из измерений это элемент в батче, второе это элемент последовательности, третье это измерение наблюдения. С точностью до перестановки
пацаны что нужно уметь, чтобы вкатиться в компьютер вижн? а то я как бы уже и уник закончил только что, и просто кодером поработал, и все эти манякурсы прошел Но я понятия не имею какой нужен уровень. Ну типа анону вот ответили, что рукописный энкодер не уровень. Ок, а что тогда уровень? У меня просто 3 года опыт работы прогером и идти на вакансию джуна с зп в пол булки хлеба не очень хочется, да и в целом хочу иметь нормальный уровень, чтобы не в адском усерье читать инфу, которую уже должен был знать при запросе на эту работу. Короче не кидайте камнями плз, может кто знает идеи проектов для прокачки? чтобы не просто ебаная моделька в жупитире а прям проект с деплоем, инфроструктурой какой-никакй и, кончено же, уважемым CV спасибо
>>1687240 >у меня 23970 по 15 входных слов Рекуррентная сеть ожидает вход размера batch_size x input_len x embedding_dim. То есть тебе нужно свои слова перевести в векторы фиксированной размерности.
>>1687292 Сделай сегментацию с помощью U-net. Какое-нибудь блядское перекрашивание волос с помощью GAN'а (пусть будет всрато, главное что есть признаки работоспособности, и что ты все сам реализовал). Если что, я из соседнего окопа, занимаюсь не CV
>>1687292 >Но я понятия не имею какой нужен уровень. Тот, который потребуется дядьке, который будет платить тебе деньги. В данный момент на коне в рашке кибергулаг, то есть нужно уметь с закрытыми глазами натренировать детектор лиц/тушек/автомобилей, привязать к этому поиск. Промышленность - распознавание деталей, метрология и прочая поебистика. Надо смотреть конкретных работодателей, мониторь вакансии и изучай то, что там требуется. Как только 2/3 будешь знать, можешь идти собеседоваться.
Почему эпидеомологи и прочие статистики от науки гонят на дсов в связи с ковид? Типа "нельзя просто так взять и работать с данными, вы неуполномочены, вы не владете Священным Знанием" или что?
>>1688076 да хорош тебе, ориентация на местности VSLAM, у промышленных роботов ставят сенсоры, которые обеспечивают визуальный канал обратной связи Да много примеров, естественно GANы, например, не очень нужны. Тем не менее комп вижн нужен
>>1687914 так бы я на собес пригласил (если бы занимался cv), ответ бы зависел от твоего знания большого О для поиска ключа в словаре и зачем нужен yield в питоне.
>>1688146 ну это да, но как же без знания и классики, и алгоритмов, и ЯП, и матешки и диплернинга Понятно что любая сфера, которой занимаешься серьзно это комплекс сфер и знаний. Изначально вопрос был другой
>>1688204 а на каком же он развитии нужен? когда роботы блять будут как люди пиздохать по улицам, но, увы, без ебучей ргб вебки в глазу. Вот тогда да, можно и научиться круги выделять на дороге Ты либо шпака въебал либо я хз что у тебя в голове
>>1688206 >>1688136 ну если это не тролинг и норм вопрос, то никакого. На факультет был один промышленный манипулятор. Делал к нему систему управления Внезапно роботы бывают не только мобильные
>>1688178 Сделай самый базовый пет проект, но чтобы он хорошо был вылизан. Посмотри на artgor'а из ОДС, у него пет-проект - это сраный мнист в вебе, но потом удачно вкатился, а сейчас грандмастер.
>>1688417 полный бред, я даже представить не могу что у тебя в голове возникает при слове "робот" типа кроме как биологически подобных других не существует, да?
>>1688553 у всех почему-то странный пункт на тему вышки я после курса информатики и микропроцессорки пошел на работу на 3 курсе сразу на Си мк прогать Помимо этого имею общие знания по проектированию железячному (понятно, что речь скорее о эрудиции, но я и не предентую на работу в этой трасли (хотя одногруппы пошли на конструкторов)), матеше, и, конечно же, РОБОТАХ. Понятно что все не очень актуально и не сможешь ты сразу после уника мидлом/сеньером стать. Но основы норм, не понимаю чего так говнятся. Я еще и не в топовом вузе учился и все ок.
>>1688592 Нахуя ты кормишь этих шизиков? Единственный адекватный ответ написал тебе я, но не, не хочу, хочу с шизиками обсуждать ненужность вышки и нейронок
Продублирую свой пост из другого треда, но это не суть важно. >>1687292 Чел, не слушай этого >>1687786 он наверное сам машобщик или датасатанист и боится, что его потеснят молодые стремящиеся вкатывальщики с теплого насиженного места. В вебе сейчас полный пиздец. Нужно учить, учить, учить, ещё раз учить. Нужно отрабатывать на работе, приходить домой, но дома вместо отдыха ещё учить новые фреймворки и языки. Хотел отдохнуть, посмотреть фильм раз в неделю? Хуй там, опять вышел модный фреймворк, придется учить каждый вечер всю неделю. Помню, хотел на одни курсы пойти, на которых в конце гарантированное трудоустройство в норм компанию, но там сразу сказали, мол, на всё время учёбы вы должны забыть вообще о личном времени, нет у вас личного времени, всё, вы должны круглосуточно учить и писать код, и отчитываться о проделанном 4 раза в неделю, иначе ничего не получите. Если не будешь постоянно учить языки и фреймворки и тратить на это кучу времени, то в лучшем случае будешь в дноконторе веб-макакой работать, в худшем вообще выкинут. А вот в областях, не связанных с вебом, таких как Machine Learning и Data Science, по-другому. Понятно, что придётся задрачивать с кодом матан, но отношение там получше, всё таки меньше конкуренции и больше перспектив для вкатывальщика. У меня один друг туда пошёл, вроде норм всё более-менее (остальные пошли в веб и геймдев, в итоге жалуются теперь, что много требуют и работа как у тупой макаки). Если нравится задрачивать матан - добро пожаловать в дс и мл.
>>1688592 >на Си мк прогать Ебать вас развелось прогеров мк, тут на дваче чуть ли не каждый второй анон прогер микроконтроллеров. Байтаебов уже больше чем веб-макак, честное слово.
>>1689700 >Если не будешь постоянно учить языки и фреймворки Это относится ко всему ИТ. Это же пузырь ебаный, все эти кампутеры не сделали никакой технологической революции. В 60х была попытка пидорнуть медиков, но лобби все порешало.
>>1689822 Айти приносит большие бабки, значит экономический эффект от него есть. Никто не стал бы платить пограмистам 300сек, если бы это не окупалось прибылью.
>>1689873 Уже начиная с ждунов платят по 60к(в три раза больше медианной зарплаты в рахе), а через несколько лет они вырастают в тристасеков. На других работах ты сможешь за несколько лет вырасти разве что из 20к в месяц до 50к в месяц.
>>1690321 >Типа 2 1080 ti Самый ебанутый фетиш - ДВЕ карточки. Хорошая видюха б/у с авито, проц амуде средней цены, 750 вт китайский бп, корпус дешевый, но проверить, что видюха туда влезает, оперативки лучше 32, ssd и hdd. Если есть лишние деньги - купить вторую такую же машину. Третья скорее всего уже не окупится.
>>1690451 подтверждаю, две карточки- хуйня. Лучше одну из топов, но это еще вопрос зачем. На много мелких задач, без компьютер вижена, может и пойдет две. Тока не забудь шлейф-удлиннитель взять, чтобы они друг друга не грели. Ну или если у тебя есть хороший план по экспериментам, то сможешь загрузить две карты работой. Как вариант, если они недорогие обе. Но на одной топовой ты почти наверняка сможешь сделать те же эксперименты в 1,5-2 раза быстрее чем на раздельных, даже если ты заморочишься и объединишь их мощности.
>>1690809 да, много меньше ебли. По крайней мере я знаю по компьютер вижену. Для дата саенс, чисто статистики и цифр- зависит от задачи, но точно не хуже, вопрос будет только в цене\эффективности на затраченные деньги.
>>1691871 Лагранжианы. У всех векторов кроме опорных они равны нулю и т.о зануляется (и не участвует в вычислении решающего правила) все что не лежит на границах классов.
>>1689700 уже два года все сидят на vue.js и реакте, что там учить-то. А теперь попробуй вкатиться в машин лернинг без знаний о последних модных модельках.
Помогите плиз. Не могу настроить VSCode для работы с ядрами помимо питоновских. Подскажите, что нужно сделать, что в VSCode (или другом редакторе) можно было запускать iJulia и Cling как в Jupyter lab, а то он заебал слабой функциональность.
Есть существенные пробелы в знаниях по матёхе, стат.значимость, регрессия. Как и где лучше всего их восполнить?инб4 в школе/универе Пробовал дохуя разных курсов, но все они рассчитаны на систематичное обучение, в своеобразном духе.
>>1693428 Нет, у меня есть конкретно список вопросов, отсутствие знаний и понимания которых тупо тормозят меня. Например: 1. Стат.значимость, каким способом проверки когда пользоваться 2. Какого хуя хи квадрат используется много где, что в нём такого особенного 3. Нахождение точки оптимум, есть ли какой-то трудный способ, кроме как с курса эконометрики
>>1667216 Работаю с системами рекомендаций и пока как правило юзали уже рабочие архитектуры, иногда дописывали, но побольшей части лишь тюнили гипер-параметры.
А правильно я понимаю что с бустингом на деревьях можно заводить тонны всевозможных фичей, не оглядываясь на их корреляцию и общее количество? ньюфажик
В пустом 3-мерном пространстве только векторы базиса нелинейны между собой? При появлении в нем 4-ого небазисного вектора вся система превращается в линейную?
>>1695475 Не "линейны"/"нелинейны" а линейно зависимы/линейно независимы >В пустом 3-мерном пространстве только векторы базиса нелинейны между собой? Нет, не только >При появлении в нем 4-ого небазисного вектора вся система превращается в линейную? Любые четыре вектора будут линейно зависимы
>>1696850 >В пустом 3-мерном пространстве только векторы базиса нелинейны между собой? >В пространстве 4х и более измерений тоже? Чел, а ты контекст проебал.
В интернете много русских словарей stop_words для кириллицы. Но я чет не нашел русских словаей для латиницы. Слова типа: v, etot, nyet. Мне что их вручную переводить? Или кто-то может подсказать где искать?
>>1697747 Типа отделить основы от ненужной хуиты дано не каждому и всему свое время. Книги о нейронках до 2015 года начинающим читать не нужно, там нет фокуса на то, что является основами сейчас
>>1697748 > Книги о нейронках до 2015 года начинающим читать не нужно, там нет фокуса на то, что является основами сейчас Ты не тот шизик, который заявлял что читать нужно только пейперы за последние пару месяцев, более раннее неактуально? Основы там не менялись со времён Розенблатта. А потом зумера вкатывальщики прочитают какую-то новодельную херню и идут сюда спрашивать про сигмы.
>>1697903 "Исторический подход" в изучении чего угодно может сработать, если у тебя дохуя времени, но только в теории, потому что на практике, пока ты будешь изучать весь накопленный человечеством багаж, ты состаришься и успеешь сделать свой вклад. Поэтому школьников не учат геометрии по началам Евклида, а программирование по бейсику для спектрума. Не потому что ОСНОВ в этих книгах нет, а потому что, помимо основ, фокус внимания не на том. То есть, написать пузырьковую сортировку на бейсике с goto может и можно, но крайне не эффективно с точки зрения существующих отработанных подходов. Читать книги 80-х по нейронкам (не говоря о более ранних временах) это еще большая тупость. Это для уже опытных людей, которые могут почерпнуть оттуда забытые экзотические идеи. Новичок же должен освоить мейнстрим, и освоить хорошо.
>>1697945 Только ты не учитываешь деградацию в поле со времён "80-х не говоря о более ранних временах". В средневековье читать античных классиков не зашквар так-то.
>>1698292 А еще я не учитываю того, что земля плоская, что квантовую механику придумали жиды для объеба гоев, и теорию общественных формаций. Шизиков в мире дохуя, у каждого свой манямир. Когда я пишу про книги после 2015, я же не на шизиков ориентируюсь, а на адекватных новичков.
Объясните тупому, пожалуйста, вот эту часть: First up, we can see that the input images will be 28 x 28 pixel greyscale representations of digits. The first layer will consist of 32 channels of 5 x 5 convolutional filters + a ReLU activation, followed by 2 x 2 max pooling down-sampling with a stride of 2 (this gives a 14 x 14 output). In the next layer, we have the 14 x 14 output of layer 1 being scanned again with 64 channels of 5 x 5 convolutional filters and a final 2 x 2 max pooling (stride = 2) down-sampling to produce a 7 x 7 output of layer 2. After the convolutional part of the network, there will be a flatten operation which creates 7 x 7 x 64 = 3164 nodes, an intermediate layer of 1000 fully connected nodes and a softmax operation over the 10 output nodes to produce class probabilities. These layers represent the output classifier. https://adventuresinmachinelearning.com/convolutional-neural-networks-tutorial-in-pytorch/
Откуда после фильтрации черно-белого изображения 28х28 внезапно вылезают 32 канала?
>>1698441 Свертка DL является не простой, а многоканальной, при чем может быть как много входных каналов (чб с 1, rgb с 3, 32 канала, 1024 канала), так и много выходных. Это обобщение простой одноканальной свертки, которая сводится к вычислению скалярного произведения со сдвигом.
Можно представить, у тебя между каждой областью 5х5х1 входного слоя и пикселем 1х1х32 следующего слоя есть персептрончик, с 5х5х1=25 нейронами на входе и 32 нейронами на выходе. Если у тебя на входе 100 каналов, а на выходе 1000, это будет 5х5х100=2500 нейронов на входе и 1000 на выходе.
Или, по-другому, у слоя фильтр имеет размерность 1х5х5х32, где 1 - число входных фильтров, 32 - число выходных фильтров. Тебе нужно вычислить значение в пикселе с окрестнастью область_5х5. Тогда считаться будет так
for j = число выходных каналов выходной_пиксель[j] = 0 for i = число входных каналов выходной_пиксель[j] = выходной_пиксель[j] + фильтр[i, :, :, j]*область_5х5 end end
>>1697945 Ну хуй знает, такой подход тож не оч есичесно. Ну смотри, представь себе абстрактного Андрюшку - такого непоседливого генератора идей с шилом в жопе. Надоело Андрюшке, скажем, ардуинки программировать или хуиту для андроида писать и захотел андрюшка в нейронные сети вкатиться. Есть два варианта эволюции Андрюшки как специалиста по нейронным сетям: 1. Вариант #1. Андрюшка сходу вкатывается в мейнстрим. Обмазывается Питоном. Идет качает с kaggle котиков vs собачек и пытается их различать с помощью сверточных сетей. Потом Льва Толстого через LSTM прогоняет. Может еще GAN какой сделает. Полгода-год он этим мается... а потом ВНЕЗАПНО заебало. Мол, мейнстрим и без меня нормально катится, нихуя тут нового не придумаю, кроме очередной оптимизации градиентного спуска, пойду лучше в цифровую обработку сигналов перекачусь. 2. Вариант #2. Андрюшка знать не знает, что там сейчас в мейнстриме. Приезжает он короч в село к бабушке, залезает там на чердак и находит старую, желтую дедовскую книгу "Основы Кибернетики" профессора Котикова В.М., издательство Мир, 1979-й год. И там же на чердаке садится ее читать. Раз в час, когда у Андрюшки затекают чресла, он спускается с чердака, носится по двору и генерирует идеи: "а что если взять эту хуйню и попробовать применить ее к той задаче", "а если взять ту хуйню и сделать ее эдак", "а если эдак через так и через эдак". И дальше на чердак читать. Одну книгу прочитал, вторую прочитал, третью забросил - она не интересная, четвертую прочитал. Закончилось лето, приехал Андрюшка обратно в город и полез в Интернет смотреть, что там у вас в мейнстриме. И видит Андрюшка, что в мейнстриме все дрочат три с половиной архитектуры (а о других архитектурах и не слышали) и выясняют, какую видяху лучше взять. Ключевая разница между первым и вторым Андрюшкой в том, что во втором варианте Андрюшка вкатится в мейнстрим не очередной обезьяной, копирующей действия других обезьян, а человеком с идеями. Возможно через полгода, реализовывая свои чердачно-гаражные идеи, Андрюшка сам начнет задавать вектор развития мейнстрима. Бля, я к чему веду, короч. Вот ты новичок, вкатываешься в мейнстрим. Тебе вообще поебать, сейчас вкатываться в мейнстрим или через полгода (или даже через год). Мейнстрим никуда не денется и в него будет одинаково легко/сложно вкатываться как сейчас, так и через год (а через год может еще какой фреймворк выкатят, который сделает вкатывание еще легче и видяхи подешевеют). Старичку, если он начнет целый год проебывать на чтение дедовской литературы, через год придется повторно вкатываться в мейнстрим. Новичок этой проблемой не обременен. Он может спокойно потратить этот год на изучение всего того, что напридумывали за 50 лет, чтобы когда весь мейнстрим упрется в нерешаемую проблему, Андрюшка мог такой мол, смотрите а тут эту проблему можно решить с помощью Машины Больцмана (или еще какой хуйни). Мейнстрим: с помощью чего? Андрюшка: ну Машины Больцмана же. Смотрите, берем так через эдак и через так и все решается. Мейнстрим: ааа... охуенно!
>>1698518 Ключевая разница между двумя этими людьми, что первому легко показать, где он проебался, потому что он делает конкретные вещи. Делает LSTM, а она не работает. Пилит, задает вопросы. Делает GAN - не работает. В итоге этой он набивает шишки, получает опыт. За опытом приходят мысли, за мыслями - идеи, а потом и интерес к дидам, которых он уже читает через призму своего опыта, а значит ухватывает намного больше. А второму показать, где он проебался, невозможно, ведь он не делает нихуя. Он создал себе манямирок, в котором верифицировать качество его знаний невозможно, потому что он ничем не занимается. Он даже не сдает экзамены, где кто-то бы проверил, как он понял материал, он просто хвалится прочитанным как лычками. Он не делает свои модели, обгоняющие существующие решения. Все, что делает - это мечты и треп на бордах, о том, как те, кто что-то делает, тупее него, и сей глубокомысленный вывод он сделал из разговоров на этих же самых бордах. >Тебе вообще поебать, сейчас вкатываться в мейнстрим или через полгода (или даже через год). Не поебать, потому что есть два варианта действий, либо пахать и упахиваться, либо прокрастинировать и рассказывать всем, какой ты гений. Есть люди действия, есть люди прокрастинации и пиздабольства. >Старичку, если он начнет целый год проебывать на чтение дедовской литературы, через год придется повторно вкатываться в мейнстрим То есть по-твоему опыт "старика" нихуя не стоит, поэтому он затратит на эту макулатуру столько же времени, сколько наш непризнанный гений, который в теме с нуля. Вообще-то все наоборот. Со временем люди учатся лучше обобщать и находить более универсальные паттерны. Например, в столбик умножают пятиклассники, а с римскими цифрами в средневековье это было очень тяжело. Поэтому, несмотря на то, что у греков были доказательства многих вещей, читать их сейчас невозможно из-за крайней невыразительности языка. То же касается и дидовских книг. >чтобы когда весь мейнстрим упрется в нерешаемую проблему, Андрюшка мог такой мол, смотрите а тут эту проблему можно решить с помощью Машины Больцмана Вероятность этого примерна равна выигрышу в лотерею. При этом у андрюшки твоего будет один лотерейный билет, а у более опытных людей вокруг - тысячи. Потому что, конечно, не всякий человек будет читать всю ту муть, которую читал андрюшка, поэтому есть вариант, что он окажется в нужном времени в нужном месте. Но на практике он не реализуем. Потому что одно дело доебываться до несчастного специалиста хуйней типа "а ты читал эту статью 1948 года? нет? ну ты и лох, а я читал! лох, вообще вас ничему не учат в вашем мейнстриме", а другое дело, вероятность того, что именно эта некростатья что-то порешает. На фоне того, что твой андрюха НЕ знает (а не знает он нихуя, потому что без самопроверки невозможно узнать качество своих знаний), это вообще нихуя не сработает.
>>1692304 >Есть ли вообще смысл ебаться с построение свёрточных сетей? >Или проще вщять денснет/реснет, хуяк-хуяк и в продакшн задача готова. Если данных много, бери реснет. Если нет, то делай сам что-то поменьше. При маленьком датасете и наличии хорошего железа можно вообще запустить автоподбор гиперпараметров.
>>1698602 > Делает LSTM, а она не работает. Пилит, задает вопросы. Делает GAN - не работает. В итоге этой он набивает шишки, получает опыт. За опытом приходят мысли, за мыслями - идеи, а потом и интерес к дидам, которых он уже читает через призму своего опыта, а значит ухватывает намного больше. Ага, сначала идти гомологическую алгебру учить, потом поняв, что нихуя не понял, идти курить школьные учебники. Ты примерно это предлагаешь. Исходя из этого треда, можно видеть, что все эти ежедневные зумера вкатывальщики вообще не понимают о чем речь даже на уровне того "что там за ошибку выдает керас про размерность входа" итд.
>>1698619 >Ты примерно это предлагаешь. В том посте я ничего не предлагаю. Это мне предложили выбор из двух вариантов. А предлагаю я другое - читать учебники после 2015.
Добрый день. Есть задача - найти дороги на спутниковых снимках. Снимки таскаю с бинга, координаты дорог с OSM. Хочу, чтобы сетка прогнала все эти данные и обучилась. В нейросети никогда не лез и на питоне особо не писал. Какой фреймворк хорошо справится с этой задачей?
>>1698602 >Ключевая разница между двумя этими людьми, что первому легко показать, где он проебался, потому что он делает конкретные вещи. Делает LSTM, а она не работает. Пилит, задает вопросы. Делает GAN - не работает. В итоге этой он набивает шишки, получает опыт. За опытом приходят мысли, за мыслями - идеи, а потом и интерес к дидам, которых он уже читает через призму своего опыта, а значит ухватывает намного больше. IRL эт немношк не так работает. Андрюшка, который сразу с мейнстрима начала, пилит LSTM, а он не работает. Идет погуглить "куда нажать, чтобы заработало". Находит дохуя ссылок, "нажмите сюда", "скопируйте это отсюда туда", нажимает/копирует и все работает. Приобретает ценный опыт гугления и копирования кода с stackoverflow. Приходят мысли, как сделать то или это. Бежит сразу в гугл - томущо там уже 100 раз за него это сделали. Ну а тот второй Андрюшка, который с дидов начал - ему приходится самому разбираться и действительно набивать шишки и получать опыт.
Го более наглядный пример, чтобы ты лучше мысль уловил. Стоит короч муравейник. Вокруг него муравьи бегают. В полуметре от муравейника с дерева упало подгнившее яблочко и лежит. Один из муравьев, рандомно шарясь, добежал до этого яблочка и побежал обратно к муравейнику, оставляя за собой дорожку ферментов. Потом еще один муравей нашел яблочко, побежал и увеличил количество ферментов на этой дорожке. Через какое-то время весь муравейник бегает за этим яблочком по протоптанной дорожке. С противоположной стороны муравейника, тоже в полуметре, кто-то уронил недоеденную банку варенья, которое клубничное и в десять раз пижже того подгнившего яблочка. Никто из муравьев не бежит к банке с вареньем - все бегают по ферментированной дорожке к яблочку. Пока кто-то из муравьев (не бегающий по ферментам, а читающий книги дидов с описанием других дорожек) не найдет эту банку и не натопчет новую дорожку. Через какое-то время весь муравейник бегает по новой дорожке хавоть клубничное варенье. А кто это новую дорожку натоптал? Тот, кто в мейнстриме бегал хавоть подгнившее яблочко? Не.
Года три назад видел курс (вроде на курсере) по анализу астрономических данных на Python с использованием машоба, финальный проект был по поиску или квазаров или экзопланет - не помню уже - по массивам данных с телескопов. Кто-то знает что за курс? мб кто-то проходил и может кинуть ссылку? Сейчас не получается найти, выдает только это: https://www.coursera.org/learn/data-driven-astronomy и это не он
У меня есть проблема с Pytorch'ем и FastRCNN'ом которую уже 4-ю неделю никто не в состоянии решить, а именно:
Есть 1 батч(пускай картинка) на входе и несколько минибатчей на выходах, для каждого минибатча находится лосс... КАК ДЛЯ КАЖДОГО лосса найти градиент и обновить веса(обратное распространение для каждого лосса)?
>>1699982 Лосс - это и есть градиент, зачем тебе искать для него градиент? Что ты обучаешь? Может быть нейросеть надо другой структуры просто, например - свёрточная.
>>1698624 > А предлагаю я другое - читать учебники после 2015. Вот тебе пример такого читателя >>1699982 все смешалось в доме Облонских - батчи, лоссы, градиенты... В дидовских книгах хоть не умничали и все по делу поясняли, в ISLR первые страниц 300 про линейную регрессию, и SVM разбирается даже без функционалов и прочего вариационного исчисления.
>>1700227 В общем виде лосс у тебя может быть один, если у тебя 2 цели для оптимизации, тебе нужно сделать alpha=0.5 loss=alpha*loss1+(1-alpha)loss2, где alpha - это новый гиперпараметр Вот например кто-то это делает в этой строчке https://github.com/jwyang/faster-rcnn.pytorch/blob/master/trainval_net.py#L322 Либо обучать по очереди, сначала одним оптимизатором, потом другим. Одновременно обучаться с разными целями это все равно что провести из точки вектор, смотрящий в две разные стороны, это нонсенс.
>>1700112 У человека есть предыстория - интеллект, опыт, талант (Т). Есть время, затраченное на обучение (В). И есть, наконец, качество этого самого материала (К) Получаем формулу успех=ТхКхВ, в первом приближении считаем талант не зависящим от времени (то есть реально там успех=Т(t)хК(t)хdt)
Далее ты делаешь следующий вывод, исходя из постов на дваче: успех1>успех2 Т1хК1хВ1>Т2хК2хВ2 => K1>K2
Что, естественно, неправильно. Глубоко неправильно. Пиздец как неправильно. Очевидно же, что если >>1699982 за 4 недели нихуя не понял в его вопросе, то он нихуя не поймет ни при каких обстоятельствах. Обучить нейронку для цифрового гулага по аналогии - это его максимум.
На деле же качество дидовских книг околонулевое, потому что технологическая база ушла вперед. Вот есть книги по ламповой схемотехнике - ОСНОВЫ те же самые, те же законы Ома и Киргофа. Но читать их - бред, потому что вокруг уже нет ламп, они громоздкие и неповоротливые, и изучать применения закона Ома через лампы - глупо. Акцент не на том.
>Ну а тот второй Андрюшка, который с дидов начал - ему приходится самому разбираться и действительно набивать шишки и получать опыт. Не приходится, потому что у дидов нет задач и шишек. Он может думать, что он крут, но способа проверить это нет.
>Го более наглядный пример, чтобы ты лучше мысль уловил Я уже уловил мысль, когда написал "Вероятность этого примерна равна выигрышу в лотерею. При этом у андрюшки твоего будет один лотерейный билет, а у более опытных людей вокруг - тысячи.". Пока один андрюшка ползает, другие муравьи получили права категории А и ездят вокруг муравейника на маленьких мотоциклах. Большинство тусуется у яблока, но кто-то раз в месяц ездит, куда глаза глядят. И, несмотря на то, что на скорости видно хуже, таких ездящих много, и видят они дохуя.
>>1700267 СПАСИБО! Как я понимаю: На входе картинка, на выходе 2 тензора: вероятности и координаты, в тензорах равное колво векторов и равно оно кол-ву отдельных выходов(равно кол-ву ROI координат) 1. Нахожу лоссы для каждого из таких векторов в тензорах, получились лоссы для вероятностей(лосс1) и для координат(лосс2) 2. К примеру беру среднее для лосс1 и лосс2 3. С помощью alpha масштабирую общий лосс(лосс = лосс1 + альфа*лосс2) Да?
Эх, а вот получилось бы так что кто-то для использования машобных либ захотел няшный лиспчик использовать, писали бы на языке илиты сейчас, заодно и в ит ревайвал бы произошёл. Нет не хочу, хочу датафреймы перекладывать и в tf хуйне ковыряться.
>>1702167 Дохуя, зайди на апворк и посмотри. Домашки просто хороши тем, что они посильны толковому начинающему, быстро набивают тебе рейтинг и избавляют тебя от тонн говна типа - кабанчиков с охуенной идеей уровня "повтори этот стартап за $100" - перекупов, с которыми не построишь длительные отношения и которые будут ныть о том, что 10 в час это дорого А с рейтингом можно уже среди адекватов выбирать
Перед перекатом расскажите, какие есть альтернативы указанным в шапке сайтам для тренировки? Что касается Каггла: ныне он что-то ударился в большие датасеты, да обработку изображений, что требует бόльших вычислительных мощностей, что не всегда возможно. Если говорить, про http://mltrainings.ru/ , то, во-первых, он редиректит на https://ods.ai/competitions - поменяйте в шапке, во-вторых, нативных соревнований там очень не много, а остальные - это ссылки на тот же Каггл, TianChi и прочие ресурсы. В общем да, реквестирую ресурс где можно попрактиковаться в машобе бесплатно без смс и лишнего геморроя.
Здарова зумерок вкатыш на связи Сразу задам глупый вопрос и полезу обратно в питон тред ти ваши нейронки можно обучить торговать криптой хотя бы в 0-10% профита в зависимости от сценария (состояния рыночка) Я подозреваю, что больше нет, чем да
Аноны, стратегический вопрос. Если сотрудники компании, есть некоторая информация по тем операциям которые они совершают. Задача - поиск признаков коррупции в деятельности сотрудника. Примеров поведения коррупционеров нету, поэтому просто классифицировать каким-нибудь МЛ алгоритмом я не могу. Если все данные представить в виде двухмерной матрицы, где ось Х - сотрудник, а по Y данные о нем, получится таблица с парой тысяч строк и десятками тысяч столбцов (ну мб сотнями столбцов если напрячь анус, посовещаться с кучей людей и погруппировать и отбросить мусор). Рассматривать отдельные транзакции и искать в них признаки фрода смысла нет, так как по отдельным транзакциям не так много информации и там совершенно невозможно понять хорошая эта транзакция или плохая. Т.е. меня интересуют возможность вычленить кластеры сотрудников по паттернам их работы. Обучение с учителем отпадает из-за отсутствия колонки target в моих данных. В каком направлении вы бы копали? Мб есть какие-то интересные типы алгоритмов кластерного анализа, на которые стоит обратить внимание в этой ситуации (когда фич много, а данных мало)? Или мб еще какие-то методы вычленить группы в данных? или извлечь больше информации из данных?
Соц.сетей (или нормальных идентификаторов человека, чтоб их добыть) сотрудников и их клиентов, чтоб напарсить друзей и проанализировать связи между сторонами сделок нету - как это вещают на всяких конференциях по антифроду, тупо транзакции