Очередной тред про хипстерские технологии, которые не работают.Продолжаем сраться по поводу и без.FAQ:Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материалаВ чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examplesГде набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/Где работать? https://www.indeed.com/q-deep-learning-jobs.htmlГде узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихсяГде посмотреть последние статьи? http://www.arxiv-sanity.com/Где ещё можно поговорить про анализ данных? http://ods.ai/Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.Список дедовских книг для серьёзных людей:Trevor Hastie et al. "The Elements of Statistical Learning"Vladimir N. Vapnik "The Nature of Statistical Learning Theory"Christopher M. Bishop "Pattern Recognition and Machine Learning"Взять можно тут: http://libgen.io/Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.Архивач:http://arhivach.tk/thread/412868/Остальные в предыдущих тредахТам же можно найти треды 2016-2017 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"Предыдущий тред: >>1305682 (OP)
PC снова объявили войну реальности. Поднимите свои головы, сойбои, мы должны победить рассистские и сексистские датасеты на arxiv!https://hightech.fm/2018/12/23/ai-learning
>>1316062>обнаруживая смещения смыслаВ голосяндру, тоесть если я прямо называю педика педиком, то это не будет смещением?
>>1316082Ну как зачем, это оказывает негативное влияние на общество, это пропаганда! Я традиционалист вообще, каждого педика бы в жопу трахнул!
>>1316158Есть оригинальная хуйня от автора: https://www.dropbox.com/s/v6ua3d9yt44vgb3/cover_and_thesis.pdf?dl=0если под "объяснением" понимается разжёвывание, то фиг знает, может в гугле что и есть
>>1316062А вот вам и пример опасности сойбойства в машобчике. Через несколько версий какой-нибудь слесарьплов не только откажется работать с нетолерантными картинками, но и будет стучать на пользователя во все спортлото сразу, от ФСБ до местных сжв параш, да-да и в Барнауле. Захотел негров распознать, нейроночка их пометила как горилл, на следующий день вышел из хаты, а под дверью насрано, ручка говном обмазана и плакат висит "здесь живёт белый цисгендерный угнетатель", спускаешься по лестнице, а на встречу тебе отряд СОБРа с бутылкой. 2 года условно, внесение в список террористов и заблокированные карты. Бобро пожаловать в кибергулаг.
>>1316194Не забывай, что ты в рашке живешь (если, конечно, живешь в ней). Тебя сначала во дворе кибергопники изобьют, так как яндекс-гласс классифицировало тебя хачом в штанах с подворотами (в тени стоял, а штаны были шортами, но алгоритм всегда прав), потом полиция заберет тебя в отделение, так как на толоке ассессоры тебя единогласно классифицировали неправославным террористом. Ну, а с бутылкой и дальше все верно.
Я серьёзно не понимаю почему AGI ещё нет. Столько людей, столько бабла, столько TPU, а всё упирается в негров и котов и стэйт оф зе арт - сросток конверсэйшонал ии и ТТС от гугла. Тупые люди.
Знакомый ходил на собес на должность обычного прогера в отдел, который занимается МЛ. Его спросили, есть ли у него какие-то познания в области, и он ответил, что почитывает книжку >Trevor Hastie et al. "The Elements of Statistical Learning"Они сказали, что это уже устарело и нинужно, все перешли на диплернинг.
>>1316456В голос. Что хуже? То, что у них есть отдел по МЛ или то, что они знают об этой книжке и всё равно дебилы?
>>1316456>Они сказали, что это уже устарело и нинужно, все перешли на диплернинг.Предъяви им за арабские цифры, скажи,что они устарели
>>1316456>>1316472>>1316488А разве в этом треде не то же самое кукарекается? Коооококо Вапник не нужон, Бишоп не нужон, ISLR и 300стр про линейную регрессию не нужно, все устарело к хуям, что написано раньше чем 2 месяца назад, как нейроночки работают науке не известно, наука это индусы и сойбои. Вот и в этой конторе такие же деграданты.
>>1316456ну, это просто обычные русские некомпетентные программисты и не разбираются в мл вообще.Нормальный специалист (вкатившийся после ее выпуска) знает про эту книжку.
>>1316399а какие предпосылки для того, чтобы оно было? Люди только пять лет назад научились котов классифицировать на картинках с более-менее высокой точностью (а ведь не кажется сложной задачей - уши есть, хвост есть, чего там определять) - и то до сих пор все про adversarial attacks пишут. Мы даже не знаем, что такое AGI (сириусли - единственное нормальное описание - это чтоб как человек, но в 10 раз быстрее). Это как в 17 веке возмущаться, почему до сих пор не придумали термоядерный синтез, ведь столько же бабла в паровой двигатель вкладывают, а все упирается в ткацкие станки и водокачки.
>>1316690>нейросети - это слабый ИИ.>шахматы умеет игратьПричам тут интеллект, если это маняматика и статистика? Шазматы вобще позиционная игра и к интеллекту никакого отношения не имеет.
>>1316687>котов классифицироватьТоесть отличит кота от любого другого кошачьего? Сколько котов на пикрил?
>>1316696Дебил ты дырявый. Иди нахуй отсюда читать определение слабого ИИ. >>1316663> Ты че, шизоид, кто так в этом треде говорит?Как минимум одно чучело точно. Возможно, долбаеб не один.
>>1316704>Иди нахуй отсюда читать определение слабого ИИ. Прочитал тебе за щеку, порванный математический гондон
>>1316696просто раньше считали, что в шахматы и го нельзя победить сугубо статистическими методами (curse of dimensionality и тд). Потом пришлось эти задачи засунуть в "слабый ии".https://www.reddit.com/r/baduk/comments/2wgukb/why_do_people_say_that_computer_go_will_never/
>>1316708>шахматыТак дипблю там тупо перебор даже, а не статистика, это собственно та игра где компы всегда рулили>гоС го да, но перебор не работает всилу охулиарда вариантов, а вот статистические методы как раз порешали. Хотя даже старые го программы меня выносят как школьника.
Нужно генерировать не очень длинные предложения на английском языке с определенными словами, какие есть подходы? Подскажите в какую сторону копать.
>>1315946>И как ты дошёл до мысли использовать для этого машоб? Какие-нибудь профильные CADы типа nastran уже не в модеЭто очень интересный способ.А вообще, изначальный способ - визуализация потоков воздуха, тут ничего оригинального еще нет по сути, а если добавить к этому еще температуру и давление, то будет очень интересно.У нас есть способы визуализации потоков воздуха, например, с помощью метода Шлирена, но хотелось бы, чтобы оно было трехмерным, например.А если при этом еще и получится учитывать, каким образом этот воздушный поток взаимодействует с объектами и как влияет на их скорость, то было бы идеально
>>1316655>Коооококо Вапник не нужон, Бишоп не нужон, ISLR и 300стр про линейную регрессию не нужно, все устарело к хуямНу отчасти это правда.Будущее машинного обучения это алгебраическая топология и изучение statistical manifolds.
>>1316976Т.е в конечном счёте тебе нужна идентификация динамических систем с помощью машобчика и затем предсказание поведения объектов в такой модели системы. Это все решаемо, ещё в совке этим занимались, да и на жопаде и в японии в те же годы. Просто тогда это делали несколько иначе, с помощью параметров системы, а не прямой её видеосьемки. Алсо, в промышленности для таких целей использовались алгоритмы, для которых есть строгие доказательства сходимости, хотя бы функция Ляпунова должна быть или устойчивость по Попову. Естественно, никакой диплернинх этим требованиям не соответствует. Но сойбоям похуй, вроде уже были случаи когда беспилотное такси убер размазало прохожих по переходу.
>>1317128> Although the car’s sensors detected Herzberg, its software which decides how it should react was tuned too far in favour of ignoring objects in its path which might be “false positives” (such as plastic bags), according to a report from the Information. This meant the modified Volvo XC90 did not react fast enough.убер и дип лернинг не при чем. У них моделька постоянно давала false positive (как выше из yolo - объекты дрожат и на пару кадров выпадают из сегментации). А умники из убера (у них и статьи так себе и, мне кажется, часто результаты из головы взяты) вместо того, что нормально ее обучить на видео-потоке, просто забили на это и выкатили гигантский джип (тоже додумались) с лидарами ночью на улицу без освещения. А тестер, который сидел за рулем, в это время втыкал в телефон.https://www.youtube.com/watch?v=hthyTh_fopo
Пасаны, обьясните пожалуйста. В статистике есть такое понятие как outlier. Но в нейронках эта штука, как бы, почти не учитывается, из-за чего падает сильно точность сбора статистических данных. В каких именно видах нейронок такую багу пофиксили?
Тут магия присутствует? Сколько часов уйдет на изучение? Проебал 200 часов на веб, понял, какая это однотипная параша.
>>1317158>В статистике есть такое понятие как outlier.По-русски это называется выброс.>Но в нейронках эта штука, как бы, почти не учитываетсяПочему? Все виды регуляризации борятся с выборосами.
>>1317128>Т.е в конечном счёте тебе нужна идентификация динамических систем с помощью машобчика и затем предсказание поведения объектов в такой модели системы.Да, только предсказания кратковременные.>Алсо, в промышленностиВ промышленности немного другие штуки обсчитывают, типа вентиляцию, обтекаемость и все такое.>Естественно, никакой диплернинх этим требованиям не соответствует.Почему?
>>1317233>регуляризации Ладно, зайду с другой стороны. Каким образом давить шум, если он громче полезного сигнала, что делать с этим шумом, что делать с сигналом? Как не послать такой сигнал просто нахуй?
>>1317301Не очень понятен вопрос. В статистике у тебя есть модель сигнала и модель шума, и зная эти модели, ты можешь предсказать вероятность того, является ли порция пришедшей информации сигналом или шумом. Например, если у тебя сигнал - синусоида, которая утопает в белом шуме с точки зрения громкости, ты можешь простым IIR фильтром (который является простейшей рекуррентной нейронкой с 1 слоем без активации) или FIR фильтром (который является простейшей сверточной нейронкой с 1 фильтром аналогично без активации) вычленить эту синусоиду. Настроить параметры такого фильтра можно градиентным спуском, хотя это будет не самый эффективный метод.Нейронки посложнее сами себе разрабатывают себе эти модели сигнала и шума - по сути каждый слой что-то фильтрует относительно предыдущего слоя. Получается это потому, что с каждым батчем существует способ немного улучшить модель, на большом числе данных модели улучшаются значительно. Застревания в локальном минимуме не происходит из-за того, что чем больше у тебя в пространстве измерениий, тем менее вероятно тебе встретить локальный минимум.
>>1317301Пишу сеточку на торче, вставил дропаут и скор на тесте стал перестал меняться от эпохи к эпохе.Делаю так:1)тренирую2) net = net.eval(); считаю на тесте; net = net.train()3)goto 1ЧЯДНТ?
>>1317317>Застревания в локальном минимуме не происходит из-за того, что чем больше у тебя в пространстве измерениий, тем менее вероятно тебе встретить локальный минимум.ЩИТО
>>1317324Для условия локального минимума у тебя производные по всем направлениям должны быть равны нулю, а вторые менять знак. Для 1 измерения это значительно более вероятно, чем для 1000, там ты скорее встретишь какую-нибудь седловую точку и прочие многомерные изъебства. Грубо говоря, 3д гору умная нейронка обойдет через четвертое измерение, и пойдет спускаться дальше.
>>1317327>Для условия локального минимума у тебя производные по всем направлениям должны быть равны нулю, а вторые менять знак.А мир то интереснее, чем я думал. Это ты обосрался или я?мимо
>>1317327Локальный минимум это когда у тебя градиент (первые производные) зануляется, а гессиан положительно определен. И локально глобальный минимум от локального ничем не отличается. Просто у нейронок значения в локальных минимумах не очень сильно отличаются, даже при некоторых упрощениях доказано вроде.
>>1317334>вездеМожет курсы уровня физтеховских или фкновских, но если ты там учишься, то и отбор не сложный, а если не там, то отбор вполне проходимый и альтернатив не так много.
>>1317300> Ты сейчас разговариваешь с местным шизиком, можешь не тратить время.Тыскозал, что я шизик? Возражений по существу поста нет, но вот тебе небанбит, и я уже почему-то шизик. Не думал, что проблема в тебе?
>>1317299А он хоть когда-то считался плохим? Вроде как единственное место в рф, где можно получить нормальную подготовку в области дс.
>>1317330>Локальный минимум это когда у тебя градиент (первые производные) зануляется, а гессиан положительно определен. Я примерно это и написал. Со сменой знака проебался (он у первых производых меняется), но это не суть, суть в том, что чем больше у тебя измерений, тем больше факторов должно совпасть, чтобы алгоритм застрял.>Просто у нейронок значения в локальных минимумах не очень сильно отличаются, даже при некоторых упрощениях доказано вроде. Глобальный минимум при стохастическом градиентном спуске означает то, что у тебя дикий оверфит к конкретному минибатчу. Это никому не нужно. Если же ты пользуешься глобальным алгоритмом вместо SGD, то аналогично, просто это будет дикий оверфит к конкретному обучающему множеству.Нам нужно другое - чтобы каждый конкретный минибатч куда-то спускался. И вот для этого нужна многомерность.
>>1317251основные участники регулярно берут золото на каггле и других площадках, а что остальные 18000 зарегистровавшихся мертвых душ делают - это уже не важно
>>1317196>Тут магия присутствует?Худший вид магии - индустрия на 90% состоит из полуграмотных малолеток с хохолками, которые анализ и классическую статистику не осилили, а учоными почувствовать себя хочется. Магия хаоса, в своём роде. А всё научпоп, будь он неладен.
Анончики, можно вопрос по матплотлибу? Пытаюсь сделать график в постскрипте, но у него почему-то здоровые белые границы. Как исправить, чтобы их не было?import matplotlibmatplotlib.use('PS')import matplotlib.pyplot as pltmatplotlib.rc('ps', usedistiller='xpdf')f = plt.figure()plt.plot(x, label=u'тест')plt.legend()plt.savefig('test.ps', bbox_inches='tight', pad_inches=0)plt.close(f)
Стоит ли брать 2070 для нейронок и немного игорей?Вроде тензорные ядра, и производительность на уровне 1080 Ti, но как-то многовато негативных отзывов
Когда вы поняли, что 50% задач, которые бизнес пытается решить машинным обучением, решаются стандартными методами оптимизации/теории управления/обработки сигналов, а остальные 50% требуют сильного ИИ?
>>1318492> оптимизации/теории управления/обработки сигналов,Такую хуйню лень делать. В этом и прелесть самообучалок, они сами решения находят, ничего не нужно изучать, просто подключать нейросеть к Старкрафту/Форексу/любой другой хуйню требующую тактики и стратегии, и она сама находит оптимальную стратегию.
>>1318504>просто подключать нейросеть к Старкрафту/Форексу/любой другой хуйню требующую тактики и стратегии, и она эпически обсирается, но деньги уже освоены и пейперы написаны, так что всем похуйПоправил тебя.
>>1318504> просто подключать нейросеть к Старкрафту/Форексу/любой другой хуйню требующую тактики и стратегии, и она сама находит оптимальную стратегию.Если бы с форексом было так просто, любой школьник бы озолотился.
Анончики, объясните гуманитарию, насколько далеко мы от создания ИИ с самосознанием? Сколько лет ещё ждать?
>>1318691> далеко мы от создания ИИ с самосознанием? Сколько лет ещё ждать?Этим занимаются передовые учёные работающие сразу в нескольких областях: анатомия, математика, и информатика. Обычный Васян с линалом и перцептроном эту хуйню не осилит. Основная проблема в том, что отсканировать мозг, и запустить его на суперкомплюхтере хотя бы 10с, мягко говоря, очень сложно.
>>1318712Вообще это такая вычислительная машинка, которая пространственно-дискретна, в отличии от обычных коплюхтеров, которые временно-дискретные.
>>1318729Мозг - вычислительная машинка, это очевидный факт.Алсо, эта машинка должна уметь в саморефлексию.
>>1318732Тащемта, что является вычислительной машиной?Главная функция мозга - клеить самочек и реализовать волю к власти.
>>1318778>Главная функция мозгаУправлять телом и процессами, мышление лежит в другой области, вне мозга
>>1318788>почему именно не в физическом телеМесто сознания в физическом теле не определено, а вот предчувствия, коллективные вдохновение и прочие загадочные вещи имеют место
>>1318721> >математика> нинужнаНахуй пшел,пидор дырявый>>1318729> Чем докажешь?Тезис Черча-Тьюринга. Ещё раз нахуй пшел.
>>1318785> За пределами физ. тела, в астрале/ноосфереДебил тупой, ты почитай что такое ноосфера у автора термина - Вернадского, потом кукарекай. Он никогда никакие атсралы в виду не имел, чучело ты ебаное.
>>1318869>ТьюрингаПитух проткнутый>>1318872>ноосфера у автора термина - ВернадскогоПонятие «ноосфера» было предложено профессором математики Сорбонны Эдуардом Леруа, который трактовал её как «мыслящую» оболочку, формирующуюся человеческим сознанием. Э. Леруа подчёркивал, что пришёл к этой идее совместно со своим другом — крупнейшим геологом и палеонтологом-эволюционистом, и католическим философом Пьером Тейяром де Шарденом.>ЧерчаХуерча, Алонзо Чёрч матаношизик абосанный
>>1318876> Питух проткнутыйТы? Разумеется.> Понятие «ноосфера» было предложено профессором математики Сорбонны Эдуардом Леруа, который трактовал её как «мыслящую» оболочку, формирующуюся человеческим сознанием. Э. Леруа подчёркивал, что пришёл к этой идее совместно со своим другом — крупнейшим геологом и палеонтологом-эволюционистом, и католическим философом Пьером Тейяром де Шарденом.Полтора ноунейма, Пындельшмуклер и Пихвельплейшнер придумали хуйню, а пруфов подвезти совсем забыли. Что же делать, ну давайте просто уверуем.>>1318878> Тебя термин смущает? Выбери любой другой."Хуйня из-под коня" сойдёт? Ты и в боженьку поди веришь, а?
>>1319030>Что же делать, ну давайте просто уверуем.Тоесть, когда маняматик несет дич оторванную от реальности это норма?
>>1319038> Тоесть, когда маняматик несет дич оторванную от реальности это норма?Дебилок, попробуй включить в свой манямир простую истину - если ты в силу своей безмозглости чего-то не понимаешь, это никак не доказывает того, что это что-то - дичь. Ну нету мозгов и ладно, бывает. Но использовать это как доказательство - школьничество.>>1319037> верю, а ты разве нет?Ясно все.
>>1319042Маняматический каргокультист начинает маневрировать, можете еще и в жопу ебешься по Тьюрингу?
Сап, тред. Мне 16 и я интересуюсь машобом, хожу на занятия от ФПМИ МФТИ DeepLearningSchool + параллельно пытаюсь сам вкатываться в эту тему. Мне скоро поступать в вуз, соответственно, я уже прикинул что и как, и по нейронкам выходит не так много вузов, как хотелось бы: МФТИ тот же самый, МГУ, Бауманка, Вышка, Санкт-Петербургский национальный исследовательский университет информационных технологий, СПБГу и ещё какой-то в Самаре. Сам живу в Москве, так вот, судя по нереальным проходным баллам, мне только в Самару и светит, думаю (не в обиду самарцам), хоть я уже сейчас готовлюсь к экзам/занимаюсь с репетиторами. Соответственно, вопрос: нужно и оправданно ли вообще стараться поступить в вуз с машинками или можно самому по книжкам/курсам и т.д.? Повторю, очень хочу связать свое будущее с машобом.
>>1320426>МФТИ тот же самый, МГУ, Бауманка, Вышка, Санкт-Петербургский национальный исследовательский университет информационных технологий, СПБГуВ итмо машынкой почти не занимаютсяА теперь подумай, потянешь ли ты учебу в тех топовых вузах, которые ты назвал? Все-таки машинное обучение начинается обычно на старших курсах, а скорее всего только в магистратуре. Далеко не каждый сможет выдержать тот дроч, который происходит в топовых вузах на пми.Ну а если есть такое сильное желание - начни участвовать в перечневых олимпиадах, которые дадут тебе льготу поступления без экзаменов в топовые вузы.
>>1316194Да похуй, запилят альт-райтский фреймворк зига-торч. Не такой уж и рокет-сайенс. Вот с облаками действительно проблемы могут быть.
Ананас, как в R можно разбить текст по уникальным словам с учётом падежей и числительных? Чтобы текст "собрались мужики на рыбалку, а один мужик забыл собраться" анекдот смешной получился разбился на список типа "собраться", "мужик", "на", "а", "один", "рыбалка", "забыть"? Я тут попытался саморазвиться, а в словаре получается жуткий оверхед.
>>1320507гугли спец либы для работы со словами. они определяют части речи, приводят к каноническому виду и т.д. для каждого языка свои. вручную запаришься делать. это на годы задача.
Здарова! Помацал немного нейроночки и обнаружились странные штуки. Теперь поджробнее:На входе двумерная сетка со значениями 0/1. Задача нейронки обнаружить есть ли в сетке ряд или столбец в котором все ячейки будут единицами. При этом такой ряд должен быть один. Столбцов так же максимум 1.Нейронка самая простая на сигмах и обратным распространением ошибок.На первой пике ожидаемый ход обучения (сетка 20х20), два скрытых слоя по 10 нейронов, 2 выхода на вертикальную и горизонтальную линию.А на второй - сетка 3х3 с двумя скрытыми слоями по 9 нейронов. Эта хрень вертелась больше 1кк итераций но так и не смогла полностью осилить задачу. Собственно как так-то?Серый цвет тут - средняя ошибка, чёрный - случайная единовременная ошибка.
>>1315967 (OP)Добрый день, на данный момент я школьник (11 класс), в будущем хочу заниматься нейроночками, но сейчас больше занят подготовкой к егэ. Я правильно понимаю, что мне надо поступить в средненький вуз (В Москве), а с лета начинать прямо вкатываться? (я пытался начать в этом году с курса мфти, но в итоге зажмотил время). Я правильно думаю? Мне же будет норм, если я пойду не в топ-вуз? Насколько я понял, работодатеям в основном нужен опыт. Или стоит все же попытаться пройти в мгу какой-нибудь (мфти не потяну)? И там учиться? Просто так не хочется, на самом деле. Что анон посоветует? Образование мгу сильно поможет в этой сфере?
>>1321484Забавно, увидел пост 16 летнего анона, а у меня примерно та же ситуация. В общем, остановлюсь пока на том, что топ-вуз не нужен.мимо 1321484
>>1321484Смотри программу, чтобы были вещи типа openmp, cuda, свертки и преобразования фурье и прочая поебистика.Иначе твой вуз просто заберет у тебя кучу времени на хуиту типа написания курсачей на паскале на тему документооборота, и в таком случае лучше никакого вуза, чем средненький.Далее скорее всего 2 года ты потеряешь в любом случае на матан, но параллельно нужно будет дрючить общепрограммерские вещи, которые в вузах не дают, типа гита, unix shell, aws и т. д. и т. п. С третьего курса можно начинать искать работу по специальности, к бакалавру будет нужный опыт. Если так хочется образование МГУ, то можно на 4-м курсе подготовиться к поступлению на магистра именно в МГУ.>Образование мгу сильно поможет в этой сфере?Похуй.
>>1321684>t. пишет на хабре про то, что сейчас-сейчас будет общий искуственный интеллект, который убьёт всех непрограммистов
>>1322008Уже давно используют. Только я бы не стал это называть ИИ, слишком громко звучит. Машинное обучение лучше.
Сей быдлотред превратился в полную парашу. Помимо пидарашки без мозгов, трясущей подгоревшей жопой, ещё один шизик подтянулся - вычислитель протеинов. В сци опуща несколько лет назад забанили, ну а тут ему самое место. Вообще, вся эта подмывальня стремительно деградирует. Даже год назад все не было настолько плачевно. >>1322009>>1322048
Предсказать курс валюты нереально, там всякое случайное блуждание итд. А зачем его предсказывать, если задача вообще не в этом? Что нужно трейдеру? Максимизировать прибыль и минимизировать убытки. Очевидно, что это зависит от определённых действий трейдера (купил, продал, ничего не делал) в определённых состояниях рынка (цена актива, объёмы торгов, перекупленность, перепроданность и прочие показатели всяких индексов, осцилляторов итд). Это же можно выявить по историческим данным и построить модель типа y = f(x), где y = "прокатился на хуях" при х = "закупился на хаях" итд. Тут вообще нет никакого предсказания, просто мониторинг состояния системы и оптимальные действия при каждом состоянии. В чем я не прав?
>>1322059>Предсказать курс валюты нереально, там всякое случайное блуждание итд. А зачем его предсказывать, если задача вообще не в этом? Что нужно трейдеру? Для алгоритмического трейдинга как раз применяют методы предсказания с помощью алгоритмов. Есть же теория вероятностей, теория игр, математическая статистика, и т.д. Ты просто немного не в теме. Советую специализацию из 6 курсов по ML на русском https://www.coursera.org/specializations/machine-learning-data-analysis
>>1322059На курс влияют события. События можно отслеживать и анализировать. Так что все вполне реально. До компьютеров было тоже самое, только отслеживали и анализировали события сами биржевые брокеры и другие заинтересованные. А теперь все можно запрограммировать.
>>1322061>Для алгоритмического трейдинга как раз применяют методы предсказания с помощью алгоритмов. Есть же теория вероятностей, теория игр, математическая статистика, и т.д.
>>1322129>>1322132Ссылку оставил выше на курсеру. Зайдите посмотрите несколько вводных видео. Там расскажут, что давно уже проводят анализ валют и других биржевых инструментов, для успешной алгоритмической торговли. Также предсказывают погоду метеоцентры, и много чего еще можно запрограммировать.Вот даже ссылка на первый курс из специализации. В первых видео это рассказывают https://www.coursera.org/learn/mathematics-and-python?specialization=machine-learning-data-analysis
>>1322062События инициируются совершенно ебанутыми иррациональными решениями людишек и распространяются на волне таких же субъективных реакций тех же людишек. Удачи в предсказаниях.
>>1322399И что. Так всегда было. И всегда так будет. Только раньше собрать и проанализировать такой объем информации было сложно. А сейчас это решается компьютером.
>>1322059 >>1322061 >>1322173Вот вам страницы из книг:1) "Introduction to Scientific Computing" (Mark H. Holmes)2) "Introduction to Probability" (Charles M. Grinstead, J. Laurie Snell)3) "Statistics in a Nutshell" (Sarah Boslaugh, Paul Watters)И да, таким образом таки предсказывают погоду. Но на бирже это не работает, и тов. учоный с Курсеры, по-моему, пытается выдать желаемое за действительное.Вы понимаете, что основная интрига на бирже состоит не в том, чтобы угадать будущую цену или область, где она могла бы оказаться (для этого есть формула случайного блуждания), а в том, что существует некая группа юридических лиц, которые видят все позиции физических лиц.Вы понимаете это или нет?..
Вопрос о возможности установления авторства текстов.Возможно ли проанализировав комментарии подозреваемого в социальных сетях установить, что другие комментарии принадлежат ему же? Возможно основываясь на повторяющихся грамматических ошибках, часто используемых слов, сленга... На сколько точно на данный момент решаются такие задачи?мимо-неспециалист
>>1322558То есть, вы не понимаете, в чём интрига. Так я и думал.А запостил я эти страницы для того, чтобы не понимающшие в чём там интрига поискали эти три книги в Энторнете. Потом легче будет лекции прогуливать и тервер сдавать. Мой любимый был предмет, кстати.И это не учебники, а вполне себе техническая литература, особенно первая книга, где предсказывают погоду.>>1322552Вы не поверите - отлично решаются: https://ideone.com/1V8pJe
>>1322566Ты шизик? Написал столько текста, а по существу ничего. И программа твоя делает совсем не то, что человек спрашивает.
>>1322566Меня глюкнуло или ютуб на лету улучшает произношение английской речи? Смотрел видеоролик какого-то индуса, в начале речь была с ужасным акцентом и дефектами записи, а под конец произношение стало, как в аудиозаписях к учебнику инглиша. Такое тоже умеете?
>>1322543Слушай, еще до появления массовых компьютеров люди умели предсказывать положение дел на бирже. Есть математика, ты в курсе вообще об этом. А теперь есть возможность обработки больших объемов данных, что очень кстати для таких задач.
>>1322552Почти со стопроцентной долей вероятности. Но для этого используют особые алгоритмы и большие вычислительные мощности. Какой-нибудь Google такое может сделать. Не знаю кто еще, но такое возможно.
>>1322580>И что даст тебе твой анализ? Что в любой ситуации может происходить всё что угодно? Ты вообще про машинное обучение слышал? А про математику? Если быстро обрабатывать слухи и события, то можно покупать и продавать по выгодной цене.
>>1322686Юные годы Баффета прошли в родном городе. В раннем детстве он обнаружил хорошие математические способности и, обладая прекрасной памятью на числа, легко запоминал статистические данные о количестве населения в различных американских городах [63].
>>1322686Уоррен Баффет родился 30 августа 1930 года в Омахе, самом большом городе штата Небраска, в семье биржевого брокера и политика Говарда Баффета. Он рано научился читать, уже к школьному возрасту знал основы математики. С самого детства он удивлял родителей способностью перемножать в уме многозначные числа, а постигать азы финансового искусства Баффет начал в шесть лет.
>>1322686В детстве Уоррена Баффета интересовали только цифры, статистика и математические расчёты.Именно тогда у него возник интерес к цифрам и вычислениям. Только в них Уоррен находил спасение от нападок матери. Он и школу полюбил за возможность уйти из дома и изучать математику.Члены семьи замечали и поощряли интерес Уоррена к цифрам и статистике. Когда ему исполнилось восемь, дед подарил Уоррену книгу о бейсбольном сезоне 1938 года. Подарок так обрадовал мальчика, что он буквально вызубрил биографию каждого игрока.В детстве Уоррен с другом Рассом любили сидеть на крыльце и записывать в блокнот номера проезжающих мимо машин. Родители думали, что мальчишки вычисляли частоту, с которой встречается каждая буква и цифра. На самом деле ими двигало желание прославиться. Их улица была единственной дорогой из тупика, в котором располагался банк. Они верили, что однажды по ней проедут грабители, найти которых полиция сможет только с помощью этих записей.Уоррен часами сидел в своей комнате, вдали от властной матери, погрузившись в чтение любимых книг или решая сложные математические задачи.
>>1322552> Возможно ли проанализировав комментарии подозреваемого в социальных сетях установить, что другие комментарии принадлежат ему же?Тащмайор, в суд потом тоже с нейроночкой пойдете? А если защита попросит обосновать устойчивость и сходимость алгоритма в любой возможной ситуации?>>1322543> Вы понимаете, что основная интрига на бирже состоит не в том, чтобы угадать будущую цену или область, где она могла бы оказаться (для этого есть формула случайного блуждания), а в том, что существует некая группа юридических лиц, которые видят все позиции физических лиц.Позиции каких угодно лиц видит кто угодно по объёму торгов. Сколько продаётся, сколько покупается. Вопрос в том, что делать в каждой ситуации чтобы максимизировать профит.
Здравствуйте, я работал грузчиком на производстве маспо и молонеза в своих далеких провинциальных палестинах. Оказалось, что вся производственная линия продуктов собрана и доработана напильником и своими руками слесарями 90ых, которые достали из своих закромов старые запчасти продуктовых линии Германии 40ых годов, когда воиска СССР взяли Германию и привезли на родину немецкие ништяки. Благодаря этому я загорелся идеей вката в реверс-инжиниринг. Моя цель, будучи жителем далекой провинции, выточить напильником из технического и металлического мусора установки для выпуска строительных материалов на основе мусорных отходов, песка, камней, щебня и т.д. За основу хочу взять существующие разработки и с помощью реверс-инжиниринга догадаться как они работают, создать близкий аналог из технического и металлического мусора. После чего построить себе землянку и забор из полученных строительных материалов.Если я в будущем построю потенциальную землянку, то ко мне сразу на разборки приедут провинциальные коммерсы качать права за то, что я из мусора построился, а не купил у них стройматериалы как все. И предъявят за то, что я мужиков своим примером сколачиваю так же сделать. Я отвечу, что они не авторитеты для меня, смачно плюну: "харктьфу", кто вы такие, чтобы запрещать мне строиться из мусора! Все, базар окончен! И уйду, гордо развернувшись. Но тогда ко мне разборки будут приезжать рэкетиры: борцы, боксеры, штангисты, гиревики. Так вот, я хочу для защиты от коммерсов строить землянку как на пике, только еще более приземистую и с бойницами вместо окон. Чтобы она была низкая, чтобы была меньше площадь поражения и было сложнее за каменным забором попасть в нее из гранатомета или попасть зажигательной смесью. А также хочу построить башню для обзора окрестностей. На башне должна быть камера и нейросетевая программа для распознавания изображений, чтобы задетектировать подъезжающих рэкетиров на разборку и поднять тревогу, включив сирену, чтобы я был готов, взять лук и стрелы и взобраться по тревоге на башню.Отсюда вытекают вопросы, помогите, пожалуйста, найти на них ответ:1) НАСКОЛЬКО СЛОЖНО САМОМУ СДЕЛАТЬ ТАКУЮ НЕЙРОСЕТЬ? Достаточно ли будет для этого языка Си?2) Если я хочу еще, чтобы нейросеть защищала мою землянку от выстрелов гранатомета, выбрасывая навстречу гранатометному снаряду металлические осколки для детонирования снаряда до достижения землянки. То насколько сложно будет создать такую защиту?3) Насколько углубленно надо учить матан для такой цели? Хватит ли стандартного курса отечественных ВТУЗов?
>>1322672> Назови хоть одного кто разбогател торгуя на бирже.Я знал, что ты дебил, в клиническом смысле, но чтобы настолько. Мань, если у человека есть доход и он при этом не олигарх, друг пыньки и не медийная личность, о своих доходах он на каждом углу орать не будет. В цивилизованных странах вообще не принято доходами понтоваться, даже Брин в метро или Цукерберг в майке и шлепках за 5$ это норма. А сколько дохода имеет рандомный чувак на улице ты и вообще не угадаешь. Это не Африка, где масповские мажорики 14летнего возраста носят шмоток в среднем на полтора ляма.
>>1322672Хедж-фондыВ них толпа математиков мутят разные модели и стратегии, а евреи им дают миллиарды чтобы торговать на биржеУ них нет бешеных прибылей, но даже несколько процентов сверху среднерыночной доходности при таких объемах - огромный профит.Эти математики вполне себе не бедствуют.
Аноны, есть ли у вас какие-нибудь инструменты для оптимизации ORM-запросов? А то мне кажется, что эта задача как раз для нейронок. Ну или кто-нибудь что-нибудь делает в этом направлении?мимо вебмакака
>>1322787ну кстати нейронку т. майор может использовать, чтобы найти все подозрительно похожие комментарии, а потом Эксперт уже проанализирует их и вынесет заключение для суда.
>>1322787>Позиции каких угодно лиц видит кто угодно по объёму торгов. Сколько продаётся, сколько покупается.Ты видишь их уже после того как они попадают к Серьёзным Людям. Задержка там несколько десятков миллисекунд, но этого хватает чтобы ты сосал хуи со своими манямоделями, а евреи забирали твои денюжки.
>>1323063И конечно суммировать всё в объём торгов и цену это уже потеря ценной информации. Надо смотреть на глубину рынка и ордер бук, в идеале.
Ищу сейчас хороший учебный план или гайд по онлайн курсам, есть у кого что интересное? Что-то по типу сделай сам MSC по MOOC у себя дома, только для DS.
Юзаю связку cuda / python для нейроночки. Но нужно больше мощности, возможно 2-3-4 видеокарты. Нужна специальная материнка, в которую полноценно можно воткнуть 4 карты в sli или же можно собрать подобие майнинг фермы на райзерах и норм?
>>1323063> Ты видишь их уже после того как они попадают к Серьёзным Людям. Задержка там несколько десятков миллисекунд, но этого хватает чтобы ты сосал хуи со своими манямоделями, а евреи забирали твои денюжки.Какой же ты дебил, господи. Как 10 миллисекунд могут что-то решать в модели, оценивающей состояние актива как минимум в часовых интервалах? Да даже в миллисекундных, что ты там сделаешь за 10мс чего нельзя сделать за 20? Начитаются мемасов, потом несут хуйню.>>1323333Хуи сосешь только ты, потому что мозгов у тебя нет.
>>1323490и то и то норм будет. в обычную мать atx размера по крайней мере 2 штуки втыкнуть можно.но ты прикинь по деньгам - может проще будет на амазоне каком-нибудь инстансы покупать для обучения.
>>1323538>Как 10 миллисекунд могут что-то решать в модели, оценивающей состояние актива как минимум в часовых интервалах?Так что рынок на часовых уже практически эффективен, потому что все лишние деньги которые можно забрать забираются на милисекундах.>Да даже в миллисекундных, что ты там сделаешь за 10мс чего нельзя сделать за 20?На, школьник, попросвещайся прежде чем за мамкиной кредиткой бежатьhttps://en.wikipedia.org/wiki/High-frequency_trading
>>1323669> Так что рынок на часовых уже практически эффективен, потому что все лишние деньги которые можно забрать забираются на милисекундах.Еблан, ой еблан... > https://en.wikipedia.org/wiki/High-frequency_tradingИ что? Боты с микросекундным разрешением друг друга наебывают, будто это как-то отменяет весь остальной рынок.
Подождите, тут правда у вас имеется романтичный юноша, который считает, что он одной статистикой будет на курсе валют зарабатывать?
>>1323693>будто это как-то отменяет весь остальной рыноЭто не отменяет рынок конечно, это отменяет неэффективности на нём с помощью которых делаются деньги.
>>1323756>у вас имеется романтичный юноша, Тут все романтические юноши кроме меня и еще одного анона, уверовавшие в маркетинговую пропаганду нейроговна.
>>1323869При чем тут блокчейн, шизик? Ты всегда скачешь с мысли на мысль, когда с людьми разговариваешь?
>>1322798Они не мажоры, дебил. Это просто субкультура и они из среднего класса, считай такие же бедные.
>>1323874А ты между строк читай. Он же пишет "я уже на блокчеин повелся, просрал кучу времени и бабла" теперь уверен что нейроночки и датасайенс то-же самое. И что вообще все вокруг говно и форс, кроме него любимого.
>>1323945>нейроночки и датасайенс то-же Разве нет? Светофоры на капче хоть находить научились, лол? Или кроме высирания стотысячного папера ни начто не пригодны?
>>1315967 (OP)Кто-нибудь из местных собирал питоновский скрипт с включённым keras c theano бэкэндом в exe-шник или линуксовский исполнительный файл? Сейчас пытался через pyinstaller и py2exe. Не может theano зацепить.
>>1316655Каждый месяуц проигрываю с "устаревания" и "новых" внедрений хуйни. На деле получается что Васян прикручивает к программе одну дополнительную функцию, а потом бежит репортить что он совершил революцию. На почве тотального соибойства и климата в котором никто не говорит "Ты чё долбоёб чтоли совсем, одну функцию так форсить, ты блядь не сделал НИХУЯ даун тупой! Иди пиздуй работать, выебонщик хуев" - это приобретает тотальную волну из новшеств и внешний вид лавинообразного развития индустрии.
>>1324153>На деле получается что Васян прикручивает к программе одну дополнительную функцию, а потом бежит репортить что он совершил революциюХочу заметить, что у нас по такому принципу пишется большинство курсовых, дипломных и прочих работ в "топовых" вузиках. Как бе некому этим калом возмущаться.
>>1324167Ваши "Вузики" никому нафиг ненужны. Ты можешь учиться за деньги твоих родителей и потом стать кассиром в пятёрочке. И всем похуй. А вот когда ты выходишь с докладом на какой-нибудь митап где билеты по 200 баксов, а на деле твоя zalupa.js внедрила в себя технологии 12 летней давности... Я короче склоняюсь к тому, что сообщество программистов отупело и не может понять новшество это или нет. Тот же MVC почему-то в своё время превозносился, хотя по факту ему лет 40-45.
>>1324175>Ты чё долбоёб чтоли совсем, одну функцию так форсить, ты блядь не сделал НИХУЯ даун тупой! Иди пиздуй работать, выебонщик хуевНу вот посмотри на себя - используешь буквы, которым тысяча лет, чтобы в каждый мл-тред нести вот эту вот хуйню. Работать не пробовал?
>>1324330Хуя тебя пробрало с правды, лол. Никак себя узнал, или в чем причина твоих анальных скорбей? Он прав же, ситуация с машобом точно как с курсовичками и дипломчиками в быдловузиках - быдлостудентики пиздят одни и те же тексты с одних и тех же сайтиков, а всем и норм, ибо там и преподы такое же тёмное быдло.
>>1324344>Хуя тебя пробрало с правды, лол.И правда эта не меняется уже лет 10: безработный шизик с борд самый умный хуй на свете, а вокруг все идиоты.Давай, расскажи мне, откуда ты знаешь о ситуации с машобом, а мы поржем.
> > Ну вот посмотри на себя - используешь буквы, которым тысяча лет, чтобы в каждый мл-тред нести вот эту вот хуйню. Работать не пробовал?> Хуятебяпробралосправдылолникаксебяузналиливчемпричинатвоиханальныхскорбей? Весело у вас тут
>>1324357>откуда ты знаешь о ситуации с машобом, а мы поржем.Достаточно посмтреть вокруг, даже ебаного помщника типа Алисы запилить нормально не могут.
>>1324357Я безработный потому что не собираюсь жить по лжи. Я понимаю, карьеристская пидораха вроде тебя не то что правду, мать продаст ради того чтобы жопу в тёплое офисное кресло с бонусами и страховкой усадить, но есть и (меньшинство) других людей.
>>1324428Ты безработный, потому что тупой. Уродился таким.И дальше, осознавая свою ущербность, ищешь недостатки в тех, кто умнее тебя. Типичный шизик с борд.
>>1324431> ты просто тупой ущербный оправдываешься не хочешь как я генералом успешным в кресле сидеть завидуй лохМог бы просто ничего не писать, твой вскукарек был просто алгоритмически предсказуем. Ты машинка.
>>1324424> АлисыПушо чатботы нинужны. Во всех остальных нужных вещах, типа раскрашивания манги, генерации музыки, обыгрывания людей в дотах и т.д. нейросети справляются отлично.
Какую нейросеть посоветовали бы для создания TTS?Задача: Нужно из некоторого wav вычленять трифоны. Самому лень это делать.
>>1324330>в каждый мл-тред нести вот эту вот хуйню. Работать не пробовал?Ты меня с кем-то перепутал, я только вчера впервые написал в тред. А так сижу тут с ноября в рид онли режиме.
>>1324330Алсо ты вместо обсуждения темы спора зачем-то перескочил на обсуждение личности написавшего. У меня работа есть. Но ты видимо не можешь защитить аргументами тезис "В IT полно ебланов которые не разбираются в IT и поэтому говно 10 летней давности многими воспринимается как инновация."
>>1324704>Алсо ты вместо обсуждения темы спора зачем-то перескочил на обсуждение личности написавшего.Нет, просто ты, гхм, туповат и в упор не видишь намек.С чего ты взял, что при внедрении инновации возраст используемых технологий является чем-то важным?Допустим, некий шизик Вася жил себе и жил, а потом решил внедрить Common Lisp вместо 1С. Успешно внедрил, получил премию, рассказал об этом на митапе. Дальше ты приходишь и говоришь Васе, мол, ты, червяк, вообще не имеешь право на митапах ничего рассказывать. Вот я - имею. Но не буду, потому что ссусь публичных выступлений. А ты - червяк и еблан.
>>1324769Я тебе про новые технологии в индустрии в целом и как следствие отсутствие развития при внешнем ощущении её роста, а ты "Common Lisp вместо 1С".
>>1324788Вот твой текст: "Я короче склоняюсь к тому, что сообщество программистов отупело и не может понять новшество это или нет. Тот же MVC почему-то в своё время превозносился, хотя по факту ему лет 40-45. "Иными словами, MVC нельзя превозносить просто по факту его возраста. Рассказывать о внедрении MVC нельзя. Будешь рассказывать - станешь частью отупевшего программерского сообщества. И вообще комбинирование технологий не является инновацией.Вот колесо - разве инновация? Пффф. Взяли существующие элементы и соединили в ось, получили инновацию. Никакого развития уже пятьдесят тысяч лет.
>>1324769> Допустим, некий шизик Вася жил себе и жил, а потом решил внедрить Common Lisp вместо 1С. Успешно внедрил, получил премию, рассказал об этом на митапе.Вот нынешние сойбои от машобчика чем-то таким и занимаются. Молодцы, конечно, но остаётся вопрос - где в этой схеме прогресс и развитие? За всеми этими тысячами пейперов, митапов итд как-то не принято замечать, что даже негров распознать нормально так и не могут. И это ещё не худшая сторона проблемы. Худшая сторона в том, что все выгодополучатели это сторонники электронного ГУЛАГа, враги прайвеси, свобод личности итд. Даже в случае относительно безобидных технологий типа контекстной рекламы все это работает на сбор данных и в конечном счёте это просто ещё один элемент все того же электронного ГУЛАГа.
>>1324802>Молодцы, конечно, но остаётся вопрос - где в этой схеме прогресс и развитие?Define прогресс
>>1324802>электронного гулагакакие-то русске комплексы, посмотри любое киберпанк произведение - никаких свобод, а общество кибербанка - это и есть единственно возможный прогресс. Тем более в России нет и никогда не было относительно Европы свободы (недавно отпраздновали 150 лет с отмены крепостного права и 50 лет с вручения паспортов крестьянам, лол), в Европах всегда внедрят GDPR и другие прайваси-инициативы.
>>1324812> никаких свобод, а общество кибербанка - это и есть единственно возможный прогресс.Наркоман ты что ли? Любой киберпанк это антиутопия, нет ничего прогрессивного в мире, где власть принадлежит транснациональным корпорациям, вместо закона устав компании, и где лучшая судьба для среднестатистического человека это работа в такой корпорации всю жизнь с пением гимна компании по утрам вплоть до смерти на рабочем месте от переработки, у гуков даже термин для этого есть. А если не вписался в рыночек - пиздуй к кибергопникам в канализацию или к кибербомжам в Коулун а то и на органы в подпольную больничку. Нет в этом никакого прогресса, точнее только узкоспециальный "прогресс" в области средств контроля и подавления. Именно к такому обществу все и идёт.
Нейрач, я тут решил для саморазвития написать генератор бугуртов, и наткнулся на проблему. Вместо языка я использую R, потому что больше ничего не умею. Как я это делаю: в текстовый файлик копирую будапешты, разбиваю в коде его на слова, нейронка обучается предсказывать слово на основе пяти предыдущих, потом я беру случайную последовательность из пяти слов из исходного текста и заставляю нейронку непрерывно строить баребух на основе пяти последних слов сгенерированной последовательности. Иногда получается неплохо, чаще всего не очень из-за несогласованности слов в русскоязычном предложении. Собственно, проблема в том, что баребухи у меня не отделяются друг от друга, поэтому программа обучается предсказывать начало следующего бугурта на основе конца предыдущего. Как это можно поправить? Идея использовать в качестве длины последовательности наибольший общий делитель списка количества слов в бенедиктах не работает, на некоторых датасетах она равна единице.
>>1325016> Собственно, проблема в том, что баребухи у меня не отделяются друг от другаТак отделяй. Как минимум введи стоп-символ для отделения.Ну и вообще здесь напрашивается рекуррентная сеть с произвольной длиной последовательности.
>>1325036Ну так я с радостью бы отделил, но тогда обучение переписывать придется, длина последовательности же разная будет.> рекуррентная сеть с произвольной длиной последовательности.Поясни за них
>>1325039>Ну так я с радостью бы отделил, но тогда обучение переписывать придется, длина последовательности же разная будет.Да нет, ничего не изменится, по 5 словам будешь предсказывать следующее, просто одно из символов будет стоп-символов>Поясни за них Да загугли уж
>>1325058> по 5 словам будешь предсказывать следующее, просто одно из символов будет стоп-символоТогда я не понял, что именно останавливает стоп-символ
Вопрос к нлпистам: подскажите подход генерации предложения с указанным словом. На ум приходит лишь две нейронки, одна будет предсказывать слова, следующие после указанного, другая предыдущие, но это как-то совсем костыльно и неэлегантно.
Посоветуйте современный обзор по генетическим алгоритмам и как применить машинлёрнинх чтобы они заработали.
Почему бы не сделать DAW на основе марковских цепей? Генеративная музыка - прогрессивно! В Tone.js как раз есть марковская цепь. Осталось только ui. И это проблема, ибо мне нужна какая-нибудь библиотека, благодаря которой можно создавать патчер с линиями и объектами типа Instrument, Chain, Effect и т.д
>>1325335>нейросеть написала продолжение игры престолов>Отмечается, что часть книги состоит из абсурдных сцен и бессмысленных словосочетанийНя, переводиhttps://github.com/zackthoutt/got-book-6/tree/master/generated-book-v1Достаточно чутка мокнуться в НЛП, что бы понять какую хуету пытаются втюхать маркетолохи и нейрошкольники. увернет, что пикрил школьник даже не знает что такое анафора и какие с ней проблемы.
>>1325368на диалоге-21 в этом году конкурс на разрешение анафоры, не хочешь ли написать действительно годный алгоритм, который покажет нейрошкольникам, как надо делать настоящий НЛП?
>>1325331Генетические алгоритмы это брутфорс. Они не могут принимать во внимание какую-то структуру проблемы, которую ты хочешь решить. Соответственно конкурировать с хотя бы теми же самыми нейроночками они не могут, это тупик.
>>1325504Ты ебанутый какой-то, сравнивать нейронки с ГА. Нейронки - это нейронки, вид математических функций. А ГА - это метод оптимизации. В случае нейронок применяется градиентный спуск, потому что нейронки дифференцируемы.Если сравнивать ГА с градиентным спуском, то у ГА преимущество в том, что ему похуй, дискретные у тебя величины, или нет, похуй, можешь ли ты посчитать градиент, вообще на все похуй. Почти любая np-complete задача неплохо решается ГА.ГА очень хороши для разного класса задач. Главное их преимущество - можно декларативно описать, что ты хочешь получить, а ГА будет перебирать, но не за экспоненциальное время, как брутфорс.К примеру, есть у тебя цены в магазине и ты хочешь подобрать их таким образом, чтобы приходилось выдавать минимум сдачи. В принципе задача решается линейным программированием. Но с помощью ГА код пишется за несколько минут, просто записываешь целевую функцию, соответствующую минимуму сдачи, и все; и выдает решение, близкое к глобальному минимуму на 99.9%.Это хорошо, например, для оценки качества других, более сложных, решений. Если хуже ГА, ищи ошибку.
>>1325504Нейронки - это баззворд для одного из видов регрессионного анализа. А ты хуйню какую-то написал.
>>1325399>конкурсмокрописьки на конфочках и митапчиках не показывают, покрописечки это мохнатое золотце, мохнатое ноухау. И когда я разрешу анафору, я буду рубуть бабосики, а не перед васянамя с Абби, Хуяндекса или Харкевича хвастаться.
Короч есть всякие авиасимуляторы. ДКС и прочее говно. Они все ебутся со своими кривыми упрощенными флайт-моделями годами и получается все равно говно.Надо научить сеть данными из аэродинамических продувок моделей чтобы она сама генерировала флайт-модель в рантайме. Норм или не взлетит?
Где можно взять портреты в хорошем качестве, без очков и прочей хуйни и чтобы у людей был разный тип лица (жирные, длинные, телки и прочие, хотя бы ~10 различных видов)? Нужно нейроночку научить различать различные виды лиц. С вк искать вручную долго, там все телки одинаковые + фотки говно
Подскажите пожалуйста, что происходит в строке 46, почему минус 1:delta3[range(X.shape[0]), y] -= 1 #yhat - yhttps://github.com/jldbc/numpy_neural_net/blob/master/three_layer_network.py
>>1324801Блядь что ты несёшь уёба? Вам дали ИИ, системы обучения, кучу алгоритмов по распознаванию лиц, жоп пёзд и прочего. НЕТ МЫ БУДЕМ ПРО MVC В PHP РАССКАЗЫВАТЬ, ЭТО ВЕДЬ ЕБАТЬ КАКОЕ НОВШЕСТВО!
>>1324492Тебе нужен GMM/HMM + expectation maximization. Скачивай kaldi, там вся эта хуйня в готовом виде.
>>1326625Добавлю. Конкатенативный TTS это гавно мамонта. Настоящие пацаны используют нейронки для синтеза.
Скоро дедлайн на ICML, и снова жопа в огне.Снова тяжело.Есть ли здесь еще титаны? Давайте превозмогать вместе.
Есть смысл лезть в ДатаСаянс, если я не дружу с мат статистикой и ненавижу возиться с визуализацией(графики, гистограммы, вот это все)?На каком уровне вообще нужно знать мат. статистику для комфортной работы с машобом?
>>1327172Я хуй знает почему датасайнс мешают в одну кучу с машобом, но на мой взгляд это разные вещи. Если просто в нейронки вкатиться, то матстат тебе не особо нужен. Хотя, читал где-то альтернативное мнение, что в датасайнс идут те, кто не осилил нейронки.
http://www.forbes.ru/tehnologii/371157-iskusstvennyy-intellekt-okazalsya-nerazreshimoy-zadacheyНу уот и всё. Карачун вам.
https://www.youtube.com/watch?v=zvGeLvWZ7yQО, нью эйдж кайнда гай, с крашеной волоснёй рекламирует перед зеленоротыми задротами нейромагию, которая позволяет ничего не знать. Просто хуячишь в чёрный ящик и всё работает)). Классика.
>>1327453Нельзя быть настолько тупым чтобы сообщить о своих открытиях относительно природы разума и умным чтобы совершить такое открытие. Умный но тупой, именно это поистине неразрешимый человеческий парадокс.
>>1327547Ты шизу какую-то пересказал, которую тебе голоса нашептали, а не статью. Суть статьи (оригинальной в nature, а не этого говна в форбсе) в том, что математики нашли аналог проблеме остановки в каком-то кастрированном варианте машоба. Ну и хуй с ним, проблема остановки не привела программирование к карачуну.Мне их выводы скорее очевидны были, не умаляя их заслуг как математиков.
>>1327554>Оригинальной в nature>А сам запостил хуйню с форбсТогда дальше>We describe simple scenarios where learnability cannot be proved nor refuted using the standard axioms of mathematicsЭтого её можно и не читать.
>>1327554Одни необразованые безответственные говени написали статью на форбсе, другой её перепостил, третий пересказал и его назвали шизиком, да пошли вы нахуй просто.
>>1315967 (OP)Сеть из 2-3 полносвязных слоёв всегда запоминает треноровочную выборку (при условии, что количество нейронов в слоях не меньше размерности данных)? Я именно про запоминание, а не обучение, говорюниасилил даже это
>>1327453Когда маняматики начинают хвелософствовать - явно проступает шиза. Считали бы свои производные и не выебывались.
Погодьте, но ведь насколько я понимаю теорема Арнольда утверждает что любую функцию можно аппроксимировать нейронкой в том смысле что найдется такая структура сети и такой набор активационных функций что функция точно представима как композиция таких и суммирование с весами. Это не значит что мы можем взять какую-то сетку, какие-то стандартные активационные функции и надеяться что случайно взятую функцию мы можем так представить.
А есть тут анон, желающий вместе со мной написать говорилку под Android? Пока думаю обмазаться deeppavlov'ым, но готов рассмотреть другие варианты.
>>1327651>Сеть из 2-3 полносвязных слоёв всегда запоминает треноровочную выборку (при условии, что количество нейронов в слоях не меньше размерности данных)Ну а как бы ты это вручную задизайнил?Нужно взять входные данные, посчитать расстояние между ними и тренировочной выборкой. Найти у этой хуитки минимум (в смысле [0.1 0.4 0 5 10] превратить в [0 0 1 0 0]. Затем перемножить результат этого минимума с матрицей выходных данных.То есть минимум получается уже в первом слое "размерность входных данных умножить на число тестовых примеров", а во втором слое - "размерность выходных данных умножить на число тестовых примеров".На деле больше, ведь поиск расстояния нелинеен.
Какими навыками нужно обладать, чтобы вкатиться в двихужу с машобом и нейроночками? Действительно ли это актуально, аля .com или все это оверрейтед и будут кормить бананами? Дискасс.
>>1328025Надо знать что такое линейная регрессия, знать python и уметь умножать матрицы. Про матрицы я серьезно, без них нихуя не поймешь.
Что делает на работе типичный датасайн?Какие задачи решаются ежедневно, какие крупные задачи на неделю, на месяц?Какие инструменты регулярно используются?Интересуюсь тк мне предложили вакансию по сабжу, хочу понимать что меня ждёт в случае успеха.
>>1328846Датасайн работе с данными подобен. Задачи решаются, и на месяц и годец типичное задание преобразование данных в информацию полезную бизнесу и подобие работы выполнений сладостных. Инструментыы тоже имеются как и в любой пролетарской позиции рабочего места ибо и руки и голова используется постоянно. В случае успеха ждут горы золотца сверху базовых накоплений каких-то гнилых овощей.
Двощ подскажи книг по матану который реально нужен в Машобе, в которых очень быстро переходят от теории к практике (в смысле математической, примеры, решения, задачи для практики). В будущем хочу вкатиться в машоб (сейчас веб макака), а на данный момент хочу улучшить сообразительность и скорость решения задач (программистских). Спасибо.
>>1330131>по матану который реально нужен в МашобеEduard Zhopenzchmulzer "Математика от теории к практике, ускоренный курс"
>>1330136Звучит как по заказу. Спасибо.Ещё такой вопрос, как лучше обучаться? В смысле следует ли по мере изучения делать какие-нибудь конспекты чтобы лучше запоминалось, или прочтения и решения задач хватит?
>>1330136> Eduard Zhopenzchmulzer> "Математика от теории к практике, ускоренный курс"Бля, это был троллинг?
Недавно взял ноут, в нем оказалась в целом-то нахуй мне не нужная йоба-видюха жефорс МХ150, ибо в игоры не играю (других подходящих моделей с 8гигами памяти не было). Погуглил, норот на таких видюхах тензорфлоу этот ваш гоняет. Почитал по установке, это ж пиздец полный, попроще его нельзя поставить? Или чтото более другое для нейронок, хотелось бы немного пообмазываться, не пропадать жи добру.
Аноны, поясните нубу-вкатывальщику, куда в этой формуле в p(x | theta) делась D? То есть, разве не будет правильно p(x | theta, D)? Это же формула ПВ? Я не могу понять, какое свойство они использовали, чтобы D выбросить.
>>1330752Единственное, что могу предположить, это раз они все зависимы, то зависимость от D передается y через theta. Но это не очень вяжется с формальными правилами.
>>1330699Да ну. Только сегодня ради прикола поставил на венду. Вроде работает. Единственное, на чём запнулся - нужны 64х-битный питон и nightly-версия
>>1330893>Intel Software Developer Manual на столе во всей своей четырёхтомной красе>распечатанный список AVX2-интринсиков (остальные ты и так помнишь наизусть) рядом >vtune и IACA на втором монитореИтак, сегодня можно продолжить делать быстрейшую в мире кластеризацию синих выхухлей. Правда сегодня выяснилось, что нужно добавить ещё один параметр в модель, что изменит тонко подобранное расположение всего и вся в памяти и приведёт к ненужным L1-миссам, из-за чего добавится тактов 10-12 к каждой итерации цикла, что категорически недопустимо. Но ничего, за пару недель работы можно соптимизировать.
Вот я слышал в одной из лекций что сейчас много людей приходят в датасаенс из разных областей. Правда могут взять левых людей кто прошел курсы, а работал скажем технологом на заводе, или там иненером в машиностроении, или например геодезистом, или залупологом???? Я просто думаю что много людей и крутых матфаков вкатываются, а на рынке не так много мест рабочих в датасаесе и машобе. Не получится ли так что все эти самоучки с левым образованием окажутся не у дел., а набирать будут только молодняк с топовым физмат образованием?
>>1327974> А есть тут анон, желающий вместе со мной написать говорилку под Android? Гугл TTS чем плох? Маловероятно, что ты сделаешь лучше. Говорилка не помешала бы на пекарню, ибо лучшее что есть - alyona rabotaet hrenova из 2008 года. >>1327920> Погодьте, но ведь насколько я понимаю теорема Арнольда утверждает что любую функцию можно аппроксимировать нейронкойЭта теорема вообще не про нейронки. А про то, что любая функция от многих аргументов аппроксимируется суперпозицией функций от 2х аргументов. Что в том числе служит объяснением как вообще они работают.> Это не значит что мы можем взять какую-то сетку, какие-то стандартные активационные функции и надеяться что случайно взятую функцию мы можем так представить.Все зависит от того, что за функция. Если функция представима в виде полного степенного полинома VKG (Вольтерры- Колмогорова -Габора), то она всегда представима в виде т.н полиномов Ивахненко. И так далее. >>1327945С мамкой твоей ознакомился, хуета какая-то.
>>1331240Зачем тогда все это говно учить - только время терять просто так, все равно устроятся на работу малая часть людей, пару процентов от 100, остальные так и будут годами что-то вяло ковырять.
>>1331653> все равно устроятся на работу малая часть людей, пару процентов от 100,Рабу только бы жопу дяде продать занидорага. >>1331417Пиздец ты унылое хуепутоло.
>>1331996> На жизнь то надо как то зарабатывать. Твои предложения как?Т.е ты не знаешь как заработать на жизнь без машобчика?
>>1331194>Правда могут взять левых людей кто прошел курсы, а работал скажем технологом на заводе, или там иненером в машиностроении, или например геодезистом, или залупологомВсе не так. Работаешь на заводе, вдруг в соседнем отделе внезапно возникает датасаенс-задача, которых, вообще-то дохуя. И у завода есть два стула, искать хуя с горы за 300к в секунду (и завод скорее всего просто забьет и посадит тетю Машу ковырять говно в ручную), или сказать толковому васе-залуплогу, мол, вася, есть такая задача.А васю заебало работать залупологом, он берет, импортирует слесарьплов и решает задачу.Хотя курсы, конечно, хуйня. Все упирается в твой интеллект.>Я просто думаю что много людей и крутых матфаков вкатываютсяНа матфаках до сих пор учат как проектировать ракеты с технологиями 70-х годов. Люди оттуда куда только не вкатываются, в финансы те же и даже во фронтэнд. Инфа 100%, у меня тян с матфака и я смотрю на ее круг общения, ничего особенного в плане работы там нет. Понятно, что через 5 лет будет, но это потому что люди сами по себе не тупые, а не из-за образования.
>>1331996Я другой аноним, я в Мухосрани живу, знаю двух пацанов, которые очень сильно математикой увлекались. Оба нейронки и машинное обучение задрачивали, но в Мухосрани таких вакансий нет. Оба пошли в МухГУ и стали диссертации писать по машинному обучению. А на жизнь зарабатывают так: один бухгалтерские расчеты делает в зашкварной по меркам итт this этого данного треда в 1С-ке. А другой армию дитачек учит ЕГЭ на 100 баллов задрачивать. Такие дела епта, бля! Понял нет!Ладно, я шучу, но примеры ИРЛ из жизни, как она есть. Шутка, это плохие примеры, не слушай меня. Слушай себя.
>>1332454Я из Зимбабы, ты че сука, че то против Зимбабы имеешь? Я пацанов математиков позову, они тебя вычислят.
Можете посоветовать хороших статей (не обучающих, а исследований) по keyword extraction и sentimental analysis
>>1332720мехмат, вмк, физфак, бауманка, вышкаВезде единичные примеры - я не буду пиздеть о том, что у меня охуенный круг общения в 200 человек, но тем не менее.Вышка исключение, кстати, но человек оттуда тоже страдает какой-то хуйней типа репетиторства.
>>1332731>круг общения в 200 человек>мехмат, вмк, физфак, бауманкаВ Мак Дональдсе на тимбилдинге познакомились?
>>1333194Каким нахуй клиентом, маня. Я не знаю, кем нужно быть, чтобы прочитать фразу "я не буду пиздеть о том, что у меня охуенный круг общения в 200 человек", будто бы у меня круг общения в 200 человек. Это совсем дауном нужно быть. С такой способностью читать ты не то, что моим клиентом не будешь, я тебя в магазин за хлебом не пущу - ты неправильно прочитаешь список покупок и купишь вместо хлеба дилдак, потому что хлеб на букву х начинается.
Как же горит тут какому-то отребью от того что он никак что такое производная понять не может. Зато постеронию усвоил))
>>1333275>производная жидовские выдумки НЕНУЖНЫ>постеронию Мемология это важнейшая из наук в 2к!9 году.
Обожаю этот трехед, где можно унижать маняматиков и прочий теоретический скам который нихуя не может кроме чтения паперов и перманентного бугурта.
>>1333275>производная понятьОткрыл гугл, прочетал и решил нужную задачу, а не 5 лет задрачивать никому не нужное говно.
Здравствуйте, я веду замкнутый образ жизни, имею плохую память и плохо знаю свою Мухосрань даже те места, где часто хожу, ибо пробегаю, не запоминая обстановку. Ладно, это вступление. В общем мне нужен репетитор по математической части машинного обучения. Я нашел какого-то городского математика, увешанного грамотами и медалями, доктор всех наук, 500-кратный чемпион мира по математике, квадратная академическая шапка с золотыми дубовыми листьями, серебряными мечами, усыпанная бриллиантами. Так как я нищук, то ноутбука у меня нет. Подскажите, пожалуйста, существуют ли кафе или еще какие-то заведения, где можно засесть и на три часа арендовать ноутбук?
>>1315967 (OP)Здесь кто-нибудь пытался найти работу/нашел работу в области компьютерного зрения?Действительно ли нужно быть выпускником мехмата, чтобы твое резюме хотя бы прочитали? Слышал, что в датасаенсе такое часто бывает, особенно в москве, где полно выпускников разных мгу/мфти/вшэ.
Сап, нейронач. Недавно приступил к такой теме как нейросеть Хопфильда. Вначале по правилу Хеббиана через Numpy по гайду одному написал и все прекрасно работало, мы умножали входящую поврежденную инфу на веса, "округляли" до 1 и -1 и так раз 5 для уверенности. И вот проблема оказалась в понимании реализации градиентного спуска для нейросети Хопфильда с помощью Tensorflow. Нейросеть то я написал, прописал loss-функцию и обучил прекрасно и она заработала идеально. Только вот потом уже я заметил, что пропустил округление промежуточных результатов.То есть вместо классической схемыПовторить 5 раз:----Поврежденная инфа = округлить(поврежденное инфа веса)У меня вышлоПовторить 5 раз:----Поврежденная инфа = поврежденная инфа весаПоврежденная инфа = округлить(поврежденная инфа)Короче пытался переписать правильно, ведь по сути она же должна шагами двигаться, каждый раз получая новую репрезентацию активации нейронов как все описывают в лекциях на эту тему, а не умножать все по пять раз подряд, ток в конце получая результат. Но в другом случае нейросеть просто оказывается необучаема. Округления посередине мешают. В чем проблема? Может я что-то не понимаю? Описывается всеми почему-то именно так в теории, что на практике мы должны округлять каждый наш шаг и доводить до -1 либо 1, хотя тут уже и я засомневался. Хочу понять саму суть почему все именно так происходит.
>>1333496Сука, разметка знаки проебалаТо есть вместо классической схемыПовторить 5 раз:----Поврежденная инфа = округлить(поврежденная инфа УМНОЖИТЬ НА веса)У меня вышлоПовторить 5 раз:----Поврежденная инфа = поврежденная инфа УМНОЖИТЬ НА весаПоврежденная инфа = округлить(поврежденная инфа)
Бля, как классифицировать если классы в датасете представлены пизда не равномерно? до в сто раз больше доходит.
Я прошел курс на stepic.org про нейронные сети. Какую-то базу понял, но очень многого еще не знаю. Теперь пробую читать статьи к Keras. Там все время фигурируют три термина: Validation, Estimate, Evaluate, я их не могу различить, не могу понять, что есть что.Где можно прочесть про Validation, Estimate, Evaluate, чтоб стало точно понятно, чем они друг от друга отличаются?
>>1333414пк бывают в библиотеках и учебных заведениях. В ДС есть коворкинги. Если есть планшет, то можно купить к нему клавиатуру (можно даже и без клавиатуры) и выучить забесплатно весь машоб на http://colab.research.google.com/ или на том же kaggle.com
Есть какое-нибудь ньюби френдли комьюнити для совместного решения/обсуждения задач на каком-нибудь кагеле? Только вкатываюсь в это дело и нужен кто-то кто будет обсирать мои решения и пояснять почему так делать не стоит.
А что будет если сделать глубокий перцептрон с очень узкими слоями и разреженными матрицами весов но с огромным их количеством? Будет ли он лучше обычного однослойного в чём-то?
>>1333864Все упрётся в проблему троутинга, если глубина перцептрона окажется слишком большой, то он просто разорвёт твои узкие слои, после придется ходить к проктологу и зашивать твои разреженные матрицы.
>>1333864Больше трех слоев мало смысла из-за vanishing gradients. Нужно хотя бы residual связи делать.
>>1315967 (OP)помогите, плез, слоупкууровень IQ и ангельского не позволяют понять одну из частей работыhttp://rodrigob.github.io/documents/2014_eccv_face_detection_with_supplementary_material.pdfhttp://videolectures.net/eccv2014_mathias_face_detection/просто нихуя не одупляю benchmark issues и решения этих проблемможете пожалуйста разжевать кто нибудь, что они делают с датасетами, чтобы они подходили для сравнения разных детекторов, а то я совсем даун
>>1333971Правильно ли я понимаю, что ты хочешь, чтобы кто-то потратил час своей жизни на то, чтобы ответить на твой вопрос?
>>1333995на видео 4 минуты по интересующему меня вопросу, так что сомневаюсь, что человек с нормальным знанием английского потратит на это час своей жизни
>>1334002Видео 18 минут. Короче, пишу прямо: ты долбоеб и ленивое чмо, которое даже нормально задать вопрос не может.Нормально было бы сказать конкретный таймлайн сразу.У тебя нихуя в машобе не выйдет, потому что человек, который даже вопрос задать не может, не имеет достаточно интеллекта, чтобы заниматься этим.
>>1334010ебать мой хуй, сколько категоричности, не написал таймлайн, в 18 минутном видео, где интересующая тема начинается с 28 блять секунды, сам не понял что спросили, а я долбоеб и нихуя у меня не выйдетне пиши больше, с тобой все ясно
>>1334032>ебать мой хуй, сколько категоричности, не написал таймлайн, в 18 минутном видео, где интересующая тема начинается с 28 блять секундыИ как я должен был это узнать? Ты совсем аутист ебаный что ли.>сам не понял что спросилиЯ понял, что спросили - открыть две ссылки, просмотреть их целиком, чтобы найти benchmark issues, и потом разржевать тебе это.В этих 4-х минутах говорится о том, 1. В популярных датасетах криво размечены данные, в итоге методы, которые работают верно, оцениваются неверно. Например, если алгоритм выдает квадрат лица чуть больше, чем размеченный в датасете, это будет считаться false positive. Некоторые лица не размечены вовсе - а значит правильно работающий алгоритм будет оценен как false positive2. В разных датасетах разные прямоугольники считаются лицом - кто-то отмечает лицо целиком, а которо только глаза и рот. Кто-то игнорирует лица начиная с какого-то размера, а кто-то с другого размера, в итоге для разных датасетов нужно настраивать алгоритм на игнор разных лиц. Это все приводит к тому, что алгоритм, тренированный на одном датасете, на другом работает, как его учили, а не так, как считает тот, кто размечал датасет.На этом 4 минуты закончились.Как решение, они переразметили датасеты, чтобы они подчинялись одной логике в плане того, что считать лицом, и имели меньше ошибок. Ломающие новости, оказывается, в машобе самое важное - качество датасета.В целом это все типичное научное каглодрочерство - наши алгоритмы сосут (а они правда сосали до нейронок), поэтому мы переразметим датасеты так, чтобы они выглядели получше.Доклад 2014 года и без нейроночек, в нем полезной информации для 2019 минимум. Нейроночкам похуй на этот датасетодроч, они на любом криво размеченном говне тренируются, главное, чтобы этого говна побольше было. Хочешь разобраться, читай cs231n и про детекторы YOLO, SSD, не хочешь - бери MobileNetSSD или что-то подобное и используй. На подобную хуйню время не трать.>>1334054В оригинальном вопросе нет никакого видео. Там две ссылки в стиле "ебись, анон, как хочешь, я ведь нихуя не одупляю".
Так я не понял. Keras все таки по умолчанию использует ускорение на GPU. Или там надо команды писать типа "зе программа юзай Графический процессор"!И еще вопрос - умеет ли Keras в ускорение GPU или нужны какие-то tensorflow команды написать, чтобы использовать ускорение на GPU?Если что использую для запуска программ Google Colaboratory
>>1334423> Так я не понял. Keras все таки по умолчанию использует ускорение на GPU. Или там надо команды писать типа "зе программа юзай Графический процессор"!Керас это надстройка над слесарьпловом (и не только). Логично предположить, что использование видюхи зависит от конкретной установки слесарьплова, если он у тебя в ГПУ версии, то и через керас будет использоваться видюха.
>>1334424Не знаю, это же не моя пека, а Google Colaboratory. Я могу там только галочку поставить в настройках GPU Acceleration. А так я не очень понимаю как там все устроено.То есть если там последняя версия Keras, то оно по умолчанию может использовать GPU Acceleration?
>>1333895Блять, выучи что такое ванишинг градиент сначала. >>1333864Он может быть лучше, но врядли будет. Однослойный перцептрон на самом деле почти ничего не может, но и пецептрон со сколько угодно слоями тоже не сможет, если у него слои эти узкие, так как просто вектор слишком маленький будет для передачи информации. Да и вообще если ты расширяешь свою сеть, то готовься к андерфиттингу.
>>1333496>проблема оказалась в понимании реализации градиентного спуска для нейросети Хопфильда с помощью TensorflowВ голос с тебя.
>>1334477>Блять, выучи что такое ванишинг градиент сначала. Это ровно то, что я описал, пидор ты ебаный.>Да и вообще если ты расширяешь свою сеть, то готовься к андерфиттингу. При усложнении модели нужно готовиться к андерфитингу? Вопросов больше не имею
Я шарюсь в Google Colab, запустил следующий код на пике. Там написано: CPU: 0 XLA_CPU: 0 Скажите, пожалуйста, это один и тот же CPU или это два разных CPU?
>>1334603> Скажите, пожалуйста, это один и тот же CPU или это два разных CPU?Один и тот же, там же написано цпу0.
>>1334623Ок, спасибо, а как понять, что такое XLA_CPU:0 - как понять, что это за эфирная субстанция? Почему он напечатан отдельной строкой от CPU:0?
>>1334623Ну, то есть я загуглил, что такое XLA (Accelerated Linear Algebra). Но я не понял насчет CPU:0 и XLA_CPU:0. Если это один и тот же CPU, а не два разных, то почему он не называется одним названием, например, XLA_CPU:0. Хочу узнать - почему же у него два названия?
Расскажите о работе датасайнтистов.Как проходит типовой рабочий день?Какие задачи решаются ежедневно?Какие задачи на неделю, на месяц, какие долгосрочные задачи?Кто ставит задачи и кто контролирует качество выполнения? хочу заранее знать что меня жлёт
Какта прощелкивал лекции по этим вашим сеточкам (коих немерено как говна) и одну лекции читала тянучка. Очень даже я бы не отказался чтобы она глубоко отобучила меня с подкреплением страпоном. Хочу еще разок на нее глянуть но никак не могу найти. Лекции были в каком то из рашко-вузиков на весьма высоком уровне (на сколько может быть высоким уровень сеткоговен), читали их по очереди разные вчерашние/сегодняшние студентики. Анон, выручай.
>>1335572https://youtu.be/RviskFqwF3MМб этот курс, тут некоторые лекции как раз тянучки ведут (даже 2)
>>1335827Ну хз, лицо широковато слегка, но зато голова в целом большая, лоб прямой и высокий да цефальный индекс отличный
>>1315967 (OP)Я прошел на stepic.org курсы по pyhton и по нейронным сетям. Там они все время говорят биоинформатика - то биоинформатика - се. Короче, все время за биоинформатику топят.И мне стало интересно, скажите, пожалуйста, а эти хваленные программисты-биоинформатики, они только матстатистику, машинное обучение знают или они еще и в медицину углубляются и шарят в генетике и вычислениях протеинов? Или только ученые-медики шарят в генетике и вычислениях протеинов, а программисты-биоинформатики только лишь технически работают с данными, не заморачиваясь с пониманием биологии, химии, генетики и вычисления протеинов?
>>1336670>как тыТы зенки бы продрал. Повторяю для тех, кто не умеет читать и не прошел начальную школу. Я не занимаюсь нейронными сетями, я лишь нашел тред и задал вопрос.
>>1336532Все таки какое-то знание у них должно быть. Не поверхностное, но и не очень глубокое. Обычно с ними вместе работают тру-биологи.
Ну что массово перекатываемся на PyTorch? Не вижу никаких достоинств у TensorFlow, ради которых за него стоит держаться. Только импортируемый визуализатор да возможность использовать на мобилках (в которой пока что PyTorch слегка сложнее в реализации) Статичные нейронные сети и не питонический синтаксис, где вместо даже вместо простых if else нужно писать tf.map_fn(cond, do_this, do_that), что ебическая функция недружелюбная. И все по одной дорожке вести каждый раз и лучше максимально простой, иначе бобонет и ебанешься исправлять все.
>>1336383Погуглил. Как я понял всё из-за активационных функций, производная слишком ограниченная. Почему нельзя просто нормальных функций взять?
Уже месяц где-то вкатываюсь в нейронные сети, и хоть я пиздец какой тупой, но за пару недель вкатывания, курсов и матана я начал уже более-менее разбираться в теме, есть тут такие же упоротые? Посоветуйте чего почитать, я уже примерно понимаю в чём суть, как там веса и баяс подкручивать, всякие адам оптимизации и тд, куда лучше вкатываться, в керас или тензорфлоу? Или там надо и то и другое, с чего начинать? Какой проектик можно запилить для начала с нейронками?
>>1315967 (OP)> АХАХА ПЕДОРАШКА ТУПАЯ НУ КОКОЙ ЕЩЁ ЦЕФРОВОЙ ГУЛАГ ПРОИГРАЛ С ПАДЛИВАЙ ИДИ ШАПОЧКУ ИЗ ФАЛЬГИ НАДЕНЬ ПОСМОТРИ ЛУЧШИ КАКОГОНИБУДЬ НАУЧПОПА СТОТЕЕК ИЗ АРХИВА ПАЧЕТАЙhttps://en.wikipedia.org/wiki/Social_Credit_System
>>1337008Ну в комиксе не взяли, в этом и юмор.А так - каких, например? ReLU имеет в 2 раза меньше насыщений, но ровно одно (для x<0). Вот и попробуй придумать монотонную функцию без насыщений, которая при этом не y=x (линейная нам не подходит).
>>1337758>>1337632А почему вообще стаканье слоёв работает?Ну интуитивно так, можно примерно почувствовать?
>>1337632Для этого достаточно residual связей. 152 слоя как раз за счет этого - градиент не vanish'ится, потому что по skip-коннекшону идет до самого верха. Сообществу потребовалось больше 30 лет, чтобы дойти до такой простой идеи.Если слово residual тебе не понятно (а я не знаю как сказать по-русски), то вместоy = f(x)используетсяy = x + f(x)И тебе похуй, ванишится ли градиент у f, потому что x идет напрямую.Из-за того, что нейросеть уменьшает пространственное разрешение информации, скипнуть информацию со входа проблематично (не y=x+f(x), а y = downscale(x) + f(x)) , нужно все равно уменьшать разрешение, поэтому информация все равно теряется, но не так сильно, как в случае активационных функций.>>1337842>А почему вообще стаканье слоёв работает?Каждый слой нелинейно преобразует пространство - растягивает его, сжимает и делает прочие вещи. Стаканье позволяет описывать многократно более сложные преобразования.Конечная цель классификатора преобразовать инфу в такое состояние, что твоя проблема становится линейной. Естественно, чем больше слоев, тем больше шансов этого добиться. Если точнее, то более глубокая сеть экспоненциально эффективнее неглубокой сети с меньшим числом слоев. Не помню, где я это прочитал, но может пользоваться такой эвристикой.
>>1337852>Каждый слой нелинейно преобразует пространство - растягивает его, сжимает и делает прочие вещи.>Стаканье позволяет описывать многократно более сложные преобразования.Хм, но получается что организация сети по слоям предполагает что у фич одинаковая "нелинейная сложность" в модели. Что совсем необязательно так.
>>1338195Хороший вопрос.Чтобы ответить на него, смотри пикрелейтед. RNN, если подать на нее постоянный во времени сигнал и развернуть - это по сути та же feedforward сеть с residual связями, но с общими параметрами у слоев.Мозг - RNN. Там мало слоев, например, в визуальной коре их всего 6, но каждый слой имеет обратную связь с предыдущими. И эти образные связи скорее всего и делают его глубоким - он глубокий во времени.Вкупе с тем, что он еще и очень широкий, в каждом слое нейронов очень много, получается очень мощная штука.
С учетом небольшого рынка DS в нашей стране, чувствую мне как вкатывальщику необходимо усиленно дрочить инглиш до уровня разговорного.Correct me if I'm wrong.
>>1337863https://dyakonov.org/2017/03/10/c%D1%82%D0%B5%D0%BA%D0%B8%D0%BD%D0%B3-stacking-%D0%B8-%D0%B1%D0%BB%D0%B5%D0%BD%D0%B4%D0%B8%D0%BD%D0%B3-blending/
>>1338638 >>1338964что ты вообще в этом треде делаешь?эти термины употребляют как вапникофилы, так и адепты "from keras import *"что же ты такое?
>>1339093>что же ты такое?Первый в очереди потребитель, жду когда мне ИИ зделают как в фильмах, а у вас пока одни смешнючие названия.
>>1315967 (OP)Так, вы тут умные типа и бугуртите когда вас теоретиками обзывают, вот вам задача:нужно бистро-бистро сравнить джве картинки на схожесть, причем сравниваемая картинка имеет меньший размер и может содержать незначительные помехи (не такой пиздец как в капче, но все же) и отличаться в цвете.Кокие ваши действия?
>>1339520Что-то такоеhttps://medium.com/machine-learning-world/feature-extraction-and-similar-image-search-with-opencv-for-newbies-3c59796bf774стандартный путь.В качестве фичедетектора можно и нейронку въебать.А можно просто отмасштабировать 2 изображения и посчитать евклидову норму между ними, например.
>>1339520Возьму какую-нибудь VGG-19, прогоню обе картинки через неё и активации в верхних слоях буду использовать, как эмбеддинг ентих картинок. Дальше смотришь евклидову дистанцию между ними, у похожих картинок должна быть небольшая. Только надо поэкспериментировать, из какого слоя активации брать
Здравствуйте, помогите, пожалуйста, допустим у меня задача восстановления регрессии:Есть 9 сортов удобрений. Х1...Х9 - это количество добавленного в яблоню удобрения каждого из 9 сортов. Y1 - это средний размер итоговых яблок с яблониY2 - это средняя вкусность итоговых яблок с яблониY3 - это средняя калорийность итоговых яблок с яблониДля восстановления регрессии нужно применить нейронную сеть.Скажите, пожалуйста, как правильнее сделать? Три отдельные нейронные сети для предсказания по Х1...Х9 по отдельности Y1,Y2, Y3.Или правильнее сделать одну нейросеть, которая имеет три выхода и оптом предсказать Y1,Y2,Y3?
Да, похоже что я сейчас всё-таки понял. Это странное чувство. Я не могу найти полезной информации, хороших идей и прорывных открытий просто потому что в глубине понимания я всю эту сферу уже исследовал. Нечего больше изучать кроме фреймворков. Нихуя нет дальше и ничего больше не удивительно. Хочу сказать что ИИ настолько дно сейчас, что невозможно представить как вообще может идти такой хайп. Дерьмовое время для ресерчеров, если всё знание в сфере можно поглотить за один год.
Здрасте. На kaggle есть раздел learn. Насколько он взаимозаменяем с курсэрой от Яндекса? В смысле, всему ли, что есть на курсэре, я научусь, делая только каггл?
>>1340278Пошёл нахуй или отвечай по существу. Я не спрашивал, хороши ли они, многому ли я научусь и так далее, твоё ебаное мнение мне вообще не интересно. Мне интересен один блядский факт: покрывает ли каггл курсэру?
>>1340611MLE можно рассматривать как MAP при условии, что априорное распределение параметров - равномерное. Соответственно, MAP применяется, если есть априорное распределение, MLE - если его нет.
>>1320507Токенизация по словам, удалить повторы и использовать стемминг. Хз как в Эр, в питоне NLTK библиотека, с русским вроде ок работает
>>1341406поэтому вот все русские камьюнити - говно. Вместо того чтобы помогать тупо высмеювают. Ты просто никчёмный хуесос.
>>1341301В naive bayes предполагается, что p((x1, x2, ..., xn)|y) = p(x1|y)p(x2|y)...p(xn|y), т.е. признаки условно независимы.
Как так получилось что из игр с неполной информацией дотку и старкрафт сломали, а в более простых играх вроде покера или маджонга до сих пор аи не очень справляется? Лажа какая-то, за счет реакции что-ли всё?
>>1342456Игру на стриме, во время которой ИИ не сумел законтрить простейшую тактику и слил, ты игнорируешь? Там сразу стало ясно, что стратегически альфастар не умнее существующих ботов и выезжает на сверхчеловеческом микро, причём это 1 в 1 то же, что случилось летом с ботом от OpenAI которой в Доту слил людям. Там видно, что не тот, не другой боты игры не понимают, не могут выстроить причинно-следственную цепочку и абсолютно не могут адаптироваться к тактике противника. Текущий подход очевидно тупиковый и Дипмайнд это игнорирует, потому что для них главное в этом деле это пиар.
>>1342394>вроде покераПокер - чистая рулетка же - в него невозможно выиграть. Но - удваиваю предыдущего оратора - для пиара скоро и покер как нибудь "выиграют".
>>1342594> Покер - чистая рулетка же - в него невозможно выиграть.Это комбинаторика, вероятности и теория игр. Ты просто тупенький.
>>1342456Бот читает данные прямо из игры, у человека же только глаза для ввода информации. Дай хуману столько же информации сколько даешь боту, хуман изи обоссыт.
>>1342394Такие уже есть давно. Тебе было бы легче если ты знал о их существовании? Было бы легче если знал, что взрослые дяди ничего не делая фармят вечнозеленые 24/7? О таком просто не принято говорить.
>>1342605>Тебе было бы легче если ты знал о их существовании? Было бы легче если знал, что взрослые дяди ничего не делая фармят вечнозеленые 24/7?Да-да, рептилоиды вообще без всяких покеров деньги из воздуха делают. Покер с двумя игроками сломали более менее, тогда же и опубликовали без проблем.
>>13423941на1 покер выиграли, другой не выиграли, так как толковых команд в мире мало, а DeepMind и OpenAI решили, что видеоигры покруче будут.>>1342604нет, это в доте API есть, в старкрафте все чуть почестнее (в последней версии, которая проиграла, даже карту двигать нужно)>>1342440еще не сломали, ждем близзкона, оупен аи выглядит неплохо и думаю, победят серрала, но это совсем неточно, мб, будет как с дотой (если, конечно, не будут убирать ммр)>>1342573> альфастар не умнее существующих ботовсуществующие боты даже с 20к ммр не выигрывают > то же, что случилось летом с ботом от OpenAI которой в Доту слил людямтут проблема в openAI, они слишком сильно пытались обогнать DeepMind и не осилили> Там видно, что не тот, не другой боты игры не понимают, не могут выстроить причинно-следственную цепочку...ты этот вывод сделал по одной игре из 11 на экспериментальной модели? сразу виден баейсианский подход к делу!
>>1342689>сразу виден баейсианский подход к делу!Ну так априорное предположение у нас есть: что это всё дикая лажа ради привлечения денежек инвесторов, как и 99% машинлёрнинх стартапов.
>>1342689>нет, это в доте API есть, в старкрафте все чуть почестнее Что нет то? У каждой игры есть свой интерфейс, все эти ваши АИ боты используют его на полную катушку. В реальных же условиях, исключительно на компьютерном зрении, боты научились только в ксачке врагов замечать кое как. Энивей пока что все пиздец как сыро и заоверречено с целью сруба бабла.
>>1343723Смотря какой сет. Странный вопрос, бери и собирай без задней мысли. Потом конвертируй в удобный формат и вперед.
Анон, подскажи пожалуйста вот какой момент.Учусь на программной инженерии, сейчас вот хочу освоить для себя нейронки и написать хороший диплом магистра, не просто чтоб потратить время и получить бумажку, но ещё и что-то полезное узнать/сделать. Можешь ли ты посоветовать идею диплома связанную с нейронками, которую можно было бы обосновать дедам с точки зрения НОВИЗНЫ, АКТУАЛЬНОСТИ И НАУЧНОЙ ЦЕННОСТИ, которая позволила бы мне получить хоть немного серьёзный опыт и которую реально осилить за год?К примеру, я думал про нейронку, которая пишет музыку (учится на миди и пишет миди), но такого уже много и потому такое не интересно будет презентовать. Может, у тебя есть подобные хорошие идеи, которыми тебе не жалко поделиться?Заранее спасибо.
>>1344364Самое логичное что можно придумать чтобы впечатлить дидов: возьми задачу, которую ваши деды на кафедре/каком-нибудь оборонном нии при вашей шараге поколениями решают и только по ней и пишут научные статьи (обычно это какая-нибудь механика твёрдого тела/сплошной среды/задачи упругости и подобная картофанная прикладная дрисня) и попробуй присунуть туда нейронки. Обычно там вся задача в том как бы подобрать пооптимальней сетку для метода конечных элементов чтобы уравнения решить или там получше аппроксимировать какие-нибудь коэффициенты при каком-нибудь говне, или придумать метод чтобы матрицы какие-нибудь сделать поразреженней, тут как раз что-то можно нейронкой сообразить.
>>1315967 (OP)> Николенко и др. "Глубокое обучение"Там во второй главе после теоремы Байеса начался матан. Он нужен для работы с сетями? Или можно пропустить до введения в тензорфлоу и керас?
>>1344414>>1344468Спасибо, буду обдумывать.И ещё задним числом возник такой вот вопрос: по сути, я буду щеглом, который начитается обучающей литературы и методом тыка, очень неоптимально реализует такую нейронку на основе какого-то фреймворка типа тензорфлоу. Если внезапно в комиссии будут люди, которые имеют опыт работы с машобом, не буду я в их глазах выглядеть лохом, который взял фреймворк и на основе этого фреймворка сделал какую-то примитивщинупонимаю, что это очень абстрактный вопрос, но я хочу понять, что отличает тупого юзера ТФ от человека, который придумал хорошую идею и грамотно реализовал её с помощью хорошего инструмента? А то я насмотрелся на студентов, которые взяли какой-то веб-фреймворк и пытались защитить диплом, показывая пхпшную админку - не хочу быть как они.
>>1344520Как ты свою сеть реализуешь не имеет отношения к научной работе. Это опишешь буквально двумя-тремя предложениями, типа использовался фреймворк такой-то, оптимизатор такой-то с такими параметрами, было столько-то эпох и бэтчи такого-то размера, всё.Иначе твой димлом как админка на пхп и будет.
>>1344544Они получили пять. Но мне важнее не хорошая оценка, а осознание того, что я не обманул себя, сделав простую штуку по шаблону, а действительно провёл какую-то работу. Ну и деды тоже не дураки, им просто надо было выполнить квоту на хорошие оценки чем-то откровенно не разваливающимся на части.
>>1344565Зря, экзамены только для этого и созданы. Что-то значимое делай для себя или продавай. Иначе есть возможность полететь.
Не знаю смысл здесь спрашивать или нет. Обнаружил одну темку и, соответственно, идейку, по которой можно написать исследовательскую бумагу в области комплюктор саенс и математики. Эти бумаги вообще могут котироваться при получении гражденства где-нибудь или нихуя? А то мало ли, может просто стоит хуй забить, софтину чисто для себя накатать.
Тема связана с проекцией шара на плоскость. Я блядь знаю нахуй как его нормально на плоскость перенести.
>>1344364Что лично тебе интересно то и делай, то что ты унесёшь с собой в будущее нахуй, что не проебёшь со временем и не забудешь. Пусть эта тема не будет новой, но такой в которой ты хочешь разобраться нормально. А пытаться выглядеть крутым перед совковым дедом это успех уровня /univer/
>>1344840Зачем ты придрался к словам, что ты этим доказал, что ты умней другого, да? Тебе легче от этого стало жить? Нахуя ты это сделал, долбоёб? А, долбоёб? Нахуя?Всегда найдётся тот кто умнее тебя, пусть его ум и будет проявляться в другой области знания. Это значит ты никогда не победишь в этой ебучей игре "стать умнее другого". Нахуя ты в неё играешь, дегенерат?
>>1344884Ты лишь зажравшаяся обезьяна, задрочившая механические навыки последовательных операций, не способная сделать ничего своими руками или придумать самостоятельно, ты лишь высер того информационного мусора, который воспринимал всю жизнь, ты не способен сделать ничего своего, ты лишь критик перфекционист, который нихуя не умеет кроме как копаться в чужом говне, зато имеющий свое бесценное мнение чсвшного снобистского мусора. Я вас снобов ебаных ненавижу больше чем любое быдло.
>>1344783Могут котироваться в получении работы/поступлении на учёбу по соответствующей специальности, а работа/учёба может скорее всего будет котироваться в получении гражданства. Другое дело, что для получения этой работы за рубежом надо пахать как папа Карло, одной бумаги тут не хватит. Ну и зависит от бумаги, да.
>>1344894Точно, совсем забыл, что нужны ещё рекомендации всякие письменные, благодарственные письма, которые в рф-то делать не принято ни разу и никогда, одной-двумя бумажками так просто не отделаешься в общем нет, спасибо, ну его нахуй, быстрее будет другим способом пройтиСпасибо, помогло.
>>1344783В смысле "гражданство"? Если ты про трактор, то в случае трудоустройства за границей это будет рабочая виза и вид на жительство, не гражданство. Есть и иные поводы получить ВНЖ в той или иной забугорной стране, но это обычно владение дорогой недвижимостью, брак с местными или учредительство LLC (ООО) с трудоустройством местных. Это я про то, что само по себе наличие подобных публикаций тебя напрямую к гражданству не приблизит - разве что поможет в трудоустройстве, и то не факт.
>>1345006Получаешь нобелевку или ты какой-нибудь Депардье и граждаство Монако считай у тебя в кармане. >Также в теории возможно получение гражданства Монако за особые заслуги (по усмотрению Принца), но, конечно, это для очень крупных инвесторов или выдающихся всемирно известных личностей мирового масштаба.
>>1345106Я не претендую на звание особого эксперта, но не проще ли просто поднаточить когти и поехать по блю карду? В ойти это реальнее чем где бы то ни было. Одно дело - ремесло, где ты получил 3-4 года опыта на фрилансе/местных конторах и в принципе можешь наниматься куда угодно, а другое дело - грёбаная нобелевка. Первый вариант и быстрее, и надёжнее. Да и если у тебя голова настолько светлая, что родила настолько амбициозную идею, то идти просто работать в машоб - нефиг делать.
Очередные эпические обосратушки всего NLP проходят незаметно для соевых мозгов хипстерско-барбишопной общественности. В середине января сего года полтора неизвестных гука выкатили пейпер https://arxiv.org/pdf/1804.00306.pdf в котором пояснили, что сама задача встраивания слов в векторное пространство внезапно некорректно-поставленная, как и абсолютное большинство задач в реальном мире, к слову. И ни один из существующих алгоритмов для построения таких моделей (рассмотрено на примере скипграма с негативным сэмплированием) этого не учитывает! Это какой-то позор, в 2019-то году. Вышеупомянутые гуки в этой связи что-то намухлевали с регуляризацией (чему и посвящен пейпер) и в итоге добились некоторого улучшения результатов. Но понятно, что проблема глубже и решить ее можно только в рамках теории статистического обучения Вапника, просто лимонить слои в нейроночках до бесконечности бесперспективно. Такие дела.
>>1345747эти сойбои еще и в 2014 застряли, ортогональность в эмбеддингах уже сто раз обсосалиhttps://aclweb.org/anthology/P18-1073 поиск цитат по слову "orthogonal"
>>1345747>просто лимонить слои в нейроночкахword2vec вообще можно одной матрицей посчитать (считают двумя, но можно одной), про какие слои ты вообще говоришь?
>>1345747>>1346214Да это хуйня, проблема с эмбеддингами фундаментальнее о чем я тут пару тредов назад пытался одному супчику втолковать. Слова по любым этим вашим громматеканинужна метрикам тупо не удовлетворяют нервенству тругольника, поэтому их не вложить ни в какое R^n так чтобы близкие слова по метрикам слова всегда были близко, а далекие далеко.
>>1346370Напиши скорее Миколову, а то он дурак не знает. А тут его этой фундаментальной проблемой и огорошишь.
Здравствуйте, я посмотрел Keras application там есть готовые нейронные сети:Available modelsModels for image classification with weights trained on ImageNet.Правильно ли я понял, что только для распознавания картинок есть готовые сети? А просто для классификации без картинок и для регрессии(аппроксимации, интерполяции) нету готовых примеров?
>>1346376Да это элементарщина, всем первокурам любого матфака очевидно, только для безграмотных лейерстакеров какое-то непостижимое знание.
Есть последовательность данных с сенсоров, типа кардиограмма только многомерная. Как можно выделить в этой последовательности паттерны? Олсо нужно учесть что паттерны могут различаться как по периоду, так и по амплитуде.
Объясните такой момент, пожалуйста. В шапке много разнообразных ништяков, но нету всяких модных либ типа tensorflow. Почему? Это не претензия, просто я хотел бы понимать где он стоит относительно всего того, что есть в шапке. Я так понимаю, если проводить аналогии, в шапке - ссылки на RFC по сетевым протоколам, а тензорфлоу - модный веб-фреймворк, который всё делает за тебя? Если так, то есть ли смысл начинать с тензорфлоу и окружающих его мануалов/туторов/пробных задач, параллельно изучая основы, на которых он строится?
>>1346588Потому, что шапку пилили высокомерные уебки типа такого >>1345747В шапке на 99% ненужная и нерелевантная для вкатывания хуйня.
>>1346610А что тогда можно читнуть простому анону, который хочет делать что-то простое и по ходу дела понимать принципы?
>>1346619Ну если ты интересуешься именно его >>1346610мнением, то макса фрая наверное или чего там низкомерные уёбки с подворотами сейчас читают, не знаю.
>>1346462>А как ты себе это представляешь - "просто для классификации"? Классификации чего?Без картинок. Например, классифицировать гипо или гперфункцию щитовидной железы у пациент или здоров пациент(3 класса: гипер,гипо, здоров) на основе жалобы и диагностики пациента. То есть входные данные не картинка, а жалобы и диагностика конвертированные в какие-то значения Х1...Хn.А вообще я больше не классификацию, а восстановление регрессии хотел бы найти - готовые примеры сетей.
>>1346619читай chollet или николенко,переведено даже на русскийШолле Ф. - Глубокое обучение на Python (Библиотека программиста) - 2018.pdfhttps://vk.com/doc74080069_488023056
>>1346439это уже предобученная сеть для картинок,если тебе нужен пример архитектуры, то http://www.letmegooglethat.com/?q=neural+network+regression+keras+example
>>1346633Так там предобученные сети лежат не для примера работы (хотя и для этого тоже), а чтобы не обучать каждый раз с нуля.
>>1346682>>1346747Тогда понятно, спасибо. Я гуглил neural network regression keras example. Чаще всего выходит, то что на левой части картинки, то есть прямую строят. Иногда редко, то что на правой части, то есть какую-нибудь синусоиду по точкам. В обоих случаях одна входная переменная x1 и один выход y1. А я то хотел найти какой-нибудь смачный пример с 14 входными атрибутами х1...х14 и 3 выходами y1..y3. Поэтому понадеялся, что где-нибудь в Keras это вдруг есть - готовые примеры, и что я просто неправильно ищу.
>>1346751>смачный пример с 14 входными атрибутами х1...х14 и 3 выходами y1..y3Это херовый пример, потому что его сложно потом визуализировать.
>>1346370> Слова по любым этим вашим громматеканинужна метрикам тупо не удовлетворяют нервенству тругольника, поэтому их не вложить ни в какое R^n так чтобы близкие слова по метрикам слова всегда были близко, а далекие далеко.А подробнее? Это как-то можно обойти?
>>1347274Слить весь NLP в унитаз и начать с нуля.Не с нейродаунами конечно, а сотрудничестве с математиками и работающими лингвистами, оставив маняфантазии о том что ничего не учив с помощью крутых кампов)) можно разрешить такую сложную задачу.
>>1347805>лингвиста>Каждый раз, когда я увольняю лингвиста, производительность системы возрастаетЭти бездари за 40 лет хомскианства ничего годного не создали. Все их поделки были настолько убоги, что нейронки их сразу разнесли во всех придуманных лингвистами задачах.
>>1347908>нейронки их сразу разнеслиВ манямирке нейродаунов именно так. В этом манямирке можно вообще ничего ни про что не знать, потому что нейронные сетки это магия которая сама по себе всё решит.
>>1348134Ну а по делу? Что лингвисты могут предложить лучше лингвистических регулярностей и graphspace, где алгоритм обучается "пониманию" и предсказанию отношений между словами, фразами итд? А то кудахтанья много, а где хоть один рабочий проект на гитхабе?
Насколько реально написание чего-то уровня аимбота на нейросетях? Я понимаю, что это нахуй не нужно, но интересно так сказать для общего развития. Особенно при условии, что информация будет получаться непосредственно с экрана, а не от процесса игры.
Математика мне давалась, но больно я её не люблю и всякие ебучие формулы тоже. В нейросетях мне делать нечего?
Чет я не понял: tensorflow не поддерживает python 3.7 или просто у меня что-то на пеке не установлено?
Скрипт работает, но выдает nan вместо чисел:import numpy as npimport tensorflow as tffrom tensorflow.python import debug as tf_debugn_samples, batch_size, num_steps = 1000, 100, 2000x_data = np.random.uniform(1, 10, (n_samples, 1))y_data = 2 x_data + 1 + np.random.normal(0, 2, (n_samples, 1))x = tf.placeholder(tf.float32, shape=(batch_size, 1))y = tf.placeholder(tf.float32, shape=(batch_size, 1))with tf.variable_scope('linear-regression'): k = tf.Variable(tf.random_normal((1, 1)), name='slope') b = tf.Variable(tf.zeros((1,)), name='bias')y_pred = tf.matmul(x, k) + bloss = tf.reduce_sum((y - y_pred) * 2)optimizer = tf.train.GradientDescentOptimizer(0.01).minimize(loss)display_step = 100with tf.Session() as sess: #sess = tf_debug.LocalCLIDebugWrapperSession(sess) sess.run(tf.initializers.global_variables()) for i in range(num_steps): indicies = np.random.choice(n_samples, batch_size) x_batch, y_batch = x_data[indicies], y_data[indicies] _, loss_val, k_val, b_val = sess.run([optimizer, loss, k, b], feed_dict={x: x_batch, y: y_batch}) if (i + 1) % display_step == 0: print('epoch %d: %.8f, k=%.4f, b=%.4f' % (i + 1, loss_val, k_val, b_val))
>>1348586Вот это уже интереснее. Если сделать генерацию рандомных картинок от фоток несуществующих людей, другой несуществующей хуеты от текста до схем, карт, формул итд, причём, генерировать такие страницы можно до бесконечности и каждая страница уникальна и никогда не повторится на 100%, то получится прямо как у Борхеса, "книга песка".
Вот у гугла есть бесплатный TPU2, типа можно его использовать чтобы быстрее обучать свои нейронки. А какие еще на 2к19 есть подобные штуки для аппаратного ускорения? Хочу нейронку ускорить на какой-нибудь такой штуке и старым преподам в шараге показать ускорение на новомодной магической штуковине.Алсо, я не понял за бабло можно TPU3 использовать? Или хуй на данный момент и все занято?
>>1349271>каждая страница уникальна и никогда не повторится на 100%Если длина страницы и алфавит ограничены, повторы неизбежны.
>>1350171А разве не стремно такими идеями делиться со всеми подряд? Вдруг кто то на твоих идеях построит себе супер-интеллект и заработает себе миллиарды / поработит человечество.
>>1350180Так только пидоры говорят у которых за всю жизнь в голове ни одной годной идеи не промелькнуло. Или какие-нибудь Жопсы которые пиздили чужие идеи на регулярных началах
>>1350171> милости прошуК какому шалашу? Я тут сто раз писал - ни одного вменяемого OCR для математической нотации (latex, ams-tex), полторы платных хуитки и бесплатного говнишка на андроид. Зато несуществующих негров, гуков и всяких le face'ов генерировать, это всегда пожалуйста.
>>1350303Для одной моей темы нужно дохуя latex/ams-tex нотации из определённых пейперов, tex-исходников которых нет, единственный вариант - распознать пдфки. И я очень сомневаюсь, что мне одному во всем мире что-то подобное нужно.
>>1350392Добавлю, что из картинок по идее даже проще, т.к не надо разбирать каракули, изначально есть нотация в стандартном шрифте.
Пришёл к вам за помощью. Есть 2 класса, нужно их предсказывать. Проблема в том что первого класса в 5 раза больше (75% и 15%). Каким образом лучше всего их выровнять?
>>1350392>>1350397If you install AbiWord with the additional import and export plugins,* you can open a PDF file in the Word Processor, and then export to LaTeX. In fact, you can also convert from the command line:abiword --to=tex filename.pdf
>>1350640>АугментацияУ меня нет эталонных объектов. Я работаю с объектом и его свойствами. Может есть другой способ? Удалять половину датасета не очень хочется
>>13505762) сбалансировать классы на k-fold (давать весь первый класс и столько же второго на каждом фолде)3) много всего другого
>>1350669Мы говорим о разном. Датасет же у тебя есть? Копируй элементы с внесением шума. Какой шум - смотри сам исходя из физ смысла.
sup /pr/Подскажите, насколько сильно может помочь в изучении линала, теорвера, мат статистики обучение в вышке, с хорошим преподом? Изучая Deep Learnig и застряв на главе 4. Numerical Computation понял, что нужно уделить больше внимания изучению линала, теорвера, мат статистики. Медленно но верно изучаю учебник по линалу, но пугает скорость. Бывает такое, что на понимание одной темы трачу не меньше 3 дней.
Какая из этих двух специализаций лучше?https://www.coursera.org/specializations/amlhttps://www.coursera.org/specializations/machine-learning-data-analysis
Пацаны,смело ссым в ебло нейроночкодиссидентам. Нейросеточки то оказывается уже овер 15 лет каждым пихлом каждого четырехколесного ведра управляют. https://www.drive2.ru/b/523622347714855958/
>>1351735Интересно, каково теперь неверующим в нейронки осознавать, что 99% авто, которые они видят на улице управляются именно нейронками и нечеткой логикой? Вангую подрыв пуканов ИТТ
>>1351737Вообще, если прочитать предыдущие статьи автора, то это наглядный пример как формальнобляди соснули крепкого такого хуйца у нейронко и нечеткологикобогов, а всего-лишь и требовалось что экологические стандарты подкрутить да потребовать выжать охулиард кобыл с пакета сока что бы инженеры придумали непосредственный впрыск и вращатели фаз распредвалов, что бы формальная модель и ее адаптация под конкретные моторы стала невозможной.
>>1348134>В манямирке нейродаунов именно так. В этом манямирке можно вообще ничего ни про что не знать, потому что нейронные сетки это магия которая сама по себе всё решит.Напоминаю формалопетушкам вроде тебя.Суровые автопроизводители уже 15 лет как провели вам LOLIMOTом по губам.Каждый двигатель каждой иномарки, выпущенной позднее 15 лет назад (и даже все последние тазы) работает на LOLIMOT нейроночке как на основном алгоритме для адаптации всех своих функциональных карт с обучением в рамках моментной модели. Теперь вы с этим будете жить, и, каждый раз глядя на проезжающие по улице легковушки и грузовики, вы будете раз за разом полыхать своим пуканом. Для дальнейшего пожара вам в пердачело:https://core.ac.uk/download/pdf/76649740.pdf
И ещё:http://tuprints.ulb.tu-darmstadt.de/3948/1/Emission%20Modelling%20and%20Model-Based%20Optimisation%20of%20the%20Engine%20Control%20-%20Dissertation%20Heiko%20Sequenz.pdf
Шок, сенсация, нейрофаззи модели не только работают, но и давно применяются во всех жоповозках, никогда не было и вот опять! Ну и каково это, вылезти из своего манямира в реальный? Экие ж вы дегроды, однако.
>>1351755> Шок, сенсация, нейрофаззи модели не только работают, но и давно применяются во всех жоповозках, никогда не было и вот опять! Ну и каково это, вылезти из своего манямира в реальный? Экие ж вы дегроды, однако. Теперь понятно, почему современные жоповозки не едут и помпажируют поршнями наружу блока аккурат к концу гарантии. Действительно, подобную задачу без нейрон-очка не решить, инженерно не с формулировать. Можно лишь надрочить на стенде на реальных моторах, да.
>>1351762> https://www.drive2.ru/b/523622347714855958/И этот даун, которого репостят, судя по его другим постам еще чего-то про отсталые рисовозки с милионниками без нейросет-очка пиздит, мда.
>>1351762>Действительно, подобную задачу без нейрон-очка не решить, инженерно не с формулировать. Почему же, можно, только на выходе получится очевидная любому реверс-инженеру закладка с тайм-бомбой в коде, обнаружение которой вызовет нехуёвый скандал. А так вот тебе вумная нейросеть, вот там какие-то вумные коэфициенты у нейронов, вот она как-то вумно решает сколько топлива в горшок лить (а с недавних пор - и насколько дроссель открывать, у водятла больше механической связи с мотором-то нет), чтоб экологично - хуй докажешь что она еще и равномерно убивать движок надрочена.
>>1351764И, вот, кстати, никто не гарантирует, что эта фузи-нейроночка не пизданется вдруг и не захочет убить меня внезапно сама втопив в пол при перестроении.Вообще пиздец, кончено, я знал что смузихлебы скоро зашкварят этот мир, лишат его детерменированности и безопасности в простейших и привычных бытовых вещах, сделают его игрой в русскую рулетку каждый день, но не думал, что это будущее уже наступило. Ну его нахуй, буду ездить на метро.
>>1351768> И, вот, кстати, никто не гарантирует, что эта фузи-нейроночка не пизданется вдруг и не захочет убить меня внезапно сама втопив в пол при перестроении.Как раз для нечетких моделей такие гарантии есть. В отличие от диплернинха, который в убере уже кого-то размазал на пешеходном переходе.
>>1351720Ну исходя из названий понятно, что первая специализация более продвинутая, там нет основ. Вторая вообще начинается с изучения необходимой математики и питона, так что решай сам.
>>1351681А ты как хотел? На изучение всего того, что требуется для изучения и понимания МашОба, ты потратишь гораздо больше времени, чем на сам МашОб.
>>1352132Линейная свертка - это оно?Почитал вики, почему там именно такой расчет кол-ва выходных элементов? В одномерной свертке(той, что Conv1D) же это будет n1-n2+1, или я совсем еблан?
>>1315967 (OP)Кто-то в Яндекс дата сатанистом ходил устраиваться? Там тоже сначала несколько раундов ебут мозг олимпиадным программированием?
>>1352223в яндексе насколько я слышал вообще любят олимпиадное программирование, так шо скорее всего да
Кроме несуществующих негров и гуков теперь можно генерить несуществующих котов! Правда, они часто всратые выходят а-ля кот пиздос, но сойбои над этим работают.https://thiscatdoesnotexist.com/
>>1352453Во, это уже лучше. Анимцо вообще можно полностью нейроночками генерить - персонажи, сюжет, весь графон итд. Думаю, в течение 2-3 лет что-то такое замутят.
>>1352576Однохуйственно, падает до -inf.error = tf.reduce_mean(tf.square(prediction - y), name="output/error")learning_rate = 0.002epochs = 20optimizer = tf.train.GradientDescentOptimizer(learning_rate=learning_rate).minimize( error, var_list=[w1, w2, w3, w4, w5, w6, w7, b])
>>1315967 (OP)дароу всемслышал что есть какие то тулзы позволяющие конвертить нейроночки (написанные на любом языке) в бинарки, которые потом можно скачивать и запускать без установки 100500+ библиотек и фрэймворковподскажите такие, пожалуйста
>>1352742Невозможно. Это надо все связки компилировать, а такое нужно писать под каждую библиотеку отдельно.
Теперь можно говорить что ты не смотришь порно, а собираешь датасеты.https://yandex.ru/turbo?text=https%3A%2F%2Fhabr.com%2Fsandbox%2F124587%2F
>>1352604ты в 2019 году learning rate вручную ставишь? тебя даже вчерашний шторм не разбудил https://arxiv.org/abs/1506.01186
Кстати Жопеншмульцер, почитай тут, как у математиков речь поставлена: http://lj.rossia.org/users/grigori/5805.html
>>1352742Нейронки это просто натрененные веса по сути. Т.е. можно самому написать тулзу которая берёт выгруженные модели и запихивает туда инпут.
>>1354689This. Те же Caffe модели хранятся в обычном протобуфе. Мне как-то пришлось написать конвертилку моделей для своей либы, в которой вполне спокойно они и использовались.
>>1354707это до тех пор, пока вы вашу нейронку не пытаетесь перенести на какой-нибудь embedded или даже андроид или iOS, где бывают проблемы даже с поддержкой чисел одинарной точности. А писать три версии кода (для андроид, iOS и ПК) и поддерживать их не хочется. ONNX довольно полезен в этих случаях.
>>1354807Кек, сам облажался, а хотел мне что-то указывать ЛЛЛЛЛЛЛЛЛЛОООООООООООООЛЛЛЛЛЛЛЛЛЛЛЛЛЛ!!!!!!!!!!!
Здравствуйте, мне для шараги нужно взять три набора данных с задачей регрессии из репозитория UCI, с помощью Keras, scikit-learn и XGBoost обучить по ним разные виды нейронных сетей, обучить модели на основе SVM, случайных лесов, градиентного бустинга и линейной регрессии. После этого ускорить это дело на GPU и показать в шараге.Я хочу купить выполнение этого дела у фрилансеров. Подскажите, пожалуйста, какой фрилансерский сайт лучше всего подходит для такого? Чтобы не кинули, типа деньги взяли и давай до свидания. А также скажите как выбрать фрилансера, чтобы он сделал модели осознанно с пониманием, а не схитрил, сделав так как могу и я бесплатно, то есть тяп-ляп накидать код, не подбирая разумно параметров, кое как выполнить и просто скинуть результат как-будто оно так и есть?Сколько денег такое может стоить?
>>1351755>>1351748>>1351746А я в свою очередь напомню нейрошкольнику что помимо произнесения модных слов в надежде на то что шлюшенция в роговых очках с митапа тебе даст (всё равно не даст) неплохо бы читать собственно статьи которые кидаешь, а не только названия. По ссылке твоей та самая старая добрая инженерная хуерга, которая была и при царе горохе. Ту же некрасивую, задизайненную, с обсчётом на машине, только лишь сдобренную модными сейчас словами. В общем, опять же, никакой магии и надежды на то что работу можно найти ничего не зная и будучи отбитым дебилом-двоечником с либами наперевес вроде тебя.
>>1352838скажи пожалуйста, если знаешь, после конвертации в ONNX, когда загружаю нейронку в OpenCV (cv.dnn), можно ли данной загруженной сети подать на вход не изображение, а, например, массив чисел? если можно то как?
>>1356290Изображение - это и есть числа, матрица размера (width, height, #channels). Скормить сети можешь что угодно. Но вот получится из этого что-то адекватное или нет уже зависит от топологии и данных.
Что можно почитать про CNN и их использование в детектирование, классификации и распознавании объектов? Т.е. как их строить, как тренировать, как подбирать параметры? А то устал от бесконечных индусов с медиума с их "построить свой детектор на своих 5 изображениях за 5 минут". Нихуя так не получается, все гораздо сложнее. Ебучий yolo нихуя не смотрит даже только раз. Может кто нить занимался таким.
>>1356788Зависит от твоей цели. Если тебе хочется понять, как это работает, то открывай оригинальные статьи про Yolo, R-CNN и Fast R-CNN и читай их до просветления. Потом пробуй сам имплементировать их.Если тебе хуяк хуяк и в продакшн надо, то бери готовую реализацию для своего любимого DL-фреймворка, тысячи их и все работают.
>>1356824> Если тебе хуяк хуяк и в продакшн надо, то бери готовую реализацию для своего любимого DL-фреймворка, тысячи их и все работают.Вот я так и хотел, но не получилось. Вроде все делал похожим образом, как это описано в гайдах и сделано у других, но вменяемого результата не получил. Или совсем ничего не видит или видит совсем не то и результат покрывается боксами. Может все получится опытным путем, подбором разных параметров и выбором подходящего фреймворка, просто я потратил уже кучу времени на установку, настройку и устранение ошибок что просто заебался. Меня может изначально подкупила эта кажущаяся простота этих готовых реализаций, т.е. их использования.
>>1356870не совсем понятно, что ты хочешь, но можешь попробовать lasso regression. Он обнулит коэффициенты для ненужных фичей.https://en.wikipedia.org/wiki/Lasso_(statistics)
>>1356861Так это... тебе нужна предтренированная сеть, в которой ты дотренировываешь ботлнек слой. Если просто взять готовую архитектуру и начать тренировать с нуля, то хуйня и получится.
>>1358010Не зная, что у него за задача, говорить, что ему нужно - точно ошибочно.Далеко не всегда трансфер лёрнинг подходит.>>1358075Нет.
Помогите вкатиться в обучение с подкреплением. Что можно почитать, где можно примерчики посмотреть, какой фреймворк выбрать?
>>1358010>>1358075>Если просто взять готовую архитектуру и начать тренировать с нуля, то хуйня и получится.Ну, это всё-таки преувеличение. Но да, для серьёзных задач без здорового датасета, нормальной аппаратуры и долгого ожидания ловить особо нечего.
>>1358075Потому что скорее всего у тебя недостаточно сэмплов в датасете, чтобы с нуля натренировать какой-нить resnet без оверфита.
Аноны, а есть какие-нибудь исследования по представлению методов оптимизации как нейронок? Я видел только learning to learn by gradient descent by gradient descent. Так-то кажется, что какой-нибудь градиентный спуск примитивно реализуется как RNN с фиксированными весами, по которым оптимизировать не надо, но при этом можно backprop через неё устраивать.
Можно ли мочь в эти ваши нейронки/машобы/хуёбы, не умея при этом в матан от слова нихуя? Пытался смотреть какие-то гайды, но либо скорее всего я просто тупой и ничего не понял, либо ничего толкового на ютабе нет. Откуда начать вообще, если учесть нулевость в матане, и цель - не стать гуру в этом и задрочить по хардкору, а просто по фанчику что-нибудь запилить? Видел видосы, где чел крафтит змиев, и они живут, развиваются и пиздятся между собой. Господи, это же просто 10/10.Алсо, какого размера вообще должна быть программа, делающая что-то полезное/интересное, типа того что под спойлером, а не просто хелловорлд от мира сабжа?
>>1360524Ты программировать умеешь на питоне? Если да - то просто берешь интересующий код с гитхаба и пытаешься запустить. А еще даже легче - можешь ноутбуки в colab или на kaggle (kernels на их жаргоне) сразу в браузере запустить.https://colab.research.google.com/drive/1iTGGKIfxRRrhWpQQUqHdfVMrfqkdE0unhttps://www.kaggle.com/startupsci/titanic-data-science-solutionsmnist на keras'е 70 строк занимаетhttps://github.com/keras-team/keras/blob/master/examples/mnist_cnn.py (при желании в 2 раза можно урезать)>>1358723В scholar смотрел? там часто полезно посмотреть, кто цитирует данную статью (no offence)https://scholar.google.ru/scholar?cites=17211876730630533152&as_sdt=2005&sciodt=0,5&hl=ruhttps://scholar.google.ru/scholar?oi=bibs&hl=ru&cites=6287137833382757427,18074471133612715449
>>1360631стандартный диплом об высшем. Магу дают если из кошерных МФТИ или НГУ, насколько я знаю. А зачем тебе? Это место ценится именно своей репутацией, а не бумажкой.
>>1360714> стандартный диплом об высшем.ШАД - это не вуз, а дополнительное профессиональное образование. Никакого диплома о высшем они дать не могут. > Это место ценится именно своей репутацией, а не бумажкой.С репутацией, но без бумажки, ты трактор в Европу не заведешь.Мимо
Ну что, датасайсаны. Вот уже месяц я изучаю tensorflow. И сегодня я получил первую настоящую (не учебную) регрессионную модель. Точность вполне неплохая, хоть сейчас в продакшен. Поздравьте меня.
Здравствуйте, что делать. если я хочу запустить нейронку на своей пеке на своем старом двухядерном процессоре. А потом запустить нейронку в google colab на TPU? Суть в том, что я хочу показать скорость на пеке со старым процессором. И скорость с TPU. Но насколько я понимаю, помимо TPU в google colab есть еще CPU0, который вероятно тоже как-то участвует и вносит свои коррективы. Как сделать так, чтобы CPU0 от google colab не участвовал?
>>1315967 (OP)Объясните нубу, когда примерно эти ваши нейросети из нишевой хуиты для учОных задротов стали ВНЕЗАПНО популярными ? В каком году это случилось ? Скиньте какую-нибудь статью, хотя бы на лурку или что-нибудь похожее.И что посоветуйте почитать для вебмакаки, которая на довольнь среднем уровне умеет во фронтэнд ? Можно ли все это пощупать на обычной машине ?
Блядь, такое чувство, как будто я проспал 5 лет и только сейчас вышел из спячки. Пиздец. Что самое обидное, я в 2016 году ходил на курсы по погромированию на Java, там ни слова про МАШИН ЛЁРНИНГ не сказано.
>>1361202~2012 когда научились CNN правильно тренировать и получили на ImageNet результаты лучше, чем традиционные методы типа SIFT + SVN
>>1361205На джаве полно машоба (apache spark) в первую очередь, но на вводных курсах зачем про машоб говорить? У джавы гораздо больше применений, чем машоб, это все-таки самый популярный язык в мире
>>1361205Чувак, машинное обучение и программирование очень слабо связаны, дата сатанисту программирования нужно на очень базовом уровне (собственно подумай почему Python самый популярный язык для маш. об.)
>>1361365Спасибо большое. А можно ли сделать так, чтобы использовался процессор с моей пеки, а TPU от гугл или это невозможно и гугловский CPU0 все-равно будет участвовать?
Памагите. Установил docker, драйвера nvidia, nvidia-docker, склонировал официальный реп keras, запустил контейнер докера по инструкции, вроде все поднялось и даже не упало, но Jupiter Notebook не может создать блокнот из-за ебучих прав.Что я сделал не так? Как пофиксить?Самое главное - это же не права моей системы, а права где-то внутри контейнера докера.
>>1361875Кажется решил. Надо добавить параметр --user root к запуску докера.notebook: build $(DOCKER) run -it --user root -v $(SRC):/src/workspace -v $(DATA):/data --net=host --env KERAS_BACKEND=$(BACKEND) kerashttps://github.com/jupyter/docker-stacks/issues/114#issuecomment-449594702
Можно ли на одном одновременно считать и отрисовывать GUI?Сколько минимум видеокарт надо датасатанисту?
Здравствуйте, дорогие специалисты, помогите, пожалуйста, с решением задачи восстановления регрессии. Мне нужно взять какой-нибудь метод машинного обучения для восстановления регрессии, например, gradient boosting, скормить ему данные(ссылка на данные ниже) из задачи прогнозирования критической температуры при которой материал становится сверхпроводником:https://archive.ics.uci.edu/ml/datasets/Superconductivty+Data#У меня следующий вопрос. Могу ли я привести признаки к общей шкале(стандартизировать)? То есть взять каждый столбец признаков и вычесть из каждого значения столбца mean по данном столбцу, а потом поделить на std по этому столбцу? И так сделать со всеми столбцами?Скажите, пожалуйста, мне нужно такую стандартизацию делать или нет?(На приложенной картинке более детально описал стандартизацию)
Жареный рецепт по-фермерски В разогретую сковороду положить лося, простой горячий лук, специальные орехи, минеральный отвар разливаешь по предыдущему рецепту. Распустить горшок, затем осторожно перемешайте. Хорошенько перемешайте. Обильно подать соль и перец." "Автор: Португальский красный борщ"
>>1361697CPU от google будет все равно участвовать. Если у тебя есть препроцессинг какой-то батчами, ты можешь сделать его на тпу и на своем пк и сравнить, можешь просто какие-то процессорные бенчмарки погонять без гпу и сравнить (типа вычисления числа пи). Больше идей нет, но на сервере все равно будет использоваться серверный цпу.
>>1362151вроде да>>1362364да, если у тебя какой-то метод, для большинства методов (нейронки, регрессии, всякие knn) это даже желательно делать
А есть какая-нибудь такая тема про методы обучения с последующим упрощением сложной модели так что бы это давало существенно лучший результат чем обучение изначально простой? Я имею ввиду не конкретную задачу, а в общем, как это на жаргоне правильно гуглить?
Ну что, котаны, готовимся к перекату на TF2.0? Потратил дохуя времени на получение экспертизы в этих ебучих графах, а теперь оказывается, что сессии НИНУЖНЫ. Жопа греется.
>>1362364Это называется нормализация. Применять её следует если используешь метрические методы классификации, либо линейные с регуляризацией. Также обрати внимание на два момента - первое это то что помимо нормализации существуют множество других методы масштабирования признаков (например отобразить в отрезок [0, 1] все признаки) и второе это то что объекты тестовой и тренировочной выборок ты должен нормировать на одинаковое среднее и отклонение.
>>1322399Дело вовсе не в том, чтобы идеально предсказать последствия событий.А в том, чтобы поменьше обосраться.И это вполне реально. Там сделал на 1% лучше человека, тут, в итоге процентов наберется достаточно, чтобы это было полезным в реальной торговле.
Аноны, поясните за гугл колаб. На поверхности выглядит как аттракцион невиданной щедрости - можно обучать свои нейроночки на гуглогпу. А что на самом деле? Чую подвох. Я о нём ещё ничего не читал, но уже подозреваю, что там ограничения по времени работы и доступной памяти такие, что проще на своём ноутбуке.
