книгиPattern Recognition and Machine Learning, Bishop.Information theory, inference & learning algorithms, MacKay. http://www.inference.phy.cam.ac.uk/itila/Machine Learning: A Probabilistic Perspective, MurphyIntroduction to Statistical Learning ( http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Sixth%20Printing.pdf )Elements of Statistical Learning ( http://statweb.stanford.edu/~tibs/ElemStatLearn/printings/ESLII_print10.pdf )Foundations of Machine Leanrning, أشهد أن لا إله إلا الله وأشهد أن محمد رسول الله. http://www.cs.nyu.edu/~mohri/mlbook/А. Пегат, "Нечёткое моделирование и управление"другоеhttp://libgen.io / http://bookzz.org/ - здесь можно одолжить ^ книги и не толькоhttps://vk.com/deeplearning и http://deeplearning.net/reading-list/http://arxiv.org/find/all/1/all:+nejronochki/0/1/0/all/0/1http://videolectures.net/mlss09uk_cambridge/https://www.kaggle.com/ - весёлые контесты. денежные призыhttps://www.reddit.com/r/MachineLearning/wiki/indexяп1. http://julialang.org/2. https://www.microsoft.com/en-us/research/project/infernet/3. https://www.r-project.org/4. питухон и так все знаютПЛАТИНАКниги хорошо, но с чего начать практический вкат?Во-первых, вам нужна любая unix-based система. На Windows возможно запустить нижеперечисленное, но ждите пердолева с настройкой и неодобрительных взглядов анонимуса. Кроме того, в компаниях, так или иначе связанных с разработкой йоба-ПО и machine learningом, Linux/OS X является стандартом. Привыкайте.Во-вторых, определитесь с языком. Python и C++ наиболее мейнстримовые инструменты, с ними вы без еды не останетесь. Есть еще R, на котором пацаны живут статистикой и анальными пакетами. Некоторые инструменты являются языко-независимыми (Vowpal Vabbit, XGBoost), но обвязывать их вы все равно будете из какой-либо среды.На Java разработано много production-ready инструментов для бигдаты и если вы угораете по терабайтам данных, то имеет смысл посмотреть в её сторону. Впрочем, лучше это делать уже потом, когда прийдет осознание потребностей.В-третих, выбирайте себе задачу. Что угодно: распознать качпу, обнаружить ботов по логам, найти раковых больных. Список можно посмотреть, например, на kaggle.com. После чего приступаете к решению выбранной задачи.Не прийдется ли мне потом с таким наборищем знаний идти в макдак работать?Несмотря на хайп вокруг ML, далеко не во всех IT компания есть необходимость в ML и понимание круга задач, которые можно решить этими методами. Но поверьте, в 2016 компетентный специалист будет востребован. В России потребителями ваших знаний могут стать: Яндекс, Mail.ru, Вконтакте, Rambler, Касперский, Билайн, Связной, ABBYY, Хуавэй. В биоинформатике есть определенный спрос, можно поскролить http://blastim.ruЗдорово, но я так и не понял чем же вы занимаетесь в IT компаниях?Попытаюсь ответить со своей колокольни и сразу хочу предупредить, что это едва ли консенсуальное мнение.ML-специалист - это такое зонтичное определение для человека, способного увидеть проблему, выгрепать кучу логов и данных, посмотреть на них, придумать решение проблемы и врезать это решение его в продакшн. По сути, это кодер, решающий не чисто технические, а, в некотором роде, человеческие проблемы.Имхо, мы все же остаемся в первую очередь разработчиками.Что такое TensorFlow?TensorFlow - часть гуглового инструмента для перемножения тензоров и оптимизации функционалов. Часть - потому что важные куски типа параллелизации еще не выкачены в паблик. Если вам все ещё непонятно что это, значит это вам и не нужно, сириусли. Google перестарался с рекламой и теперь люди думают, что TF - это серебряная пуля и затычка для каждой бочки. До TF был Theano, который выполнял свою работу не хуже. И, в отличии от TF, он уже находится в стабильной фазе.будет ли ML нужен в ближайшие 10 лет, или это просто хайп?будет. хайп.смогу найти работу?Яндекс, мейлру, касперский, несколько биоинформатических компаний (iBinom, можно еще blastim.ru поскролить на тему работы), билайн (они с НГ целое подразделение открыли под ML и биг дату), связной. Ну и западные аутсорсы, если готов рачить за валюту.нужна математика?для начинающего ничего особого знать не нужнопоясните за нейроночкинейроночка - массивТред #1: https://arhivach.org/thread/147800/Тред #2: https://arhivach.org/thread/170611/Тред #3: https://arhivach.org/thread/179539/Тред #4: https://arhivach.org/thread/185385/Тред #5: https://arhivach.org/thread/186283/
платиновый вопрос:когда говорят о линуксе, какой уровень владения предполагают?https://www.edx.org/course/introduction-linux-linuxfoundationx-lfs101x-0
Кто-то делал сегментацию на нейроночках?
>>799586Не делал, но в статье с CRF в виде нейроночки показывают годные результаты.
>>799675А как же сегметируешь?
>>799576 (OP)Интересная статья про торч7 и как его под вин устанавливатьhttp://dmandreev.github.io/2016/03/05/torch7-windows/
Скайнет для распознавания макакиной капчи уже написали?
могли бы знающие порекомендовать и добавить в фак чего-то по теме обзора области: откуда это всё появилось, почему так исторически сложилось и зачем используетсяв каждой книге сразу методы шпарят
Объясните как луа и торч7 поставить на вин7 ?
>>799833хочется вот с этим поигратьсяhttps://github.com/karpathy/neuraltalk2
Ребята, давайте постараемся скомпилировать торч7 под вин и выложить бинарники?!https://github.com/torch/torch7/pull/287
>>799864так поставь себе линукс или чо там у него..если жалко игр, сегментируй дискcc >>799584
Большой проблемой является Linux. Может быть, я буду получать окликнул реальными CS или ML двачерами за эти слова, но блять, если это не трудно использовать Linux. На Ubuntu я попытался установить драйверы NVidia один раз (следуя инструкциям в точности) замуровали моей сборки, удалил их из режима восстановления, сделал это снова по-другому, а затем провел целых два дня с помощью Баш, чтобы загрузить десятки зависимостей, многие со своими зависимостями, с их собственных зависимостей. Иногда они порвали друг друга, иногда они сломали мою ОС. Я получил его на работу, но величина икота, когда они происходят оставляет меня за отвращение к Linix. Я также сделал тот же самый процесс на облаке сервер, который был проще, без GPU и может оставить проекты, работающие на центральный процессор сервера и до сих пор есть компьютер для использования.Я получил Keras работать с Теано на Windows, с моей GPU, но большинство глубоких библиотек обучения не будет работать на Windows, в том числе tensorflow, CAFFE, а на самом деле просто ни о чем другом. Так что в основном я использую Linux и молиться нет бедствия пивоварения под капотом
>>799934> нет бедствия пивоварения под капотомСпасибо, это помогло!
>>799864>>799833Не стоит, поверь. Заебешься дрочить вприсядку с бубном и не факт что все будет работать как надо. Гораздо проще установить бубунту и в ней все поставить по мануалам.
>>799821Википедия, что-то есть в Уоссерман "Нейрокомпьютерная техника" (по ней изучать вообще не советую, слишком обзорно там теория дается)
>>799821> в каждой книге сразу методы шпарятну почему жев том же бишопе каждая глава начинается с мета-попиздонов вокруг темыв нормальных учебниках всегда будет даваться подобная историческая мотивация
>>799576 (OP)Поясните, можно сервер арендовать с линуксом, чтобы юзать его именно для обучения написанной нейросети? Или может есть какие-то облачные сервисы для этого?
>>800068для начинающего линух не нуженарендованные облачные GPU-инстанцы на AWS - говно и виртуализация херит всю производительность
>>800036>что-то есть в Уоссерман>Ф. Уоссермен. Нейрокомпьютерная техника: теория и практика. М. Мир - 1992.>1992
>>800076Все что раньше 2015 года - старье и неактуально?
>>800073>GPU-инстанцы на AWS>виртуализация
>>800076>откуда это всё появилось, почему так исторически сложилось и зачем используется
>>800089http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using_cluster_computing.html> GPU instances run as HVM-based instances. Hardware virtual machine (HVM) virtualization uses hardware-assist technology provided by the AWS platform. With HVM virtualization, the guest VM runs as if it were on a native hardware platform, except that it still uses paravirtual (PV) network and storage drivers for improved performance. This enables Amazon EC2 to provide dedicated access to one or more discrete GPUs in each GPU instance.
>>799576 (OP)>Часть - потому что важные куски типа параллелизации еще не выкачены в паблик.Сколько еще будете копипастить это говно, которое уже неактуал
>>799798Надо бы кстати заняться. Хуй знает правда как цифры сегментировать.
>>800132А что нейроночка сама не может найти способ как сегментировать? Ты еще и сам за нее должен думать?
>>800135Ну-у, будь у меня кластер с топовыми теслами, я бы наверное попробовал скармливать капчу целиком. А так я думаю хуйня выйдет.
Аноны, покажите пример кода простейшей нейронки.
>>800156А на кой тебе код? Бери какой-нибудь готовый движок.
>>800156Какие тебе нейронки если ты в гугл не можешь?
>>800173На кой мне движок? Хочу посмотреть как оно работает.>>800191А в яндекс можно?
Например код перцептрона.
>>800156сделайте нечоткий контроллерчтоб на триггеры "Аноны," и "нейроночки" выдавал "платина"
>>800197функцияАктивации(входа * веса);
Вот если просто подумать головой и сложить 1 и 1. 1) четкое число - частный случай нечеткого, четкая логика - частный случай нечеткой.2) теорема Байеса - частный случай нечеткой теоремы Байеса http://sipi.usc.edu/~kosko/Fuzziness_Vs_Probability.pdf3) вероятность элементарно сводится к множествам (пруфы в статье выше).4) четкие функции, отношения, аппроксимация функций частный случай своих более общих нечетких вариантов.Разве из всего этого не следует очевидная тривиальность - нечеткие множества и нечеткая логика дает больше возможностей работать со всем вышеперечисленным?Что касается вопроса сводимости нервной деятельности к нечетко-логическим операциям, поясните ,почему условный и безусловный рефлексы, доминанты, в общем сучае функциональные системы Анохина, нельзя рассматривать как нечеткие отношения, заданные на декартовых произведениях множеств стимулов и реакций? Из этого не следует ли сводимости любой нервной деятельности к множествам и операциям над ними? Повторюсь, четкое множество - частный случай нечеткого.
>>800156for (int i = 0; i < input.size(); ++i)out += input * weight;out = 1 / (1 + exp(-out));
>>800204И всё штоле?
>>800203нечеткая логика не особенно полезно говорить о частичном знании. Если вы разрешили логике второго порядка, вы могли бы иметь нечеткие мета-предикаты, которые описывали вашу уверенность о хрустящих предикатами первого порядка. Но с первой логики заказа (на самом деле, где мы хотим сосредоточить наше внимание), нечеткая логика не является полезным для задач, где мы используем теорию вероятностей.
>>800237Смешная картинка, а петух-то почему не размытый, четкий?
>>800239wip
>>800204Это на каком языке?
а где тимочка-нейроночка?дочитал свою хуйню и забыл о нас?(
Здесь обитает тот питух который ищет препа по матану?
>нужна математика?>для начинающего ничего особого знать не нужночто именоо, калькулусу/матан? Или дефолтной школьной математики?
>>800370> калькулусу
http://www.geforce.com/hardware/10series/geforce-gtx-1060
>>799576 (OP)>будет ли ML нужен в ближайшие 10 лет, или это просто хайп?>будет. хайп.from corp import machinelearninghuita = machinelearning.done()
Аноны, как доказать что сеть не оверфитит датасет в статье? Кто с такой задачей сталкивался, дайте пару дои.
Господа, хочу услышать комментарии по поводу моего пика.Питонист, заебало клепать сайты на Джанге, хочу вкатиться во что-то интересное не меняя язык (уж больно нравится он мне).
Короче слегка знаю питон(решаю c4 из егэ) и умею брать производные, можно вкатываться в машин лернинг и биг дата?
>>800631Ага, и рейтинг 100$ в час не забудь поставить. А если серьезно, то я бы на твоем месте сначала вышку нормальную выбрал с хорошей математикой и не ебланил на матане.Мимо->>800591
>>800631Можно, только курс какой-нибудь на курсере пройди сначала.
>>800652Да я тоже так думаю, самое забавное, что мне 22 уже(>>800653Пробовал яндексовую специализацию, так там начали с линейной алгебры, матана(не школьного), у меня голова малость поплыла, посоветуешь курс попроще, чтобы хотя бы пощупать эту тему с минимумом вышмата.
>>800242>++iчто то из серии C/C++/C#мимокрок
>>800657Ну а мне 24. И я как раз ебланил на матане. Теперь пожинаю плоды - учу матан самостоятельно. И да, дается тяжело. Думаю прогуляться по дереву, которое я запостил и посмотреть, что получится. А то фрилансить за 25 в час, делая однотипные задачи, уже порядком подзаебало. Жаль еще года три это делать придется.
>>800657Анон, главное не сдавайся. Если голова кипит, делай перерыв и возвращайся снова. Начальный курс линала, матана и тервера ну очень важен в дальнейшем обучении. Отмучаешься сейчас - потом будет легко и приятно
>>800684>Жаль еще года три это делать придется.А потом чего, внезапно вылупишься в датасаентиста?Можно завести отдельную рубрику с маняфантазиями: кем я буду через 5 лет и кому продавать свои навыки.В большие компании, которых мало, нужны яйцеголовые уровня пхд, для применения алгоритмов уже есть/допилят удобные апи, чтобы пользоваться могла домохозяйка, а если учить для себя, то всё равно нужны будут ебовые вычислительные мощности и выгоднее использовать пункт2.это крик души, можешь не воспринимать на свой счет
>>800800Восемь сотен пиздеть не будут.Да, были у меня такие мысли. У машинного обучения есть куча возможностей, которые крупные компании на моей жизни не покроют. Основная моя идея была неплохо показана в "Программируем коллективный разум". Есть куча данных, над которыми никто не работает, но которые реально можно неплохо использовать (в том числе и в коммерции).Юзать API сервисов и ваять свои сайты - наше все.
>>800591> continuous distributions: poisson. чоблядь?> p-value в 2016> по бейсу толком ничего> euclidean distance лол> etc etc
>>800777Ок, буду пробовать еще.
>>800800Быть художником > быть маляром
>>801345Хороший маляр > художник средней руки
Аноны, а как превратить обычный многослойный перцептрон в рекуррентную нейроночку?
>>801397Делаешь вариационную аппроксимизацию, записываешь конволюцию с сигмоидом, потом уменьшаешь размерность интеграла (здесь поможет дельта функция дирака) как конволюция гауссовых распределений, и с обратной пробит-функцией маргинализируешься над постериором. Любой второкурсник справится. А если делать на МСМС — так задачка вообще на пять минут.
>>801397Никак, у тебя градиенты вырождаться начнут. Бери LSTM
>>801404Я не второкурсник.>Делаешь вариационную аппроксимизацию, записываешь конволюцию с сигмоидом, потом уменьшаешь размерность интеграла (здесь поможет дельта функция дирака) как конволюция гауссовых распределений, и с обратной пробит-функцией маргинализируешься над постериоромНахуя?
>>801406Странно, в книге написано из обычной MLP сделать реккурентную сеть и проанализировать взвешенный ряд.
>>801418А, тебе для книги...
>для начинающего ничего особого знать не нужноПиздаболия
Аноны, из перцептрона с 1 слоем, значит, можно сделать RNN, а из многослойного нельзя?
>>801641Блять, ебучий цирк.Короче, у меня получилось взять результат с прошлой итерации, просто спиздив ее из функции.Так дальше входы оказались массивом из 4 чисел, а выходы из 20, как прикажете их перемножать?
>>801671Или выходы надо сложить со входами?
https://bleedingedgepress.com/tensor-flow-for-machine-intelligence/
>>801641Завтра ищешь в интернете книжку "Pattern recognition and machine learning". Похуй если ничего не поймёшь. Затем идешь на https://en.wikipedia.org/wiki/List_of_probability_distributions и изучаешь стандартные распределения от корки до корки. Потом зубришь, именно, сука, вызубриваешь теорему бейса - чтоб от зубов отскакивало. Когда напишешь свою первую иерархичскую модель, по пути изучив infer.net, поступаешь в нормальный университет, рекомендую Кембридж. Как переделаешь модель, чтобы выдавала по крайней мере 5 тысяч предсказаний в секунду, можешь идти дальше - тебя ждет увлекательный мир бейсовского вывода. Несопряжённые приоры, сверхбыстрое гамильтоновское монте карло, вариационный вывод. Отсос классико-макак / просто неудачников типа нечётко-питуха или сёрло-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.
>>801876> Ctrl+F> Bayes> нечётко-питухи сёрло-хуесосы
>>801876Ты ебанулся использовать шарп приблуду от мелкомягких?
Аноны, вот добавил я выходы к входам, как ее обучать? То-есть, откуда я должен узнать таргеты? У меня по сути, в рекуррентной сети Джордана 40 входов, а должна быть 20 Так как размер входа - 20 нейронов
>>801918Или мне взять входы, умножить на веса и все это умножить еще раз на контекст?
>>801918>в рекуррентной сети ДжорданаГосподи, где ты ее нашел-то? SNNS штоле? Если да - почитай мануал и посмотри примеры, там все разжевано по вопросу как правильно подкладывать данные.
>>801952Сеть Элмана дохуя лучше?У меня в книге было написано взять выходы с шага -1 и умножить на веса.Это сеть Джордана же.
>>801955>Сеть Элмана дохуя лучше?Сорта, насколько я понял. И то и другое есть в SNNS, который портировали в R - пакет RSNNS. https://cran.r-project.org/web/packages/RSNNS/index.html http://dicits.ugr.es/software/RSNNS/index.php там подробно про все нейроночки, вт.ч. и рекуррентные эти.
>>801966Да я все понял, у меня только хуйня с np.sum() выходит, просто так он шлет меня нахуй, если np.sum((),axis = 0)), то в конце он пишет:>Value Error: operands could not be broadcast together with shapes (10,2)(20,2)Хотя у меня оба массива и входы и выходы размером 20,2Может попробовать сделать сеть Элмана? Там с весов надо считывать после функции активации? И в многослойном перцептроне умножать после каждого слоя?
>>801969А все, понял, почему-то входы становятся размером в 10,2
>>799576 (OP)Анон, поясни за профессию.Мне очень интересна сфера ИИ, нейронных сетей и всего что с этим связано. Сейчас работаю прогером в иной сфере, но думаю через определённое время перекатиться.Как дела в этой сфере со спросом/предложением? Грубо говоря, много ли платят? Не выходит ли так, что веб-макака (коей я пока что являюсь) получают столько же или больше?
>>801998> ИИ
>>801894"мелкомягкие" единственные кто просёк самое перспективное направление в мл
>>801578?
Если из многослойного перцептрона делать сеть Элмана, то:Дополнительные входы должни быть только от первого слоя весов или от всех последовательно?
>>802039https://ru.wikipedia.org/wiki/%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D1%81%D0%B5%D1%82%D1%8C_%D0%AD%D0%BB%D0%BC%D0%B0%D0%BD%D0%B0> Нейронная сеть Элмана — один из видов рекуррентной сети, которая так же как и сеть Джордана получается из многослойного перцептрона введением обратных связей, только связи идут не от выхода сети, а от выходов внутренних нейронов.твоя личная нейроночка-гуглёрша-автоответчица
>>802064Не хочешь как-нибудь вместе потренить сеточки?
>>8020670.1
>>802064>а от выходов внутренних нейронов.Всех выходов?Я читал это уже не один раз.
>>802074хуй знает, из статьи неяснотвоя личная нейроночка-гуглёрша-автоответчица
>>802084Ну вот же, не надо за идиота считать, я гуглил дохуя и только потом пришел в тред.
>>802068Бля это сеточка женского рода
>>802088тупой кусок мясатвоя личная нейроночка-гуглёрша-автоответчица
Эй гуглерша,лел, а сигнал в сети Элмана надо считывать до или после Функции активации?
>>802074Все ж нарисовано.
Пиздец, даже картинка не отправляется. Быдлосайт такой-то.
>>802160капча, значит, нормас?
>>802157Там для однослойного, а как с многослойным не нарисовали.И еще не сказали, что делать после того, как я перемножил матрицы, как их привести в нормальный вид входов.
>>802162Да хоть для какого. Ты суть пойми. Ко входам просто добавляются выходы от промежуточных узлов. Это нужно для того чтобы нейроночкабыла типа с памятью. То же самое достигается более простыми методами, в частности, представлением данных в виде модели NARMAX или в виде матрицы Ганкеля. Что дает по-сути, тот же эффект, но специальных нейроночек для этого не требуется, можно использовать тот же перцептрон и вообще хоть что.
>>802169Да суть я понял, надо же это реализовать еще.Данные от выходов надо как-то представить в одинаковой форме со входами, что пиздец нелегко.Что делать со смещенной нодой, например?Просто переложить весь массив в вертикальный?
>>802174Гугли матрицу Ганкеля. А входы можнонормировать же.
Рашкинская википедия написана тупым дауном.Из мультиперцептрона, ага, блядь, что за даун это писал?Сука, стоило зайти на английскую - все по человечески написано.И в учебнике все так типа просто написано, в реальности же ошибок дохуя.
>>802193айнепиздика
>>802183И как мне нормировать входы? Я на выходе получил массив из 60 чисел в 3 столбца и 20 строк.И как мне сделать его таким, чтобы он был как входы? Если я добавлю ко входам его, то как мне обучать сеть?
>>802198Или рекуррентная сеть не умеет в задачу регрессии?
>>802201>>802198Ой блядь, надо же было добавлять после того, как высчитывал активацию.Лол, прикиньте, оно заработало, на 1-м слою я беру значение с прошлых весов умножаю их параллельно и после того, как вычитываю активацию складываю.
>>802208Аноны, это же считается за реккурентную сеть?Ведет она себя и правда по другому, я складываю прошлую и настоящую активации
>>802217>>802208>>802201>>802198>>802193порешай лучше олимпиадокhttps://www.kaggle.com/c/titanic
>>802237Это тот датасет про выживших с титаника? Чего там решать-то, все решается rule mining'ом. Школьники, поди, такие задачи градиентным бустингом пердолят?
>>802248> rule mining'омдип лёрнингом?
>>802252Вовсе нет. Я об этом https://en.wikipedia.org/wiki/Association_rule_learning
К слову, тема довольно любопытная, а в этом ИТТ треде никогда не затрагивалась. http://www.rdatamining.com/examples/association-rules пример на R с титаником. Книжка по ссылке, к слову,довольно годная.
https://www.kaggle.com/mrisdal/titanic/exploring-survival-on-the-titanicсмотрите какая тяночкауступили бы ей шлюпку?
>>800591Шизофрения какая-то. Неравноположенные категории, да еще и включены совсем ебанутые.
http://www.oneweirdkerneltrick.com
Что думаете по поводу курса яндекса "введение в машинное обучение" ? https://www.coursera.org/learn/vvedenie-mashinnoe-obuchenie/home/week/1В данный момент читаю Бишопа, полёт нормальный. Стоит ли отвлекаться на этот курс?
>>802513Урезанная версия курса Воронцова, в которую еще влит весь остальной дата сайенс для нубов.
>>801998бамп вопроса
>>802007Во всех курсах по ml для начинающих требования по линалу, матану, вероятности и статистики на уровне 2-ух лет технического вуза, так, что не надо мозги пудрить.
>>802570> линалу, матану, вероятности и статистикии что в этом особого?то что ты перечислил даётся в любом пту и знакомо большинству посетителей раздела уже много лет
>>802578Ну тогда так и напишите в шапке, для большинства людей ничего особого - это школьный уровень и это доска программистов, а не математиков.
>>802578Да и даваться оно может очень по разному, тут нужно реальное владение этими предметами и выебоны можешь свои засунуть себе в анус датасайнтист
>>802263Шлюпка не рассчитана на ее вес.
>>802666богиня тредика
>>802758Зачем этому замечтаельному треду говноконфа с вебмакаками, изучающими пиздон?Еще и называют это компуктер ссаенс
>>802248>>802255Объясните популярно, чем тут AR лучше деревьев?
>>802792Ты про какие деревья? Рандом форест штоле?
>>802812Про decision tree. Ensemble на выбор.
Поясните за албфабэта алгоритм в шахматах. Он прекращает перебор как только счёт окажется в пользу противника? То есть если он сначала бьёт фигуру противника и потом отдаёт свою, но не такую тяжёлую, то он углубление продолжает, а вот вариант сначала отдать свою не важную, а потом забрать у противника ценную фигуру он рассматривать не будет? Это глупость какая-то. Как правильно?
>>802286лол
Аноны, выходит что Радиальные сети - это сеть, с которой информация поступает в мозг от глаз.Сверточная - это та, которая распознает образы.Рекуррентная сеть - та, которая распознает звуки?
>>803343ага
Аноны, нахуй нужны сплайны?
Есть у кого нибудь инфа или может ссылки на какие нибудь работы по алгоритмам обучения спайковых сетей? Нужно обучить именно спайковую сеть, но вот годных алгоритмов найти пока так и не удалось, двачну для любой инфы по этому поводу.
>>803433>спайковых сетейЧем они лучше неспайковых? Где реализованы?
>>803433В любом случае, смотри в сторону разновидностей хеббовского обучения.
>>803488Лучше тем, что они быстрее и объемнее по количеству нейронов. А реализованы они в нейроморфных чипах и в мозге.
>>803489Есть такая штука - STDP, правило, которое является частным случаем как раз Хеббовского обучения. Но: 1 - этого правила по хорошему недостаточно, 2 - нужны либо рабочие примеры реализации обучения сети с таким правилом или хотя бы литература, поясняющая про подобное обучение.
>>803493>литература, поясняющая про подобное обучение.У Коско http://gen.lib.rus.ec/book/index.php?md5=CCC0771774E761EB91EE2019A244305B в 4ой главе рассмотрено 4 основных варианта хеббовского обучения. Вообще, 1ая часть этой книжки очень годный взгляд на нейроночки в целом.
>>803496спасибо, посмотрим
>>803181Бамп вопросу.
>>803529Шахматы не актуальны, читай:http://sci-hub.cc/10.1038/nature16961
>>803543Я не умею в ml и хочу сделать простые шахматы. Помоги.
>>803545Есть жи открытые шахматные движки, ковыряй-модифицируй https://ru.wikipedia.org/wiki/GNU_Chess>Основан на модификации профессора Тони Марсланда, внесённой им в алгоритм альфа-бета минимакса, и называемой Поиском Основных Отклонений (Principal Variation Search — PVS). Этот алгоритм работает надёжно и достоверно.
>>803553> Совсем недавно произошёл возврат к идее, которую поддерживают разработчики GNU Chess: полный обсчёт конечных узловОн в лоб все возможные ходы перебирает.
>>803556Все возможные ходы он не переберет даже до японской пасхи. Это какая-то модификация основного алгоритма, поскольку у программы как-то получается неблохоиграть:>блиц-рейтинг GNU Chess версии 5.04, работающей на компьютере на базе процессора Cyrix 166 MHz (эквивалент Pentium 200 MHz), с настройками по умолчанию превысил 2100 пунктов (рейтинги сильнейших шахматистов превышают 2700).
>>803558>Все возможные ходы он не переберет даже до японской пасхиНа ограниченную глубину же. Можешь прочитать как это работает и объяснить в каком случае он обрезает узел?https://chessprogramming.wikispaces.com/Alpha-Beta
> Представим, что где-то в глубине дерева перебора мы обнаружили, что максимумы белых и черных сравнялись. Допустим, мы просчитываем позицию для белых. Если мы продолжим перебирать в данной позиции, то максимум для белых может еще увеличиться, а может остаться прежним, но он уже сравнялся с максимумом черных. Это значит, что когда программа вернется в точку (рекурсивно), в которой максимум для черных, результат будет отвергнут, т. к. он не превышает максимума для черных в этой позиции. Также это значит, что в данной позиции для белых мы можем прекратить перебор и вернуть полученный результат досрочно.Что это значит? Помогите понять. Сделали например 2 бесполезных ходе где никто никого не побил. Их максимумы сравнялись. И дальше не имеет смысла проверять? А если поменялись фигурами равной цены. То максимумы снова сравнялись, но смысл продолжать есть т.к. обмен фигурами может продолжится. Тогда какой смысл выходить из перебора когда максимумы равны?
Как полному нубу вкатиться в machine learning? обоссыте, но не бейте
>>803631выбирает ход так чтоб минимизировать максимальную прибыль противниканепомню деталей, тут https://2ch.hk/pr/res/792098.html могут помочь
>>803639>выбирает ход так чтоб минимизировать максимальную прибыль противникаЭто понятно. Я про условие выхода. Ведь если он прекращает перебор когда противник побеждает, то он понимает что по этой ветке идти не надо и выходит. Я всё понял пока печатал! Спасибо!
>>803639соус вебм?
>>803665https://new.vk.com/rommikh
>>802675>богиня тредикаhttps://www.youtube.com/watch?v=QudbrUcVPxk
>>803732>GroupПроигрываю с даунов из /pr/, которые находят какие-то базовые вещи, знание которых у чистых математиков является само собой разумеющимся, и дрочат на них.
>>803739Он на тетку дрочит, аутист.
>>803740>на тетку дрочитНо зачем? Дали вам 2D-богинь, нет, не хочу богинь, буду на шлюх дрочить.
>>803739>обсуждают тян>лезет умничатьу тебя загон есть в обосцае, пердолик
>>803745Чем же это тян интереснее идеалов и дивизоров? Поссал на биопроблемников.
>>803739Проигрываю с даунов из /sci/, которые реализуют какой-нибудь квиксорт, знание которого у чистых программистов является само собой разумеющимся, и дрочат на него. Пример из жизни.
>>803732что в ней божественного? мужиковатая технарка с вонючим ртом
>>803757Тащемта, для эффективности квиксорта надо к нему кучу улучшений дописать.
>>803761тащемта поебать, тащемтаобосцал квиксорт, капельки урины алсо попали на /sci/ долбоёбо-дегенерата
>>803768Слесарь вдруг начал махать руками и обосрался под себя.
Introduction to Statistical Learning и особенно An Elementary Introduction to Statistical Learning Theory -- 10/10
>>804108Почему? Чем лучше какого-нибудь Бишопа?
>>804127Бишоп - кусок говна.
Аноны, поясните за кубический сплайн.Как он подбирает сколько необходимо иметь регионов и узлов?
>>804127Бишопа я не читал, с первого взгляда выглядит как обстоятельный учебник.Elementary Introduction to Statistical Learning Theory -- 200 страниц, введение для нубов, покрывающее также базовый тервер и матстат. Introduction to Statistical Learning -- тоже самое, только на 400 страниц.
>>804472Объем ничего не значит.Да и лучше прочитать книжку поменьше, но зато освоить, чем прочитать сотню страниц и забросить, не добившись никаких результатов.
Что здесь делает 7,8,9 и 13 строки?Как они производят интерполяцию и как они делят на узлы? Не понимаю, как это вписывается в общую формулу αiΦi(x),
ай ай ай, кое-кто ниасилил 100 страниц божественного бишопа и решил слегка взбугуртнуть в тредно только слегка
>>804512>Объем ничего не значит.Да я не думаю.> Да и лучше прочитать книжку поменьше, но зато освоить, чем прочитать сотню страниц и забросить, не добившись никаких результатов.Я согласен, поэтому и порекомендовал эти книжки как вводные.
>>804514Аноны, так никто не может пояснить?
>>804603Ты скинь нормально код.
>>804615Да это и есть весь код, кубический сплайн
>>804618Текстом.
>>804621import pylab as plimport numpy as npx = np.arange(-3,10,0.05)y = 2.5 np.exp(-(x)2/9) + 3.2 np.exp(-(x-0.5)2/4) + np.random.normal(0.0, 1.0, len(x))nParam = 2A = np.zeros((len(x),nParam), float)A[:,0] = np.exp(-(x)2/9)A[:,1] = np.exp(-(x0.5)2/4)(p, residuals, rank, s) = np.linalg.lstsq(A,y)pl.plot(x,y,'.')pl.plot(x,p[0]A[:,0]+p[1]*A[:,1],'x')pl.show()
>>804624Ай лол,сейчас найду через кого скинуть
>>804625>>804624http://pastebin.com/6LVB190P
>>804628Все это по формуле
>>804640>>804628Аноны, ну так можете пояснить?
>>804874в чём собственно вопрос?
>>804913Как это все происходит? Интерполирование и выбор knotpoint, я никак не могу разобраться.
>>804935ручками подбираешь или выпуклой оптимизациейэто просто гиперпараметры
>>804958И как это все подбирается? Я не понимаю, на кой хуй здесь нужен >(p, residuals, rank, s) = np.linalg.lstsq(A,y)и >pl.plot(x,p[0]A[:,0]+p[1]A[:,1],'x')Особенно за 2-ю строку.
>>804970Ну ты че, тупой? Не можешь загуглить что делают функции exp, lstsq и plot?
>>804992Я знаю, что они делают, но не понимаю, нахуя.Нахуй нам нужен этот np.linalg.lstsq(A,y)И зачем мы умножаем x,p[0]A[:,0]+p[1]A[:,1]
>>804994Хорошо, на другом примере, если у меня есть некоторая обучающая выборка с зашумлением и я хочу ее интерполировать, то что мне делать?Как мне построить ее модель? Если это, например, синусоида?
Хотел бы написать что-то для практики на Java. Вспомнил, как какой-то чувак в зк выкладывал свой код с использованием нейросетей и внезапно захотел себе тоже.Поскольку это учебный проект, хотел бы всё сделать с нуля используя только стандарную библиотеку. Задачу думаю взять какую-то наглядную с обработкой изображений, например, распознавание рукописного текста (или хотя бы цифр).Проблема в том, что знаний в области МЛ у меня почти никаких нет: спроектировать грамотно сеть и всё продумать я не смогу. Из МЛ я только прошёл курс китайца на курсере, да и то давно.Идеально было бы найти какую-то статью где вся математика уже сделана, а мне остаётся только реализовать.Взлетит или нет? Будет ли слишком медленно работать из-за того, что нет быстрых операций над матрицами/векторами?
>>805073a sin(bx) + c
>>805079То-есть взять ту же самую модель синусоиды, сравнить ее с нашими данными, и получаем ту самую ошибку?И потом берем ошибку и умножаем на модель данных, получая приближение к изначальной функции.Только где тут интерполяция?
>>805116что за хуйню я читаю
>>804526Лол, заказал где-то год назад Бишопа с Амазона, какое-то копеечное издание из Индии по лицензии Springer. Пришла книжонка с неразрезанными плотными листами и хуёвейшей печатью. Через полгода на NIPS в Канаде подвалил к представителю издательства и рассказал про то, как разрезал книгу, как графье в 19 веке, чувиха почему-то очень расстроилась.
>>805138P.S. Зашел в тред и не понимаю, как с вами, придурками тут общаться, если вы не можете разобраться ни в чем, и китаец вас ничему не научил?Кстати, взял там же на NIPSe автограф у Ng
>>805135Посмотри в код, который я сбрасывал выше, он по учебнику дается и я нихуя не могу разобраться.Обещали интерполяцию, а дали какую-то хуевую аппроксимацию с методом ошибки наименьших квадратов.
>>805149А не, в глаза долблюсь, лол.
>>805138мудило решил сэкономить двадцать доллароврезультат - 700 страниц индийcкой туалетной бумаги
>>805149>>805160)
Так, ананасы, нужна помощь по теану. Увеличил я выход до 20-ти чтоб распознавать несколько цифр одновременно. y = T.imatrix('y') теперь матрица а не вектор layer3 = LogisticRegression(input=layer2.output, n_in=500, n_out=20) - 20 выходовпреобразовываем выход из 2д в 3д чтоб считать средние значения по десяткам self.p_y_given_x = self.p_y_given_x.reshape((self.p_y_given_x.shape[0],2,10))как правильно записать целевую функцию если раньше она была такой def negative_log_likelihood(self, y): logtmp=T.log(self.p_y_given_x) return -T.mean(logtmp[T.arange(y.shape[0]), y])
>>805350> средние значения максимальное, т.е
Почаны, а для чего вы хотите использовать/используете машинное обучение?
>>805659Хочу бота состряпать для начала, а потом кое-что другое.
>>805659для того, чтобы опубликовать статьи и получать за это деньги.
>>805683Хитрючий пидор
>>805659Просто интересно. Хобби можно сказать.
http://blog.kaggle.com/2016/07/21/approaching-almost-any-machine-learning-problem-abhishek-thakur/
>>805839Такое впечатление, что какой-то мимотурок, не слышавший про R, описал этот тред. Целый набор разнородной хуйни, которая давно есть в R, притом большей частью стандартноTo start with the machine learning libraries, install the basic and most important ones first, for example, numpy and scipy. To see and do operations on data: pandas (http://pandas.pydata.org/) For all kinds of machine learning models: scikit-learn (http://scikit-learn.org/stable/) The best gradient boosting library: xgboost (https://github.com/dmlc/xgboost) For neural networks: keras (http://keras.io/) For plotting data: matplotlib (http://matplotlib.org/) To monitor progress: tqdm (https://pypi.python.org/pypi/tqdm)
>>804430Вводятся граничные условия, в т.ч. на производные. Дальше хуярится СЛАУ и решается.
>>805880На R нет Tensorflow и Keras. Там вообще есть нейросети под GPU?Так же под Python есть NLTK для NLP. Добавлю, что все умы в лабораториях хуярят на Python. Кто-то по старинке на Matlab, кто-то для тырпрайса на Java.(Т.к. Deep Learning появился несколько лет назад)
>>805900>На R нет Tensorflow и Keras.Tensorflow есть, пакет rFlow. Керас не знаючто это. Нейроночки сверточные? Если да, то есть MXNet, он не хуже тензорфлоу этого вашего.>Там вообще есть нейросети под GPU?Есть. MXNet можно собрать с поддержкой куды. Есть еще что-то, не помню названия. Из диплернинга есть еще всякие машины Больцмана и аутоенкодеры.
>>805839Меня удивляет почему это раньше еще никто не сделал, хотя бы на уровне бойлерплейта.
PCA + XGB + DL
насколько реально написать нейросеть, которая сможет рерайтить новости? и реально ли это сделать с Java?
>>806234всё зависит от мощности твоего GPU-кластера
>>806339а клауд калькулэйшнс можно использовать?
>>806516На Амазоне есть инстансы с видюхами, в общем-то ничетак.
>>805880потому что R используют только выпускники факультетов статистики. У них мозги поломаны настолько, что они не приходят в ярость от этого языка. Но и кэггл код на R выигрывает редко.
>>806605>R используют только выпускники факультетов статистики. У них мозги поломаны настолько, что они не приходят в ярость от этого языка. А от чего там можно приходить в ярость?
>>805880Вали нахуй со своим R, он нужен то паре аутистов.Предлагаю банить нечеткопетухом и R-макак
ВЫ НЕ ПОНЯЛИ СУТИ ТРЕДАЗДЕСЬ ПАЦАНЫ УГОРАЮТ ПО ПИЗДОНУ И ЕБАШУТ МАТАН, ЛЮБОЙ PHD-ПЕТУХ ПОТЕЧЕТ ОТ УРОВНЯ ЗНАНИЙ, КОТОРЫЙ БУДЕТ ВАМ ДОСТУПЕН.ВЫ РЕШИЛИ ПРИЙТИ К НАМ В ТРЕД СО СВОЕЙ ХУЙНЕЙ? ВЫ БУДЕТЕ ОПУЩЕНЫ, АУТИСТЫ, МЫ ВВЕДЕМ СВЯЩЕННУЮ ПИЗДОНОВОЙНУ
Стоит ли изучать теорию меры или нет?Я закончил учебник по терверу, но там было без теории меры, борелевских множеств и прочего говна. Вот думаю, а нужно ли вообще это все для ML или лучше забить и двигаться дальше, читать Бишопа или ISL/ESL?
>>806736если мера не интерсна - читай бишопа, у него мер нетмера позже может пригодиться, тогда и посмотришь если мл не заёбёт к тому времени xe xe
Как вы понимаете все эти формулы, пиздец.
>>806751Учили математику?
Множества и (что то же самое) логика - это то, с чего вообще начинались нейроночки. Я понимаю, что ИТТ кроме меня никто не читал ту самую статью МакКаллока и Питтса 1943 года, которая считается основополагающей в этом направлении, но факт остается фактом, взаимодействия между нейронами в этой статье рассматривается с позиции матлогики. Опять же, активность нейронов не только спайковая по типу "все или ничего" 1 или 0, true или false. Есть еще градуальные потенциалы, которые лежат в основе ЭЭГ, да вся сетчатка работает именно на них, без спайков как таковых. А градуальные потенциалы не сводимы к бинарной логике, там не только 0 или 1, но и весь интервал между нулем и единицей. Т.е. очевидно, что эту активность нейронов можно формализовать только нечетко-логическими операциями. Даже те же сигмоиды в нейроночках это типичные функции принадлежности, вероятность тут вообще не при чем.
>>806900Mnozhestva i (chto to zhe samoye) logika - eto to, s chego voobshche nachinalis' neyronochki. YA ponimayu, chto ITT krome menya nikto ne chital tu samuyu stat'yu MakKalloka i Pittsa 1943 goda, kotoraya schitayetsya osnovopolagayushchey v etom napravlenii, no fakt ostayetsya faktom, vzaimodeystviya mezhdu neyronami v etoy stat'ye rassmatrivayetsya s pozitsii matlogiki. Opyat' zhe, aktivnost' neyronov ne tol'ko spaykovaya po tipu "vse ili nichego" 1 ili 0, true ili false. Yest' yeshche gradual'nyye potentsialy, kotoryye lezhat v osnove EEG, da vsya setchatka rabotayet imenno na nikh, bez spaykov kak takovykh. A gradual'nyye potentsialy ne svodimy k binarnoy logike, tam ne tol'ko 0 ili 1, no i ves' interval mezhdu nulem i yedinitsey. T.ye. ochevidno, chto etu aktivnost' neyronov mozhno formalizovat' tol'ko nechetko-logicheskimi operatsiyami. Dazhe te zhe sigmoidy v neyronochkakh eto tipichnyye funktsii prinadlezhnosti, veroyatnost' tut voobshche ne pri chem.
>>806905Паста с фочана, раходимся
>>806907И наборы (само) логика - это где все это началось сетки настроение. Я понимаю, что в ITT, но меня никто не читает той же статье McCulloch и Pitts в 1943 году, считается важным в данном руководстве, но совершенно очевидно, что международное общаться между нейронами в этой статье обсуждается математическую логику ситуацию. Опять же, активность нейронов, а не только своего рода шип "или все" 1 или 0, истинным или ложным. Шаг за шагом потенциалы, основанные на ЭЭГ, но для Retina работает, так что шипом. Другие потенциалы, которые не могут быть сведены к бинарной логики, а не только 0 или 1, но в диапазоне от нуля до единицы. Они. Совершенно очевидно, что формальная нейронную активность может только нечеткие логические операции. Даже те, в функции сигмовидной сетки настроение обычного членства, кажется, ничего общего с.
>>806812
>>806951И что тут такого?
>>806973Где ты достал силы, чтобы читать эти шифрованые манускрипты?
>>807006> Где ты достал силы, чтобы читать эти шифрованые манускрипты?Психостимуляторы. Шучу, но лишь частично.Конкретно по тому пику можешь почитать вот эту статью с цветными картинками:http://colah.github.io/posts/2015-09-Visual-Information/
нейроночки - артисты в душеhttps://vimeo.com/175540110
О-па, анончики, вас то я и искал.Как раз хотел бы работать с ИИ, нейросетями нк и возможно биоинформатикоф в общем. Но так как знаний в этой сфере (как и в знании ЯП) не больше, чем в статье википедии, думаю, что с вами у меня всё получится.
>>799934Блин, ток к вам пришёл, а уже обзмеился. У вас тут атмосфера хорошая
>>802675Блять, на этой фотографии она выглядит просто отлично, а на всех остальных.... mehЗря гуглил. Это разбило мне мой манямирок. Сука...
>>807423Она бы тебе все равно не дала.
>>807433Да я как бы и не хотел...
Аноны, можно ли нахуй забить в книге на часть с линейным дискриминантным анализом?Или это очень важно и не стоит? Ну просто не интересно, пиздец, да я еще и не понимаю, нахуй он нужен?Иду дальше по книге, нигде не вижу, чтобы к нему возвращались.Вы используете сокращение размерности в ваших проектах? Оно вообще нужно?
>>807591забивай всё что не интересно
>>807604А может оно дохуя нужно будет?
>>807608если будет нужно для чего нибудь интересного - посмотришь
алсо я хуй знает что у тебя там за книгаесли бишоп то он нахуй ненужно, опускай всё до 4.3
>>807616Stephen Marsland Machine Learning
Бля, а вообще удобно, взять матрицу, очистить от шума и расположить нормально.Интересно, получается LDА или PCA нужны только для представления данных в визуальном виде и для того, чтобы нейроночка могла легче обучиться? Для чего еще на практике оно может пригодиться?Жаль, что я хуево знаю матан и не могу понять все эти операции со скалярами и матрицами.Где про все это можно почитать, чтобы для даунов было понятно, линейная алгебра, матрицы, скаляры, скалярное выражение.
>>807698визуализация да, сжатие данных, уменьшение размерностинейроночки обожают пца> Где про все это можно почитать, чтобы для даунов было понятноконец списка
>>807723>конец спискаКакого списка?
>>807736а попробуй этоhttps://www.amazon.com/dp/0030105676/ref=pd_lpo_sbs_dp_ss_3/156-1403635-0712816?pf_rd_m=ATVPDKIKX0DER&pf_rd_s=lpo-top-stripe-1&pf_rd_r=R30CE539V7P4TB1RTS9R&pf_rd_t=201&pf_rd_p=1944687682&pf_rd_i=0980232716буржуи все друг другу советуют, авось и тебе зайдёт
>>807738Сразу бы дал ссылку, где спиздить.Как не русский прямо.
>>807741я латышв шапке ссылки есть
>>807741Мне оттуда до 5 главы читать только Включительно?
>>807750Так там про скаляры ничего вообще не написано.Матрицы, Векторы, Векторное пространство, даже нейроночка с графами задета, а скаляров и скалярного выражения нету.
>>807757а не, я даун, все нормально.
>>807750до 6й включительноSVD - самый сок PCA
У меня может быть платиновый вопрос.Есть одна нейросеть. Взял исходники на JS и переписал их на Си++. В качестве активационной функции используется логистическая функция (то, что называют "сигмойд").Как только взвешенная сумма с предыдущих нейронов и биаса переходит за число 37, процессор округляет получившееся число до единицыhttps://www.wolframalpha.com/input/?i=(1%2Be%5E(-37))%5E-1То есть если нужно посчитать саму e^(-sum), то сумма может дойти до ~700, и всё будет ок, но там число вида 0,9999999... которое проц хранить правильно не умеет. Так как output = 1, то дельта (target x output x (1-output)) всегда равна нулю, и веса не исправляются.Теперь вопрос: как с этим бороться? Единственное, что я придумал это проверять: если получившийся вес нейрона больше 0.99999, то я делаю именно такой вес.
>>808053Отнимай максимум от входящих значений, то есть если на вход вектор v, то делай v = v - max(v).
>>808085Там наоборот же дельта очень маленькая. Сам посчитайtarget x (1-10^(-N)) x (1 - (1-10^(-N))) =target x (1-10^(-N)) x 10^(-N) =target x (1-10^(-N)) x 10^(-N) =target x (10^(-N) - 10 ^ (-2N) ) = target x ~(0.000001-0.000000000001)А если дельта маленькая, то и change тоже
>>808053http://cs231n.github.io/neural-networks-1/#actfunSigmoids saturate and kill gradients. A very undesirable property of the sigmoid neuron is that when the neuron’s activation saturates at either tail of 0 or 1, the gradient at these regions is almost zero. Recall that during backpropagation, this (local) gradient will be multiplied to the gradient of this gate’s output for the whole objective. Therefore, if the local gradient is very small, it will effectively “kill” the gradient and almost no signal will flow through the neuron to its weights and recursively to its data. Additionally, one must pay extra caution when initializing the weights of sigmoid neurons to prevent saturation. For example, if the initial weights are too large then most neurons would become saturated and the network will barely learn.
>>808116> if the initial weights are too large then most neurons would become saturatedЯ двумя способами инициализировал: 1. равномерно (-1; 1)2. нормальное распределение с вершинами в -1 и 1 (и входящим только в тот же промежуток (-1; 1) ), и почти ничего не падает на ~0. Такой вариант распределение посоветовали на Швабре, мол, веса должны как можно сильнее отличаться от 0, чтобы их легче было обучать, потому что если на всех весах будут нули, то такую сеть не обучить.Тогда какое мне распределение делать? Нормальное, но с вершинами в -0.75 и 0.75?Кстати, ещё кое-что. Чтобы получить 37, можно сложить всего-то 1000 нейронов с взешенными значениями 0.037. Или 100 с 0.37. Или всего 74 со средним взвешенным значением 0.5; это же всего-ничего, мне не хватает столько нейронов на слое.
Аноны, а нейроночку можно использовать для рисования немного глубже?Например, есть сфера, источник освещения и листы разного цвета.По сути, надо выполнить задачу аппроксимации функции.Скормлю нейроночке около десяти рисунков с различным положением источника освещения и сферы и нейроночка тогда научится сама подбирать тени?Можно ли также научить ее делать анимацию материалов?То-есть зайти в какой-нибудь Marvel, где просчитывается работа тканей и в зависимости от положения частей и их скорости, размера и плотности материала научить нейроночку линией рисовать то, как платье двигается?Правда тут будут играть роль еще и складки, ведь ткань может быть завернута по разному, пришита, застегнута на молнии.То-есть у меня программа, я рисую платье, нейроночка сама ставит на него тени, сама анимирует движения в зависимости от того, как двигается персонаж.По сути научиться говорить с нейроночкой на 1-м языке, она видит форму, ищет штриховку или тени, сама найдет точки схода.
>>808174> около десяти
>>808201>сотенА для больших бликов должно вполне сработать и с 10.
>>808174Попробуй лучше гуглувскую адаптировать, там можно сделать так, чтобы стиль одной картинки применить к стилю другой.Глубокие нейросети обучаются на примерно 10к изображений, причем на нихуевых видеокартах с кудой (на проце время прохода такой сети может быть несколько десятков секунд, и бэкпроп еще столько же, на видюхе для одного изображения все может примерно за секунду сделаться).
>>808202Есть идея сделать игру на нейронных сетях.2-х мерную стрелялку или что-нибудь вроде этого.Суть в том, что нейронная сеть будет просчитывать свет, поведение окружения, игровые условия.Только интересно, как это по ресурсам будет?
>>808383почему именно на нейронных сетях?как ты себе это представляешь?
>>808386Мне кажется, что так можно реализовать вообще все, что угодно, то-есть я могу обучить нейронную сеть алгоритму Вороного и при выстреле в стекло она будет просчитывать физику, свет и трещины.То-есть игрок постоянно будет подавать информацию на входы уже обученной нейронной сети.>почему именно на нейронных сетях?Хуй знает, подход очень интересен.
>>808383Дохуя по ресурсам. Скорее всего даже успевать просчитывать все не будет.
>>808392Попроси свою мамау сворить борщь через нейронную сеть, дай на вход "мама, что на обед", а на выход обучи расбери пай сигналить на ноги с сервомотором поглаживать твой животик. Подход чень итересен.
>>808392А все это будет в 2D/3D редакторе.И нейронная сеть будет генерировать уже заготовленную анимацию.В том же юнити, например, нельзя нормально сделать дыры от пуль в стене, а где-нибудь в Блендере, с помощью сторонних скриптов можно.Ну так беру и совмещаю без лишнего геморроя, и за образование трещин здесь будет отвечать уже не PhysX, а нейронная сеть, которая сгенерирует осколки, а PhysX будет обрабатывать уже физику для них.>>808395Разве уже обученная сеточка не работает быстрее обычной?
>>808398>Разве уже обученная сеточка не работает быстрее обычной?Че-т проиграл.Кури короче основы нейросетей. Куча материалов в инете.
>>808396Если интонация в голосе не свидетельствует о серьезном уровне голода, просто симулировать жест роботизированной рукой, при помощи сервомоторов, который намекнет на желаемое время приготовления борща.
>>808399Да я уже вкурил.Обученная сеточка же не требует трат ресурсов на алгоритм обучения, неужели тоже жрет так уж дохуя?Ну ладно, тогда не помеха, пусть покупают больше видеокарт.
>>808398физикс не рисует осколки, он, как раз, генерирует их реальное положение, что как бы и есть "физика" в твоем понимании.
>>808403Физикс использует уже заранее сделанную анимацию, он не умеет в динамику вроде.А вот считать, как и куда разлетятся осколки он умеет.
>>808402тебе нужно точно генерить осколки на основе окружающей среды, сеточкой ты можешь апроксимировать все случаи генерации(много наборов), но в итоге ты получишь убогую реализацию везде, не будет такой сеточки которая одинаково хорошо сгенерит поведение тел в разных средах.
>>808404физиксу вообще похуй на анимацию, он считает модель поведения тел в зависимости от окружающих факторов. Итог передается в карту на рендер.
>>808405Мне нужно лишь генерировать лишь карту осколков.То-есть, когда пуля попадет в стекло, произойдет событие, все данные подаются на на входы сеточки и сеточка сгенерирует карту осколков, всем остальным занят физикс.
>>808406Я говорю про разрушаемые меши в физиксе.А тот же самый Вороной и сам по себе жрет дохуя ресурсов.И все данные можно очень даже редуцировать и разбить на классы, если подключить тот же поиск по дереву.
>>808408Чем теб мешает аплаить карту осколков через обычные темплейты? Любая дополнительная характеристика, типа углы соприкосновения пули со стеклом, лекто апплаятся через геометрически формулы. В чем проблема? Тебе нужно чтобы сеточка для тебя выучила все основы и себя не напрягать?
>>808410>Тебе нужно чтобы сеточка для тебя выучила все основы и себя не напрягать?Да, хочу ебаться с сеточками.
>>808411У меня есть подозрение, что сеточка даст тебе дисторшн в поводении на уровне шакалов джепег. Ну еслиесть время глянь, потом расскажешь.
>>808412Да, больше и не надо, чтобы ресурсы лишние не жрать.На самом деле она может выжрать даже меньше, чем сам Voronoi Fracture.В любом случае попытаюсь что-нибудь с 2д редактором сделать интересного, а может и с куском ткани в 3д.Мне кажется, что простейшая 2д физика и освещение не займет много ресурсов.
>>808420збскак тренировать будешь? у тебя есть выборка данных?
>>808420если у тебя есть обученная модель, то почти не будет разницы в производительности с применением темплейтов, потомучто это почти одно и то же.
>>808422Ну в случае с тканями через меши, в случае с освещением есть несколько подходов.Думаю пока через карты освещения, которых сгенерю целую кучу и нейроночка будет знать, что есть меш и он находится на таком-то расстоянии от источника света и будет генерировать наиболее подходящий свет.Да, будет немного мыльновато, но у меня нет ресурсов разбирать HD.>>808423>то почти не будет разницы в производительности с применением темплейтовТак оно и хорошо.
Расскажите про возможности нейроночек в рисовании?Эти фильтры мне понравились, а можно ли заставить нейроночку искать именно 1-н объект на рисунке и в зависимости от его состояния заменять его другим?
>>808585Чтобы конкретно рисовали еще не встречал нейроночки.Есть нероночки, которые выдают границы объектов, есть нейроночки, которые полностью выделяют объекты своими цветами. Т.е. в этих случаях конкретно картинка получается. Вот что-то типа второго варианта тебе бы могло подойти, с условием, что замена будет выполняться каким-то отдельным алгоритмом.Гугловская сеть же изначально заточена под простую классификацию, а те рисуночки делаются так: снимаются данные нейрончиков с одного из внутренних слоев и визуализируются.
>>808585Более 90% работы с любой нейроночкой - это сбор и подготовка данных. Если сможешь выбрать правильную нейроночку, собрать нужные данные и оформить их в пригодном для нейроночки виде, считай задача решена.
Куда тренд пропадает постоянно?Засуньте его в прикреплённый
>>808894от местных закрепляющих дождёшсяя 3 года жду пока они рнр/js мразей в /wеb/ выкинут
>>809452Чем они тебе мешают-то? Не обращай внимания
>>809454ну ок
>>801998Бамп. Мне тоже интересно.
>>801998>>809873Ну, если у вас не хватает мозгов зайти в поисковик и пробить имеющееся предложение, то можете работать веб-макаками дальше.
>>801998Макаки больше, если ты не уберпроффинейронщик. Заебали тупить. Работа либо денежная, либо интересная. Се ля ви
Реально ли вкатываться на самообучении? С математикой дружу, но как конкурировать с задротами из топовых вузов? Или мест хватит всем?
>>809951Конкурировать где? Каких мест?
>>809967Конкурировать на места специалистов по ML.
>>809951Да нихера щас толкового еще не сделали на нейроночках, последнее че сделали - описание изображений естественным языком и все заглохло пока. Может скоро еще чем-то порадуют.
>>807387о, я как раз этим и занимаюсь. тут прикольно, вкатывайся к нам. могу переслать тебе пару параграфов из введения заявки на грант, которые я помог написать.
>>808373>на видюхе для одного изображения все может примерно за секунду сделатьсянет. обычно берут сразу батч изображений (64 или 128), один проход батча около 70 милисекунд. Посмотри сбенчмарки торча7. У меня сейчас в задаче 16 образцов за 1.8 секунд считает и в итоге эпоха около часа-полтора, а всего надо под 100-200 эпох. Я уже заебался с такими скоростями ждать.
>>810007А ты биоинформатег? Как туда вкатиться? Есть ли работа?
>>810007Покажи
Всем привет. Подскажите, пожалуйста, почему многие люди используют Lua для написания нейронных сетей? Чем он отличается от других скриптоязыков, таких как Руби или JS?
>>810128Привет
>>810179Как дела?
>>810179>>810128прив)
>>810030судя по хедхантеру или бластим вакансий очень мало и туда требуются скорее биологи с кодерскими скилламитипа как на фбб мгу и не ниже магистрапри уровне зарплат ниже процентов на 20-30так дело обстоит?
>>810180Проснулся, умылся... Хотел пойти и познакомиться с одной тянкой, которая листовки у метро раздаёт и постоянно мне улыбалась, но когда сегодня подошёл - её там не было.Хоть я и не расстроился, всё равно жаль немного. Мб завтра повезёт.А у тебя?
>>810183Херово. Не рассказывает никто про lua.
>>810185Сам почитай.Я пока учусь всему этому, так что подсказать не могу. Уверен, что если ты поищешь инфу самостоятельно, то узнаешь всё, что необходимо. Поверь мне
>>810186>Сам почитай.Да искал я. Нигде не написано почему именно lua.Удачи в обучении. Сам сейчас 2 года сижу в джава энтерпрайзе, думаю потиху начать перекат в ML. Да и тему для диплома в универе желательно хороший выбрать.
>>810187>хорошую
http://hothardware.com/news/nvidia-unleashes-monstrous-quadro-p6000
Блять, никогда не имел дело с книгами на ангельском такого рода. Мдэээмс
>>810187торч же на луе, не?
https://www.youtube.com/watch?v=GWn7vD2Ud3M
>>810333OpenFace на питоне.
>>810187Прост))Без торча луа в мл мало кому нужен. Автор(ы) писали на луа для себя просто потомучто, ну и постепенно набралось на фреймворк.
>>808053В общем, я сделал так. Я раскидываю веса с нормальным распределением 97% значений в [-0.5; 0.5], а потом нормализую веса по алгоритму отсюда: https://habrahabr.ru/post/198268/ Получалось, что я каждый вес на втором слое умножаю на 0.02. К моему удивлению такие маленькие веса работали, и сеть обучалась
>>808053>то, что называют "сигмойд"Никогда в этом слове и-краткой не было. https://ru.wiktionary.org/wiki/-%D0%BE%D0%B8%D0%B4>Теперь вопрос: как с этим бороться?Batch normalization layer. При прямом проходе он считает среднее арифметическое и дисперсию всего batch'a, далее вычитает среднее и делит на дисперсию. При обратном проходе градиент возьми отсюда https://kratzert.github.io/2016/02/12/understanding-the-gradient-flow-through-the-batch-normalization-layer.html
>>810908> At the moment there is a wonderful course running at Standford University, called CS231n - Convolutional Neural Networks for Visual RecognitionКстати, очень рекомендую эти лекции.https://www.youtube.com/playlist?list=PLkt2uSq6rBVctENoVBg1TpCC7OQi31AlCВ 5-6 лекциях объясняется batch normalization, различные функции активации, методы оптимизации и прочее.
>>811015А на ютубе есть что-то новое чего нет в их пдфках? Не люблю лекции как формат, туу слоу.
До здесь, мы видели только один недостаток в статистике частотной. Ну, это только начало.20-й век увидел массивный рост в статистике частотной применяется к численным моделям, чтобы проверить, отличается ли от другого один образец, параметр является достаточно важным, чтобы быть в модели и variousother проявлений проверки гипотез. Но статистика страдала частотной некоторые большие недостатки в его конструкции и интерпретации, которые представляют собой серьезную озабоченность всех проблем реальной жизни. Например:1. р-значения, измеренные с образца (фиксированный размер) статистики с некоторыми изменениями с намерением остановки изменения намерения и размер выборки. i.e Если два человека работают на тех же данных и имеют разные остановочный намерения, они могут получить два различных p- значения для одних и тех же данных, что нежелательно.Например: Человек А может выбрать, чтобы остановить подбрасывание монеты, когда общее количество достигает 100 в то время как B останавливается на 1000. Для различных размеров выборки, мы получаем различные т-баллы и разные р-значения. Кроме того, намерение остановить может изменяться от фиксированного числа перестроек к общей продолжительности листать. В этом случае, мы обязаны получить различные р-значения.2- доверительный интервал (C.I), как р-значение сильно зависит от размера выборки. Это делает остановки потенциал абсолютно абсурдно, так как независимо от того, сколько человек выполняют тесты на одних и тех же данных, результаты должны быть последовательными.3- Доверительные интервалы (C.I) не являются распределения вероятностей, поэтому они не дают наиболее вероятное значение для параметра и наиболее вероятные значения.Эти три причины достаточно, чтобы заставить вас идти в думать о недостатках в подходе и частотной почему существует потребность в байесовского подхода. Давайте найдем его.Отсюда, мы сначала понять основы байесовской статистики.
>>811209Паста с форчана, расходимсяUp here, we saw only one flaw in the frequency statistics. Well, that's just the beginning.The 20th century saw a massive increase applied to numerical models in the frequency statistics to check whether differs from another one sample parameter is important enough to be models and hypothesis testing variousother manifestations. But statistics frequency suffered some major weaknesses in its design and interpretation, which are a major concern to all the problems of real life. For example:1. p-values measured with the sample (fixed size) statistics, with some modifications with the intention of stopping the change of intention and the sample size. i.e If two people are working on the same data and stopping have different intentions, they can get two different p- values for the same data, which is undesirable.For example: A person may choose to stop the coin toss, when the total amount reaches 100 while B is stopped at 1000. For different sample dimensions, we obtain different m-points and different p values. In addition, the intention to stop can vary from a fixed number of modifications to the total duration of flipping. In this case, we have to get a different p-values.2- confidence interval (C.I), as the p-value is heavily dependent on the sample size. It does stop potential is absolutely absurd, because no matter how many people carry out tests on the same data, the results should be consistent.3 Confidence intervals (C.I) is not a probability distribution, so they do not give the most probable value for the parameter and the most probable values.These three reasons enough to make you go to think about the shortcomings in the approach and frequency for some reason there is a need in the Bayesian approach. Let's find him.Hence, we first understand the basics of Bayesian statistics
Имеет смысл вкатываться? Всегда нравилась статистика, но сейчас каждый первый абитуриент хочет заниматься дата сайнсом, это немного пугает.
>>811362> Имеет смысл вкатываться?> Всегда нравилась статистикада, имеет> сейчас каждый первый абитуриент хочет заниматься дата сайнсом, это немного пугаетэто тебя не должно волновать
>>811368Почему не должно волновать?
>>811371а почему должно пугать?
>>811373Потому, что задачи то специфические, много дата сайнтистов не надо, а у многих, кто идёт со мной в вузик планы заниматься именно этим. В итоге, когда мы все начнем искать работу, работы на всех не хватит. Хотя все равно буду в вкатываться, хоть мозги развивает.
Да и из того, что уже на этом сайте обсуждают ml, можно сделать некоторые выводы.
поддвачну - пускай лучше другие занимаются тем что меня интересуетя боюсь неопределённости, не хочу делится. поем лучше говна
>>811398>это мелкобуквенное проецированиеНу что же ты, русский.
>>811398Чем делиться?
>>811438Он же написал - говном.
Не люблю неопределенность просто.
>>810044Deep learning for molecular biology and neuroscienceDeep learning (DL) is a new approach in the field of machine learning, that recentlygained momentum and sparked a lot of interest in the research community [1]. Unlikeprevious, “shallow” approach, DL tries to learn hierarchical representation of the data in hand.It alleviates the need for feature engineering and curse of dimensionality that limitedperformance of a “shallow” approach.Recently, DL was applied to biological data and yielded remarkable results in thehuman splicing code prediction [2], identification of DNA- and RNA-binding motifs [3] andpredicting the effects of non-coding DNA variants at single nucleotide polymorphism precisionThe key to successful application of deep learning to a problem is the presence ofhierarchical structure in the data and its spatial or sequential arrangement. Both of thesecriteria are fulfilled in protein structures, therefore paving a way for future breakthrough incomputational drug design and protein structure and interaction prediction.Deep learning field strongly influenced modern theories of brain activity. The moststellar results were achieved in describing brain visual cortex. Before the DL gainedpopularity, the models of visual cortex relied on fitting parameters to predict neural activities ofthese areas [5]. However this approach failed to describe higher-level areas such as V4 andIT. With the insight from machine learning an DL in particular new approach called goal-drivennetworks became mainstream. According to this method a set of images is fed to the model,that is optimized to predict the categories of depicted objects instead of direct prediction ofneural activities. This approach gave the first predictive model of the spiking responses in the1. LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." Nature 521.7553 (2015): 436-444.2. Xiong, Hui Y., et al. "The human splicing code reveals new insights into the genetic determinants ofdisease." Science 347.6218 (2015): 1254806.3. Alipanahi, Babak, et al. "Predicting the sequence specificities of DNA-and RNA-binding proteins by deeplearning." Nature biotechnology (2015).4. Zhou, Jian, and Olga G. Troyanskaya. "Predicting effects of noncoding variants with deep learning-based sequence model." Nature methods 12.10 (2015): 931-934.5. Decharms, R. Christopher, and Anthony Zador. "Neural representation and the cortical code." Annualreview of neuroscience 23.1 (2000): 613-647.6. Yamins, Daniel LK, et al. "Performance-optimized hierarchical models predict neural responses in highervisual cortex." Proceedings of the National Academy of Sciences 111.23 (2014): 8619-8624.
>>811488Хоть бы pastebin заюзал.Прчитаю на досуге
>>811488 Take up minimal space during anti-racism dialogues and protests.Protests and anti-racism discussions should always center on the oppression experienced by people of color. If you are an ally who always has the microphone or the bullhorn, you’re taking up too much space. Stop contributing to gentrification and calling it “urban development.”Many white allies feel too comfortable talking about white privilege without pushing for their residential communities to legislate against gentrification, which is like reverse white flight at the expense of a mass POC eviction notice.Are you living in a redlining district without calling out the displacement of people of color? Are you content with advocating for POC as long as you don’t have to live in their neighborhood? Listen when people call you on your microaggressions.Your intent to be anti-racist doesn’t necessarily mean you automatically fit the bill. If people call you on microaggressions, don’t argue—listen. If you knew a word or phrase was offensive, you probably wouldn’t have said it. Being an ally doesn’t mean you’re above being educated on racism. Never invite POC to the table for the sake of claiming diversity.“Diversity” is now a buzzword and “diversity work” is a very profitable industry. Don’t invite POC to your events so you can say they personify diversity or to hit an organizational quota. Engage with diverse communities because you plan on being intentional about hearing our stories and letting us come to the table authentically. Refrain from using your POC friends as your “urban dictionary.”If you are engaging in discussions about race, you won’t always understand cultural references. Your POC friends or colleagues are not your “urban dictionary.” (And yes, I’ve heard people ask me if they should look up words I’ve used in the urban dictionary.)You may have to do some research to participate in anti-racism work, and that’s okay. Just think; POC spend their entire lives learning about culture from a white supremacist perspective. A few minutes on Google won’t hurt you. Stop lifting up non-confrontational POC as examples for what POC activism should be.Martin Luther King, Jr. was a great man—but he wrote more than his “I Have a Dream” speech. Few white folks quote his “Letter from a Birmingham Jail” to talk about King’s Legacy:“I have almost reached the regrettable conclusion that the Negro’s great stumbling block in his stride toward freedom is not the White Citizen’s Counciler or the Ku Klux Klanner, but the white moderate, who is more devoted to “order” than to justice…” History through a white lens immortalizes the “safe,” diluted parts of liberation in hopes of POC seeking future liberation in similar ways. This framework centers the comfort of white folks and disregards the complexity of processing and rebelling against oppression. Here’s the thing—experiencing racism is a lot more uncomfortable than experiencing a radical response to it. If you’re uncomfortable with expressions of emotional pain by the oppressed, you may want to work harder at dismantling their oppression. Call your friends, family and co-workers out on racism—even if a POC isn’t in the room.I’ve had plenty of friends tell me stories about times their family members, friends, or colleagues said something racist. I usually wonder why they are telling me when most of their stories don’t end with them confronting the racism they encountered.How do you confront racism when the spotlight isn’t on you? Does it take a protest or a speech for you to call out racism? Can you address the racism of the people you love most? Understand that all anti-racism work doesn’t look the same and advocate accordingly.Sometimes anti-racism work is about Black folks. Sometimes anti-racism work is about the entire African Diaspora. Sometimes anti-racism work is about Asian American folks. Sometimes anti-racism work is about Southeast Asian immigrants.“People of color” is an umbrella term that doesn’t address the complexities of the many people who experience racism. Understand that POC don’t go to bed in one-size-fits-all pajamas; our struggles and our liberations require nuanced thinking and action. Realize that all discussions about race aren’t for you. And be okay with it.Should black people say the “n” word to each other? Should Beyoncé express her pain by calling someone Becky? Some conversations aren’t for white folks. They are intraracial critiques that don’t require an ally’s opinion. An anti-racist ally is like a guest at a family dinner. You’re invited to the table, but you should know what conversations require your abstention. Recognize that you’re still racist. No matter what.Sometimes, anti-racist allies talk in an “us vs. them” framework when they discuss race, with the “us” being POC and anti-racist allies and the “them” being racist people. That’s an oversimplification of centuries of racism, and it also avoids one simple truth.White people always benefit from institutionalized racism, no matter how anti-racist your ideologies may be. You can’t disconnect yourself completely from the racism from which you benefit, and recognizing that is a large step in rejecting white privilege.> 1488збс!
>>811488>previous, “shallow” approachЧто ты имел в виду?
>>811540Мы такую хуйню в школе учили
>>811548а что race is a social construct и homosexuality is genetic тоже учили?заставляли окончательно определяться с сексуальной ориентацией в 6 лет?
>>811554Я про 10-11 класс говорю. Там близкие темы затрагивались до пиздеца
>>811544линейные и около-линейные модели, типа деревьев, лесов,свм и тд.
>>811564И при чём тут МЛ или ДЛ?
>>810128Пиздатостью.
>>810182Похоже на то. Я спрашиваю, потому что видел несколько программа а ля http://bioinformaticsinstitute.ru/ , где учат конкретно алгоритмической биоинформатике, и непонятно, что потом после этого можно делать.
https://www.ted.com/talks/blaise_aguera_y_arcas_how_computers_are_learning_to_be_creative#t-407260Для залётных нюфажин было бы интересно послушать
2 задачи:1) классификация текста по трем категориям со сбалансированными классами1) сентиментная классификация текста, с несбалансированными классамиМного ли смысла при N=1000 заниматься оптимизацией гиперпараметров и токенизатора?
Ну вот и мой момент славы. Только что смёрджили мой весьма серьёзный PR с фиксом, в очереди на мёрдж до релиза сентябрьского ещё 2-3 PR.Чувствую себя прикольно, не знаю почему. Что скажете? Коммитили ли вы в апстрим когда-нибудь? Моё имя останется в списке коммитеров релиза навсегда :3
После какого курса я буду понимать математику ml, или лучше самому курить всякие курсы mit и учебники?
>>811739Математика там состоит из линала, поэтому читай его сразу.>>811738Сап, Ибраим.
>>811741Я знаменит!Ибраим
>>8117391-3 курс. Вообще на самом деле нужен только первый курс (На котором как сказали выше есть линал) и теория оптимизации. Но я думаю последнее ты можешь и заранее прочитать сам, это не сложный предмет. Я например об этом предмете узнал из корсеры, и только потом нам на третьем курсе его преподали.
>>811746Что по оптимизации можно почитать?
>>811749Бойдаboyd vandenberghe
Мне надо как можно быстрее сделать тестовое задание с использованием логистической регрессии с методом стохастического градиентного спуска, и все это на питоне с pandas и sklearn. дайте линков где можно про это прочитать за разумное время.Только вкатываюсь в область, знаний по машин лернингу почти 0. Сейчас смотрю Нг на курсере, там что-то есть похожее, но именно стохастического градиентного спуска я у него не вижу.Пока что самое близкое что мне надо нашел вот тут:https://learningwithdata.wordpress.com/2015/04/30/tutorial-on-logistic-regression-and-optimization-in-python/
>>811865> тестовое заданиекуда работать устраиваешся?
>>811863> boyd vandenberghe> 700 страницСкажи, что надо читать только Theory?>>811865https://gist.github.com/ageitgey/c40fba50b6fece4ee1e7
>>811874Извини, не могу сказать. Не очень большая компания, насколько я понимаю (т.е. не яндекс, мэйлру и подобные).>>811875спасибо, смотрю
>>811865Стохастический градиентный спуск - то же самое что и обычный градиентный спуск, только производные считаешь не по всей выборке а только по рандомному подмножеству этой выборки. Т.о. больше шансов добраться до лучшего решения. Хотя для лог регрессии в этом нет смысла, функция потерь квадратичная и ты всегда в один минимум сойдёшься, потому-что других нет.Алсо, тебе реализовать нужно эти методы самому или можно использовать? Вон в scikit-learn есть SGDRegression готовая.
>>811890http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.SGDClassifier.html#sklearn.linear_model.SGDClassifierНа короче, loss="log" и вперёд.
>>811865ААА ПОЧЕМУ Я ЧИТАЮ ОЧЕРКДНУЮ КНИГУ ПО МАТЕМАТИКЕ И ДОКУМЕНТАЦИЮ НОВОЙ ЕБЫ А ЭТОТ ДАУН В ЭТО ВРЕМЯ УСТРАИВАЕТСЯ НА РАБОТУ
>>811891> функция потерь квадратичная>>811895> это сожаление
>>811904>функция потерь квадратичнаяЧто не так?
>>811904Да я плачу просто. Всю жизнь видимо буду мамкину ежу кушать.
>>811905>>811907так и будетпока ты теряешь лучшие годы жизни рвя своё срачло метешей и алгоритмами, такие вот васяны с нулём познаний и без интереса к теме займут все тёплые местаенжой!
>>811914И что делать? Страдать У него небось и тянка есть.
>>811914Ну я и так не на самом плохом месте. Крестокодером проект пилю, правда никак не связано с ML, это жаль, да. Ну в моей мухосрани работу по ML не найти, как хобби остаётся.
>>811895>>811914схуяли вы ребята взяли что я "васян без интереса к теме"? я вообще-то впервые с мл столкнулся 3 года назад, понял что без математики никак, и с тех пор 3 года уже ебашу математику как только могу. и я сейчас вижу что за эти 3 года я с математикой нормально так поразбирался, так что теперь можно и мл начать.а тестовое задание - это вообще случайно получилось, я не ожидал, знакомый свел.>>811918>У него небось и тянка есть.есть, жена называется, лол
>>811891>>811893спасибо>Алсо, тебе реализовать нужно эти методы самому или можно использовать? Вон в scikit-learn есть SGDRegression готовая.я думаю что надо по-максимуму использовать все готовое, а велосипедить по-минимуму.
>>811972Ну тогда загрузишь выборку через pandas, отпрепроцессишь её, (Бинаризуешь категориальные признаки, нормализуешь, заполнишь пропуски в данных или удалишь такие обьекты) и запустишь SGDClassifier.По идее это строк 15 займёт.
>>811895>ЧИТАЮ ОЧЕРКДНУЮ КНИГУ>ЧИТАЮя не знаю осознанно ли ты написал слово "читаю", но _читать_ математику особого смысла нет. я потратил на это очень много времени и когда столкнулся с необходимостью что-то решить/доказать понял что нихуя не умею. книги по математике надо _прорабатывать_, т.е. решать самые сложные упражнения как минимум, и еще пытаться доказывать самому теоремы перед тем как прочитать док-во в книге.
>>811974хоть я и не знаю многих слов в твоем посте, звучит как нечто не очень сложное. спасибо.я наверняка сюда еще напишу по ходу своего продвижения
>>810128lua самый быстрый (условно) среди скриптоязыков
>>810450там только обертка и препроцесиснг на питоне, сама нейронка на торче-луа
>>811967> я вообще-то впервые с мл столкнулся 3 года назад, понял что без математики никак, и с тех пор 3 года уже ебашу математику как только могу
>>811720bump
>>811720Шот такое эн?Слушай сюда, сынок. С текстами всё просто. Либо ебашишь представления(подсчут слов, тээфайдиэф, элдэа/элэса), потом накатываешь эсвыэм, нативного бейса или логитрегрессию. Фитишь параметры, чекаешь качество. Всё короч
>>812558Эмоциональной окраской не занимался. Отдельные слова-фичи могут неплохо зайти при малом числе классов
>>812558N строк в матрице на вход. Вопрос в том, что когда N=1000 и M=очень много, какие теоретические гарантии того, что делая Фитишь параметры, чекаешь качество, я не фичу просто шум?
>>812577Заебал, почитай статьи. На практике при небольшом числе классов и небольшой выборке делают, то что я тебе назвал. При больших данных перекат к сеточкам через латентные модели.Это блять машинное обучение, а не сука статистика
>>812583Ты мне назвал очевидные вещи, все пацаны на районе их уже знают.>Это блять машинное обучение, а не сука статистикаОхуел что-ли, падла? Это Statistical Learning.
>>811865Короче с вашими советами я че-то такое сделалhttp://pastebin.com/9h1AL6nQна вход два csv, первый обучающий, второй тестовый. параметры при обучении: без регуляризации, без свободного коэффициента (intercept), число итераций = 10^6/n, где n - кол-во строк в обучающем наборе. в конце надо вывести коэффициенты построенной модели и доли ошибок, получаемых на обучающем и тестовом наборах.ошибка у меня получается 0.13, и насколько я понимаю это хорошовсе правильно?
>>812577Делить нужно выборку на training и validation сеты, тогда и будут тебе гарантии.
>>813465Это по умолчанию делается.
Аноны, кто шарит в СММ (скрытые марковские модели)Реализовал смешанную СММ (дискретная по состояниям, непрерывная по наблюдаемым значениям) Собственно есть проблема с алгоритмом Баума-Велша, он после переоценки в матрицу ковариации сует вообще Nan значения. Кто может помочь?Вот код http://paste.ofcode.org/hAg8JYVkAy4KZtjvsFkuQJ
>>813305бамп вопросу
>>813889Нет. Параметры подбирай через GridSearch, scoring function — f1_weigted, проверку делай через cross_val_score с cv=10.
Можно ли применить ML для генерации контента? Скармливаем спрайты или модельки, получаем какой-нибудь микс.
А почему эти ваши нейроночки не пишут на языках с зависимыми типами? Сразу бы получали строгие доказательства сходимости или отсутствие таковых. Заодно всякие маняалгоритмы 99,9% нейроночек бы отсеились. Осталась бы годнота, которую хоть сейчас в промышленность и куда угодно.
>>813968> Сразу бы получали строгие доказательства сходимости или отсутствие таковыхэто конечно забавный вскукарек, но нет
>>813982Поясни, почему нет. Любая нейроночка, как и все остальное, представима в виде зависимых типов.
>>813991Так и есть, пруверов полно же, в чем проблема?
>>813897а можешь объяснить почему мой вариант неправильный?
>>813897что такое вообще этот GridSearch? зачем мне его использовать? читаю доки и не могу догнать
Сап, гайс. Помните систему мелкомягких, которая определяла, что изображено на фото?Такой вопрос: есть ли ее исходники?это раз.Второй: если есть исходники, как ее обучить самому? Что для этого нужно. Друган работает в магазине техники, хотел бы сделать для веселья определитель марки. Типа 10 стиральных машинок разных брендов и чтоб эта штука определила бренд
>>814002Потому что у тебя там нет ни подбора параметров, ни проверки нормальной.>>814036>Grid Search: Searching for estimator parameters
>>814041300к и готов сделать.
Псаны, а объясните поч все дрочат на GPU в ML (tf в частности)? Только из-за того что GPU лучше может в || вычисления? И насколько мощной должна быть видюха тада?
>>Зашёл в ML тред>>Захотел стать вебмакакой
Ребят, просто ради интереса. Сколько здесь анонов которые работают в сфере ML? Кто уже написал что-то послжнее хэлоуворлда?
>>814306Потому что, например, у PS4 CPU при максимальной загрузке (которую достичь достаточно затруднительно) выдает 80ГФлопс, а GPU - 1800 ГФлопс.
>>814340Месяц, как устроился учителем машин в местную контору. Из бекграунда только курс Воронцова, изучение исходников sklearn и один учебник по статистике (Лагутин).В целом нравится так как скилл качается и платят норм, но ощущаю себя ml-макакой: просто юзаю готовые алгоритмы, подбирая параметры глазомером, и придумываю эвристики. Выкинув приставку ml ничего не изменится, так можно в любой области работать. Недавно посмотрел вступительные в ШАД, стало еще грустнее.
>>814432Надо в рисерч идти — после ШАДа чуваки также отправляются в конторы макакить, только за больше денег чем в вебе.
>>814043Все, что есть в нейроночках и других МЛ-алгоритмах, тривиально формализуется в виде зависимых типов. То, что конкретный код писать долго - вообще не аргумент, код пишут гигабайтами, и всем норм. Тут какая-то другая причина.
>>814419А если ноут, нужно ли ставить tf для GPU или идти в облако?
>>814630Используют не просто ГПУ, а ГПУ с поддержкой Куды, причем такие, стоимость которых порядка нескольких сот тысяч рублей.
>>814678>не просто ГПУ, а ГПУ с поддержкой КудыСразу видно специалиста. Где ты ГПУ без куды видел последние лет 10?А вообще, это одна из причин, почему сверточные нейроночки - путь в никуда. Любая серьезная задача требует мощности уровня гугловских кластеров, простому хую с игровой видюхой ловить нечего кроме перерисовки котиков в пикассо-стайл и прочей клоунады без задач.
>>814702>Где ты ГПУ без куды видел последние лет 10?ATI
>>814300спасибо тебе за помощь. буду благодарен за ответы на еще несколько вопросов.1) у меня в условиях задачи жестко прописаны некоторые параметры:>без регуляризации, без свободного коэффициента (intercept), число итераций = 10^6/n, где n - кол-во строк в обучающем наборет.е. вот эту штуку я создаю уже с параметрами (в моем коде который я сюда скидывал такого нет, это я уже поправил):clf = SGDClassifier(loss='log', penalty='none', fit_intercept=False, n_iter=n_iter)зачем мне при таком раскладе вообще нужен GridSearchCV? если он действительно мне нужен, то какие параметры ему указывать в param_grid? все примеры которые я находил оперировали одними и теми же параметрами: loss, alpha и еще парочкой. Но у меня-то они и так известны: loss='log', alpha вообще д.б. равен нулю, ведь penalty='none' (так ведь?), и число итераций известно. я сейчас даю пустой словарь в param_grid, и оно мне вроде выдает какой-то результат, но я не уверен что это то что надо. вообще реультат (доля ошибок) с использованием GridSearchCV не улучшился, остался таким же как был.2) с cross_val_score я вообще все правильно делаю?вот какой у меня сейчас код:http://pastebin.com/vyAtu615
>>814826извините меня ребята за тупые вопросы, я сам по жизни очень люблю в таких вещах как можно более въедливо разбираться, но иногда надо просто сделать быстро, вы понимаете.
>>814826в cross_val_score забыл f1_weighted указать, только щас заметил
>>814826это снова яеще я вот что не могу понять. в задании у меня последний пункт:> после обучения надо вывести в файл коэффициенты построенной моделиэто что имеется в виду? это же не про целевую переменную (y_predicted) речь, а про что-то в clf ?>>811974>>813897это один и тот же анон?
обучил макакиной капче, буду теперь вакабу шатать
>>814898>это один и тот же анон? Нет, я забыл об этом треде. Но тот анон прав.Про коэффициенты - тебе нужно 2 параметра обученной модели, coef_ и intercept_.>>811974 - анон
>>814826В твоём случае ты мог бы попробовать варьировать все параметры конструктора отсюда http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.SGDClassifier.html#sklearn.linear_model.SGDClassifierНапример попробовать классификатор с разными функциями потерь, разными регуляризациями, и т.д.С помошью GridSearch, и найти лучшее решение из заданных комбинаций. Но т.к у тебя нет регуляризации и функция потерль log - ты можешь поварьировать пожалуй только learning_rate.В конкретно твоём случае GridSearch я думаю можно не использовать.
>>814432>Недавно посмотрел вступительные в ШАДА шо там? Сложно слишком?
>>814946Для меня видимо да, выдал решил бы задачи 2.
>>814441>после ШАДа чуваки также отправляются в конторы макакить, только за больше денег чем в вебе.>>814432>устроился учителем машин в местную контору. Из бекграунда только курс Воронцова, изучение исходников sklearn и один учебник по статистике (Лагутин).>платят нормВы в меня прям надежду вселяете. Как раз недавно начал делать веб-проект для портфолио, использующий машинное обучение. Неужели удастся перекатиться из веба?Кстати, платят норм - это сколько?
>>814911сегментировал или сразу всю капчу на вход подаешь?если сегментировал, то как?
>>814432Что такое эвристики в контексте ml? Некие методы решения проблем?
>>815083Как сеньору в команде.>>815132Хитрые фичи, фильтры для предсказаний, оптимизации.
>>815156Спасибо.
>>815071Где можно взглянуть на эти вступительные?
>>815169chrome-extension://oemmndcbldboiebfnladdacbdfmadadm/https://cache-default01h.cdn.yandex.net/download.cdn.yandex.net/shad/exam-2014.pdf
>>815169http://goo.gl/Q3v1Ff
Для русекогоспод как начать вкатываться? inb4:с курса Воронцова
>>815099>если сегментировал, то как? Опять вы выходите на связь, никчемный господин? Капчу правильнее всего распознавать сверточными сетями, а они сегментацию делают автоматически, у них структура такая.
>>815156>Как сеньору в команде.От 150 тыщ?
https://www.kaggle.com/jobs/17244/flixbus-data-engineer-m-f-berlin-germany
>>815214я так-то впервые в треде писализ нейронок имею опыт только с многослойным перцептрономкороче я понял, что надо внимательнее изучить cnn, спасибо
>>814943>>814940спасибо!
Анончики, поясните за ТензорФлоу. Сейчас предлагают перейти на другой проект с тензорфлоу. Зачем он вообще нужен?
>>815423Читай шапку, блеать!
Не, аноны, ml это слишком оверхайпнуто. Сейчас везде сотни курсов по этой хуйне, через пару лет в госдуму будет легче попасть, чем на работу по ml. Или есть подвох?
>>815538> есть подвох?их мало кто заканчивает. слышал что того же нг курс что-то около 5% проходит до конца - школьникам просто не интересна/слишкам сложна. количество курсов отражает спрос - он огромен и будет только расти до следующей депрессиина самом деле сейчас самое лучшее время для вката, особенно для русского анона - матем подготовка в русских вузах даётся намного более толковая чем на западе http://portal.tpu.ru/SHARED/s/SHUROLE/Education/link/The_fifth_rule_of_arithmetics.pdf например
>>815579Статистику можешь привести?
>>815616Насчёт курсов на корсере я думаю можно даже не приводить, там у любого STEM курса до конца доходят процентов 5-10.
>>815618Я кстати не этот >>815579 анон.>>815398Ну ты хоть нам расскажи когда тебя возьмут/не возьмут на работу, что за работа или о чём там базарили на собесе.
>>815618Понимаю, но я не привык верить на слово, да и просто проанализировать хотелось бы.Потому что слова вот этого анона >>815538насторожили
Я в принципе знаю двух принципов для лечения сложных систем в простых способов: первый принцип модульности, а второй является принцип абстракции.Я апологетом вычислительной вероятности в машинном обучении, потому что я считаю, что теория вероятностей, в отличие от нечёткой логики, реализует эти два принципа в глубоких и интригующих способов, а именно - через факторизации и через усреднение. Эксплуатируя эти два механизма настолько полно, насколько это возможно, мне кажется, что путь вперед в машинном обучении.
>>813798Никто не в состояние помочь?если все заработает, я даже не прочь вознаградить.
>>815579>того же нг курс что-то около 5% проходит до концаэтот?https://www.coursera.org/learn/machine-learningон же там всю математику разжевывает, а каждое задание тремя-пятью строчками рушается
>>815966у него ИНТУИТИВНЫЙ ПОДХОД
>>815966Всю более-менее сложную математику он просто пропускает, так и говоря, что это сложно. Но оказывается, что для среднестатистического хуя даже та математика которая остаётся оказывается слишком сложной. Просто, как я заметил, многие здесь плохо себе представляют уровень знания математики обычного программиста, а он обычно не дотягивает даже до 11 классов школы.
>>815995Я к тому, что тоже думал, бля пиздец сложна будет, а по факту одну неделю в день не особо напрягаясь проходилЫн конечно знатно расчехляет, еще можно Рафгардена по алгоритмам выделить.
>>816008>еще можно Рафгардена по алгоритмам выделитьваще мне не вкатил, попробовал его слушать, но надолго меня не хватило.а вот Сэджвик - ок, оч хорошие курсы.еще по алгоритмам хвалят степик, но я этот курс не пробовал, он у меня в планах
>>816042странно, а мне Седжвик унылым показался. Хотя он автор алгоритмов, статей и постов, а Рафгарден в этом смысле неизвестен. Мне Рафгарден вначале показался слишком самодовольным каким-то, но потом стало ОК.Еще Бонэ (Boneh) годно за криптографию расчехляет, (тоже автор статей и проч.), но он что-то уж слишком долго со второй частью курса тянет>еще по алгоритмам хвалят степик,на курсере появилась целая специализация по алгоритмам, ВШЭ+Яндекс + кто-то из буржуевпосмотри, может глянется
Знаю не тот тред, но раз зашла тема, посоветуйте что по алгоритмам сортировки там, структуры данных. И ещё бы по паттернам что.
>>816422По паттернам вот хорошая книга: http://eu.wiley.com/WileyCDA/WileyTitle/productCd-0470682272.html
>>816422А тут парни из дипмайнд поясняют за сортировку: https://arxiv.org/abs/1410.5401
Посоны, это ваше машинное обучение было в полной мере развито уже в 70-е годы. С чего вдруг сейчас начался хайп? Что изменилось?
>>816521Тогда не было мощностей для нейроночек. Потом появились всякие кернел трики, а потом GPU, кластеры, облака, вот это всё.
>>816521Осознали что пора роботов начинать клепать, а то мы как лохи всё руками да руками.
>>816521> машинное обучение было в полной мере развито уже в 70-е годылолокропил школьника
>>816570Линейную регрессию-то еще диды на бумажке делали. Это тоже машинное обучение, или, как сейчас стали говорить, AI.
>>816570>>816593>>816521https://en.wikipedia.org/wiki/Timeline_of_machine_learning
>>816593
чёт проиграл
Чем бы чеки магазинные распознавать? tesseract полную хуйню выдает частенько.
>>816700Ставишь на виртуалку пиратский файнридер с батч процессингом и распознаешь.
>>816700во-первых погугли получшея читал статью как раз про чекитебе надо сначала определить region of interest, здесь поможет HOG или возможно что-то попрощезатем преобразуешь его в прямогугольник и распознаешь чем можешь,http://www.pyimagesearch.com/ - почитай
Что из этого выбрать?
>>816705Ничего. Тратить 300 страниц на разжевывания мануала по pandas и sklearn -- это совсем охуеть можно. Читай сразу книги по ML.
>>816688Ценнейшие мнения каглобыдла по вопросу чем лучше пердолить датасет "титаник" - диплернингом, xgboost'ом или рандомфорестом. Надеюсь, SVM и главные компоненты не забыли.
>>816704Сейчас гляну. Я чек-то обработал в редакторе, словарик ему свой дал, но косяки есть уровня вместо знака тождества ставит пятерку. Я хз, как эту гниду обучить можно чему-то.
Анон, вкатывайсяесть действующие компуктер саентисты, регистраций не надона этом же домене гугловский алфабит, это не ловушкаai-lab.xyz
>>816712двачую, начинал читать такую же хуиту по джангетак там тупо мануал с сайта переаписывается, еще и устаревший
>>816799>это не ловушкаЗвучит подозрительно
>>815951Ну смотри, я этот твой алгоритм не понимаю, но мне кажется тебе надо поймать момент когда получается NaN значение и посмотреть на вход для вычисления. Всё ли тебя там устраивает? Может банально точности не хватает, может что-то не туда сходится.
http://katbailey.github.io/б-гиня
>>816799> 47 Members Onlineуютненько, атмосферненько
>>816934>>816799Это что вообще? Говночат?
>>815621лучше спроси себя имеет ли смысл ботать книжки, когда в любой момент может начатся крупномаштабный военный конфликт
>>813798в дебаггере код гонял?
>>816935да, говночат на говноплатформе, которая поглотит все остальные говноплатформы,во главе говночата киберпанк-тян
>>816959они планируют книгу обсуждать, так что кому хочется английский попрактиковать приходитеOur next book is Superintelligence by Nick Bostrom. We will read two chapters a week beginning August 15th. We will hold discussion groups on Thursday and Sunday evenings (US EDT) at 17:00 UTC-5 and last as long as necessary. That means Chapter 1 will be discussed August 18th and Chapter 2 will be discussed August 22nd for example. If you would like to participate, please send me a private message and purchase the book ahead of time. It has recently come out in paperback and qualifies for free same-day or two-day shipping in most of the United States.
>>816961>Superintelligence: Paths, Dangers, Strategies (2014) is a book by Swedish philosopher Nick Bostrom from the University of Oxford. It argues that if machine brains surpass human brains in general intelligence, then this new superintelligence could replace humans as the dominant lifeform on EarthСекта свидетелей сингулярности
>>816972любишь проводить бинарную классификацию?приходи и предложи свою книгу
>>816938Да, собственно так и понял, что нан записывается при переобучением Баума-Велша.
Я считаю, что это было бы очень трудно убедить умного человека, что ток [Частотная] статистическая практика была разумной не тем более нечёткая логика, но это было бы гораздо меньше трудностей с подходом через вероятности и теорему Байеса. - Джордж Коробка, 1962.
>>817192>Джордж КоробкаГугл понимает сам себя. ШОК 18 СМОТРЕТЬ БЕЗ РЕГИСТРАЦИИ И СМС
https://www.youtube.com/watch?v=qS8qhzXRQWE
>>817254Ну, вот и конец макакам. Теперь менеджер будет раз в неделю кнопочку нажимать и показывать красивые картинки на совещаниях.
> 1960 > Ну, вот и конец макакам. > 1970> Ну, вот и конец макакам. > 1980> Ну, вот и конец макакам. > 1980> Ну, вот и конец макакам. > 1990> Ну, вот и конец макакам. > 2000> Ну, вот и конец макакам. > 2010> Ну, вот и конец макакам. > 2016> Ну, вот и конец макакам.
>>816599"2012 Achievement The Google Brain team, led by Andrew Ng and Jeff Dean, create a neural network that learns to recognise cats by watching unlabeled images taken from frames of YouTube videos.[28][29]"Что за хуйня? Этого сейчас никто не помнит кроме задротов которые редактировали эту вики. Все знают, что в 12ом году Алекс Крижевски выйграл imagenet.Ссылка говно.
Жена автора ISLR брутальна.
>>817340Ты не сравнивай макак с десятком исследователей из академии — эти всегда будут нужны. А вот бустеры лесов — нет.
>>817349при чём тут исследователи, норкоман?
>>817345покажи свою
>>817349>десяток яйцеголовых исследователей в академии>вкатывальщики с сосача
>>817342Я помню, это хайпили на хабрах. Но вообще ты прав.
>>817342https://en.wikipedia.org/wiki/User:VipulПост проплачен индийскими петухами.
где же ты моя наташа
перекатhttps://2ch.hk/pr/res/817451.htmlhttps://2ch.hk/pr/res/817451.htmlhttps://2ch.hk/pr/res/817451.html
>>799576 (OP)>поясните за нейроночки>нейроночка - массиввсе хорошо, но вот это - wut?
>>819171нюфаня)))
>>819171нунитраль, лучше объясни
