книгиPattern Recognition and Machine Learning, Bishop.Information theory, inference & learning algorithms, MacKay http://www.inference.phy.cam.ac.uk/itila/Machine Learning: A Probabilistic Perspective, MurphyIntroduction to Statistical Learning ( http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Sixth%20Printing.pdf )Elements of Statistical Learning ( http://statweb.stanford.edu/~tibs/ElemStatLearn/printings/ESLII_print10.pdf )Foundations of Machine Learning, أشهد أن لا إله إلا الله وأشهد أن محمد رسول الله. http://www.cs.nyu.edu/~mohri/mlbook/Fundamentals of Neural Networks: Architectures, Algorithms, and Applications, Fausett L.А. Пегат, "Нечёткое моделирование и управление"другоеhttp://libgen.io / http://bookzz.org/ - здесь можно одолжить ^ книги и не толькоhttp://arxiv.org/find/all/1/all:+nejronochki/0/1/0/all/0/1https://www.reddit.com/r/MachineLearning/wiki/indexhttps://vk.com/deeplearning и http://deeplearning.net/reading-list/https://www.kadenze.com/courses/creative-applications-of-deep-learning-with-tensorflow/info тюториал по slesarflowhttp://rgho.st/8g68fTCSx две брошюры по deep learning для слесарей.http://kaggle.com - весёлые контесты. денежные призыhttps://www.hackerrank.com/domains/ai/machine-learning/difficulty/all/page/1 - олимпиадкикурс от китаёзыhttp://videolectures.net/mlss09uk_cambridge/яп1. http://julialang.org/ 2. https://www.microsoft.com/en-us/research/project/infernet/3. https://www.r-project.org/4. питухон и так все знают5. idris/coq - модные яп для формально верифицированных нейроночек с тренировкой на этапе компиляцииПЛАТИНАКниги хорошо, но с чего начать практический вкат?Во-первых, вам нужна любая unix-based система. На Windows возможно запустить нижеперечисленное, но ждите пердолева с настройкой и неодобрительных взглядов анонимуса. Кроме того, в компаниях, так или иначе связанных с разработкой йоба-ПО и machine learningом, Linux/OS X является стандартом. Привыкайте.Во-вторых, определитесь с языком. Python и C++ наиболее мейнстримовые инструменты, с ними вы без еды не останетесь. Есть еще R, на котором пацаны живут статистикой и анальными пакетами. Некоторые инструменты являются языко-независимыми (Vowpal Vabbit, XGBoost), но обвязывать их вы все равно будете из какой-либо среды.На Java разработано много production-ready инструментов для бигдаты и если вы угораете по терабайтам данных, то имеет смысл посмотреть в её сторону. Впрочем, лучше это делать уже потом, когда прийдет осознание потребностей.В-третих, выбирайте себе задачу. Что угодно: распознать качпу, обнаружить ботов по логам, найти раковых больных. Список можно посмотреть, например, на kaggle.com. После чего приступаете к решению выбранной задачи.Не прийдется ли мне потом с таким наборищем знаний идти в макдак работать?Несмотря на хайп вокруг ML, далеко не во всех IT компания есть необходимость в ML и понимание круга задач, которые можно решить этими методами. Но поверьте, в 2017 компетентный специалист будет востребован. В России потребителями ваших знаний могут стать: Яндекс, Mail.ru, Вконтакте, Rambler, Касперский, Билайн, Связной, ABBYY, Хуавэй. В биоинформатике есть определенный спрос, можно поскролить http://blastim.ruЗдорово, но я так и не понял чем же вы занимаетесь в IT компаниях?Попытаюсь ответить со своей колокольни и сразу хочу предупредить, что это едва ли консенсуальное мнение.ML-специалист - это такое зонтичное определение для человека, способного увидеть проблему, выгрепать кучу логов и данных, посмотреть на них, придумать решение проблемы и врезать это решение его в продакшн. По сути, это кодер, решающий не чисто технические, а, в некотором роде, человеческие проблемы.Имхо, мы все же остаемся в первую очередь разработчиками.Что такое TensorFlow?TensorFlow - опенсорсный гугловый инструмент для перемножения тензоров и оптимизации функционалов. Опенсорсный - потому что даже важные куски типа параллелизации уже выкачены в паблик. Если вам все ещё непонятно что это, значит это вам и не нужно, сириусли. Google перестарался с рекламой и теперь люди думают, что TF - это серебряная пуля и затычка для каждой бочки. До TF был Theano, который выполнял свою работу не хуже. И, в отличии от TF, он уже находится в стабильной фазе.будет ли ML нужен в ближайшие 10 лет, или это просто хайп?будет. хайп.смогу найти работу?Яндекс, мейлру, касперский, несколько биоинформатических компаний (iBinom, можно еще blastim.ru поскролить на тему работы), билайн (они с НГ целое подразделение открыли под ML и биг дату), связной. Ну и западные аутсорсы, если готов рачить за валюту.нужна математика?для начинающего ничего особого знать не нужноhttps://www.amazon.co.uk/Calculus-Michael-Spivak-x/dp/0521867444https://www.amazon.co.uk/dp/0534422004/ref=pd_lpo_sbs_dp_ss_2?pf_rd_p=569136327&pf_rd_s=lpo-top-stripe&pf_rd_t=201&pf_rd_i=0980232716&pf_rd_m=A3P5ROKL5A1OLE&pf_rd_r=3TZ38AZ2BY28R19H4SA5https://www.amazon.co.uk/Calculus-Several-Variables-Undergraduate-Mathematics/dp/0387964053https://www.amazon.co.uk/Introduction-Probability-Dimitri-P-Bertsekas/dp/188652923X"основы теории вероятностей" Вентцельпоясните за нейроночкинейроночка - массившад)))Нет там ничего ML-специфичного, знание матана и теорвера на уровне заборостроительного вуза. Теорвер проходится на третьем курсе, как раз 20 лет.Рандомный хрен туда не сможет поступить, потому что планка намеренно задрана, а не потому что там такая охуенно сложная программа. Это традиционная наебка "элитных учебных заведений", в которой учат так же хуево, как и везде, но за счет отбора поступающих якобы формируются неебовые успехи, которые объясняются именно качеством преподавания.Иными словами, у тех, кто способен поступить, и так в жизни проблем с трудоустройством не будет.Тред #1: https://arhivach.org/thread/147800/Тред #2: https://arhivach.org/thread/170611/Тред #3: https://arhivach.org/thread/179539/Тред #4: https://arhivach.org/thread/185385/Тред #5: https://arhivach.org/thread/186283/Тред #6: https://arhivach.org/thread/187794/Тред #7: https://arhivach.org/thread/196781/Тред #8: https://arhivach.org/thread/209934/Тред #9: https://arhivach.org/thread/223216/Тред #10: https://arhivach.org/thread/234497/Тред #11: https://arhivach.org/thread/240332/
Как создать ИИ?
>>936525сначала надо выбрать хороший приор
>>936529Я в монахи могу уйти.
Оп пиздатый)
А где YOBA ML?
Подскажите, что почитать по статистике, чтобы понимать картинку (правую) с оп-пика.
>>936619https://www.amazon.co.uk/Introduction-Probability-Dimitri-P-Bertsekas/dp/188652923X
>1ый пикОп-хуй, SVM и RVM - это теория статистического обучения, а у тебя они в разных местах.
>>937011ну так подвинь
Раз тут триггерятся с Коско, запощу крайнюю работу сенсея http://sipi.usc.edu/~kosko/FCM-jdms-January-2017.pdf моделирование с помощью динамических нечетких когнитивных карт. На предмет выявления процессов в обществе, приводящих к поддержке населением повстанцев и террористов (на примере алькайды и т.п. басмачей). Чувствуете размах мысли, черви? Это вам не утопленников с титаника классифицировать.
>>937114Чувствуем :D
>>937114>>937119Шизофреники из СССР.
гуманитарий какой-то. писатель-юриста по мл есть чего? нейроночки там, рандомфорест?
>>937127>гуманитарий какой-то. Наркоман? Математик он, ученик Заде (создатель теории нечеткизх множеств).>по мл есть чего? Разумеется. Статьи http://sipi.usc.edu/~kosko/publications.html Книги конкретно мо МЛ: http://gen.lib.rus.ec/book/index.php?md5=BC1EC0F44F2E619AB46D6FD0B7088514 http://gen.lib.rus.ec/book/index.php?md5=CCC0771774E761EB91EE2019A244305B http://gen.lib.rus.ec/book/index.php?md5=032DFEB66357FA8EA32545E271375CE6
>>937132ну ты понел
>>937144Я в курсе, что он что-то типа систем наведения ракет для военных разрабатывал, есть у него работы, спонсировавшиеся то ли НАСА, то ли пентагоном, не помню. Возможно, в тридцать с небольшим лет директором исследовательского института его посадили не просто так, а за некоторые успехи в этом направлении. И что, это что-то плохое?
Вот вы жесткие парни, хочу быть как Вы!!
>>937126Что не так с книгой на пике? Хочу почитать, но руки никак не доходят.
Только начинаю вкатываюсь в ML/Deep learning. Пишу диплом по задаче ABSA (Aspect Based Sentiment Analysis). И сейчас возникла сложность с входным слоем нейронной сети. Существует ли способ подачи входных данных переменной длины? Или же остается довольствоватся вектором полученным моделью doc2vec.
>>937343Гугли recurrent neural network.
Аноны, хочу вкатиться в МЛ, сейчас 3-й курс Боуманки. прошел курс Эна, Байесовской вероятности, еще один курс по МЛ, запилил пару ноутбуков по заданиям с кеггла, распознавания изображений и бота с ЛСТМ.Что делать дальше? Пилить еще или искать работу?И где вообще искать работу? На ХХ одни вакансии для сениоров и мидлов, а для студентов ничего нету, только один Тинькофф и одна консалтинговая компания.
>>937768>запилил пару ноутбуков по заданиям с кеггла,
>>937774kaggle.comhttps://ipython.org/notebook.html
>>937768смогу найти работу?Яндекс, мейлру, касперский, несколько биоинформатических компаний (iBinom, можно еще blastim.ru поскролить на тему работы), билайн (они с НГ целое подразделение открыли под ML и биг дату), связной. Ну и западные аутсорсы, если готов рачить за валюту.
C пылу с жару бинго по моим впечатлениям о Deep Learning Book (на восьмой главе пока).
>>938080а как же классика "the proof is left as an exercise to the reader"?
>>938089Этого нет, обычно пишут вывод формулы.
>>937343можно просто найти самое длииное предложение, а остальное забить словами-филлерами (<Null> какой-нибудь)
https://cloudplatform.googleblog.com/2017/02/GPUs-are-now-available-for-Google-Compute-Engine-and-Cloud-Machine-Learning.html
Ясно-понятно, зачем форсится вся эта диплернинг-хуитка с конскими системными требованиями. Ну а кому кластеры впаривать, если алгоритмы можно гонять хоть на тостере.
>>938458нос, пощади!
>>938458В смысле? Ты раскрыл тайный замысел Nvidia в том, чтобы продать побольше карточек? А то, что у тебя после долгого обучения запускать сеточки можно на тех же тостерах тебя не смущает? Я уж и не говорю, что нейронки решают свой спектр задач достаточно эффективно.
https://hh.ru/vacancy/19212127Смотрите, что я нашел
>>938474Чет требования какие-то не охуевшие даже. Тыщи полторы заявок будет. Как на стипендию Фулбрайт в США, только место одно, а не 30. Ну может два, если "команде понравишься".
>>938474Но яндекс все равно ни во что кроме рекламы не может. Какие беспилотные автомобили, к чему этот цирк?
>>938493Убер делает, Гугль делает, а Яндекс чем хуже? Типа в Яндекс-такси заюзать можно. Даже если и не взлетит (все-такие ученые делятся на два типа, первые - автономные машинки через 5 лет везде и всюду, вторые - полная 100% автономия при жизни ваших внуков. Ближе к их старости. Если повезет.), то побочные результаты неплохие будут. Можно даже кому-нить подать, тому же Уберу, например.
>>938474Чуваки, не изобретайте заново Robotic Operating System.
>>938500>Гугль делает, а Яндекс чем хуже? Ты сам-то понял, что пытаешься сравнить, лол? Сколько сделал гугл по МЛ, а сколько яндекс?
>>938574Не исключаю, что Яндекс сделал несколько годных МЛ спецов. Которые ушли в гугл.
Суп! Есть ли тут NLP-аноны? Поясните за GATE. Нужна ли эта хуйня сейчас, когда есть куча готовых встраиваемых библиотек?
Йоу, приветики!!!Хочу спросить про эти курсы -> https://www.coursera.org/learn/vvedenie-mashinnoe-obucheniehttps://www.coursera.org/learn/neural-networksНорм курсы? Отпишитесь кто проходил, а то я нюфажек((((
>>938835на курсере есть спецуха по мл от мфти - яндексаа в введении нихуя не поймешь
>>938701NLP-дебил в треде, сам не юзал, но думаю, что не хуже всяких распиаренных spacy.io и прочего, так как все библиотеки довольно-таки ерундовые.
Через неделю иду на собеседование в контору, где на C++ херачат нейронки. Что могут спросить? Какие знания нужны в первую очередь?Меня интересуют в первую очередь C++related вопросы, а не вопросы на общее знание нейронок.
>>938980Иди нахуй, тупарь.
>>938980std::algorithm и что-то из буста.
>>938884Не, я имею в виду, зачем вообще юзать такие программы с графическим интерфейсом, если все задачи а ля NER решаются встраиванием в код библиотек?
Алсо читаю про машинный перевод и не могу понять, в чём разница между RBMT (основанный на правилах подход) и деревом решений. То есть почему Decision Tree это классификатор, машоб и всё такое, а применение всяких лексиографических паттернов это не машоб, хотя суть одна и та же?
>>939076 > RBMT забиваешь правила в ручнуюа деревце само выводит правиладеревце - искуственный интеллект а рбмт - нетдеревце тебя заменит а рбмт - врядли
Как школьнику начать вкатываться в ваш ML?
>>939177Спасибо, понел. Только ведь придётся каждый раз для нового правила обучающую выборку размечать, да и ветви отсекать кому-то надо - без работы не останусь.
я вам вакансию на мачин лернинг принес.матан матан, кругом матанhttps://moikrug.ru/vacancies/1000031944
>>939221И где ты там матан увидел?
>>939239тройной интеграл в конце страницы же
>>939060Буст для нейронок активно юзается?
Котаны, есть одна нейронка. Имплементацию алгоритмов обучения писал сам (там обычный Back Prop и Resilient Back Prop/Rprop ). Сеть должна выполнять классификацию, то есть один из выходных нейронов равен 1, остальные 0. Алгоритм старательно уменьшает RMSE, отдавая на всех выходах 0 (т.е. RMSE будет sqrt(1/N) ). Как с этим бороться?Back Prop ведёт себя точно также. На Rprop перешёл, потому что думал, что он избавит меня от такой ерунды.
>>939347>Имплементацию алгоритмов обучения писал самскорее всего ты где-то обосрался с реализацией
>>939347>RMSE будет sqrt(1/N)С какой стати? Там же считается ошибка между фактическим выходом и тем, что считает нейроночка при текущих параметрах. Исходя из чего параметры правятся. Этот прав походу >>939353
>>939353Допустим, я мог обосраться с RProp. Но как можно обосраться с обычным обратным распространением ошибки, которое скоро даже в школах начнут преподавать, настолько оно простое?
>>939355> С какой стати?Ну вот смотри. У тебя есть собаки, кошки и гуси.Собака — 1й нейронКошка — 2йГусь — 3йЯ подаю входные параметры. Для собаки и 1 на 1й нейрон и нули на 2й и 3й. Нейронка, обучившись, подаёт на все три выхода нули. Получаемsqrt((sqr(1 - 0) + sqr(0 - 0) + sqr(0 - 0)) / 3 ) = sqrt(1/3)Нет, я не картинки пытаюсь классифицировать, задача другая, это просто пример
>>939213bump
>>939360Слушай других школьников https://www.youtube.com/watch?v=bvZnphPgz74
>>939356баг, опечатка, невнимательностьты давно программируешь?
>>93936614 лет
>>939367а покажи код?
>>939368http://pastebin.com/BLcNtuSFНа специфику типа HyperTan и SoftMax не обращай внимания, они тут временно, я с эталоном пытаюсь сравнить.На error_index тоже. И на то, что у меня malloc в C++ коде
>>939373Посмотри, как на сях нейроночки писали http://www.ibiblio.org/pub/academic/computer-science/neural-networks/programs/Aspirin/quickprop1.c
>>939361Хотелось бы с нуля начать вкатываться. Тем более воспринимать устную речь на ангельском очень тяжело.
>>939393в шапке полно, собранных потом и кровью, ресурсов для нюфаговбери, читай, смотринет блять> Как школьнику начать вкатываться в ваш ML?
Это, а есть какое-то строгое обозначение нейроночек? Типа не романтическое "там же нейроны, как в мозгу", а с графиками и всем этим. Но при этом дабы для новичков.
>>938980красивая писечка
>>939409https://habrahabr.ru/post/322392/
>>939409нейроночка - массив
Я таки не понял. Когда нейроночка уже обученная и готовая к использованию, то при своем использовании она будет жрать не так уж и много ресурсов?
>>939434да
Вот забыл термин для такой задачи, как прогнозирование следующего слова в тексте. Конечно, можно и статически, но не используют ли для этого крутые нейроночки и так далее? Как называется такое прогнозирование следующего слова?
>>939440predicting next word in text
>>939440n-gram prediction
>>939373Мдэ. В общем, где-то очень хитрый баг, который сложно аллоцировать. У меня с оригиналом на C# не сходится. Пошагово отлаживал.Но на back prop это поведение с занулением выходов всё равно остаётся, там негде ошибиться
>>938980Я смотрю тут охуенные спецы по МЛ сидят. Никто даже не знает что используется для нейронок на практике.
Так что по поводу этого курса?https://www.coursera.org/learn/neural-networks
>>939481>нейронок на практикеа от этого нейроговна рзве есть практичаская польза?
>>939490От говна в твоей голове нет пользы, а от нейронных сетей есть.
>>939492и где же?
Так, что никто не знает почему именно такие числа в массиве с нейроночками, а не другие?
>>939408Там же математики много сложной, а я даже не знаю, что такое производная.
>>939500всем похуй, нейронки хуйня без задач
>>939508Ты дебил? для начинающего ничего особого знать не нужноhttps://www.amazon.co.uk/Calculus-Michael-Spivak-x/dp/0521867444https://www.amazon.co.uk/dp/0534422004/ref=pd_lpo_sbs_dp_ss_2?pf_rd_p=569136327&pf_rd_s=lpo-top-stripe&pf_rd_t=201&pf_rd_i=0980232716&pf_rd_m=A3P5ROKL5A1OLE&pf_rd_r=3TZ38AZ2BY28R19H4SA5https://www.amazon.co.uk/Calculus-Several-Variables-Undergraduate-Mathematics/dp/0387964053https://www.amazon.co.uk/Introduction-Probability-Dimitri-P-Bertsekas/dp/188652923X"основы теории вероятностей" ВентцельА лучше уйди, нейронки это не твое, блять, ТЫ ДАЖЕ ШАПКУ ПРОЧИТАТЬ НЕ МОЖЕШЬ)))) Куда ты лезешь блять.
>>939508Ты же блять хуй положишь на мл сразу после того как откроешь любую из выше предложенных книг,ибо сука, ТЫ ЛЕНИВОЕ ХУЙЛО.
>>939513>Слушаешь посанов на двачах>Решаещь вкатиться>Открываешь Бишопа>Охуевашь только от первых джвух глав.>Откладываешь Бишопа на потом.
Это конечно здорово, но почему нет ИИ?
>>939519>Это конечно здорово, но почему нет ИИ?о5 на связь выходишь
>>939521Возможно.
Хочу запилить классификатор для тематического моделирования. Буду использовать word2vec. Как лучше измерять расстояние между векторами: косинусной мерой или Евклидовой/Манхеттенской метрикой?
То есть я могу сделать следующее: 1) взять сложный по ресурсам алгоритм, вычислить заранее 2) обучить нейросеть на многих входных данных и многих результатах. Оно там найдет скрытые закономерности 3) Я смогу просто добавить в готовую программу массив и небольшой код, таким образом сделав хитрую оптимизацию?Или нет?И как я понимаю никакого debug'а сделать нельзя и таким образом будет сделан черный ящик, который хитро непонятно умножает входные данные получая результат?
>>939574Начни с Евклидовой, а там переходи на http://ojs.pythonpapers.org/index.php/tppsc/article/view/135/144
>>939623Кто мешает достать массив синапсов после обучения?%Или я не понял вопроса вообще...%
>>939485говно. И там преподают только back prop
>>939623даможет быть удобно для приближения всяких сложноебучих непрерывных численных функцийна дискретной хуите типа сортировок особо работать не будету нечёткого петуха на этот счёт могут быть другие соображения
>>939485мне нравится, я думаю, вкатиться не смогу, так как ленивый и старый, но тут все классно разжевано для тупых и без всякой болтологии, и после этого я сам могу в тетрадочке производные считать, до него бился очень долго бился в конвульсиях, так как, чтоб прочитать бишопа, нужно выучить кучу всего другого, а когда открываешь советский учебник по линалу, они меня насилуют гомологиями колец
>>939347https://habrahabr.ru/post/155235/> Эта модель актуальна при задаче классификации, когда необходимо получить на выходе нейросети вероятности принадлежности входного образа одному из не пересекающихся классов. Очевидно, что суммарный выход сети по всем нейронам выходного слоя должен равняться единице (так же как и для выходных образов обучающей выборки)
>>939759Спасибо, годная статья!
>>939623настройка гиперпараметров и есть дебаг. любой алгоритм надо настраивать под свои данные
В человеческом мозгу обучение с подкреплением или еще что?
>>939969в мозгу это по-другому работает. Там есть нейромедиаторы и всякое такое
Мозг - массив?
Мне показалось, или в этой теме КИТАЙЦЫ, КИТАЙЦЫ ЭВРИВЕА?
>>940196不是!设立没有中国人们!
Собственно, если у меня какая-то психболезнь, я могу как-то помочь во всем этом?
>>940272Нейронные сети, которые здесь обсуждаются - математические объекты, которые были изобретены в 60-х на основе исследований реальных нейронов и их способности кооперироваться, на основе попыток дать этому явлению математическое описание. К биологическим нейронам это теперь никакого отношения не имеет.Помочь (своей болезнью?) может и можно, но это к людям, изучающим мозг.
Граница. Видят русские по утру: китайцы картошку сажают. Вечером выкапывают. - Новый сорт скороспелый? - Нет, отсень кусать хосется
>>940298Ну, знаешь, кем я только ни работал! Я и санитаром могу, и строчка ровная получается. Еще мальчиком, бывало, стульчик мастерил и с профессором Банщиковым вместе обходы делали. Все вот так сидят, а я говорю, и конгруэнтно все получается. А потом в мавзолее все таскали тюки, тяжелые такие. Я в гробу лежу, руки вот так держу, а они все таскают и складывают. Все говорят: мол, заграница нам поможет, а я и здесь работать акушером могу. Столько лет уже в парке Горького роды принимаю… ну, там мальчики, девочки… Плодики вынимаем и складываем. А то, что повара делают, это тоже нужно, ведь наука — это величайший путь к прогрессу...
Подкиньте схемы мозга
>>940332ау вась тебе к когнитивистам
>>940332оп пик
>>940332у сибя в сраке смотри, хех
>>939623Если использовать именно нейроночки, то да, черный ящик получишь. Если черный ящик не нужон, а требуется именно понимание работы идентифицируемой системы, т.е. каким образом в ней выходы зависят от входов, то нужны более другие подходы. Их много, реально. Как сторонник нечетких методов, могу сказать что связка "универсальный нечеткий аппроксиматор + представление готовой модели в виде, доступном для экспертной оценки человеком" один из лучших вариантов, есть даже готовые решения, например https://sourceforge.net/p/guajefuzzy/wiki/Home/ вообще, финграммы крайне недооцененный метод, статья про них например https://pdfs.semanticscholar.org/15bc/80fdd1ce2293ebebae031c099be8587a755d.pdf
>>940660> более другие
>>938860Двачую Воронцов просто математикой валит на убой.Как стать слесарем то?
>>940918>Как стать слесарем то? Очевидно же - игнорировать всяких воронцовых. По делу у него все равно хуй да нихуя. Я еще раз спрошу - с какой стати считать что яндекс может в МЛ? Ни одной причины для этого просто нет.
>>940660что это еще за кал от испанских недоучек? неужели среди всего разнообразия действительно толковых работ, ты нашел именно это амно.. печаль
>>940935>среди всего разнообразия действительно толковых работ, ты нашел именно это амноТы знаешь аналоги такого?
>>940928ну они там что-то делали с генерацией стихов Летова (сдержанный смех). Еще можешь посмотреть конфу, где они приглашали аж самого Миколова. Вопросы в конце конфы доставили ппц, в яндексе походу аутисты работают
>>940936нет, но я знаю еще одну гавнотеорию, которую пушат в нашем вузе, однако что-то не вижу ажиотажа.Читать надо людей, работы которых используются на практике ну или тех, кто на слуху. Миколоф, Сутскевер, Голдберг, Леви, Карпатый, Янг, Чен нутыпонел
>>940939>Читать надо людей, работы которых используются на практике ну или тех, кто на слуху. Я тебя понял, распиаренное значит лучшее.
>>940941ты сам такой вывод сделал, если ты считаешь основоположников современных нероночек распиаренными, то флаг в тебе в руки.
>>940959Ты ж сам это пишешь. >если ты считаешь основоположников современных нероночек распиаренными, то флаг в тебе в руки. Речь шла об интерпретируемости модели, полученной в процессе идентификации системы. Что об этом пишут распиаренные основоположники современных нейроночек (сверточных, т.е., единственных из известных местному большинству)?
>>940966а, сорян, "посмотрел в книгу, увидел фигу".я думал о другом.
>>939508Иди на академию хана, там все объясняют на видео, для совсем олигофренов, весь школьный калькулюс, векторный калькулюс университетский - вообще всё. Прослушаешь - сможешь давать всем на клык на матане, вплоть до третьего семестра универа.
>>940928У дипломников воронцова из пистеха вполне неплохие дипломные работы.
https://www.youtube.com/watch?v=AZG0j0pNY-4ААА зачем я это посмотрел. Все эти "хьюмэн брэйн, нейроночка решает идти на ПАТИ или нет" я блюю от этого всего.Дайте теперь тогда книжку с жестким матаном, но дабы там было абсолютно все о нейросетях.
Не могу понять простейшую вещь, объясните пожалуйста - зачем данные делятся на три выборки?Тренировочная выборка - это понятно. Мы подаем ее данные на вход и выход, изменяются веса сети, т.е. выборка непосредственно влияет на сеть.Дальше validation стадия - для чего она? Пишут, что мы с ее помощью выбираем самую удачную модель из нескольких - имеется в виду, после каждой итерации? Где-то сказано, что валидационная выборка влияет на выбор гиперпараметров обучения - каких именно, и как влияет?Затем используется выборка test, для определения ошибки итоговой модели. Почему для нее нельзя использовать данные валидационной выборки? Ведь сеть её не запоминала?
Где можно почитать об обратном распространении ошибки в сверточных нейронных сетях?
>>940928С того, что почти все вещи, от того, какую рекламу крутить кому и заканчивая тем, как тебе искать в сети требуют этого. Есть вполне работающий бустинг на деревьях + какие-то сетки, которые используются пока в-основном как факторы бустинга.source: работаю там.
>>941483Без внешних выборок по отношению к тренировочной, ошибка на тренировочной выборке просто упадет до нуля и все. При этом тестовые данные будут классифицироваться вообще никак, при том что соответствуют той же системе, что и тренировочные. Что соответствует переобучению (oferfitting).>>941500>Есть вполне работающий бустинг на деревьях + какие-то сетки, которые используются пока в-основном как факторы бустинга.Враппер под хгбуст, в лучшем случае. Ни сам бустинг, ни что угодно другое, относящееся к бустингу, не было создано в яндексе.
>>941483Вот смотри: пусть у нас три подвыброки train, validation и test. Когда ты кормишь свой алгоритм трейном, он подбирает какие-то свои параметры (веса для нейроночек, по каким факторам бить для деревьев, например), но кроме тех параметров, которые алгоритм может подобрать сам есть еще гиперпараметры. Гиперпараметры - все, что есть вокруг модели, даже саму модель можно считать гиперпараметром, они по сути отличают несколько конкретных моделей из одного семейства (пару нейронок по количеству слоев, например). Для примера: в нейроночках ты можешь менять количество слоев, их размер, их типы, learning rate, regularisation rate, количество шагов до остановки (early stopping) - это все гиперпараметры, которые сама модель не подбирает, а подбираешь ты на основе validation подвыборки.Так как ты когда выбираешь гиперпараметры сам отталкиваешься только от train и validation подвыборок, то ошибка, которую ты будешь получать на этих подвыборках будет занижена (на train - алгоритм может переобучиться, на validation - ты сам, когда будешь подбирать гиперпараметры под него), потому чтобы узнать настоящую точность алгоритма тебе нужна последняя подвыборка test, которую ты трогаешь только в самом конце и поэтому не можешь на ней переобучиться.
>>941483А вообще, все же есть в педивикии https://en.wikipedia.org/wiki/Overfitting
>>941506Судя по вики, первый релиз xgboost в 2014 году, первые коммиты в местные деревья я нашел в 2009 (учитывай тоже, что в Я были переезды с контролем версий и т.п.). Категоричность твоих убеждений удивляет и огорчает меня.
>>941527Значит, не конкретно под хгбуст. Про бустинг Вапник еще в 1995 году писал, ссылаясь на пейпер 1990 года. "Казалось бы, при чем тут Лужков яндекс" как говорится. >Категоричность твоих убеждений удивляет и огорчает меня. Ну извини уж, что вижу то и пишу. Рекламу от яндекса вижу ежедневно чуть ли не в каждом утюге, а вот про какое-то МЛ-специфичное ПО от них даже не слышал (полтора враппера на гитхабе - не показатель).
>>941542> Про бустинг Вапник еще в 1995 году писалТы наркоман что ли? Я не говорю, что в Я изобрели бустинг (xgboost тоже хорош не статьей, а тем, что он открытый и работающий), я говорю, что в Я есть реализация работающая быстро и без переобучения с простым интерфейсом: залил пулы с данными - получил классификатор. > вот про какое-то МЛ-специфичное ПО от них даже не слышал (полтора враппера на гитхабе - не показатель).Все ПО, которое тебе что-то саджестит (поиск, реклама, Дзен) использует внутри себя МЛ достаточно активно. То что в опенсорс не выкладывается связано с политическими (в Я это не поддерживается потому что тратит время и не приносит прибыль) и техническими (все ПО написанное завязано на внутренние библиотеки) причинами.
>>941555>То что в опенсорс не выкладывается связано с политическими (в Я это не поддерживается потому что тратит время и не приносит прибыль)Приносит на самом деле. Просто в вашей конторе менталитет уровня прошлого века, "нельзя впарить = не приносить прибыли". Стал бы Маск релизить gym и universe, а Брин выкладывать в паблик Слесарьфлоу, если бы это было простой потерей времени и не приносило пользы? Нет, конечно. Просто они умные и понимают, что прибыль можно получить не только впариванием, но и более хитрыми многоходовочками (выложил свободную МЛ-библиотеку, пропиарил ее - с ней ознакомились полтора миллиарда индусов - несколько из них активно коммитят и развивают проект нахаляву + пишут работы в тему, набивая тебе индекс цитирования + защитились на пхд и к тебе же пришли работать, уже зная тему вдоль и поперек, итого ценные кадры в годные прибыльные стартапы).
>>941567Ты забываешь, что компании бывают разными. OpenAI - финансируется и не торгуется на бирже, Google - тратит деньги и овладевает новым рынком, Я так не может (банально денег сильно меньше). Задачи Я - делать продукты и воевать на уже существующих рынках в других странах, а не глобальная экспансия и миллионы индусов (подумай, сколько придется потратить на маркетологов только). Про опенсорс и привлечение людей Бобук кстати в предпоследнем Радио-Т говорил тоже на примере MS.
>>941506>>941516Это все мне понятно. Если на тренировочной выборке ошибка упала до нуля - значит сеть обучилась, или же запомнила картинки (что, в принципе, одно и то же, но разный уровень генерализации).Затем мы подаем валидационную выборку. Получаем некое значение ошибки, естественно, бОльшее, чем при тренировке. Дальше что с ним делаем? Точнее, что делает с ним фреймворк? Например, я экспериментирую с caffe. Архитектура модели (число слоев и т.п) в процессе обучения не меняется. learning rate и алгоритм его изменения задается на запуске (фиксированный, экспонента, и другие). Количество шагов остановки - это число итераций, да? Вроде там фиксированное всегда.Насчет regularisation rate только не уверен. Вот и спрашиваю, как используется validation loss.
>>941588Как я понимаю, ты подкручиваешь гиперпараметры и смотришь, упал или поднялся validation loss. Когда достиг минимально возможной, то смотришь окончательную оценку модели на тестовой выборке.
>>941581А зачем Яндекс выложил в опенсорс Томиту?
>>941588Параметры модели настраиваются до тех пор, пока ошибка на тренировочной выборке не начинает расти (что свидетельствует о переобучении). На картинке >>941506 же вся суть. Первая кривая это и есть validation loss. Там показан момент оптимальной остановки дальнейшей настройки параметров.
>>941612Теперь понял, спасибо
>>941609Мне сложно сказать, также как зачем выложили ClickHouse, но общая политика Я - не выкладывать.
Господа, кто-нибудь работал с датасетами movielens?Попытался сделать регрессионную модель для предсказания оценок (через SVM), получил MAE ~ 0.86, что довольно хреново (столько же дает обычная user-based коллаборативная фильтрация).Вопрос в модели, что нужно брать собственно за X_i.Я брал вектор, который представляет собой конкатенацию юзер признаков и муви признаков, вродепол + возрастная категория + профессия + наиболее_нравящиеся_жанры + жанры фильма.Все признаки кодировал через битовые вектора, напр, пол для мужчин 1 0 для женщин 0 1 и т.д.Где я сильно неправ?Для мувиленса хорошая MAE - ниже 70, вроде.
>>941696Попробуй deepboost'ом каким-нибудь.
>>941696А почему ты используешь конкатенацию? Мне кажется, какие-то признаки более значимы, а какие-то менее значимы, и надо присваивать им веса.
>>941770По идее, веса будут присвоены во время обучения.
>>941495ПОЧЕМУ НИКТО НЕ ОТВЕЧАЕТ НА МОЙ ОТВЕТ?
>>941810Потому что у тебя ответ какой-то наркоманский. Очевидно же, что почитать можно там же, где и про сверточные сети вообще. Лекуна читай.
>>936522 (OP)котаны, добавьте в шапку http://neuropro.ru/там хорошие статьи на русском есть. Причем там не переводы, а авторские статьи.http://neuropro.ru/mypapers/krasnneu04_4.pdf вот например "РЕДУКЦИЯ РАЗМЕРОВ НЕЙРОСЕТИ НЕ ПРИВОДИТ К ПОВЫШЕНИЮ ОБОБЩАЮЩИХ СПОСОБНОСТЕЙ"http://www.neuropro.ru/memo17.shtml О пригодности любой нелинейной функции нейроновhttp://se.math.spbu.ru/SE/YearlyProjects/2014/YearlyProjects/2014/344/344-Korystov-report.pdf и вот эта курсовая тоже прикольная
>>942121>Это сайт Виктора Царегородцева − здесь я предлагаю услуги по анализу данныхПиар параши. Впрочем, как и шад, но всем похуй почему-то.
Поясните, пожалуйста, за всякие там AIXI и машины Геделя простым языком.
>>942169ну окей, тогда я ещё и это закинуhttps://www.youtube.com/channel/UCKFojzto0n4Ab3CRQRZ2zYAhttps://www.youtube.com/channel/UCNuItlOR3qXZBtMRwb4GoBgна обоих есть про машинное обучение
>>942218>простым языком. Подход к машобчику с единственно верной стороны, а именно - конструктивной математики. Колмогоровская сложность, вероятность Мартин-Лёфа, индукция Соломонова, вот это все. Пикрелейтед еще в 1907 году пояснил, почему вычислимая математика на основе построимых математических объектов - единственный путь не скатиться в кризисы и парадоксы. Нет, не хотим. Хотим веровать во всякую невычислимую хуету а-ля закон исключенного третьего. В итоге вне конструктивного подхода кризис оснований до сих пор не победили, но до некоторых таки дошло, что без конструктивизма и правда никуда, в итоге таки начали работу над конструктивными основаниями - НоТТ. В машинном обучении та же история - еще в 60х годах кукарекали, что нужно немного потерпеть и будет ИИ. Напридумывали кучу алгоритмов, а толку - хуй. Картинки кое-как научились классифицировать, к 2017-то году. И опять понемногу приходит понимание, что без конструктивизма никуда. Ну, лучше поздно, чем никому. Глядишь, так и победят.
>>941817Я что-то не понял, обратное распространение ошибки на сверточном слое происходит также как и в обычном слое нейросети?
> конструктивной математикинахуй сьебируй
>>942365Но все алгоритмы как явление вообще - это конструктивная математика.
>>942367даже аллах математика, лол. как же матанопитухи заебали все своей петухатикой обмазывать.
>>942371Аллах как раз не математика. А насчет алгоритмов - смирись, это математика в чистом виде. Все машинное обучение в частности.
>>942367з.ы. напиши мне алгоритм распознования геометрических фигур, петухатику ты знаешь, матаппаратом владеешь, удачи.
>>942373то то нихуя я смотрю там не работает
>>942373>алгоритмов - смирись, это математика в чистом видерецепт яичницы тоже математика?
>>942377А то. Конструктивная функция как она есть, подаем на вход ингредиенты, производим над ними необходимые действия, получаем на выходе продукт.
>>942387а что тогда не матан? почему кулинария не раздел математики? понапридумали наук всяких
Элементарно же все, хуяк хуяк и сошлось
Я решил сначала написать мини игру, а потом в ее мирке тренировать сети. Ибо познавать сети на примере абстрактной хуеты типа распознавания картинок мне влом
>>942293В чем суть конструктивной математики? Только без баззвордов.
Ну хуй знает аноши, что-то я приуныл, не осиливаю я. Что делать? Продолжить изучать для души, или дропать? Может разжую еще...Блять блять, сложна нахуй.
У меня есть 2 вопроса:1. Я провожу кластеризацию на реальных данных, как мне оценить качество кластеризации? Я нашел пейпер, в котором сводка всяких оценочных статистик, но там приводится слишком много разных вариантов, дайте самый мейнстримный.2. Я провожу кластеризацию на тестовом наборе данных, где уже есть референсный столбец с разбиением на классы, как в таком случае быстро оценить качество?
>>942510нельзя доказывать по индукции/от противноголишние ограничениясекта короче
>>942593байесовские методы есть простой фреймворк со встроенной оценкой моделей методами современной теории вероятностей (вместо устаревших методов нечёткой логики)в бишопе в 10 главе есть пример кластеризации с вариационным бейсомалсо инклюдед автоматический вывод количества кластеров>>942550дропай, нахуй тебе это?
Посоны, есть какие-то на гитхабе может готовые решения чтобы особо не вникая создать что-то вроде парсера фотографий и страниц в вк на основе нейросетей?Хочу простенький скрипт для себя сделать для создания базы тянучек которые мне нравятся для дальнейшего спама им в личку с целью поебаться. Знаю таких проектов кучу было, раньше натыкался на обсуждения подобного.
Нейраны, посоветуйте, пожалуйста, метод для кластеризации, который позволяет самостоятельно найти оптимальное количество кластеров, а не задавать их в качестве начальных данных. Я так понимаю, что мне нужно деревьями обмазываться?
>>942780Воловиц, залогинся.
Попытался въехать в тему интереса ради. Без математики нехуй ловить.В школе я ебланил, институт не профильный, а самому изучить можно, но уж больно дохуя: освежить функции, теорию пределов, дифференцирование, итегральная поеботина как минимум.
Блё, аноны, зачем вы пытаетесь вкатиться в это болото ебаное? Сам два года на работе обучаю нейросетки (компьютор вижн), уже сил нет читать псевдонаучные статьи с тремя формулками и ссылками на гитхаб с неработающим говнокодом (каффе с кастомными слоями сам себя не построит, построил, построй еще раз). От фразы Deep Learning, произнесенной с индусским акцентом, уже передергивает. Чувтсвую, что за это время очень сильно отупел, как в плане каких-то математических знаний, так и в CS в целом.
>>942884-> >>942700>>942888>>942905кул стори бро
NLP-аноны, почему вообще бутстрэппинг работает? Разве от такой хуйни не будет переобучения? Зачем тогда использовать классическое обучение с огромными размеченными документами, если можно просто дать маленькую выборку, и классификатор сам найдёт нужные признаки?
>>942780С помощью openface за ночь сделал автолайкер для тиндера. В целом идея простая, openface представляет возможность преобразовать фотку в feature vector, то есть сам найдет лицо на картинке, пропустит его через нейроночку и выдаст тебе набор цифр. Далее этот вектор уже можно использовать как хочешь, например, каждое новое лицо проверять на близость к тем, что есть в базе, можно скормить PCA или t-SNE и смотреть на кластеры того, что тебе нравится.Вот код докерфайла и скрипта, который позволяет получать representation vector с помощью HTTP API: http://pastebin.com/9gaP2iwWОстальную обработку можно вести вне докерфайла.Чтобы запустить надо вызвать /root/openface/demos/web/start-servers.sh внутри контейнера, далее запрашивать API как-то так.def get_rep(image): img_str = base64.b64encode(image) data = {'image': img_str} r = requests.post("http://localhost:8000/search", data=data) return r.json()Проблема в том, что это не работает. Потому что вектор находится в пространстве похожих лиц, но если лицо похоже на красивое, это не значит, что оно само по себе красивое. Проверить просто, залей фото любой красивой тян на файндфейс и посмотри, нравятся ли тебе матчи. Ты найдешь дохуя всратых и жирных тян, похожих на твою богиню.Я вижу тут два варианта, или сделать мелкую нейроночку feature vector -> оценка и обучить на своей базе, или же обучать end-to-end, лицо -> оценка. Первое реально сделать допилив openface, а вот для второго база нужна поздоровее, и на гитхабе я не видел, хотя статьи есть (и база с азиатками, лол https://arxiv.org/abs/1511.02459 )В целом такой стартап взлетит.
>>942905>каффе с кастомными слоями сам себя не построитпроиграл, у меня их уже больше десятка веток, собираю с закрытыми глазами
Я, кароч, хочу стать слесарем и по этому изучил обратное распостранение ошибки. Но там говориться типа, мол в начале для нейросети в связи выбираются случайные значения (хоть вроде и есть согласования как их выбирать), но почему именно такие и случайные? Когда я еще не дошел, то мне казалось, что в начале должны быть, кхм, одинаковые значения связей, а дальше уже корректировать, а не от случайного.
>>943166выбираешь случайные @прогоняешь SGD@повторить 100500 раз@берёшь лучшие веса@продаёшь массив и выкатываешься
>>943194Но почему случайные-то, а не просто от единицы и ноля, например?
>>943215так чуть больше шанс найти нормальный максимум - ты градиентный спуск/подьём скорее всего будешь несколько раз прогонять, каждый раз от новой точки
>>943003надо сделать, чтобы по размеру сисек лайкал. Вот где полезная функция
>>943250Надо вложить десяток тысяч рублей во фрилансеров из /wrk/, чтобы разметили базу, тогда можно и по сиськам сортировать.
>>943215 > Но почему случайные-то, а не просто от единицы и ноля, например?Если ты везде поставишь вес 1 и смещение 0, то у тебя нейроны будут выдавать все одни и те же значения => capacity модели как у одного нейрона>>943221> так чуть больше шанс найти нормальный максимумэто неправда, обычно не переносится информация между запусками => если ты найдешь минимум какой-то, не факт, что ты на нем остановишься
>>943264> capacity модели как у многих слоев, где каждый слой из одного нейронабыстрофикс
>>943264Как ты сложно объясняешь... Короче, если установить одни и те же параметры у нейронов, они будут обучаться в одну сторону, а нам нужно, чтобы нейроны вычленяли разные признаки, поэтому и инициализируются они по-разному.
>>943259>>вкладывать во фрилансеров с двачаа ты шутник
>>943270У меня удачный опыт, меньше ебли мозга, чем у успешных хохлов с бирж, с учетом того, что все объясняется на словах, выходит дешевле толоки или амазона. Минус только распиздяйство, но это решается более грамотным менеджментом с моей стороны. На самом деле на бордах дохуя хикканов из провинции, готовых работать за копейки, при этом довольно вменяемых и компьютерно грамотных.
>>939623https://www.youtube.com/watch?v=BgBrYpihvLY
>>942510>В чем суть конструктивной математики? Только без баззвордов. Суть - вычислимость. В конструктивной математике все вычислимо, ни во что веровать не надо. Петушок >>942697 не шарит, его можно не слушать.>>942593Существует, мягко говоря, хуева туча методов оценки качества кластеризации. Из чего уже можно заключить, что какого-то одного и универсального решения нету. Например, в R есть готовые решения такого рода - кластеризация с оценкой по наиболее используемым критериям и окончательное решение, сколько именно кластеров адекватно представляют данный датасет. https://cran.r-project.org/web/packages/clValid/index.html >>942884https://cran.r-project.org/web/packages/clValid/index.html>>942970Бутстраппинг - онанизм в чистом виде. К каждому имеющемуся примеру добавляются от балды искусственные, нормально распределенные относительно имеющегося. В итоге данных становится тупо больше и алгоритмы уже могут что-то выдать более осмысленное. Вообще, таким методом есть смысл пользоваться только когда все совсем плохо.
R-петух еще и поехавший шизик? Удивительно даже.
>>943775Короче это картофанные дауны, для которых выражение является истинным, если сцаная машина тьюринга может его посчитать, я правильно понял? Так все этих интуиционситов ещё при Гильберте в очко ебали и с тех пор они у параши потешно кукарекуют только, разве нет?
>>943809>я правильно понял?Нет.
Стоит ли идти, как думаете?https://cs.hse.ru/dpo/bigml
>>943775>Бутстраппинг - онанизм в чистом виде. К каждому имеющемуся примеру добавляются от балды искусственные, нормально распределенные относительно имеющегося. В итоге данных становится тупо больше и алгоритмы уже могут что-то выдать более осмысленное. Вообще, таким методом есть смысл пользоваться только когда все совсем плохо.Я вот и не понимаю, почему расширение обучающей выборки за счёт обучающей выборки не приведёт к дикому переобучению.
>>943828Переобучению относительно чего? Если у нас выборка - это 3,5 примера, а больше от этой системы все равно ничего нет (в противном случае бутстрап не нужон).
Ыыы, а можно ли использовать одну нейросеть для решения другой задачи? Как искать такие эксперименты?
>>942300Я не понял, я прав или нет? Скиньте статью, где все для дебилов понятно объяснено.
>>943880http://bfy.tw/ANCi
Есть ли русскоязычное обозначение для transductive learning?
На самом деле, не знаю куда спросить. Реально ли сейчас построить симуляцию всего артикуляционного аппарата? Можно ли и рационально ли будет использовать для этого наработки нейросетей по чтению по губам (и как приспособить их для обратной задачи)? Может кто-то это уже делал? Хочу проверять эффект Буба-Кики.
>>936522 (OP)ЯП1) Джулия, да, заточка под математику, но зачем нам Джава, с Скалами и Джулиями, если у нас есть Питон? К тому же под Джулию ещё и фремворков на каждый случай нет, а состыковывать как? А Джава вообще в плане математики сосёт. Учить узкоспециализирвоанный язык, это как учить машинный кодинг под конкретный проц.Нужно быть полным идиотом.2) Весь .Net сразу идёт на хуй, за причинами в Гугл. А инфернет и тем более, где он вообще применяется на деле? Только в паре маленьких проектов от Майкрософт? Вы будете учить Раст, чтобы программирвоать только Фаерфокс? И я нет. Я бы с большим успехом взялся бы за ЛУА. Но зачем Луа, когда есть Питон.3) R сдох, теперь везде только Питон.4) Питон, да, этот язык стоит учить.5) Хипстерские ЯП, коих хрен знает сколько и которые рождаются каждый год, не нужны по вышеуказанным причинам.Итого, остаётся учить только Питон.Сразу видно, что ОП - полный мудак.Остальную часть его высера даже читать не стал.
>>944644https://www.youtube.com/watch?v=dD_NdnYrDzYЧто-то такое, но в виде программы с детализацией и дабы выдавало более совершенный набор звуков. Точнее, более точно бы повторяло голосовые связки и тд человека.
>>944650https://www.youtube.com/watch?v=1dwXX9LmSDgПрограмму реально сделать? И если да, то как? Только чтоб там детально рассматривалось движение губ и тд
А на чём пишут фреймворки NN C или C++ (имеется ввиду основная часть)?
>>944651лолблядьготовтесь к ИИ программистишки
>>936522 (OP)Аноны, стоит ли в резюме писать про курсы на курсере? Я только студент и опыта работы вообще нету, проектов больших тоже нету, только несколько поделий, типо seq2seq и всяких распознаваний изображений.
>>944668о да, шевелящиеся проводками маски меня испугали.
>>936522 (OP)>Information theory, inference & learning algorithms, MacKayЧитаю эту книгу. В начале даны несколько роадмапов для разных задач:Pages vii–x show a few ways to use this book. First, I give the roadmap fora course that I teach in Cambridge: ‘Information theory, pattern recognition,and neural networks’. The book is also intended as a textbook for traditionalcourses in information theory. The second roadmap shows the chapters for anintroductory information theory course and the third for a course aimed at anunderstanding of state-of-the-art error-correcting codes. The fourth roadmapshows how to use the text in a conventional course on machine learning.Получается, для обучения машинному обучению (в чём я заинтересован) лучше идти по четвёртому пути? Или стоит с криком "Кембридж крута" пойти по первому? В принципе, четвёртый путь является подмножеством первого + несколько глав по нейросетям.
А я люблю обмазываться свежими нейросетями и дрочить. Каждый день я хожу по земле с черным мешком для мусора и собераю в него все нейроночки которое вижу. На два полных мешка целый день уходит. Зато, когда после тяжёлого дня я прихожу домой, иду в ванну, включаю горячую воду…ммм и сваливаю в нее свое сокровище. И дрочу, представляя, что меня поглотил единый организм нейросети. Мне вообще кажется, что нейросети, умеют думать, у них есть свои семьи, города, чувства, не смывайте их в унитаз, лучше приютите у себя, говорите с ними, ласкайте их…. А вчера в ванной, мне преснился чудный сон, как будто я нырнул в море, и оно прератилось в нейросеть, рыбы, водоросли, медузы, все из нейронов, даже небо, даже Аллах!.
Падажжите, то есть поиском по сетке недостаточно определять лучшую модель, обязательно ещё проверять гипотезы?
>>944897осиль первые 4-5 глав, если кодирование не интересует то дaльше читай тoлько млшные главы, вроде 19 первая или 20
Как сделать ИИ, который себя реально осознаёт?Хочу создать Бога из Машины.
>>945046сначала надо прочесть все книги из шаппки тренделя
как оптимизировать линейную регрессию для увеличения параметра log loss?
>>945046Никак. Это невозможно. По крайней мере пока.
>>945062Если для увеличения, то тебе градиентный подъем надо, лол. Но обычно уменьшают.
Советую всем грезящим о "боге из машины" послушать последний выпуск радио-т, где происходит расстановка точек (впрочем, довольно очевидная) над текущим прогрессом в машинном обучении.
Сделал для дебичей типа меня шпаргалку по оп-пику.
>>936522 (OP)Sup, /pr/отаны.Я упрощу задачу, но просто смысл не в ней. Предположим есть 2d клеточный лабиринт. Программа двигается по нему видя только на одну клетку впереди себя. Если встречает объект (стену), то двигаться через нее не может, запоминает это событие и идет в другую сторону. Со временем, сталкиваясь со стенами, программа составляет цепочки событий и сравнивая их выводит правило, что пытаться пройти сквозь стену бессмысленно. Вопрос такой, если перебор и сравнение цепочек будет реализовано с помощью нейронных сетей это ближе к ИИ, чем реализация с помощью стандартных функций если-то? Т.е. я могу сам написать код для сравнения цепочек, но тогда это будет просто код программы, а можно каким-то образом подавать эти цепочки на нейронную сеть и получать результат, пока не знаю как.Просто ИИ нужен функционал анализа своих действий, но где грань между ИИ и обычной программой? Под ИИ подразумевается просто самообучающаяся программа прохождения лабиринта, которая может учиться взаимодействовать с разными объектами на пути.
Так, у меня вопрос. Чувствительны ли сверточные нейросети к паразитной засветке картинки цветным источником света? Как с этим бороться?
>>945175>где грань между ИИ и обычной программой?Её нет. По мне, так простейший логический элемент "НЕ" с одним входом и одним выходом - уже ИИ, так как он получает на вход какие-то данные, производит решение и выводит другие данные.
>>945182Даже функция f(x) = x*x ИИ получается?
>>945067Почему невозможно сейчас, но станет возможно когда-то? Какие трудности?
>>945200Почему нет? Результат детерминирован, и чтобы его получить, нужно выполнить ряд логических операций
>>945202По качану, нужна новая математика и компьютеры на ней.
>>945207Кокая такая "новая математика"?
>>945209новый школьный курсhttps://en.wikipedia.org/wiki/New_Math
>>945175Ты пытаешься изобрести велосипед. Открой для себя deep reinforcement learning, все уже украдено до нас. Вопрос неблохо проработан с теоретической стороны + есть готовые реализации.>где грань между ИИ и обычной программой?Сильный ИИ - это осознающая себя машина. Такого пока нет. Слабый ИИ - алгоритмы, которые могут в то, что обычно считается возможностью человека. Такой хуйни полно.
>>945217видео с lehrer ом скинь
>>945175Ты пытаешься изобрести велосипед, для поиска путей есть уже давно алгоритмы, тупые, которые уперлись в стенку и ищут новое направление. ИИ мог бы помочь с ситуациями где мы видим стенку , но еще не уперлись. Но тут опять увы и ах, такие оптимальные алгоритмы упреждающего поиска путей уже тоже есть, и они быстрее чем ИИ.
>>945207полную херню несёшь, сбацаю на питоне и стандартном ПК
>>945359ты о чём? о человеке-математике? а что за видео?
>>945353>>945370Спасибо за ответ, но я не занимаюсь поиском пути.Постараюсь объяснить в двух словах.Главная задача моего ИИ - включить музыку в клеточном лабиринте просто дойдя до кнопки включения музыки. Пока света нет, ИИ может двигаться вверх, вправо, влево, вниз и получать имена объектов вокруг себя и двигаться на одну клетку вперед. Но вот тут самое главное - ИИ не знает, что такое стена, у него нет, разумеется слуха и зрения. То, что музыка играет, ИИ узнает от внешней программы "Слух", которая просто проверяет переменную в бинарном файле.Поэтому он и пытается пройти сквозь стену несколько раз, при каждой попытке он просто не получает результата. И выводит правило вроде такого: сверху объект W, справа объект W, влево объект W, движение вверх - нет результата.Такое правило перегружено в начале, которое со временем можно упростить до "сверху объект W, движение вверх - нет результата".Это можно сделать кодом напрямую сравнивая с новыми цепочками действий или трахать этими цепочками нейронные сети. Вот мне интересно, какой подход был бы ближе к человеческому мышлению? Как бы с одной стороны нейронки, но ведь в человеке на каком-то уровне тоже можно представить некий хард код, который работает одинаково у всех в мозгах.
>>945409такая тупая хуйня решается обычным алгоритмом поиска в глубину, твой ИИ тут не нужен.
>>945411может, он именно для ИИ и делает
>>945409>правило вроде такого: сверху объект W, справа объект W, влево объект W, движение вверх - нет результата.Ну я жи говорю, deep RL. Для этого результат придется как-то выразить в набранных очках или вроде того (плюс и минус) и поставить цель максимизировать результат. Уже сейчас в таких условиях алгоритмы сами с нуля учатся играть во всякие понги, арканоиды и т.п. хуитку. Изначально никаких правил игры не получая, просто обучение действиям по динамике скриншотов и итоговому результату - набранным очкам. Если интересно - гугли openai universe и gym.
>>945414А я хочу ФИ, это финансовый интеллект, каждый раз по 100 бачей мне кидает, и не нужно никого просить повестись на эту хуйню с ИИ и потом заплатить.
>>945418тебе финансовый бот нужен, миллион готовых, и там куча своей хуйнимне он тож нужен
>>945422Естественно, мы то знаем как это хуйня работает, въебем парочку исследований, а там как пойдет. ИИ всех победит и окупит.
>>945426так сейчас у всех боты, и много кто пытается полноценные ИИ уже сделать, с ними не поконкурируешь, если ты не знаешь секретов только
Я раскрою вам секрет, который маловероятно, но возможно сделает вас даже миллиардером! Или миллионером, но с гораздо большей вероятностью.Всё бесплатно и без смс. И это не лохотрон.Итак, вы готовы?Секрет прост и проще некуда.Секрет: "Все - Идиоты!".Да, именно, все люди - идиоты. Большинство населения планеты вообще полные идиоты, а дальше на графике, чем они умнее, тем их меньше, там даже функция не линейная. Умных меньше в десятки раз. Реально умных 5%, идиотов 15%, а полных идиотов 80%. Но даже эти "реально умные" во многих ситуациях оказываются идиотами, если не полными, ведь они такие же люди, как и все остальные.А самое интересное - среди этих 80% полных идиотов полно богатых людей и людей разрбрасывющихся деньгами, и вообще в сумме они богаче кого бы то ни было. К тому же, здесь ещё и половина среднего класса.Ну так вот, вы делаете деньги на этих 80% полных идиотах и строите свой бизнес соответствующим образом.Почему я сам давно не миллиардер и почему я делюсь такими секретами? Просто потому, что я нихуя не делаю и мне не жалко.А ты, как предприниматель, должен предпринимать определённые действия и через ряд неудач тебе повезёт. Ты сам создаёшь своё будущее, планируй и действуй! Будь наглым и просто делай, делай, делай. И даже если ты сам полный идиот, ты тупо методом перебора рано или поздно найдёшь свою золотую жилу!
>>945445>Все - Идиоты!И утверждение ты это делаешь на каком основании?p < 0.05?
>>945478Наверное The Bell Curve.мимокрокодил
https://www.youtube.com/watch?v=J2lAIt2rd1g
>>944646Питон тормозной, он тупо ненужен. Бери С++.
>>946594Это только потому что он интерпретируемый... Но однако есть и компиляторы и для него...
Антохи а GPU обязательно надо?>>946595Не только, динамическая типизация это рак, а еще нет толкового перехода на новые версии, 2_7 до сих пор юзается, и 3_6 не может в старый код, я хоть и против обратной совместимости, но дохера чего не переписано и это раздражает.
>>946596>динамическая типизация это ракБляха, ну что за фашизм? Для серьёзного проекта, понятное дело, кресты, но как подручный инструмент для набросков-черновиков охуенно же, от псевдокода минимум отличий. Есть задача построить небоскрёб и скворечник, под задачу и инструмент подбирать.
>>946600Выйдет новая версия питона - чисти говно и переписывай, тоже самое и с плюсами, но они будут работать и так, а если в новом стандарте 2017 наконец вычистят вилкой легаси парашицу и совместимость нарушится то достаточно передать компилятору используемую версию плюсов.
>>946602Да я типа про то, что ты больше будешь с крестами ебаться. А так взял, хуйнул по-быстрому, мысли чисто набросать, посмотрел как оно всё будет выглядеть, потом на чистовик уже на крестах можно переписать, если скорость/надёжность нужна.
>>946604На плюсах примерно столько-же времени пишется, Есть хорошие инструменты для дебага, если скомпилировалось без ворнингов значит уже заебись, а есть и дебагеры с анализаторами.А пистон же может запустится даже если критическая ошибка есть, приходится пердолится с линтерами и бог знает чем.Можно собрать статический stripped бинарник, который будет работать и на собаке, а можно ебатся с питонами и зависимостями.
>>946607>>946607>На плюсах примерно столько-же времени пишетсяНу хз, может дело привычки, так-то кресты топ.>А пистон же может запустится даже если критическая ошибка естьВот это, конечно, пиздец тот ещё, да.
>>946613Вообще хз, всегда ощущалось, что на пистоне пишется быстрее гораздо. Как бы единственная причина, по которой стоит использовать что-то кроме плюсов и если этого прироста нет, то смысл вообще в других яп, если один хуй любой интерпретатор на си же и написан, по сути обёртка над с/c++. Хз, короче. Ну ещё типа ради автоматической работы с указателями, типа безопаснее, но для меня не аргумент, так как когда нет возможности руками работать с памятью это скорее небезопасно, так как в случае какой-то редкой критической ошибки разработчика, которую словила именно ваша компания именно тогда, когда это нанесёт больше всего ущерба ты можешь только беспомощно ждать и считать убытки. Хотя на практике, наверное, это довольно редкие случаи, кирпич тоже иногда на голову падает.
Вы не понимаете сути МЛ, а без понимания никогда не уйдете дальше слесарства уровня import slesarflow as sf. В МЛ Дзи (определения в пасте ниже) это датасет, полученный например измерением параметров некоей системы, техника работы этой системы. Соответственно, Ри - это фунция или функции зависимостей выходов системы от ее входов. Принцип работы этой системы, ее суть. Смысл МЛ в том, чтобы восстановить (аппроксимировать) такие функции по имеющемуся датасету, т.е. идентификация систем. Для этого и служат алгоритмы МЛ, это инструмент. Инструмент так же может быть хорошим и плохим, подходящим и неподходящим. И тут так же важно понимание принципа по которому должен работать такой инструмент. Вот этого почти нигде и нет, по-сути, теория статистического обучения - единственное изложение таких принципов, все остальное - простой пердолинг вслепую. Путь охватывает все вещи, и поэтому, постигнув одну вещь, вы овладеваете всеми остальными. Некоторые люди утверждают, что, достигнув совершенства на каком-то одном Пути, человек является мастером всех Путей. Хотя он мудрец, он может, например, не уметь ездить на лошади. Действительно, в таких рассуждениях есть доля истины, но мы не должны забывать, что все проявления реальности имеют два аспекта, дзи и ри.Все здесь не так просто, как может показаться. Дзи — это техника, ри — это принцип. Тот, кто знает принцип, может не практиковать искусство и все же обладать некоторым пониманием его сути. Так, человек может быть хорошим наездником, но не уметь подчинить себе лошадь. Он может знать, как следует обращаться с лошадью, но при этом плохо согласовывать свое намерение с намерением лошади. Если же вы можете достичь гармонии с лошадью, она всегда будет слушать вас. Дополняя безукоризненную технику пониманием принципа, вы становитесь безупречным, и тогда в искусстве верховой езды никто не сравнится с вами.Скульптор создает произведения с помощью резца, но сам резец изготовлен кузнецом. Скульптор знает, хороший или плохой у него резец, можно ли этим резцом обрабатывать дерево или только бамбук, но один только кузнец может сказать, в чем различие между процессами изготовления резца по дереву и резца по бамбуку. Таким образом, кузнец знает принцип, а скульптор – технику. Человеку, который овладел техникой и постиг принцип, нет равных.
>>946934Пытался обмазаться МЛ чтобы заработать баблица, прошел 1,5 курса на курселе от Яндека, понимаю что теряю суть темы, вообще интерес пропадает. Формулы блять формулы, бесконечный поток говна...Как блять денег то на это ебале заработать. Чувствую что дропну скоро.
>>947057>Как блять денег то на это ебале заработать. Попилить и откатить, что тут такого-то?
>>936522 (OP)Ребят, как дела обстоят с индуктивным программированием? Просто я думаю , что пизже строить АЛГОРИТМ, чем сложную формульную ебалу, параметры которой находить решая задачу оптимизации
>>939339Срамота!
Аноны, поясните за нейроночки. Почему вокруг них столько хайпа ?Нет я ничего против них не имею, для решения определенных задач они хорошо подходят. Но почему адепты нейронок уверены, что с их помощью человечество скоро все проблемы зарешает и создаст супер-ИИ.Разве обучение на основе большого кол-ва наблюдений не является лишь одной из функций нашего сознания. А как же, например, способность выводить сложные теории на основе базы простых фактов. Это ведь скорее к логическому программированию и прочим подобным методам.Алсо, поясните за natural language processing. Какой ныне прогресс в области. Когда уже ИИ сможет в человеческие языки ?
>>946613>C++ topNo, C11.
>>947316Аноны, поясните за PDF и HTML. Почему вокруг них столько хайпа ?Нет я ничего против них не имею, для решения определенных задач они хорошо подходят. Но почему адепты лазерных принтеров уверены, что с их помощью человечество скоро все проблемы зарешает и создаст супер-принтер.Разве рисование руками кисточкой не является лишь одной из функций нашего сознания. А как же, например, способность выводить сложные рисунки на основе базы простых фактов. Это ведь скорее к логическому программированию и прочим подобным методам.Алсо, поясните за HyperText Transfer Protocol. Какой ныне прогресс в области. Когда уже HTML сможет в передачу по проводам ?
>>946594У меня жизни не хватит с моей тормознутостью написать всё, что я хочу на плюсах.К тому же я нервный, а плюсы мои нервы во время разработки не берегут.
>>947336>У меня жизни не хватит с моей тормознутостью написать всё, что я хочу на плюсах.>>К тому же я нервный, а плюсы мои нервы во время разработки не берегут.Чем конкретно тебя так плюсы нервируют ?
>>946596Тебе явно нужна Джава.
>>946604А на питоне надёжности нет что ли?
>>946607На плюсах тормознее разработка и чем сложнее проект, тем ещё тормознее, всё же суммируется. Начнёшь что-нить, а потом бросишь, если зп не получаешь, конечно, на питоне ты больше проектов доделаешь до конца. Легче обновлять, переделывать, всё проще. Всё проще, удобнее и быстрее в разработке.Ты заебёшься делать большие проекты на плюсах.И сама разработка на плюсах сложнее, больше головной боли, больше напрягов и опять больше время и других ресурсозатрат. Нужно думать о вещах, о которых ты на питоне даже не слышал никогда.Больше проблем с библиотеками. Мне кажется, что даже на изучение библиотек и на практику работы с ними на плюсах больше времени уйдёт и трудозатрат больше. Это всё утомляет.А то, что ты говоришь, это касается только маленьких простеньих вещей, которые на том же питоне и нужно делать.Ещё питон даёт кроссплатфоменность, а на плюсах ты заебёшься, да ещё все эти компиляции, опять мозголомания при поиске и правке ошибок, да на хуй надо.Плюсы нужны там, где нужна высокая скорость работы, это единственный плюс плюсов :) в срвнении с питоном, в этом питон просто сосёт.А с компиляциями итд опять ебатьни итд, и получается, что в данном случае лучше уже сразу плюсы взять.
>>946617Да не слушай ты его, он их даже сравнить реально не может, несёт какую то чушь.
>>946617Смысла в других нет?Для денег нужно учить джаву и вебдевелопинг, а только в конце плюсы и то нах.Для математики плюсы не подходят.Сайты писать плсы не подходят. Везде, где нужен скриптовый язык не подходят. И ещё мно где.
Плюсы из эры и мира Си, Ассемблера и Машинных Кодов.Там нечего ловить.С уже додыхает, все переходят на плюсы, но и время плюсов когда-нибудь пройдёт.
>>947355И на чем тогда будут писать ОСи, embedded, гарбедж коллекторы, etc ???
>>947358создам отдельную тему
>>947358C
>>947336>>947339>>947341>>947343>>947347>>946617>>947355>>947358Все ЯП - частные случаи типизированной лямбды. В т.ч. все потенциально возможные ЯП. Из чего прямо следует, что лучше тот, который лучше выполняет конкретную задачу.
Блядь, школьники, хули вы засрали МЛ ТРЕД языкосрачем. Ебанутым нет покоя.
>>947316С вопросами про научную ценность в /sci. Местные мартышки считают себя умными, но могут только гуглить алгоритмы, корчить рожицы и бросаться дерьмом, а два слова по делу связать не могут.
>>947507Я в шараге проходил регрессионный анализ, когда dsp учил. ОТЛИЧНОЕще бредогенератор делал на цепях маркова. ОТЛИЧНОЕще принятия решений матодом ELEKTE пробовал. ХОРОШОЯ могу тусить в єтом треде?
>>947473Нет, всё это нули и единицы.
>>947639мы тут ИИ пишем, а не твои шкальные говноподелки.
>>947473Нет, ты не прав. ЯП выбирают по библиотекам прежде всего.Алсо, у тебя много разных задач, а ты учишь для решения каждой новый ЯП, ну молодец, все бы так."А то, что каждая вещь для своего дела" это дети ещё в первом классе проходят.
>>947473вон тамhttps://2ch.hk/pr/res/947374.htmlпро лучший ЯП
>>947663А то, что "каждая вещь для своего дела"fixed
>>947663"Все профессии важны, все профессии нужны."Прямо как сейчас помню.
>>947639Сколко учился лет и на кого конкретно?
Двач, читал кто "Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных",если да то есть смысл?
>>948004Какого года эта книга? Сейчас фреймворки каждый месяц появляются, зачем читать устаревшее и на русском?
Как этой штукой пользоваться?http://playground.tensorflow.org
>>948007Блять, какая разница с какой скоростью фреймворки появляются, если все они юзают одну и ту же теорию ?
>>9480072015
>>942905двачую.для псевдоинтеллектуалов, которые хотят математику прикрутить, которую они учили в шараге 5 лет.
>>948093пиздец, ты пидор
>>948454этот анацефал до всех зэкотредов добрался походу
>>944646Боже, какой же ты фанбой. Хотел бы с тобой аргументированно посраться, но питон действительно охуенен, слишком люблю его.
Поясните за Тьюринг-полные нейроночки. Как их обучают вообще? Или это больше программирование? Как вообще?
https://ru.wikipedia.org/wiki/%D0%AD%D0%B2%D1%80%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5Такое можно сделать?
>>947639ты для этого слишком крутой, тут одни философствующие школьники, вообще сосач - тупое болото
Кто готов зафрилансить проджект связанный с ml пишите свои телеги.
>>948751А где крутые собираются?
Пацаны, там в Google Translate запилили нейро-перевод для русского языка. Айда тестироватьhttps://translate.google.com/
>>937329>почитать>циспВзоржал с лоха лапатнова, ббббббббгеееееее.
>>947355ocaml
>>948805Хуёво чёт как-то.Англ --> РуссGain a fundamental understanding of Python’s syntax and features with this up–to–date introduction and practical reference. Covering a wide array of Python–related programming topics, including addressing language internals, database integration, network programming, and web services, you’ll be guided by sound development principles. Ten accompanying projects will ensure you can get your hands dirty in no time. Получите фундаментальное понимание синтаксиса и функций Python с помощью этого современного введения и практической ссылки. Охватывая широкий спектр связанных с программированием на Python тем, включая адресацию внутренних языков, интеграцию баз данных, сетевое программирование и веб-службы, вы будете руководствоваться принципами разумного развития. Десять сопутствующих проектов гарантируют, что вы можете замарать руки в кратчайшие сроки.
У веб-кодера без знаний матана есть шансы в нейронках? Или там везде жестокий матан и тыкаться бесполезно? Неужто от матана еще не абстрагировались фреймворками?
>>948901>кодераУ кодеров вообще шансов 0
Я вернулся! Сегодня до 10 на работке формы клепал.>>947661 Так я спрашиваю, можна здесь потусить. Прикоснуться к таким гениям как вы.>>9476695 лет. Кафедра у меня на dsp помешана, профессора такое задвигают что у меня временные ряды непрогнозируюся. Больше и нечего рассказывать, кроме того что дипломная работа у меня был по SEO>>948751Да, не я даун. В руме кстати какие-то шкальники на джупитете какие-то графики хуячат и на скале говнокод. Я хочу идти около них и говоорит "линейная регрессия" или "метод наименьших квадратов", чтобы взяли в свою тусу смузи с ними пить.
>>948901Там любой дегенерат разберётся.
Вообще всё просто. Любая сверхсложная система на самом деле элементарна. Проблема заключается в человеческом мозге и понимании.И когда ты знаешь об этом, тебе всё начинает даваться, не сразу, но даётся и ты каждый раз убеждаешься, что всё на самом деле элементарно. Просто пшик и всё.Нужно лишь затратить время и разобраться в энном количестве информации, это не сложно, это бывает долго, но выполнимо.
>>940196А ты из своей КОМНАТЫ выходил, сыч?
>>948971Нет, я только интернеты читаю. Все новые пейпы пишут китайцы, в голландский научный журнал пишут китайцы, на гитхабе все засрали китайцы
>>948972Давно все индусы пишут, какие китайцы.
>>948059Вот эту кнопачку жмакай))
>>949127Чо такое ReLU и почему оно так эффективно?
>>949199Это функция активации нейрона, используется вместо сигмоида или гиперболического тангенса. Ректифайед линеар юнит штоле. Выгода в том, что это ненасыщаемая функция и у нее нет бесконечно убывающих участков, на которых сходимость часто надолго застревает. https://en.wikipedia.org/wiki/Rectifier_(neural_networks)
Такая стори, купил в январе специализацию на курсере от яндекса и мфти, прошел первый курс, получил сертификат, прохожу второй курс, уже больше половины, я понял что меня от этой херни тошнит просто. Хочу дропнуть. Но жаба душит, 20 к отдал, думаю может дотянуть... С другой стороны нахера тратить время на то что меня не интересует... Реально просто не хочу это изучать, не интересно. Просто говно какое то...Чтобы вы сделали? Просто дропнули и хер с ними с деньгами. Или же дотянули и получили сертификаты? Вообщем больше склоняюсь к дропу.
>>949226Ну и долбоеб.
>>949226>Но жаба душит, 20 к отдал, думаю может дотянуть... С другой стороны нахера тратить время на то что меня не интересует... Реально просто не хочу это изучать, не интересно. Просто говно какое то...>Я дропнул один курс, так потом корил себя за это. Лучше пройти, можешь даже в инете искать ответы, но лучше пройди.
>>949239Ну вот будет этот ворох сертификатов, дальше что? ХЗ...Я только время трачу, все равно работать не смогу по этому направлению, слишком сложно для меня.
>>949248Не ленись.
>>949248Никто не рождается умным/умелым, сложно - в космос полететь, ML тебе по силам, няша.
>>949317В космос полететь легче, чем освоить математику. В космос и собака полетит.
>>949365В практическом ML очень мало математики. В этом сила и слабость образования в РФ, пичкают математикой, пока не треснешь, а потом выходишь на работу и оказывается, что все совсем не так и ценится другое. Поэтому жри говно, как диды жрали, а потом будет легко и приятно.
>>949317>>949266>>949239Какие вы сегодня добрые, обычно говном польют, дауном обзовут. Ну вообщем я снова сел за курс. Не знаю на сколько меня хватит. Надо что то почитать по интересную работу, прикладной характер, про истории успеха, мотивации нет. Вот идут задачи формулы, а мотивации нет....
>>949226>прошел первый курсПоздравляю, первый курс там представляет из себя введение в python и школьную статистику.>прохожу второй курс, уже больше половины, я понял что меня от этой херни тошнит просто. Хочу дропнуть. 4-й ты просто не осилишь никогда
>>949408>интересную работу, прикладной характер, про истории успехаЛучше сразу вернись к пабликам про стартапы.
>>949226Бросай это дело к хуям, иди лучше дворником
>>949532Почему то уверен что у тебя длинные волосы и ты никогда не трахался с тян. Я угадал?
>>949530Хочешь сказать что это все на уровне хобби, и вкатиться не реально? Если так то я дропаю это говно! Мне деньги нужны а не интегральчики под картофанчик.
>>949554честно говоря, мл - это не самое денежное место, что-то уровня бортпроводника в самолете, машиниста поезда или там маркетолога среднего звена, а задрачивать нужно в разы больше.
>>949226>жаба душит дропнутьВот в этом и плюс оплачиваемых курсов, так бы давно уже забил. Не надо дропать, анон, ты просто переутомился и мозг тебя наёбывает "нахуй это скучное говно!", ведь не зря же ты вообще запарился на обучение, наверное интересно было? Сделай перерыв на пару-тройку дней, соскучься.
>>949408Я вообще мимокрок, но сука не сдавайся, потом сильнее пожалеешь. Если сдашься через три месяца все забудешь и нужно будет заново изучать.
Вот такие нынче петухи занимаются машобом.
>>949892Читал хоть что постишь? Он же сам говорит, что похвастаться ему нечем, просто мимоинтересующийся. Хотя проблема есть, да. Когда-то МЛ занимались академики, сейчас индусы и тупая пизда с оп-пика.
>>936522 (OP)> НЕЙРОНОЧКИ Охуенно. Хочу прикрутить сабж к своей игрушке ради эксперимента, чтобы самолетики летали не через друг друга, а как-нибудь интересно собирались и вели себя как живые. Это нужно генетические алгоритмы пердолить, или НС получится? Меня смущает то, что в большинстве пример в НС разбираются какие-нибудь пиксели, а с трехмерными векторами они ничего общего не имеют
>>949896В это задаче можно обойтись и без машоба. Гугли swarm и boids.
>>949898> boidsУже имплементировал себе подобный этому алгоритм, но так не интересно же.
Кто-то занимается обучением с подкреплением?
> 5. idris/coq - модные яп для формально верифицированных нейроночек с тренировкой на этапе компиляцииИх кто-то использует для МЛ? Само слово "модные" в контексте idris/coq даже пугает
>>950413Да никто их для МЛ не использует. Полторы реализации нейроночек на хачкеле от каких-то поехавших типа https://gist.github.com/mrkgnao/a45059869590d59f05100f4120595623 да книжка по анализу данных на том же хачкеле, не более.
Ананасы, что может быть не так с cnn ?Ошибка почти сразу скатывается вниз, но ниже 4.6 не падает, а точность нулевая. Я сначала думал может андерфит, добавил размерностей свертки, но ничего не поменялось. Датасет - cifar100, но даже на cifar10 что-то работает не так и различий особых нету. https://gist.github.com/anonymous/ec88ea7c5fc1f17f08ebdedd2d79b5e5
За сколько времени можно написать альтернативу tensorflow и openai gym на своем любимом языке?
>>950455Зачем?
можно ли написать najtiElementVMassive на нейроночках?
>>950502Чтобы чик клеить.
>>950617Эй чика, я хика, хочешь посмотреть на мой тензорфлоу в брейнфаке?
Зачем погромисты пишут ИИ? Вы же тогда останетесь без работы, поехавшие.
>>950625Они без всякого ИИ безработными останутся. Любую программу любого назначения по заданной спецификации можно просто экстрактить из инфинити-групоида в виде типизированной лямбды и компилить в код на любом языке программирования (т.к. все они частный случай типизированной лямбды). Для этого даже ИИ не нужон, достаточно MLTT и н-р, генетического программирования все на той же типизированной лямбде.
>>950628Почему не так делают?
>>950621Хочу, Он хотя бы не требует столько зависимостей
>>950628Даже генетические алгоритмы не нужны, большинство веб-макак, например, можно заменить обычным конечным автоматом.
>>950453На последнем слое не нужен релу
>>950625Тот кто первый напишет - не останется
>>939479В общем я просто взял заведомо рабочую имплементацию на Шарпе и переписал её на человеческий.https://github.com/nokitakaze/ResilientBackProp вот, если кому нужно будет ещё одно решение RProp на C#
Кто вкатился в МЛ и работает по этой специальности?Тут есть реальные примеры? Или это очередной форс типо хаскеля?
Есть одна задача на классификацию. Сеть уходит в переобучение (RMSE на train становится очень маленьким, а на test либо не меняется либо немного увеличивается). Неизвестно решаема ли задача в принципе.Как бороться с переобучением?
>>951215>RMSE Классификация с RMSE? Почему такой выбор?Какой объем данных? Какой размер сеточки? Либо сеть слишком большая, попробуй увеличить параметр регуляризации, уменьшить сеть или увеличить число данных
>>951252> Почему такой выбор?<---Accuracy я тоже использовал. Для обучающей 99%, для тестовой 40% (там 40% принадлежит одному из классов, поэтому сеть просто спамит один и тот же класс). > Какой объем данных? На вход 30k, на скрытом слое 3 (прописью три) нейрона, на выходе три нейрона.> сеть слишком большаяДа, я её уменьшал и уменьшал. Если поставить на скрытом слое 2 нейрона, то уже не сходится.> увеличить число данныхВыборка не бесконечная. Сначала беру 1k данных, вся выборка 70k данных. На 70k ситуация точно такая же
А можно сделать 3D-нейрон, как в мозгу?
>>951324Снизил количество входящих данных. Всё равно каждый кусок (вхождение, datum) слишком персонализирован и работает как отпечатки пальцев, поэтому сеть учится отдавать результаты конкретной выборке, а не абстрактной совокупности признаков (feature)
Может у кого найдется время реализовать вот такой персептрон для XOR на языке Scheme? https://repl.it/languages/scheme Что-то вечно мне не хватает. Буду очень благодарен.
>>951389Ух ты ж епта, я чуть не начал изобретать рекурентную нейросеть для такой задачи. Покажите, пожалуйста, как надо.
Я делаю вывод что тут одна школота и студентота, все дрочат нейроночки по приколу, никто и рубля не заработал на этом.Нахуй вас психи, я ухожу, потому что хочу жрать!
>>951411Вообще да. Нейронки очень специфичные. В "реальной жизни" классификация тебе может понадобиться для оценки клиентов. Допустим, кому дать кредит, а кому нет. На практике таких задач меньше 1%. Это нормально. Хочешь реальных использований нейронок, иди в Яндекс или Мейл Ру. Или в Лабу Касперского
Держитеhttps://vk.com/wall49817193_310
>>951411>тут одна школота и студентота, все дрочат нейроночки по приколу, никто и рубля не заработал на этомсрыв покровов ITT
>>951324>Accuracy я тоже использовал. Для обучающей 99%, для тестовой 40% Я вообще в первую очередь подумал про кросс-энтропию, но если у тебя только 2 класса, то я бы F1 метрику юзал, но это очень странно что у тебя сеть спамит один класс.>На вход 30k, на скрытом слое 3 (прописью три) нейрона, на выходе три нейрона.Ебануться, 30к, Я даже не знаю какой объем данных должен быть для таких входных данных. Попробуй уменьшить размерность или использовать не нейроночки.>Да, я её уменьшал и уменьшал. Если поставить на скрытом слое 2 нейрона, то уже не сходится.Обычно на скрытых слоях лучше делать нейронов больше чем на входном, но в твоем случая я хз даже что делать>Выборка не бесконечная. Сначала беру 1k данных, вся выборка 70k данных. На 70k ситуация точно такая жеДля 30к входных параметров датасет маленький, либо датасет увеличивай во много раз, либо размерность входа уменьшай
У меня вопрос по ML для laba1. Задача кластеризации. Есть вещь у которой 4 свойства. a) распределить вещи по группам(кластерам), если мы можем: 1. Мы можем сказать, по какому конкретно критерию выполняется кластеризация(от одного до четырёх). 2. Мы можем выделить минимальное и максимальное количество групп (это необязательно, можно этого и не делать)б) Критерии не известны. Мы не знаем по какому свойству должна выполнятся кластеризация, количество кластеров неизвестно. Мы можем: 1. Указывать количество возможных свойств, по которым происходит кластеризация (1 <= n <= 4), а можем этого и не делать. Суть в том, что если предметы почти не отличаются по трём свойствам, а разница присутствует только в одном из свойств, то алгоритм должен определить, что кластеризация произойдёт конкретно по этому свойству.Посоветуйте алгоритм. Рассматриваю любые предложения.
>>951411Я 450 баксов за вчера заработал. При чем удобно, сеть обучается, а ты двачуешь.
>>951518> у тебя только 2 классатам хитро. Мне нужна классификация по нескольким разным критериям, и конечная сеть, собранная из нескольких сетей, будет давать мне именно разные критерии. Пример: 1. На фото изображен: заяц / белка / машина / человек2. Как сделана картинка: фото, обработка фото или рисунок (картина)3. Руке какого мастера принадлежит картина: Ван Гог, Дали, да ВинчиВсе три сразу обучить нет вариантов, потому что не все входные данные содержат сразу все критерии. Поэтому я хочу обучить по каждому критерию отдельно, а потом соединить сети. Но хер-то там> какой объем данных должен быть для таких входных данныхТам не все пермутации возможны. И, да, если бы я мог достать все необходимые пермутации, зачем бы мне была нужна сеть? Я снизил с 30k до 1k. Проблема сохраняется — переобучение. Каждое вхождение (запись) слишком специфично, и по нему можно просто построить finger print. Там в абсолютном большинстве случаев просто на нейронах нули. В 97% у 99.5% нейронов нули, а значение имеют лишь оставшиеся 0.5%, которые и служат finger print'омЛадно, завтра попробую уменьшить 1k до 200, но тогда там вообще почти везде нули будут
>>951681> завтра попробую уменьшить 1k до 200Нет, хер там. Получилось 886 выборов для learn и ~200 для test. Причем в каждой выборке не менее 20 нейронов имеют вес не равный нулю. Всё равно в переобучение уходит.Сейчас попробую сделать выборку не из 7 000 изначальных данных, а из 70 000. И не менее 40 нейронов имеют вес не равный нулю
>>951685нет, тоже никакой реакции. Буду думать как данные передавать как-то по-другому
>>951685>>951681Ну с первым пунктом, я думаю, вопросов нету, это все уже 10 раз описано, если тебе сегментация не нужна.В третьем пункте можно использовать style extract как в модных ПРИЗМАХ и других приложений https://arxiv.org/pdf/1508.06576.pdfСо вторым пунктом я уже хз, но откуда разряженые фичи? Там же картинка обычная, там даже 90к будут очень плотные >>951681>Там не все пермутации возможны. И, да, если бы я мог достать все необходимые пермутации, зачем бы мне была нужна сеть? Я снизил с 30k до 1k. Проблема сохраняется — переобучение. Каждое вхождение (запись) слишком специфично, и по нему можно просто построить finger print. Там в абсолютном большинстве случаев просто на нейронах нули. В 97% у 99.5% нейронов нули, а значение имеют лишь оставшиеся 0.5%, которые и служат finger print'омТо что все нули, это странно, но если у тебя 30к разряженых фич у тебя должен быть просто огромный датасет.Разряженные фичи редко встречаются, для слов используют word2vec, может для твоего случая тоже что-то придумали.Так что уменьшать число фич -- единственный вариант у тебя
>>951743> Ну с первым пунктом, я думаю, вопросов нетуЗадача не та, которую я описал. Я лишь пример пример разных классификаций одного объекта> уменьшать число фичДа, я переформулирую задачу, чтобы на вход подавалось 13 и 20 нейронов (две разные сети)
Подскажите научную статью где было о том, как сделать из n-мерных объектов объекты в других измерения. Ну, из трехмерного куба четирехмерный гиперкуб и тд Все это на нейроночках, конечно
>>951817Наркоман?
>>951817Короче я окончательно убедился какие люди в этом треде сидят. Пиздец.
>>951829>>951831А что я не так написал? Вы никогда не рисовали проекцию четирехмерного куба? Нейросети могут даже и круче
>>951576SOM. Анализ результата - по компонентной плоскости, соответствующей той переменной, по которой различаются кластеры.
>>951851И правда наркоман. Зачем для этого нейросети-то?
>>951817Ну йобана, прям так и гуглится же neural network dimensionality reduction и там первая статья
>>951854>SOMСпасибо. Сейчас буду изучатьЯ вот с утра пораньше сделалhttps://en.wikipedia.org/wiki/DBSCANно он классифицирует некоторые данные как noize, что не очень(
Нужно естественный язык переводить в SQL команды. Подскажите пожалуйста, какие библиотеки использовать, какие книги прочитать ? В Natural Language Processing with Python, есть пример, где с помощью формальной грамматики реализуются простые SELECT запросы, но я даже не представляю как можно таким образом описать сложные 2 - 3х этажные union и join конструкции.
>>951867>>951854Я так понимаю SOM даёт мне точки в двумерном пространстве, а далее я уже должен применить любой стандартный алгоритм кластеризации?
>>951992Нет, он проецирует многомерный датасет на двумерное пространство. Если в самом датасете содержатся кластеры (в виде нескольких разных классов объектов), то они будут видны на 2д карте. Суть такой карты можно понять по компонентным плоскостям, например (т.е. почему 2д карта выглядит именно так). Вообще, если нужна именно классификация, м.б. стоит попробовать что-то еще из векторного квантования - нейронный газ там, LVQ. Вот опорные векторы, полученные этими алгоритмами, можно и дальше обрабатывать, в т.ч. всякой кластеризацией.
>>951576kmeans конечно же, проще некуда
>>952014Не очень. Как cmeans так и kmeans требуют количество кластеров в качестве параметра
>>952021Вообще, есть жи методы, которые сами определяют оптимальное количество кластеров для данного датасета. Конкретно в R есть пакет ClValid.
Двач, мне кажется я недопонимаю само естество процесса выбора модели. Если модель А показывает себя лучше на тестовой выборке, чем модель Б, но при этом у А 99.9999% точности на train и огромный разрыв между train и test, в пользу какой модели мне стоит делать выбор?Зачем рисуются кривые обучения? Они используются только в педагогических целях, для наглядной демонстрации процесса обучения, или из них можно достать что-то полезное, решая реальную задачу?
>>952023А можно подробней и как для дебилов, я просто совсем зелёный первак. R/python/matlab недоступны, нужно самому на c# сделать. Что за алгоритм для определения оптимального кол-ва кластеров. В инете внятного ответа не нашел
>>952122>Что за алгоритм для определения оптимального кол-ва кластеровЭто не один алгоритм, а целая куча всяких индексов, критериев и т.д., разработанных разными людьми в разное время. Суть в том, что есть показатели, по которым косвенно можно судить о качестве кластеризации. В кратце тут https://cran.r-project.org/web/packages/clValid/vignettes/clValid.pdf с формулами и ссылками на оригинальные работы. Конечно, можно и самому сделать, но заебешься. Далее все просто: берем датасет, берем любой алгоритм кластеризации, хоть k-means. Выбираем от балды число кластеров, скажем 2, замеряем индексы качества кластеризации. Потом берем 3, замеряем качество... В итоге получаем результат типа "количество кластеров - оптимальность по набору критериев качества кластеризации", суть в том, что при данном датасете эти индексы будут оптимальными при выборе кластеров, наилучшим образом кластеризующих данный датасет.При числе кластеров больше или меньше оптимального, индексы будут хуже оптимума. Как-то так, если в 3х словах.
>>952133Спасибо. А не подскажешь, имеет ли смысл использовать k-means на мономерном, трёх и четырёхмерном датасетах?
>>951576Начни с каминса, хуле. С неизвестным количеством кластеров хорошо справляется Affinity Propagation - сам группирует особей.
>>952240>каминсаЭто что такое? гугл не нашел
>>952242k-means
>>951983мб, не совсем в темувот есть пример для работы с SQL для nltkhttp://www.ling.helsinki.fi/kit/2009s/clt231/NLTK/book/ch10-AnalyzingTheMeaningOfSentences.html#discourse-semanticsа так, мб, парсинг какой-нибудь поможет (боттом-топ какой-нибудь, там с конца запроса начинать, и вкладывать потихоньку в верхние ноды), он тоже в нлтк-бук описан, или банальные регулярочки
>>952110ты переобучился, гугли overfitting, underfitting, cross-validation
>>952110>>952287Этими терминами я владею (и загуглил на всякий)Вопрос был немного в другом: можно ли вообще ожидать что реальное качество переобученной (или недообученной) модели будет похоже на то, что я вижу на кросс-валидации, или сам факт того что модель переобучена (или недообучена) делает её автоматически непригодной к использованию?Дополнительный вопрос, как вообще получить какое-то численное представление надёжности модели (т.е гарантию что её качество на новых данных будет похоже на кросс-валидацию)?Я вот видел теорию по VC-dimension-у, но никак не могу поверить что это можно юзать на практике КАК ПОСЧИТАТЬ VC для xgboost???.
>>952110>Если модель А показывает себя лучше на тестовой выборке, чем модель Б, но при этом у А 99.9999% точности на train и огромный разрыв между train и test, в пользу какой модели мне стоит делать выбор?Ты не сказал ничего о Б, но если Б показывается себя на test лучше, то Б.>Зачем рисуются кривые обучения? Они используются только в педагогических целях, для наглядной демонстрации процесса обучения, или из них можно достать что-то полезное, решая реальную задачу?Да это самая важная хуйня.Рецепты от слесаря Николаича.На кривой должны быть результаты на training и validation множествах. Через N итераций они у тебя нарисуют кривые. Смотришь на них.1. Первым делом training должна рисовать сходящуюся кривую. Если она у тебя скачет, алгоритм не сходится, попробуй уменьшить шаг градиента, сменить алгоритм, по-другому инициализировать, сделать whitening данных и тому подобное.2. Validation должна рисовать сходящуюся кривую. Если этого не происходит, значит у твоих множеств сильно разные фичи. Если ты делил training и validation сам из какого-то датасета, скорее всего датасет слишком маленький.3. В идеале кривые training и validation должны сходится к одной величине, при этом эта величина должна быть лучше, чем тебе требуется. Как только они начинаются расходиться, можешь останавливаться - лучше уже не будет. И тут может быть две проблемы.High variation - это когда training у тебя уже ушел в пол, а validation плетется где-то вверху. Нужно или больше данных, или упростить алгоритм.High bias - это когда training и validation близки, но точность тебя не устраивает. Значит модель слишком тупая. STACK MORE LAYERS
>>952286Конкретно про этот пример я и говорил, он описан в книге. Но как от него прийти к чему-то более сложному я не имею ни малейшего представления.
>>952296>сам факт того что модель переобучена (или недообучена) делает её автоматически непригодной к использованию?This. Используй дропаут и l2 regularization.>Дополнительный вопрос, как вообще получить какое-то численное представление надёжности модели (т.е гарантию что её качество на новых данных будет похоже на кросс-валидацию)?Выдели из training set 15% и сформируй validation set. На нем и проверяй. А кросс валидация сильно много жрет, сильно много...
Как себя чувствует affinity propagation на датасете, отличном от двумерного. Я не нашел прямого ответа на свой вопрос.
>>936522 (OP)Привет. Тут посмотрел первые четыре лекции курса "Машинное обучение от Yandex". Так то понятно, но терминов много и формул, которые объясняют в общем то простые вещи на практике, но постоянно заставляют останавливаться на паузу и доходить, что происходит на слайде. Универ я закончил пару лет назад, и классификацию объектов проходил, но это не помогает. Как улучшить понимание и чтение формул? Как не путаться в терминах?inb4:бросай, ты слишком туп
>>952539Хуета этот ваш яндекс. Есть нормальные книги, нормальные курсы.
>>952638Советуй, не стесняйся.
>>9527651) пикрелейтед.2) оп-пост треда.
>>951983Мне кажется, можно погуглить на тему Named Entity Recognition, но прописывать правила и эвристики для всех хитровыебанных конструкций ты ебанёшься. Размечай датасет, хуярь классификатор.
>>936522 (OP)релейт https://www.youtube.com/watch?v=4DMm5Lhey1U
>>936522 (OP)Боже как уебищно объясняется дискретная математика на степике, просто пиздец. чет мямлит а потом НУ ВОТ ВАМ ЗААЧУ РЕШАЙТЕ ОХУЕВАЙТЕ
Посоны, есть нейросеть для распознования лиц, на уровне findfaceкак можно применить?
>>953078распознавать лица
>>952436мне казалось, что это можно даже на регулярочках сделатьда и я бы скорее искал уже готовый парсер sql, а от него плясал, компьютер же все равно парсит весь этот текст хотя бы в машинный код, как первый ответ тут предлагает https://stackoverflow.com/questions/16890718/sql-queries-to-their-natural-language-description
>>953089или https://github.com/search?utf8=%E2%9C%93&q=sql+parser
>>953081ебать ты умен, я спрашиваю как это можно применить?второй файндфейс запилить?
>>953154в аэропорте террористов распознавать, везде вместо пропуска, в кафешках и магазинах вместо дисконтки, логин на очередной бесполезный сайт. Везде, где нет соблазна подставлять фотку вместо лица.
>>936522 (OP)> поясните за нейроночки> нейроночка - массивТо есть я просто строю там какой-то охуенно длинный линейный многочлен с коэффициентами из массива и решаю его 60 раз в секунду? Поясните мне вот тут.
>>953175Двачую, еще можно сделать систему контроля опозданий на работу.
>>953192нет, это матрицы, а не массивы. Если в матане не шаришь - то иди нахуй просто
>>953193эту систему можно еще десятью способами запилить.
>>953205матрица - массив
>>953078где взял модель?
>>953089>>952791Получается к каждой БД нужно размечать и обучать свой датасет ? Размечать названия таблиц, полей и возможны данных внутри. Разве что общими для всех могут быть стандартные инструкции
>>951831Я тебе больше скажу, их со всего двача сюда манит, потом по тематике тонким словом размазываются. Детектятся по НЕЙРОНАЩХАМ на раз-два. А внутре у ней нейронка!
>>953353не думаю, зачем, можно определять тип переменной (ну, название и тд). Хотя забыл, это же тред про нейронки, так что зря мозги тебе морочу, так что мне кажется, что тут даже голый seq2seq отлично сработает без каких-то особых манипуляций (только токенизировать данные и сделать словарь из всех слов). Можно даже синонимичные фразы делать (а еще можно на вход word2vec подсовывать).https://github.com/google/seq2seq или какая-нибудь другая реализация, там отличная документация.
>>953393Ты против нейросетей внутри которой работают нейросети, в которой внутри нейросети, в которой внутри пушкин в которой внутри нейросеть...?
>>953435Рекурсивных, то есть.
Вы такие умные, где все охуенные программы и алгоритмы, которые вы пишете?
>>953213>>953316обучил
>>953416Спасибо тебе большое добрый человек. Скажи пожалуйста, давно ты этим делом занимаешься ? Я в данный момент можно сказать "вкатываюсь". Читаю книги до которых доходят руки, прохожу небезизвестный курс от яндекса, но пока с трудом себе представляю как можно от этого всего перейти к реальным прикладным задачам.
Что скажите за Leaf на расте?
>>953468уже года два-три лениво вкатываюсь, но безуспешно, было два заказа на апворке, но я не могу работать без палки и фейлю их.
>>953475В основное время чем занимаешься? Учишься/работаешь?
Может кто-нибудь нормально пояснить почему тут гнобят нечекопетуха? Не особо разбираюсь в ваших млях, хотя основа кое-какая есть, так вот интересно это тупой двачефорс типа углепетухов, шульгиных, бутылок, пидарашек, ТНН, еотов, членодевок, аниме, хаскеля, фриленсеров 300к\с или там реально хуета? Нечеткая логика так то намного лучше применима к реальному миру чем примитивное бинарное черное-белое истинно-ложно. Или такое двуклеточное мышление больше соответствует обитателям?
>>953884>нечеткофикс
>>953884>двуклеточное мышление больше соответствует обитателямЭто.
>>953479учусь (если это можно так назвать) в аспирантуре, работаю 20 часов преподом за скромную оплату, двачую капчу, предаюсь гедонизму
Короч, учу питон с целью обучиться ML Я добоёб и не то нагуглил?Или Питон норм?до этого только вводную часть с++ учил
Ребят , я тут свою первую в жизни нейроночку пилю (на питоне, который знаю на уровне студента совсем_даже_не_программиста, которым и являюсь, так что всё печально), и вот что нужно:Есть дохуя картинок в папке , нужно их объединить в единый датасет (для библиотеки keras, но , думаю, это не принципиально).Причём на вход сетке должно подаваться сразу две картинки. Как их так вместе попарно собрать? И как потом загрузить в единый файл ну или хотя бы в саму сетку?Во всех уроках только Cifar10 и mnist, которые библиотеками загружаются автоматически, а про кастомные датасеты чёт инфы мало.По идее, в каждой строке моего двумерного массива по два массива с картинками , разложенными на RGB, пикрил, каждая img- массив из пикселей в трёх каналах но как это библиотеке объяснить, да и просто что с чем перемножать нампи такие вложенные массивы не хочет понимать, если совсем простую сетку делать,- вообще не понимаю. никогда ничего не делал с массивами, которые вложены в другие массивыПомогите , пожалуйста!С меня нихуя, как обычновсем добра :3
>>954069А я пытаюсь дрочить нейросети, с целью изучить питон, лолИначе мотивации нетмимошкольник
Такой вопрос, имеются данные с перемешанными numeric(около 10) и dummie(13) переменными. Нужно построить регрессионные модели. Но для начала очевидно провести отбор переменных.Так вот загвоздка в том, что я не могу найти/вспомнить такой алгоритм, который готов прожевать кашу из numeric и dummie и вывести в итоге удобоваримый резульат.Из опробованных и успешно зафейленых методов имеются:LASSO, RFE, ridge, elastic, tree, borutaСуществует ли такой метод в принципе? Не выбирать же из ~30 переменных вручную. Также неплохо было бы если бы модель еще по ходу дела определила их совместную значимость. П.С. Все это делается в R
>>953914Аспирантура российская? ДС/ДС2? Занимаешься именно NLP, или дата саенсом в целом?
>>954105def read_jpeg(path): im = Image.open(path).convert('L') X = list(im.getdata()) X = np.array(X) return Xfor i in imgs: x_train.append(read_jpeg(i))x_train это у тебя массив. Не забудь преобразовать в нампи массив и нормализовать.
>>954069Всю жизнь хейтил питон, но ради ML пришлось его выучить все равно ебанутый язык%
>>954119спасибо!сейчас попробую
>>954069Если из МЛ интересуют только сверточные нейроночки и deepRL, то пистон норм выбор. Из остального МЛ в пистоне полтора алгоритма и тогда R предпочтительнее.
>>954069Выучи питон, потом R, это не сложно. Если осилил петухон, то и рку осилишь. Тут в треде какие-то чмони разводят языкосрачи. Я еще понимаю если бы языки дохуя отличались типа haskell vs c vs какой-нибудь lustre. А с такими кордеанальными отличиями как у питуха и рмакакс, при знании одного, второй осиливается за неделю.
Я тут мимопрокачусь со своим ebuchikursach.pyЕсли мы хотим распознать несколько объектов на пикче с помощью сверточной, нам ведь не сильно необходима предварительная сегментация? Она, как я понимаю, обучается находить какие-то признаки, и по ним давать вероятность что на пикче есть объект конкретного класса; а значит если будет два объекта, то найдет оба?
>>954400> предварительная сегментациянинужнопросто debug свой глаз
>>954282>>954260Большое спасибо
Я заинтересовался ML и нейронными сетями, прочитал несколько книжек и статьи иногда чекаю, но никогда не доходили руки до практики. И я решил что для диплома надо взять что-то связанное с сетями. Мне нужно создать что-то подобное:https://github.com/karpathy/neuraltalk2http://www.stat.ucla.edu/~junhua.mao/m-RNNhttp://demo.caffe.berkeleyvision.orgОднако, чтобы на выходе не предложения были, а просто тэги, связанные с этими изображением.Но проблема в том, что я не могу начать это делать. Граница между теорией и практикой слишком большая. Может кто посоветовать, что делать?
>>954551from slesarflow import *
>>954478>просто debug свой глазЧто, простите?
>>954115ДС, скорее НЛП, но пытаюсь все хоть чуть-чуть понимать
Продолжение >>954114Запускаю следующий код из fscaret для R:fsMod <- c("gbm", "treebag", "ridge", "lasso", "Boruta", "glm")myFS<-fscaret(train.sleepDF, test.sleepDF, myTimeLimit = 40, preprocessData=TRUE, Used.funcRegPred = 'fsMod', with.labels=TRUE, supress.output=FALSE, no.cores=2)При запросе myFS$VarImp выдает list()В чем может быть проблема, что делать?
Я так понял, что если так много кода мо машинлернингу на питоне, то мне нужно будет делать сервак и общаться с ним по 127.0.0.1:порт ? Чтобы распознавать всякие передовые свистоперделки с основной программы написанной на джаве или сии или не важно на чем короч.
>>954686Аспирантура по специальности? Тоже хочу легитимно вкатиться и изучать НЛП в няшном вузике. Ты есть в датасаенс-чате?
Подскажите наиболее эффктивные алгоритмы реализации нечеткой арифметики на ПК. Пилю сейчас ANFIS, при представлении нечетких чисел в виде гистограмм все виснет, треугольные числа не дают требуемой точности. Альфа-срезы я пока не осилил, дайте пейпер годный по ним.
>>952539> Машинное обучение от Yandexв первый раз вижу. Спасибо. Завтра обязательно посмотрю
>>954840Не совсем, у меня так себе в этом плане вуз. В датасайенс-чате нет, это на слаке который, там нормально или не очень? Есть знакомые магистры и аспиранты, там целыми группами делают различный машин лернин, чуть ли не все.
>>955377>Пилю сейчас ANFISНаиболее неудачная нейрофаззи-модель, м.б. потому что исторически первая. Чанг в свое время ее аж на Крее гонял из-за конских системных требований, если интересно - вот его оригинальный код http://www-cgi.cs.cmu.edu/afs/cs.cmu.edu/project/ai-repository/ai/areas/fuzzy/systems/anfis/ Квадратно-гнездовое разбиение входов и выходов безо всякой предварительной оптимизации реально нужного для этого количества нечетких множеств и прочий мрак. >Подскажите наиболее эффктивные алгоритмы реализации нечеткой арифметики на ПККак сторонник R могу порекомендовать https://cran.r-project.org/web/packages/sets/index.html https://cran.r-project.org/web/packages/FuzzyNumbers/index.html (если нужна именно арифметика), если таки системы нечеткого вывода, то https://cran.r-project.org/web/packages/frbs/index.html и https://cran.r-project.org/web/packages/anfis/index.html (последнее - довольно годная реализация ANFIS со множественными входами и выходами). >Альфа-срезы я пока не осилил, дайте пейпер годный по ним. https://cran.r-project.org/web/packages/FuzzyNumbers/vignettes/FuzzyNumbersTutorial.pdf даже с картинками. Но альфа-срезы не нужны же, они только в нечеткой арифметике используются, в системах нечеткого вывода для них нет задач.
Кто-то занимается вероятностным программированием? И как оное?
>>955645Благодарю за помощь.>Наиболее неудачная нейрофаззи-модельТо есть я не смогу её гонять на среднестатистическом нищепека (16 памяти) или она будет постоянно застревать в локальных минимумах? Если все плохо, то какую нейрофаззи сеть посоветуешь для реализации на плюсах для студента?
>>955678>я не смогу её гонять на среднестатистическом нищепека (16 памяти)Сможешь. Сейчас комплюктеры пободрее, чем в 1993 году. Просто она реально медленно работает, у меня в вышеупомянутом пакете для R - frbs, на одном и том же датасете разница в скорости между anfis и др. нейрофаззи моделями была раз в 50. >какую нейрофаззи сеть посоветуешь для реализации на плюсах для студента?Они все примерно одинаковы, суть-то одна - настройка свободных параметров нечеткой модели с помощью бэкпропагейшна или чего-то в этом роде. Не считая некоторых хитрых моделей типа DENFIS-а Касабова и FLEXNFIS-ов Рутковского а-ля пикрелейтед, http://gen.lib.rus.ec/book/index.php?md5=1AE4B0938189187AD7783F5F43F85D87
>>955678А, ну еще Пегат же, А. Пегат, "Нечёткое моделирование и управление" у него эта тема годно разобрана.
Сейчас на первом курсе втузаХотел бы вкатиться в МЛ Планирую в первую очередь взяться за линалгебру/общую алгебру, затем матан. Некст - английский и с++ добить. Имею представление обо всём, о чем написал выше, но энивей углубиться нужно. Дальше по плану идёт теорвер/матстатДалее уже браться за книжки по МЛПо алгебре взял "Введение в алгебру" Кострикина, по матанализу "Математический анализ" Зорина, по теорверу/матстату "Теория вероятностей и математическая статистика. Базовый курс" Кибзуна, по плюсам - базовый курс Шилдта, по английскому - "essential grammar in use" Рэймонда Мёрфи.Анон, рейт эту всю хуйню и укажи на недостатки. Чего не хватает/что заменить етц
>>955759Кресты вообще не в тему, пистон учи. Линал/матан/теорвер да, пригодится. Учебник, лучше он или хуже, но он и в Африке учебник. Так что не парься, вкатывайся.
>>955759>Анон, рейт эту всю хуйню и укажи на недостаткиТы не осилишь. Инфа 146%.
>>955759от Кострикина охуеешь, особенно после первого тома
А под каким редактором и какой набор инструментов используя вы кодируете это машинное обучение?
>>955761в шапке про плюсы написано же. Да и к тому же, это единственный яп, акромя школьного паскаля, с которым я знаком на уровне олимпиадных консольных задач.Общая алгебра нужна?>>955778Имею знания по линалгебре с первого семестра, общая алгебра идёт атм. Соответственно некоторую базу имею, да и обратиться в случае чего есть к кому за помощью.Энивей, анон, подскажи замену, если действительно не осилю. На русском языке, в английский на уровне технической литературы/документации пока не могу.
>>955787>Общая алгебра нужна?Нет. Линейная - на уровне манипуляций с векторами, матрицами и т.д.
>>955789А по плюсам всё-таки что? Непригодны вообще?
>>955792Для крутого разрабоччика МЛ-софта пригодны, тот же xgboost и MXNet на крестах сделаны. Для рядового слесаря-пользователя точно без надобности.
>>955794Спасибо, анон
>>955792Свои слои для caffe пилить если только.
>>955786vimtensorflowAWS
Что там насчет курсеры? Стоит проходить?
>>956472можно, но книжки читать всёравно придётсякурсера ориентирована на массовое потребление поэтому курс оче разбавленлучше бишопа/макая (RIP) читни, если ещё не читнул
Где-нибудь есть формула для примерного вычисления количества записей (datum) в learn set для сети на N нейронов на входном слое так, чтобы сеть реально обучилась и не уходила в переобучение? 500k записей на ~3500 нейронов мне, например, хватило идеально. Само собой все зависит от задачи, я знаю. Но хоть какие-то способы расчёта есть?
>>956542да, эту формулу можно вывести простой регрессией нейроночкойберёшь много пар чисел (#записей, #нейронов) и подгноняешь нейроночку к этому датасету
>>956549для этого мне нужно много примеров сетей, которые заведомо работают
>>951576>>952014>>952240>>951854Выбрал для себя Affinity propagation. Хоть алгоритм и медленный по сравнению со многими алгоритмами кластеризации(это также из-за моих кривых рук первака), но делает именно то, что мне нужно.Спасибо всем, я довольно много гуглил и изучал этот вопрос, но именно здесь я получил наиболее дельные советы)
Чёт мне кажется, что всё это хуйня ебаная. Дрочить 3 или 5 лет матан и прочую хуйню без какого-либо выхлопа и без каких-либо прикладных скилов, чтобы потом найти работу только в универе. Охуенная перспектива.А без хорошего математического образования погроммитсам вообще бессмысленно вкатываться. Можно, конечно, изучить scikit за пару месяцев и уметь вызывать кнн или к минс, но только потом как интерпретировать полученные результаты?И кому это нахуй надо? Только каким-нибудь совсем уж большим корпорациям, у которых офисы где-нибудь в Лондоне, Нью-Йорке или Сан-Франциско.
>>956658Это инересно, во-первых; во-вторых, сингулярность. СИНГУЛЯРНОСТЬ
>>956542Переобучение никак не зависит от размера датасета.
>>956542https://bratan.org/325
>>956660Далеко не всем в ML/Deep learning нужна математика в больших объемах. Есть фреймворки, где все нужные функции уже написаны. Ты вполне можешь использовать готовые примеры и строить годные модели, вернее ты обязан использовать готовое, т.к. придумыванием новых методов занимаются на теоретическом уровне в основном учёные. В нормальных местах, где серьёзно занимаются этой темой, отдельно существуют инженеры, которым не нужно куча лет математики, и исследователи
>>956658пoдростковый максимализм, или просто толстота зелёная?сколько тебе лет?
>>955759сразу читай бишопа, нахуй твою алгебру жидовскую
>>956658>Можно, конечно, изучить scikit за пару месяцев и уметь вызывать кнн или к минс, но только потом как интерпретировать полученные результаты?Посмотреть эти ебаные слайды Ына по поводу high variance и high bias. И все. Занятие реально слесарское, разница только в том, что приходится знать как билдить caffe и приготовить датасет в скриптовом языке. Ну и платят раз в 10 больше, чем слесарю-сантехнику.
https://2ch.hk/pr/res/956903.htmlhttps://2ch.hk/pr/res/956903.htmlhttps://2ch.hk/pr/res/956903.htmlhttps://2ch.hk/pr/res/956903.htmlhttps://2ch.hk/pr/res/956903.htmlhttps://2ch.hk/pr/res/956903.htmlhttps://2ch.hk/pr/res/956903.htmlhttps://2ch.hk/pr/res/956903.html
>>955703Большое спасибо за Пегата. Уже прочел первую треть, заходит легко, как китайские комиксы про кошкодевочек.
>>956876он прав как бэ
Как вообще вы видите своё развитие (деградацию) в следующие 5 лет в области мл?Вкатился, что-то изнутри всё не так радужно. Одна из больших проблем: не знаю как развиваться и что вообще считать развитием. Пробовал читать умные книжки из ОП-поста (и не только), всё как бы понятно, что с этим делать непонятно. Куда вообще пихать глубокие знания мл алгоритмов я же не на кафедре стэнфорда?
>>936522 (OP)Где можно почитать подробно, про сверточные нейронные сети?
>>936522 (OP)Анон. Тупой вопрос. Как заставить нейронку рисовать? Тупой ньюфаг в этой сфере, да. Запилил лишь самую базовую (банальный массив х на у с пересчетом нейронов и обучением).Как нейронке потенциально скармливать что-то и как получать на выхоод что-то? Что юзать и что прикручивать? Куда копать?