Очередной тред про хипстерские технологии, которые не работают.Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материалаВ чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examplesГде набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/Где работать? https://www.indeed.com/q-deep-learning-jobs.htmlГде узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихсяГде посмотреть последние статьи? http://www.arxiv-sanity.com/Где ещё можно поговорить про анализ данных? http://ods.ai/Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.Список дедовских книг для серьёзных людей:Trevor Hastie et al. "The Elements of Statistical Learning"Vladimir N. Vapnik "The Nature of Statistical Learning Theory"Christopher M. Bishop "Pattern Recognition and Machine Learning"Взять можно тут: http://libgen.io/Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.Предыдущий:https://2ch.hk/pr/res/1492664.htmlАрхивач:http://arhivach.ng/thread/412868/Остальные в предыдущих тредахТам же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
Анон, помоги, пожалуйста.Решил серьёзно угореть по нейрончикам и машобу.Где найти наставника, который живительными пиздюлями может помочь советом или при необходимости на пальцах объяснить вопросы?Кагглы и книжки это всё круто, но без какого-никакого руководства с практикой на данном этапе всё обучение рискует затянуться и уйти в глушь.В результате можно остаться и без знаний и без опыта решений проблем.Инб4 курсы и магистратура всяких мгу-яндексов
Есть области машоба где используется нетривиальная математика? топологии гомологии алгемы и тому подобное
>>1515594Машоб это статистика + полторы смежные дисциплины. Гамалогии и тапалогии там - не пришей к пизде рукав.
Что для вката на стажировки по мл нужно? месяца 3 занимаюсь байтоебством на си(такая программа в учебном заведении, недавно вот принтф переписал, юзая только маллок, фри и врайт). Начал питона душить, из матана знаю: собственно матан одной переменной, матан нескольких переменных, основы линала и ангема(без пространств всяких, просто вектора, матрицы, плоскости, поверхноси и тд). Сейчас тервер идёт в вузе, но там хуита вместо препода, так что сейчас ищу книжку нормальную.Мне бы понять, чего ждут от меня - желательно списком и небольшому гайду, как этому обучаться
>>1515598Машоб, зумерок, это функциональный анализ (т.е. операторная k-теория) + дифференциальная геометрия и топология.Это если мы не про детский сад вроде кминса с кнном говорим.
>>1515083>>1515963Ежедневные зумера вкатывальщики, лол.>>1515982> Машоб, зумерок, это функциональный анализ (т.е. операторная k-теория) + дифференциальная геометрия и топология.Ну ты и клоун, лол. Конечно, никакому опучкавшемуся долбаебу не запрещено формализовать нейроночки в виде пучков, только смысла в этом никакого. Точно так же можно сказать, что нейроночки это зависимые типы, да все что угодно, и даже доказать это. Вот только это никому не нужно кроме опучей типа тебя, которым главное хоть что-то спиздануть поперек сказанного, неважно есть ли в этом пиздеже хоть какой-то смысл. Школьничество и деградантство - все на что ты способен.
>>1516025>Конечно, никакому опучкавшемуся долбаебу не запрещено формализовать нейроночки в виде пучков, только смысла в этом никакого.Я про пучки ничего не говорил, я описал машоб как он есть на практике. Впрочем, ты не разбираешься ни в математике, ни в машобе, так что куда тебе понять смысл сказанного. Бросай, зумерок, лучше свои палочки и иди кнн с кминсом учи.
>>1515594Ну статьи разные есть, но прикладная ценность там почти нулевая. А ля зис https://arxiv.org/pdf/1806.05393.pdf
>>1516110> я описал машоб как он есть на практике. Маня, на практике машоб это импорт слесарьплов и главное слоев побольше, побольше! Не используются в нейроночках никакие гамалогии, тапалогии, не пизди.
>>1516138> Я не про макакинг говорил, а про машоб.И я про машоб. Где там гамалогии? Давай примеры. Именно в самих алгоритмах или хотя бы в их теоретических обоснованиях.
>>1516157ты про таблички в экселе? так это гомологии оказывается?жесть я крут, хочу теперь 200к в секунду получать
>>1516157> Многомерные пространства данных.Строки, таблицы? В самом сложном случае тензоры. Преобразования всего этого - максимум линал, всякие там транспонирования, повороты. Где ты там гамалогии тапалогии нашел, хуй тебя знает. Я ж говорю, пиздабол ты братишка.
>>1515078 (OP)бродяги шаломподскажите топовые проекты с нейронками, чтобы сделал и 300к/с стал опознование лиц с соц сетей запилили уже?
Так я снова выхожу на связь, в свете появления большого датасета https://habr.com/ru/post/474462/ русской речи с аннотациями я спрошу вновь. Насколько реальн опереобучить вот эту модель >>1509878 и озвучить пасту пучкова его голосом?[YouTube] Real-Time Voice Cloning Toolbox[РАСКРЫТЬ]https://github.com/CorentinJ/Real-Time-Voice-Cloning
>>1516223Ну ты у автора на гитхабе и спроси. Там в issues прикреплённая тема training from scratch, почитай, там какой-то хуй описывает свои эксперименты с добавлением голосов, в т.ч с разной частотой дискретизации итд. Тут тебе по делу не ответят, т.к конкретно с этим проектом тут никто не работал.
>>1516546Спасибо.Но иногда появляются вопросы, интернет ответы не всегда даёт.А уж местные так тем более. Кого спрашивать-то?
О, перекатили, ну заебесь. Уже думал не дождусь чтобы задать этот вопрос.For example, I printed the weights in all the neurons after the network had been fully trained. I wanted to see if the weights were similar between different training runs. It turns out that they were wildly different between runs, even though they still had similar prediction performance. Maybe this is well known, but for me it was really interesting to see for myselfhttps://henrikwarne.com/2019/10/27/classic-computer-science-problems-in-python/А разве градиентный спуск заключается не в том чтобы веса изменялись плавно? В чем подвох?
>>1516562Минимумов лосса в нейронках астрономически много, просто так совпало, что те, к которым мы сходимся примерно одинаковые по качеству.
>>1516737> Минимумов лосса в нейронках астрономически много, просто так совпало, что те, к которым мы сходимся примерно одинаковые по качеству.Так когда-нибудь и размерность Вапника-Червоненкиса откроют.
>>1516562> For example, I printed the weights in all the neurons after the network had been fully trained. I wanted to see if the weights were similar between different training runs. It turns out that they were wildly different between runs, even though they still had similar prediction performance. Maybe this is well known, but for me it was really interesting to see for myselfЧёт вшепот с этого сойбоя. Тоже поди зумер вкатывальщик?
>>1516742>зумер>хуюмер>сойбойБыдлецо, ибо аргументированно критикуй и советуй, либо съеби в /b.Так как раз такой мусор как ты, хотя даже там поадекватней.
>>1516823> Быдлецо, ибо аргументированно критикуй и советуй,Что тебе посоветовать? Ознакомиться с азами, прежде чем задавать вопросы уровня "что такое сигма"? Ну его нахуй, там букв много, лучше и результативнее сходу называть всех быдлецом.
>>1516836>Ну его нахуй, там букв много, лучше и результативнее сходу называть всех быдлецом.Да нет, проще всех называть зумерами, залётышами, вкатывальщиками, чем отвечать на вопрос или не отвечать вовсе - ведь надо хоть на сосаче самоутвердится.>Ознакомиться с азами, прежде чем задавать вопросы уровня "что такое сигма"? Подразумевая что азы без практики и опыта что-то значат. В том числе для работодателя.
>>1516848> Подразумевая что азы без практики и опыта что-то значат. В том числе для работодателя.А тебе ответ на этой параше даст опыт и практику? Ты вот протестуешь что я тебя зумером вкатывальщиком назвал, но ты ж и вкатывальщик и зумер. Что не так-то?
>>1516858>А тебе ответ на этой параше даст опыт и практику? Хотя бы где его искать.> зумерЗначение знаешь?
Машобчик деградирует. Все, что описано здесь https://nauka.tass.ru/nauka/7094735 как дохуя инновации, делалось ещё в 70е годы прошлого века, причем не только нейроночками. А из реально новых достижений только генерация несуществующей хуйни типа котов, сельдей итд.
>>1515078 (OP)Путин назвал стартапы в области искусственного интеллекта смелым вызовом для талантливых и увлеченных людей.«Эти люди должны быть уверены в том, что они нужны и получат поддержку в России», — подчеркнул он.Аж трусики намокли, побежал за пивасом и допиливать свой ИИ проект
>>1517120Пыня - лучший друг зумеров вкатывальщиков, лол. Пользуйтесь тем, что дедушка нихуя в теме не понимает. Скачали любую хуету с гитхаба @ получили грант.
>>1517230Это ж зашквар, ты что. Добровольно, да в один ряд с "создателями" "робота Бориса", ну нахуй.
Кроме аутомл есть еще одна тема, которая порешает зумеров вкатывальщиков - обучающиеся чему угодно приложения, которыми может пользоваться вообще любой желающий. Опять же, пока в виде игрушечного прототипа https://teachablemachine.withgoogle.com/ в качестве примера использования - уверен, в обозримом будущем такое легко и просто соединят с чем-то типа тех робособак, айбо, только "мозги" у них будут удаленные, в виде веб-сервиса, к которому собака/другая хуйня будет подключаться. И естественно, такая ебань будет в разы умнее любого зумера айбо и даже реальной собаки, и сможет легко детектить эмоции владельца и многое другое. Но основная суть подобных сервисов не в этом, а в том, что используя их любой желающий в полтора клика мышкой может решить 100% задач, решаемых зумерами вкатывальщиками, причем нахаляву.
Кроме фреймворков для веба есть еще одна тема, которая порешает зумеров вкатывальщиков - CMS-приложения, которыми может пользоваться вообще любой желающий. Опять же, пока в виде игрушечного прототипа wix.com в качестве примера использования - уверен, в обозримом будущем такое легко и просто соединят с чем-то типа тех робособак, айбо, только "мозги" у них будут удаленные, в виде веб-сервиса, к которому собака/другая хуйня будет подключаться. И естественно, такая ебань будет в разы умнее любого зумера айбо и даже реальной собаки, и сможет легко детектить эмоции владельца и многое другое. Но основная суть подобных сервисов не в этом, а в том, что используя их любой желающий в полтора клика мышкой может решить 100% задач, решаемых зумерами вкатывальщиками, причем нахаляву.
Лол, царь и правда надеется на зумеров вкатывальщиков. Так что вы давайте, вкатывайтесь, помогите Отцу Народов в очередной раз обделаться.> "Такие люди, безусловно, у нас есть, и их все больше и больше появляется. Это очень значимое изменение в нашем обществе в целом. Сегодня сотни тысяч - я не оговорился - сотни тысяч школьников, студентов, инженеров, исследователей увлечены наукой, идеей технологического прорыва. Они формируют команды, причём по всей стране, вместе делают важные открытия, создают свои новые решения и изобретения", - добавил Путин.https://ria.ru/20191109/1560760813.html
Думаю, пора переставать учить всякие джавы, шарпы и прочие ненеужные языки, а вкатываться в ИИ.. Ща пыня распараллелит потоки бюджета между военкой и ИИ и тогда в ИИ будут зп 300к/с, а остальные буду сосать хуйца))
>>1517777Ты же понимаешь, что деньги достануться серьезным людям, а зумерки вкатывальщики будут делать имитацию результата за дошираки?
>>1517779Да вот в нашем парашном НГУ, который не так давно стал известен скандалом, есть лабартория https://bigdata.nsu.ru/ - даже они выигрывают тендеры и нанимают всяких зумерков вкатывалщиков/иц и зумерки неплохо себя чувствуют там.. Чего уж говорить не о таких конторках-лабках, а о нормальных крупных фирмах, где щас ведуться отборы/стажировки для вкатывальщиков, даже сейчас туда взяли мою знакомую, которая вообще не ебет в машинном обучение, просто спиздила где-то или у кого-то вступительное задание и ей збс..Так что хуй знает.. Но может дошики для них еще завариваются, а пока временно дают покушать тортик)
>>1517788Даже ты прекрасно же понимаешь, что ни один нормальный человек с этим связываться не будет, ибо самозашквар. А нихуя не умеющие зумера вкатывальщики, что-то спиздившие и вкатившиеся, ничего серьезного никогда не создадут из-за отсутствия мозгов.
>>1515078 (OP)https://github.com/deezer/spleeterОбученная дизером нейрософтина на питоне которая разложит трек на инструменты. Нужно всяким ремиксерам и прочим музлоё...деламЯ ее нашел но как это теперь скомпилить? там голый код на гитхабеЯ музыкант я нипанимаюСделайте доброе дело , приведите это к человеческому виду типа вундервафыля.ехеЗаранее спасибо и простите если нитаво или нитуда
Очень хороший пример возможностей зумеров вкатывальщиков - всякие маняроботы типа бориса, алеши и прочий кринж. В области машобчика это будет нечто уровня скачали гугл дипдрим, обучили на картинах художниканейм@реее, асазнающаясибянейросеть обьявила себя художникомнейм и рисует картины в его стилепипл схавает.
>>1517809Я общался с этими людьми, именно сосальщицми вкатывальщицами и они не считают это самозашкваром, а наобоот гордятся этим и преподносят так, будто это их достижение туда попасть.. И везде пытаются это упомянуть.Ну да хуй с ними, пусть считают как хотят, их дело.. Говноеды, кто говно жрет, тоже не считают это зашкваром и спокойно жрут говно.. Может утрирую, но думаю это в эту оперу.Они то не создадут ничего - это факт. Тогда зачем их набирают, недоучек всяких, которые предпочитают казаться, а не быть? Это как индусы, только в машинном обучение?
>>1517817>Они то не создадут ничего - это факт. Потому что как только поумнеют и наберутся опыта съебут на х10 зарплату.А ты так и останешься лузером нищим.
>>1517821>как только поумнеют и наберутся опыта съебут на х10 зарплату.Манямир. Так бы каждый зумер вкатывальщик в кремниевую долину переезжал.
>>1517824Блядь, какой же ты тупой. Умные из системы съебывают, тупые остаются. В итоге система ничего не рождает, но при этом умный человек может получить из нее дохуя профита, потому что там фактически платят за то что ты учишься.
>>1517821Лол. Ну все.. ща пойду вкатываться, поумнею там, работая со всякими zero shot лернингами через пару лет, и сьебусь на х10 зарплату и перестану быть лузером нищим.Спасибо! ты открыл мне путь в долину богатства и успеха.
>>1517830>Умные из системы съебывают, тупые остаются.Маня, перечитай о чем я пишу. Как раз об этом - нормальный человек не будет связываться ни с каким сколенковым и прочими сказочными инициативами и маняпрожектами. Ты ж тупень, даже читать не умеешь, не то что понимать прочитанное.
>>1517835>Как раз об этом - нормальный человек не будет связываться ни с каким сколенковым и прочими сказочными инициативами и маняпрожектами.С хуя бы? Отличный способ набраться опыта за деньги
>>1517838нет, в сомнительные конторы НГУ вкатываться не хочу. во всякую помойку, где проводят пре-пре-стажировку(1 месяц и 50+ людей), потом пре-стажировку(3месяц-пол года и 10 человек, со стипендией 160/час, 8-16 часов в неделю), откуда уже отбирают 3-х лучших и их приглашают на просто стажировку тоже. Если и буду, то не через такие около-окопные пути, а напрямую через собес..
>>1517839>Отличный способ набраться опыта за деньгиПокажи хоть одного кто "набрался опыта за деньги" в этих подмывальнях, а сейчас работает в гугле / пейсбукаиресерш / у Маска / т.п.
>>1517844>Надо же с чего-то начинать.Надо. Но не с этих параш, о чем свидетельствует 0 случаев успеха такого пути.
>>1517842+ . Мне тоже интересно. А только только и слышишь о светлом будущем и о перекатах на + нолик в зарплате.
>>1517842Показать его ТВИТТЕР а может быть БЛОГ или ЮТУБ-КАНАЛ?Пиздец дауны, орут везде про зумеров и сойбоев, но при этом уверены, что если у кого-то нет твиттера, его не существует
>>1517853>пейперыЧегобля? 99,9% твоих пейперов это говно типа мы попытались но нешмагли и это требует дальнейшего изучения. Если ты еще не понял, что общедоступные публикации это говно, тогда я хз
>>1517876> 99,9% твоих пейперов это говно типа мы попытались но нешмагли и это требует дальнейшего изученияКакой же ты пиздабол, хоспаде... Это ты выше хуйню писал про гамалогии тапалогии в машобчике? Теперь очередной пиздежь. Ну покажи пейперы, где авторы нишмагли и прямо об этом написали. Маня, смысл пейпера как раз в том, что авторы таки шмагли что-то.
>>1517981> Покажи пеперы (бумагу), где пилят ноухау?Ты не только пиздабол и долбаеб, ты ещё и шизик, верующий в то, что никакие алгоритмы не работают без секретных, скрываемых авторами ноу-хау. Разумеется, примеров таких ноу-хау ты привести не сможешь.
Аноны, в чем разница между image processing и компьютерным зрением? Или это те же яйца, только в профиль? Оно связано с машобом? Если да, то насколько? Тяжело вкатываться? Перспективы? Если дрочить OpenCV, то на пиздоне или цепепе? (знаю оба языка) Насколько глубоко нужно нырять в матешу в случае с image processing/комп. зрением? Нужно учить смежные технологии, ныряя в комп зрение? Веб там всяких и прочее макакерство. Заранее спасибо.
>>1518160> без секретных, скрываемых авторами ноу-хауТак, теперь объясни мне, почему автор, копетолизд болонской системы, где за пару лишних доляров подставляет жопу, должен публиковать работающий алгоритм? Все, что рабочее сразу патентуется и продается, все что публикуется это говно, если ты еще этого не понял, то мне тебя даже не жалко.
>>1518252>image processing и компьютерным зрениемНу например генерация котиков или убирание шумов это процессинг, к кз не имеющее отношения>OpenCVСборник алгоритмов>Перспективы? Около нулевые, все это не работает, иначе бы уже давно были автономные машинки
>>1518258>Около нулевые, все это не работает, иначе бы уже давно были автономные машинкиНо ведь уже есть прототипы, причем довольно неплохие. Вон даже Джордж Хотц за 1 килобакс разработал нихуевый софт для автономной машины. Проблема в принятии этой хуйни на законодательном уровне, ну и нейронки поднадрочить надо
>>1518255>Так, теперь объясни мне, почему автор, копетолизд болонской системы, где за пару лишних доляров подставляет жопу, должен публиковать работающий алгоритм? Никто не мешает тебе сначала запатентовать, а потом опубликовать пейпер. Все равно в патенте детально расписаны все делати, и любой может получить эту информацию.
>>1518268Только патенты в области нейронок обходятся элементарно. Я помню как-то изучал один патент на предмет его обхода, придумал даже что-то, а через полгода этот патент просто безнадежно устарел. Сейчас я даже с этим не заморачиваюсь - один хер год-два и патент самим авторам уже не очень нужен
>>1518268>детально расписаны все делатиНе ври, в патенте как раз детали и не раскрываются или умышленно вводят в заблуждение>>1518262>Но ведь уже есть прототипыПеар и говно, ничего стоящего нет, если тебе нравятся автономные машинки, возьми игру типа Евро Трак Симулятор и напиши бота который доведет твою машинку до пункта б.
>>1518270>патенты в области нейронокТоесть там действительно описали уникальную технологию, или это был очердной патентый высер?
>>1518285>Не ври, в патенте как раз детали и не раскрываются или умышленно вводят в заблуждениеПатент должен быть настолько детальным, чтобы чтобы любой профессионал из данной области мог воспроизвести и воспользоваться твоим алгоритмом. Иначе тебя нахуй пошлют и не дадут патент.
>>1518297>мог воспроизвести и воспользоваться твоим алгоритмомКак раз и нет, все детали скрываются и описывается только принцип, воспроизвести иы его не сможешь. Как пример смотри патент Яна Слута по сжатию Пегий Дудочник, привет
>>1518255> Так, теперь объясни мне, почему автор, копетолизд болонской системы, где за пару лишних доляров подставляет жопу, должен публиковать работающий алгоритм?Ты помимо того что пиздабол и долбаеб, ещё и калмунист, как думаешь, почему я не удивлен?> Все, что рабочее сразу патентуется и продается, все что публикуется это говно, если ты еще этого не понял, то мне тебя даже не жалко.Ок, пиздаболушко, покажи мне патентованный алгоритм машобчика, который работает лучше любых, доступных свободно. Или такое только у Ротшильдов, иллюминатов и рептилоидов есть? Тебе вообще лет сколько, школопитек?
>>1518386>почему я не удивлен?Потому, что ты матанопетух>покажи мне патентованный алгоритм машобчика, который работает лучше любыхПоказал тебе за щеку
>>1518499Одна из самых смешных вещей в зумерах - вы можете полностью обосраться и слиться, но при этом все равно считаете петухами не себя, а кого-то другого. Торжественно вручаю тебе ложку с дыркой и пикрелейтед, честно заслужил.
>>1518698>В рашке те, кого тут называют бумерами, это совки.А вот и хуесосный русофоб и ксенопатриот нарисовался. Пеперы прочитал?
Заметили, как учебные заведения стараются соответствовать курсу? Матанодауны боятся потерять работу, если будут сопротивляться режиму. После вузика они смогут работать только в шаурмячной.https://www.youtube.com/watch?v=KcTRbw_Je9A
>>1518765>русофобСейчас бы любить тоталитарную парашу, которая запугивает норот тем, что за рубежом ЕЩЕ СТРАШНЕЕ.
>>1518786>которая запугиваетКто тебе не дает уехать? А? Дай угадаю, ты на хуй со своей математикой нигде не нужен?
>>1518813Предположим от противного, что существует математик хуесос. Каждый хуесос является социоблядью. Но каждый математик является аутистом. Следовательно существует по крайней мере один аутист являющийся социоблядью. Но аутист не может быть социоблядью по определению. Мы пришли к логическому противоречию, следосвательно математик не может быть хуесосом.
>>1518825>Но аутист не может быть социоблядью по определениюFalsehttps://ru.wikipedia.org/wiki/%D0%9A%D1%80%D0%B8%D1%81_%D0%9A%D0%B0%D1%81%D0%BF%D0%B5%D1%80%D1%81%D0%BA%D0%B8Тот еще социоблядок был
Как нормально выучить модель среды? В памяти становится слишком много объектов из самого начала эпизода, поэтому сетка забивает на то, что происходит дальше.Есть ли какой-то PER, но не для агента, а для модели среды?
>>1518803Да и похуй, к чему стадам дары свободы, все равно движня вся в слаке а не на анонимной помойке. Пусть эти две нейросетки завайпают тут всё.
>>1518988>движня вся в слакеНе знаю на счет слака, но в телеграме одс я ничего кроме ярмарки тщеславия каких-то токсичных хохлов не увидел.
Ваша проблема, зумерши, в том что вы веруете, что для вкатывания как вы это называете, обязательно нужна какая-то секта, ебырь итд. О, слака, о, шад, о, кукагл. На самом деле просто выбирается задача и решается. Попутно догугливается непонятное, в свободном доступе гораздо больше полезной инфы по любому вопросу, чем принято думать, как вариант, можно спросить и у авторов (алгоритма итд), причем практика показывает, что в 95% случаев авторы охотно отвечают и поясняют по любому вопросу (конечно, бывает что и просто игнорят, а если тело из СНГ можно наткнуться на параноика, который напрягается и начинает выяснять кто ты такой и какого хуя тебе надо, лол). Учитесь мозги использовать, внезапно в голову можно не только тайд кушать.
>>1519151>Ваша проблема, зумерши, в том что вы веруете, что для вкатывания как вы это называете, обязательно нужна какая-то секта, ебырь итдЭту пасту сочинила нейросетка? Здесь еще есть живые люди?
>>1519151Внезапно двачую. Именно так я и вкатывался - взял пейпер от гугла и стал пилить. Пилить, конечно, заебался, зато теперь я считаюсь охутельным экспертом и получаю 300к/сек.
>>1519151А что ты имеешь против шад и каггла? Обе эти штуки дают нехило так просраться. Неосиляторы как всегда негодуют?
окей, можете дать примеры задач, ато я кроме распознавания картиночек и голоса ничего не могу придумать
>>1519403поиск людей в вк по фотке ебальника, генерация текста/картиночек, superresolution, анализ/пересказ текста, чатбот для развлечения/ответов на вопросы по теме, игра в атари>>1519405open ml course от ods, cs231n
>>1519403Я именно об этом. Ты даже не знаешь, зачем нужен машоб вообще и тебе в частности. Эээ, ну там картиночки распознавать, голос... В тебе проблема, зумер.
>>1520086Тоесть вечно неработающее кривое никому ненужное г... тоесть функционал, которым никогда не пользуешься. Ясно понятно.
>>1520086>Кредитный скоринг, ранжирование поисковой выдачи, рекомендательные системыВкатился. Испытываю омерзение ко всей ИНДУСТРИИ. Блять, как же горит от этого говна. Хобби и искусство превратилось в клепание поделий для наглых ублюдочных коммерсов, сука, пиздец, горит с этого всего, не хочу. В НИИ тоже не хочу, там денег нет. Паскудная работа, грязная и монотонная, говполопатение кода, сука, да кто блять что за ебучий дегенерат вообще придумал что ВЫУЧИЛСЯ НА ПРОГРАММИСТА 300к нсек с друзьями в кофешопе сижу))) потом на гироскутере заезжаю и ебу еотову))) Ох эти ебаные хайпожоры, ох сука, как горит... На 3-м курсе матфака уже осознал в какое ДЕРЬМО блять попал, что сука всех задротов будут нещадно экспуатировать тупые комерсы или госпараша. Так и вышло.Забудьте нахуй про ебучий стереотипный пиздеж, что программирование - это путь в рай. Просто сука забудьте нахуй это говно.И сука каждая ублюдочная параша хватает новомодные якобы технологии и блять щеголяет ими сука еще и смеют требования выдвигать, я ебу типа котлин не менее 5 лет серьезных проектов.Сука да кто вы такие, говно ебаное, высрали очередную хуйню и типа позиционируют себя как мастодонты на рынке, а у самих один пердеж в виде каких-то там манявыдуманных проектов, которые нахуй никому не обосрались и никаким котлином там не пахнет, но туда же сука лезут, как же. Они же ебать все такие продвинутые.Просто пиздец. Все эти ебаные ебала hr-ов и псевдодиректоров с таким ебать видом, будто они второй гугл, не меньше. Ой, просто блять я вообще в ахуе. Короче в своем мухосранске ради прикола когда только закончил пошел в сраную шарагу, занимающуюся светом, короче электричество для города дают.Так вот, сидит самодовольный надменный хуесос с черными усами - директор. Нихуя не разбирается, и начинает выебываться "у нас серьезная работа", ой пиздец. Позвал "типа тимлида". Пришел хуесос такой типа шарящий и начал затирать что надо решить задачу с помощью bat-файлов.Я чуть не обоссался. А столько пафоса было, пиздец. Но это в мухсоранске так только.
>>1520119Отращивай сиськи и жопу. И будет счастье. Моя знакомая просто ходила по конференциям и тусовкам прогерским всяким, трясла сиськами и жопой и ее взял какой-то мужик к себе в лабораторию работать, где гранты 100-300млн на 3 года, а она еще студентка) Изи вкат в машоб
>>1517815https://colab.research.google.com/github/deezer/spleeter/blob/master/spleeter.ipynbв 4 строчке ссылку на мп3 делаешь и таким образом скачиваешь, или сам загружаешь со своего ПК.в 7 строчке audio_example.mp3 меняешь на имя своего файла и запускаешь. всё можно скачитвать (слева менюшка там будут файлы в папке output)
Двачик, очередной вопрос по математике для ml. Всякие базовые штуки я вроде матана, линала и теорвера я вроде как освоил, какая ещё математика бывает полезна в этих ваших датасаенсах. Где-то слышал про теорию информации, стоит ли изучения? Или на что лучше обратить внимание, заранее спасибо.
https://www.coursera.org/specializations/mathematics-machine-learning?https://www.coursera.org/learn/datasciencemathskills
Спасибо за вниманиеимеется 2 оценки: для обычной валидации и скоринг на кагле, на первой оценке разбил тренировочный набор на тестовый и валидационный, результат на первой пикче, обучив модельку полном тренировочном и получив вероятности принадлежности к целевому классу(использовал predict_proba в xgboost) и запихнув сие на кагл получил пик2, почему, как?
>>1520086Недалеко от распознавания картиночек и голоса ушел, чет придумать лучше не хватило фантазии да
Двач, я придумал стартап, но у меня нет нихуя, где можно опубликовать идею, чтобы найти пару сеньоров ученых и заодно богатого миллиардера, чтобы профинансировал мне релокейт в штаты и всем зп?
>>1521251Короче, хочу создать робота судью, который будет определять человек скамер или нет, анализируя пульс, давление, и мозговую активность, задавая вопросы, и выплачивать компенсацию, тем кого наебали, если получится, думаю у навального отберут квартиру чтобы расплатиться с путиным
>>1521297Дурак что ли? Пыньке все триллионы отдать придется, как и остальным чинушкам. Даже не думай.
Были же нейроночки, делающие видео по текстовому описанию. Интересно, какой кринж получится, если такую нейроночку заставить визуализировать blood electric Сиратори.
>>1521297>>1521329Откуда вы лезете, клоунессы? Или это один мудель пишет от имени разных зумеров вкатывальщиков? Малолетняя хуета мало того что предлагает нереализуемую хуйню, так этой жертве аборта и ЕГЭ ещё и Навальный чем-то помешал. В Рашке реально нужно всем зумерам интернет отключать, может быть хоть каждый сотый тайдмен книжки читать начнет...
>>1521338>Навальный чем-то помеша>Ряяяя, нешметь пра сисяна гаварить плаха111Манька, ты ресуср со Шваброй не перепутал, там все твои друзья в коротеньких штанишках.
>>1521370Не-не, вчерашний зумер вкатывальщик - сразу нахуй. Сегодня уже новый будет. Тебя даже обоссывать лень, да тебя и так жизнь обоссала - такой маленький, а уже против прав и свобод, за сапоги барина в жопе и гостеррор. Вкатывайся лучше в лахту сразу, или в петушиную юнармию, больше пользы будет. Машоб не твое, проходи мимо. Все, свободен.
>>1521390Странно, я ведь разделил обучающий на 2 пакета и на 1 обучал, на втором тестил(который модель не видела)
>>15212101) данные для тестирования на кегле могут отличаться от размеченных данных для обучения. Посмотри, может у тебя по времени (TransDT_day) выборки смещены.2) просто разделение не трейн-тест не всегда помогает, ведь ты сам отбираешь алгоритмы по их качеству на отложенной выборке, что приводит к оверфиту. Используй train-test-valid разделение или кросс-валидацию.
машобу минимум лет 20 надо чтобы что-то мог действительно полезное делать, а вы все про актуальность, путина, ИИ захватит всех, смешно честно говоря. ваши сети оч примитивные, тупой комбинаторикой ничего не решить
>>1521708Cпасибо, попробую все, но есть страх что придется опять лезть в "шаманство" над признаками, вводить новые и т.д
>>1521842>машобу минимум лет 20 надо 50 прошло и еще 20 нужно, что бы понять, что это нерабочее говно?
Где посоветуете задрачивать задачки на алгоритмы для собеса в, например, яндекс?На литкоде? Или есть где-то можно найти более актуальные для яндекса задачи?
>>1521842> машобу минимум лет 20 надоНачнем с того, зумерок, что статья Маккаллока и Питтса, с которой начался машоб, вышла в 1943 году. Даже работы Розенблатта и Уидроу это 50-60е годы, это уже готовые аппаратные реализации моделей машоба.
>>1521944Машины обучаются только в кафешках!! Сидеть в ноуте в кафешке, попивая кофеек, чаек, смузи и обучать машины!
>>1521901>вышла в 1943 году. Даже работы Розенблатта и Уидроу это 50-60е годы, это уже готовые аппаратные реализации моделей машоба.На аппаратном уровне тех годов или просто теория?
>>1522345> На аппаратном уровне тех годов или просто теория?На аппаратном уровне тех лет, да. Не теория, а именно готовые рабочие железные ящики. Я ж даже фотку адалайна приложил. Вот видосы, сам дед все рассказывает и показывает. https://m.youtube.com/watch?v=hc2Zj55j1zU&t=14shttps://m.youtube.com/watch?v=skfNlwEbqck
Двач, я кажется создал исскуственный интелект, он не дает себя запруфать, автоматически выключает экран когда я пытаюсь его сфоткать? Вопрос, как мы его устраним?
Ребята пацаны хлопци, как правильно считать параметры конволюцийных конволютивных конволюционных конвелю.. конво... свёрточных шаров когда их нужно несколько штук друг на друга добавить? Например у меня выход должен быть в формате 128х128, как правильно залепить первый и второй слои перед выходом? Не откажусь почитать что-то по этому поводу если посоветуете что конкретно. Извиняюсь за тупые вопросы кстати.
Бумеры идут нахуй, а машопчик победно шагает по земле русской.https://www.youtube.com/watch?v=87byvffej3kНаконец-то вековые проблемы гигантских очередей (ведь все знают что гигантские очереди в пятёрочках только из-за того что дурачки их тупо не замечают) и докидывания картошки в пустой ящик были разрешены с помощью Искусственного Интеллекта.Ура, товарищи!А ТЫ кидал аллерты по трешхолду?
>>1522722Какие же машобисты чеды. Посмотрите сколько у него за новеньким макбуком протеиновых коктейлей.
>>1522787Сначала берёшь чуток данных и пытаешься оверфитнуть. Если не получил точность 100%, значит модель или пайплайн подачи данных гавно - ишешь баги. Если получил, значит данные гавно - берёшь вилку и чистишь.
Где натырить текст из русской википедии?https://linguatools.org/tools/corpora/wikipedia-monolingual-corpora/какой-то кастрированный датасет, например статья о Москве на 300 символов всего.Пытался вручную распарсить дампы (https://dumps.wikimedia.org/backup-index.html), но там тонны синтаксического мусора, есть у кого готовый скрипт?
>>1523227А что, мало готовых парсеров? Пару лет назад пользовался вот этой хуйней на перле https://github.com/hghodrati/wikifil для русского текста может быть стоит ещё какие-то автозамены добавить.
>>1523347>автозаменыКулстори, посмотри вот на этот парсер. Костыль на костыле. И ещё пару автозамен.https://github.com/attardi/wikiextractor/blob/master/WikiExtractor.pyС русским все-равно косячит
Как правильнее всего передавать данные с бэкенда при статической генерации страниц? Например, мне нужно чтобы сервер посчитал какие-то данные, а js на фронте построил по ним график. Можно добавить в DOM какой-нибудь неотображаемый элемент, но может есть еще какие-то варианты?
Помогите зумеру-вкатывальщику! Нужна модель-классификатор на графах, какие самые простые решения в этой области существуют?
>>1524223так это для кластеризации обычно используют, не?Да и у меня графы разные каждый раз, там такое затратно запускать
>>1523014>Датасайентисты да, в треде мало кто.Я не понял, а что за контингент ИТТ капчует? Тут одни вкатывальщики, что-ли?
>>1524317Что за вопрос? у тебя какой уровень знаний? минус первый чтоли?https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html
Всех датааутистов заменил автомл и тред умер(Алиса, придумай мне pet-project, связанный с обучением с подкреплением.
>>1525572>обучением с подкреплениемкороч, если прям щас не начнешь учиться, приеду и выебу тебя черенком от лопаты.
Эт самое, мне тут диплом писать надо. Какую тему можно взять из около дата саенс? Научник высрал какую-то хуйню из дискретной математики, говорит или это бери, или сам придумай что-нибудь.Я сам всё хотел вкатиться в нейронки, но хуй забивал, а сейчас с написанием диплома действительно вкатываться придется в какую-нибудь тему, лучше уж понюхать нужно оно мне или не нужно по жизни, чем вообще говно какое-то писать, правильно?
Анон, посоветуй, пожалуйста, хорошего учебника по графам, где от простого к сложному показали бы и рассказали, что это такое, с чем едят и как применять.
>>1526320Тебе что-то типа пикрелейтеда надо. Не просто теория, а с практическим применением. 6ая часть http://staff.ustc.edu.cn/~csli/graduate/algorithms/book6/toc.htm
>>1525632Сто раз уже предлагал зумерам вкатывальщикам сделать детектор брухли. Берутся фотки лиц порномоделей и делятся на два класса - с брухлей и без. На этом датасете тренится модель, часть используется для валидации. Если работает, все, профит. Суть в возможности по фотке лица рандомной сельди сдетектить, есть ли у нее брухля.
>>1515078 (OP)Почему искуственный интеллект и нейросети начали форсить именно в последние несколько лет, хотя литература по нему была написана еще в 80ых ? В чем подвох ?
>>1527137>В чем подвох ?Появились мощностя и нужно было подменит эффективно работающие на тот момент Экспертные Системы неработающим в реальности, но теоретически обоснованным влажными воображением матанопетухов говном.
>>1527193> эффективно работающие на тот момент Экспертные Системы Пиздец ты клован. Давай по-существу.1) кому "нужно было" это делать и зачем? Масонам, аннунакам? Цель какая? 2) что могут ЭС такого, чего не может машоб?
>>1527271>что могут ЭС такого, чего не может машоб?Полная воспроизводимость логического вывода и предсказуемость.>кому "нужно было" это делать и зачем?>Цель какая?Почитай историю MYCIN, пердаки разорвались у дипломированных докторов которые внезапно осознали, что могут оказаться на морозе.
>>1527279> Гибкость настройки раз правило взял и отключил, раз взял и подкорректировал>>1527280> Полная воспроизводимость логического вывода и предсказуемость.Любая модель на нечеткой логике это позволяет. > , пердаки разорвались у дипломированных докторов которые внезапно осознали, что могут оказаться на морозе.И они решили наебать все человечество, и у них получилось, ага. И все об этом знают вплоть до двачного шизика кефирщика, и никто ничего не может поделать, даже доказать работоспособность ЭС. Очень правдоподобно, да.
>>1527303> Типичное врети11, впрочем ничего неожиданного.Ну ты сам посуди, как некая очень ограниченная в своих возможностях группа людей может контролировать все человечество? Что-то уровня "как управлять вселенной не привлекая внимания санитаров". Если что-то работает, что мешает тебе взять это что-то и применить, чтобы все охуели? А то что ты несёшь, в том числе про математику и эфир, это полный бред, шуе ппш итд.
>>1527306>эфир, это полный бред,Под влиянием идей Фарадея Максвелл предположил, что эфир представляет собой среду, вращающуюся вокруг магнитных силовых линий, причем каждую единичную силовую трубку можно представить как изолированный вихрьПерестань, называть это бредом такое себе.>может контролировать все человечество?Механизм я не знаю, возможно торпедировали естественные процессы, поскольку когда у докторов подгорели пердаки, был симпозиум где ставился вопрос о этичности ИИ в медицине, ну там и порешали, мол не этично, зря мы что ли 6 лет учились + ординатура. >чтобы все охуели?Вот кого ты соберешь заменять, те действительно охуеют.
>>1527312> был симпозиум где ставился вопрос о этичности ИИ в медицине, ну там и порешали, мол не этично, зря мы что ли 6 лет учились + ординатура.У тебя же наверное и пруфы есть на закон или что там, запрещающий использовать машоб в медицине, да?> Перестань, называть это бредом такое себе.Мань, если кто-то опровергнет результаты эксперимента Майкельсона-Морли, о нем всей школоте будут рассказывать, в любом учебнике его портрет будет рядом с другими великими физиками. Про такую мелочь как нобелевка я вообще молчу. Вот только вы, адепты ппш и шуе кроме бреда за сотню лет ничего не сделали. Как так-то?
>>1527310> Любой случайный лес это позволяетМного что это позволяет. В машобе не такая редкость интерпретируемые модели.
>>1527325>за сотню лет ничего не сделалиЧто адепты СТО сделали за 100 лет? Как там физический вакуум поживает?>на законЖопочтец, какой закон?
>>1527347> Жопочтец, какой закон?Ну ты ж кукарекаешь, что ИИ в медицине использовать неэтично, на конгрессе аннунаков решили. Пруфов хочется, Билли. > Что адепты СТО сделали за 100 лет? Ты жопой то не крути. Если СТО так просто опровергнуть, почему никто этого не сделал? Я так наоборот читал, давно правда, что эксперимент Майкельсона-Морли, перепроверяли, но уже на современном сверхточном оборудовании. И нихуя не нашли, никакого кефира. Плохо искали, наверное.
>>1527355>Если СТО так просто опровергнуть, почему никто этого не сделал?>никакого кефираВ какой среде распространяются электромагнитные волны в вакууме?>на конгрессе аннунаковИщи сам, мне лень. Будешь про Майсин читать, найдешь.
>>1527372> Ищи сам, мне лень. Я даже классический слив засчитывать не буду. Ты другое скажи, вот если кто-то, пусть очередной зумер вкатывальщик применит ЭС в медицине и, если тебе верить, получит результат превосходящий любое применение машоба, то что? Рептилоиды за ним пошлют черные вертолеты, киллеров с запахом могилы, чтобы гои ничего не узнали? Или как ты себе это представляешь?
>>1527413>любое применение машобаКакое там применение машоба в диагностической медицине? Не поиск там раковопиксельной поеботы на картинке, а реальный анализ и постановка диагноза.>Или как ты себе это представляешь?Несколько академиков-ретроградов выступят с критикой и тоби пизда, объявят тябя лжеученным, а твою йобу ересью.
>>1527563> Какое там применение машоба в диагностической медицине? Не поиск там раковопиксельной поеботы на картинке, а реальный анализ и постановка диагноза.Ну я ж говорю, если тебе верить, то любой, применивший ЭС в медицине, просто совершит революцию и озолотится. Но что-то желающих нет.> Несколько академиков-ретроградов выступят с критикой и тоби пизда, объявят тябя лжеученным, а твою йобу ересью.Тебе со школьной парты виднее, наверное. Как ты себе это представляешь в мировом масштабе? Полтора пердуна что-то кукарекнут против легко воспроизводимых фактов и все?
>>1527567>Но что-то желающих нет.Вот и мне объясни, почему? В 80х были, а сейчас нет.>Полтора пердуна что-то кукарекнут против легко воспроизводимых фактов и все?Да, так все и работает, достаточно несколько пердунов, но тебя абассут все кого ты собрался заменить.
ПЕРЕПУТАЛ ОБУЧАЮЩУЮ ВЫБОРКУ И КОНТРОЛЬНУЮ@МОДЕЛЬ КОЕ-КАК ОБУЧИЛАСЬ НА 100 ОБЪЕКТАХ@УШЛА В ПРОД@НИКТО НЕ ЗАМЕТИЛ, ВСЕ ДОВОЛЬНЫ
>>1527629Я как-то в модели монте-карло забыл random seed'ы менять. Т.е. она все считала, но нихуя не рандомно. Клиент год с ее помощью успешно торговал.
>>1527572>Да, так все и работает, достаточно несколько пердунов, но тебя абассут все кого ты собрался заменить.К Бояршинову на ютубе все альтернативщики ходят и никто их не обоссывает. В мире дохуя эксцентричных бизнесменов с шальными деньгами, готовых вписаться в любой кипиш с надеждой прославиться. Ну допустим в штатах все поделено, но есть куча других стран, которые не прочь были бы сэкономить на врачах.Проблема ЭС в том, что они не работают. Они страдают от классической проблемы длинных хвостов: ты легко делаешь систему, работающую в 80% случаев, но дальше каждый процент дается тебе все тяжелее и тяжелее. Длинные хвосты везде, от закона Цифпа (первые 1000 популярных слов встречаются в 4 случаях из 5), до программирования (почему с 10 годами опыта ты до сих пор читаешь документацию новых библиотек?) и медицины.А далекие от машоба люди склонны эту проблему недооценивать. В итоге они пилят примитивный rule-based переводчик на сотне правил, и "бля, всего сто правил и так охуенно работает, ща возьму бабок, запилю аж ДЕСЯТЬ ТЫСЯЧ правил, переводить будет идеально". Типичный научпоп 60-х полон подобной хуйни. И она никуда не делась, вот пример такого пациента: >>1526446 Это чистое создание открыло для себя L1-норму и уверено, что вот ща, немного допилить...А дальше оказывается, что десять тысяч правил запилены, но нихуя не работает. Все время попадаются какие-то исключения. Нужны миллионы правил. Ну и тут такое дело, имея устройства каменного века ты можешь построить стоунхендж, но вот с пивным ларьком будут проблемы - для пивного ларька нужны совершенно другие материалы и технологии. Твои ЭС из 80-х - это такие египетские пирамиды из каменного века информационных технологий.
>>1527646Ебать тебя понесло, про Этап 3 Харкевича ченить слыхал, ну или Ватсона Ибмовского? Это НЛП. Вот объясни, как твой мошоб сможет в грамматику естественного языка? Ты же понимаешь сколько парадигм у например существительного? Хотя все это выражается простыми правилами грамматики.>десять тысячЧто ты там на такое количество нафантазировал?>это такие египетские пирамидыОк, покажи специальности которые были заменены нейронками и машобом.
>>1527680>Вот объясни, как твой мошоб сможет в грамматику естественного языка?Во что, простите? Мой пост был о том, что rule based системы не работают, а ты меня спрашиваешь о том, как машоб будет определять ПРАВИЛА склонения.Это же каждый человек умеет, подойдешь к водителю маршрутки, и такой, мол, слышь, сергеич, какая парадигма склонения у существительного "лес", и он такой сходу отвечает.Типа, разбить речь на слова, слова связать правилами, обозвать это все грамматикой и сказать, что вот это и есть язык. А то, что язык реальных людей не вписывается в систему - ну так это мы мало правил написали, ща еще напишем. Таак, эта хуйня склоняется не так, как надо? Мань, иди посмотри в национальном корпусе языка, это так или этот Васян случайно так написал. Встречается? О, давай новое правило грамматики запишем. И так далее.Наймем десять тысяч мань, которые вручную будут забивать правила в систему, и все заебись будет. Проблема в том, что когда они забьют, наконец, все правила, чтобы описать национальный корпус языка, выяснится, что подростки придумали новый сленг, который система опять нихуя не понимает.Это все не работает. Если точнее, можно собрать миллион людей и построить пирамиду, только вот пирамиды в Гизе будут так же далеки от небоскребов Нью-Йорка. А вот фахверковые дома немецких средневековых городов - значительно ближе, у них есть каркас, например. Но что интереснее позырить быдлу, пирамида или трехэтажный домик? Конечно пирамида. Ты про фараона слыхал епт, он семь тыщ лет назад такую хуйню строил, весь твой древний рим - хуйня.
>>1527646> что-то объяснять шуе кефирщикуНу, такое. >>1527572> Вот и мне объясни, почему? В 80х были, а сейчас нет.Потому что практика показала, что это нерабочее говнишко. Вот этот >>1527646 тебе правильно пояснил. Нет никакого заговора, власти не скрывают. Все проще - ЭС суть говно из жопы, и хуй ты этот факт опровергнешь.
>>1527680> Вот объясни, как твой мошоб сможет в грамматику естественного языка? А что может? ЭС? Ну реализуй это, нассы за шиворот всему пейсбукаиресершу, покажи что твой подход лучше. Никто тебе не мешает это сделать, никакие рептилоиды.
>>1527785>Ну реализуй этоТак, падажи, все было реализованно в 80х, твоя версия почему все не взлетело?
>>1527785>Никто тебе не мешает это сделать,Манюнь, я это делаю>>1527776>что практикаНу вот что ты несешь, тебе не стыдно?>>1527764Вот поехавший это как раз ты, не читил твое там как его.
>>1527790> твоя версия почему все не взлетело?Не работает. >>1527794> Манюнь, я это делаюНу и как успехи? Судя по тому, что ты не миллиардер, не очень, да?
>>1515078 (OP)Сап. Есть какие-то готовые проекты для интересных кейсов? Просто поугарать, потренировать. И чтоб датасеты собирать не надо было, ну или хотя бы легко было собрать. Заранее спасибо.
>>1527976>Он уже давно может.Примеры на нормальных языках, а не аналитическом, убогом, абоссаном, инглише в студию. Ну романские например.>>1528019>лучше чем статистический с нейронками?Конечно, статистика чего, вот правда, как ты себе это представляешь?
>>1528019>>1528124Ну типо, ка ктвое нейроговно определит, что с существительным согласуется прилагательное стоящее справа, а не слева например?
>>1528124> Примеры на нормальных языках, а не аналитическом, убогом, абоссаном, инглише в студию. Ну романские например.Ой, дебил... У того же пейсбука с их фасттекстом есть готовые эмбеддинги педивикии на сотне с лишним языков. А английский ты не знаешь, как я понял.
>>1528143> Чего бля?Ты б хоть в вопросе разобрался прежде чем обличать и срывать покровы, ниспровергатель бабушкин. Точно зумерок очередной.
>>1527680>Вот объясни, как твой мошоб сможет в грамматику естественного языкаНеплохо нейронки могут.>Ты же понимаешь сколько парадигм у например существительного? Хотя все это выражается простыми правилами грамматики.Нет, не выражается, ты тупой я погляжу.Реальный объект неотделим от символьного представления. Вернее представление неотделимо.Твои правила ничего не могут, манипуляции с символами не производят знания. Должен быть контекст.>>1528127>Ну типо, ка ктвое нейроговно определит, что с существительным согласуется прилагательное стоящее справа, а не слева например?По контексту?
>>1528206>>1528205Все понятно, вы ебланы, хотя может и не полные, но к НЛП точно отношения не имеете.
>>1528206>Реальный объект неотделим от символьного представленияЧего бля? >Твои правила ничего не могут, манипуляции с символами не производят знания. Должен быть контекст.Кокой контекст? Есть текстовое предложение, согласуй его члены и сними омонимию, чем и как будешь делать?
>>1528132>педивикииЭто то шаблонное говнище, переводы которого невозможно читать и где куча либирашек?
Вот он, идеальный патриот:- неграмотный- не знает английский- кефирщик- верит в заговоры рептилоидов- вообще верун- считает вражеской пропагандой математику, машоб, НЛП, зато верует в ЭС, т.к по этому говну мамонта есть материалы на русском (переводные).>>1528224> и где куча либирашек?Да, прикинь. В интернете одна либерда, смеются над дедом, не любят сапоги барина и гостеррор.
>>1528221> Чего бля?Того бля, быдлан неграмотный. Гугли треугольник Фреге, бля. Про семиотику слыхал вообще, вась?
>>1528221> Кокой контекст?Окружение, в котором чаще встречается слово. +-заданное количество слов до и после анализируемого. Ты и про skipgram / CBOW не знаешь?
>>1528236>Окружение, в котором чаще встречается словоА, понял, типа если вот это статистическое говно встречает слово в другом окружении и контексте оно сосет?
>>1528233>треугольник Фреге>семиотикуТреугольник Хуерге, ты же понимаешь, что семиотика это такой матан для пидоров? Почитай как происходит расшифровка древних текстов, никакая твоя хуевротика там не применяется, догадаешься почему?
>>1528245Какие тебе древние языки, ты английского не знаешь, чепуха. При этом кукарекаешь так уверенно, как будто ты не двачной пиздабол, а действительно в чем-то понимаешь. Мань, реальность такова, что не знающий английского = неграмотный, это без вариантов. В любой науке, в любой предметной области вообще, вся движуха на английском. Вот ты как раз иллюстрация к этому факту, застрял где-то в 80х и дальше ЭС ничего не знаешь. Вдумайся, в наши дни уже есть учебники по верификации квантовых вычислений, а твои познания где-то на уровне времени перестройки и Горбачева, лол. А из современной науки тебе доступны только бредни таких же как ты шизиков пидорашек про кефир, вред прививок и ГМО.
>>1528221> Есть текстовое предложение, согласуй его члены и сними омонимиюТо есть засунь НЛП в твои представления о rule based НЛП.
>>1528261>То есть засунь НЛП в твои представления о rule based НЛП.Рулбейзд в данном случае грамматика
>>1528257>английскогоНа хуй не нужное примитивное говно, достаточно выучить 800 слов и можно читать почти всю техлитературу, что я и делаю.>квантовых вычисленийВсе понятно, у тебя маняматика головного мозга.>Какие тебе древние языкиНу перестань, мань
>>1528228>НЛПНейро лингвистическое программирование?Это же такая уфология для идиотов психопатов уровня курсов успеха и мастеров пикапа?Конструктивизм сильная идея, но имеющая ограниченное применение.Рассматривать человека как машину верх идиотизма. Это разрушительной для общества и не соответствует реальности.
>>1528245>Почитай как происходит расшифровка древних текстовНикак. Находят родственный язык или табличку с переводом на уже известный язык. Вон не могли книжку 100 лет перевести написанную на известном языке.
>>1528278>достаточно выучить 800 слов и можно читать почти всю техлитературуЧитать можно, понимать нельзя
>>1528318>Находят родственный язык или табличкуИли камень, лол. Но вон там анон выше про симевротику втирал? Как же так то.>>1528320>понимать нельзяНу если область знакомая то запросто, я например какую нибудь юридическую поеботу не пойму.
>>1528318>Вон не могли книжку 100 лет перевести написанную на известном языке.Это ты не про манускрипт Воинича часом?
>>1528357Да.Оказалось что там какое-то наречие.Переводы текстов, особенно древних, это внезапно тема криптоанализа.Лингвистика вообще пустая штука.
>>1528329>Ну если область знакомая то запросто, я например какую нибудь юридическую поеботу не пойму. Ты и про МЛ нихуя не понимаешь
>>1528316> Нейро лингвистическое программирование?> Конструктивизм сильная идея, но имеющая ограниченное применение.Портфель собрал уже, тайдмен? Ты может быть "думаешь", что кому-то интересно "мнение" зумера о конструктивизме? Так нет, неинтересно. Про НЛП даже комментировать не буду.
>>1528124> Конечно, статистика чего, вот правда, как ты себе это представляешь?Долбаеб сука, ну зачем ты все это пишешь, что ты из себя вытужить хочешь, кому и что доказать? Лучше бы почитал что-нибудь про word2vec, может быть тогда перестал бы срать себе в штаны, делая вид, что твоя тупость и незнание темы что-то кому-то доказывает.
Как работает статистический подход: алгоритм собирает статистику.Как работает rule based подход: статистику собирает выпускница лингвистического Дуня, вручную перебирая те же самые датасеты, которые у лингвистов называются корпусы.При этом возможности Дуни соревноваться с алгоритмом закончились примерно в нулевые.
>>1528275Ну да. Грамматика костыль для покрытия естественного языка не всегда работающими правилами. Для понимания и синтеза языка грамматика не нужна, поэтому любой сантехник петрович прекрасно говорит по-русски, при том, что ему похуй, какая парадигма склонения у слова "лес". Он за слово "парадигма" скорее в табло даст.
>>1528622Особенно смешно все это звучит если речь о корпусах на основе какого-нибудь CommonCrawl весом в терабайты с триллионами слов. Ручная обработка - то, что нужно для тематических архивов всего интернета целиком.
>>1528633Забавно, кстати. Я хотел сказать, что датасеты вообще очень важны, и в 80-е нормальных просто не было. Но зашел вот сюда и охуелhttps://www.top500.org/lists/1995/06/В 1995 году топовый суперкомпьютер имел производительность на два порядка меньше того, что стоит у меня дома сейчас. Блядь, 95-й год. Я тогда в школу пошел, это же почти вчера было. И 200 сраных гигафлопсов в топ1 компьютере мира. Ебать.
>>1527646>Проблема ЭС в том, что они не работают. Они страдают от классической проблемы длинных хвостов: ты легко делаешь систему, работающую в 80% случаев, но дальше каждый процент дается тебе все тяжелее и тяжелее.Ну, справедливости ради, нейронки, и вообще все блэкбокс подходы страдают от чёрных лебедей просто по природе своей, с тяжёлыми хвостами умеет работать только хардкорная классическая статистика.
>>1528738>с тяжёлыми хвостами умеет работать только хардкорная классическая статистика. Ибо использует априорную информация о распределении прямо из мирового эфире, без всяких датасетов.
>>1528416>Оказалось что там какое-то наречиеОказалось, что та журналист изнасиловал в говнемоченного, ничего там не перевели.
>>1528622>те же самые датасеты, которые у лингвистов называются корпусыНа хуй эти корпуса? Дуня формализует грамматику, создавая правила, все. Корпуса в этом подходе нужны только для тестирования. В отличии от.
>>1528631>Грамматика костыль для покрытия естественного языкаВот и я говорю, математика это костыль для покрытия непонимания реальной природы вещей
>>1528652>имел производительность на два порядка меньше того, что стоит у меня дома сейчасИ? На своей пека ты анимешки поди смотришь, а тогда компьютеры делом занимались.
>>1528904> На хуй эти корпуса? Дуня формализует грамматику, создавая правила, все. Корпуса в этом подходе нужны только для тестирования.Дело в том, что правила можно получить прямо из самих корпусов, алгоритмами типа skipgram. И эти правила ничем не будут отличаться от того, что сможет сделать Дуня, маня, Ваня, кто угодно, ибо грамматика одна и та же, другим правилам взяться просто неоткуда. Но ты настолько темный, что про идентификацию систем не слышал.
>>1528950>правила можно получить прямо из самих корпусовНельзя, связи слов в корпусах внезапно размечаются ручками, ага.
>>1528955> Нельзя, связи слов в корпусах внезапно размечаются ручками, ага.Не пизди чего не знаешь. Корпуса размечаются только для supervised задач, всякие там graphspace итд. Для построения простых эмбеддингов ничего не размечается, те же сырые дампы педивикии просто чистятся от разметки, автозаменой убираются большие буквы итд, в лучшем случае ещё каким-нибудь стеммером обрабатывается.
>>1528964>педивикии Переводы этого говна правятся волонтерами>>1528967А нормально работающего переводчика вобще нет.
>>1528973> Переводы этого говна правятся волонтерамиЕбать ты гений. Ещё скажи, что все существующие тексты созданы людьми. Але, речь не об этом, а о необходимости ручной предобработки текста для нужд НЛП. Ещё раз, это нужно только для supervised задач.
>>1528977Ты с горшка в детсаду капчуешь? Погугли хоть в чем разница между обучением с учителем и без в машобе.
>>1528973Нормального может и нет, но ассесорские оценки и различные метрики покзывают, что rule-based машинный перевод работает хуже, чем статистический, который в свою очередь по оценкам хуже, чем нейросетевой.
>>1529018Согласен, что терминология ебнутая. Смысл обучения в том, что ставят оценку, т.е. есть функция потерь. Если ее нет - то это не обучение, а тупо кластеризация
>>1529062>ставят оценку, т.е. есть функция потерьТак и как это приминимо к корпусу текстов? Ручками все разметь, обучи нейронку, поставь ей оценки? ИИ уровня /b
>>1529098>>1529109Я про то и говорю, что даже в кластеризации есть функция ошибки, и разделять обучение с учителем, и без, это ересь.
>>1528931По какому делу? Как вот на это говно можно ответить:> Дуня формализует грамматику, создавая правила, всеПравила она откуда берет, из мирового эфира? Из учебника Зализняка? А Зализняк откуда взял? Из другого учебника? И так до бесконечности? Действительно, нахуя нужен сам язык, если ученые все правила грамматике в учебнике написали.Всё всегда сводится к корпусу языка, из которого ученый выцепляет статистические закономерности. А ты даже этого не понимаешь, потому что думать на 2-3 шага вперед не можешь. "Дуня формализует грамматику, создавая правила. Правила ей рассказал учитель русского языка во втором классе, тому - его учитель, тому - моисей, а тому - господь бог. Аминь".>>1528955>Нельзя, связи слов в корпусах внезапно размечаются ручками, ага. Повторяю для тупых очередной раз. Корпуса со связями нужны для rule-based систем, чтобы программист мог дописать костыльные правила типа "подлежащие->сказуемое" переводится в "subject->verb". Чем более совершенна статистическая система, тем меньше ей Дунь с ручным забиванием статистики нужно.
>>1529115> даже в кластеризации есть функция ошибки, и разделять обучение с учителем, и без, это ересь.Ты походу не догоняешь, в чем разница с учителем и без. Дело не в лоссе, он есть всегда. Разница в том, помечены примеры как правильные и неправильные, или нет. Одно дело, когда тебе нужно обучить модель распознавать раковые снимки от здоровых например. И совсем другой, когда у тебя вообще нет никаких данных о датасете, есть ли там вообще разные классы примеров или нет, а если есть, то заодно и правила классификации получить.
>>1529121>Правила она откуда берет, из мирового эфира? А откуда она берет? Какая нахуй статистика, у тебя там матан головного мозга уже.
Что этому ублюдку нужно?Памяти свободной много.Повысил ограничение с 512 мб до 2000мб в конфиге jupyter notebook. Не помогло.
>>1529150> А откуда она берет? Ты ответь, откуда. Хочется узнать мнение шизика. Как по-твоему человек обучается языку?
>>1529234Твоя матрица весит 1.2 гб, ты хочешь аллоцировать две. Мусоросброник не успевает достать первую
>>1529272> Как и всему остальному, неведомым науке образом.Неведомым тебе образом. Ты со своей пустой головы на всю науку не вали. Примеры + нейропластичность, вот и весь секрет успеха. Ты поди веруешь, что и погодой в твоём зажопинске управляет боженька, а не объективные причины?
>>1528769Если очень хочется аутизма, можно и бустрапом оценить прямо из датасета и посчитать всё то же самое что и для известных распределений или вообще непараметрической статистикой обмазаться. Но мошонлёрнерам в любом случае не надо льстить себе: скорее всего все данные у тебя укладываются под известные человечеству семейства распределений.
>>1529655> Ты уже идею универсальной грамматики Хомского оспорил или так и будешь тут пердеть попусту?Ты вообще читаешь на что пытаешься ответить, чепуха? Ещё раз перечитай свой пердежь в лужу, а лучше просто сьеби отсюда, дегрод
>>1529698Ебать ты тупой, если не можешь понять в чем противоречие универсальной грамматики и той хуиты, что ты тут пытаешься отстаивать.
>>1529747>Word-alingmentsНе слышал про него, какая то протухшая шляпа с заброшенными проектами на гитхабе.
>>1529777Дебил, тебе сто раз сказали, что любой эмбеддинг учитывает связи между словами, фразами, параграфами, документами, вебстраницами итд без дополнительной ручной разметки текста, достаточно сырых дампов педивикии, из которых удалена разметка. Ты же в ответ промычал что-то про каких-то либерашек и слился. Чё такой тупой-то, маня?
>>1529250Да, верно.Но сейчас выделил 7 гб памяти и всё равно вторая матрица не создаётся.>>1529512Собственно, я так и делаю, когда есть возможность. Но иногда случается, например, пикрелейтед, и приходится перезапускать kernel и думать, какие ячейки можно пропустить. Это неприятно.
>>1529933> какой нахуй эмбеддинг? Каким образом он учитывает связи?Маня, зачем ты кукарекаешь и несёшь хуйню? В эмбеддинге элемент кодируется многомерным вектором, простейшая линейноалгебраические манипуляции с этими векторами позволяют выявить любые существующие связи между словами итд. Причем, все это учитывается автоматически при построении эмбеддингов. Шко-луй-НЯ, ты вместо того чтобы кукарекать и маняниспровергать, просто почитал бы хоть что-то на эту тему.
Аноны я на плюсах писал 5 лет, заебало что пиздец. Освоил питухон и прочитал и прорешал задания из учебника по статистике и матану. Хочу куда-нибудь вкатиться, только блять куда? Я так понял там есть кластерный анализ, факторный, дисперсионный, кто всей этой хуйней занимается? Сам я в нии проектирую хуи, никаких коммерческих знаний полезных нет, в яндекс не берут, мэйл ру не берут, си++ и алгоритмы не хочу углубленно изучать принципиально, не интересно. Нравится матан. Подумывал уж в прожект менеджеры перекатываться, но вот от нии послали на курсы машин леарнинга где нихуя кроме как какие задачи он решает не рассказали.
У меня есть пара вопросов.- Какого хуя нейронки такие ресурсоемкие? С моим целероном путь в датасайнс мне закрыт. Неужели нет более рациональных методов? Ну, кроме уж совсем топорной статистики типа анализа двух массивов на схожесть.- Что думаете насчет соединения статического машинного обучения с символическим? Допустим нейронки на низкоуровневые операции, типа распознавание текста, а логический движок на высокоуровневое интеллектуальное программирование.
>>1530612Если локально ничего сложнее мниста выучить не можешь, то используй google colab. Ну или играйся со всякими табличками.>Допустим нейронки на низкоуровневые операции, типа распознавание текста, а логический движок на высокоуровневое интеллектуальное программированиеНу то есть как Алиса, да? Нейронка распознает речь и "смысл", а логика делает то что задумано.
>>1530612>- Какого хуя нейронки такие ресурсоемкие?Железо не соответствует задаче.>Неужели нет более рациональных методов?Живой мозг, квантовые процессоры.
>>1531048>квантовые процессорыТы в них разбираешься или наугад спизданул? Если разбираешься, то посоветуй, книжку/курс/статьи для вкатывания в тему (в целом квантовых компьютеров/вычислений/алгоритмов)
>>1531041> Ну то есть как Алиса, да? Нейронка распознает речь и "смысл", а логика делает то что задумано.Не читал, как там Алиса устроена. В вольфраме(тот, который математика), к примеру, распознавание простого изображения реализовано одной функцией. А так как вольфрам это ФП, то возможности для композинга разных таких "низкоуровневых" операций суть велеки. Берем задачу, которая не формализуется, делаем один предикат/функцию на основе машоба, и делаем нашу задачу формализируемой. Представь, что нейронка переводит текст в дерево, а какой-нибудь логический движок это дерево обрабатывает сравнивает с базой знаний и делает логический вывод. Очень часто вижу, что некоторые пытаются глубокими нейронками задачу от и до решить, что пиздец как не рационально есть.
>>1531088Решать задачу End-to-end это в основном исследования, нейронки всетки "ИИ". Возможно в будущем так и будем делать, а пока только часть задачи делают нейронки.
>>1530612>Какого хуя нейронки такие ресурсоемкиеОни не ресурсоемкие. Для большинства задач хватит одной видеокарты, накопить на которую может любой Васян с завода.
Чет орнул, чел проснулся и заметил, что нейроговно нихуя не работает, а только жрет ресурсы) Ладно, пошел с Алисой поболтаю, люблю под пивас с этого недо ИИ поугорать.
>>1531052>Ты в них разбираешьсяВ общих чертах, не моя тема.>спизданул?>посоветуй, книжкуПочитай Пушкина, Достоевского, без шуток.
>>1531310>thispersondoesnotexist.comТам просто публикуются фотки рандомных людей с добавлением артефактов/шумаchange my mind
Какие модели умеют по дефолту обучаются с использованием gpu? Знаю только про catboost, но, я так понимаю, там только с картами nvidia можно работать. Ошибаюсь или вообще все библиотеки дружат только с nvidia? Есть те, что работают с radeon?
>>1532080Ошибаешься, с радеонами дружит почти всё, если не прямо из репозитория, то после перекомпиляции с определенными флагами
Посоветуйте серьезных книг чтобы еще лучше понимать всякие байесовские методы, сеточки и тому подобное, всю шапку осилил, работаю в индустрии, не знаю куда дальше развиваться.
>>1532129> всю шапку осилил, работаю в индустрии,> не могу нагуглить нужное по байесовским методамСдается мне, ты тайдмен простой. Кем надо быть, чтобы после осиливания всего что есть в шапке, задавать такие вопросы?
>>1532138> Кем надо быть, чтобы после осиливания всего что есть в шапке, задавать такие вопросы?Маленьким врунишкой.
>>1531368> Там просто публикуются фотки рандомных людей с добавлением артефактов/шума> change my mindНа гитхабе сорцы, в т.ч уже обученные. Берешь и запускаешь.
Подумываю я поиграться с жестовым контроллером Kai. Он выдает следующие данные:- Положение ладони — pitch, yaw, roll.- Вектор открытости 4-х пальцев (без большого).- Вектора акселерометра, гироскопа и магнитометра.- Вектор булевых значений, указывающий, какие из 4-х пальцев касаются большого.Какой софт использовать и насколько легко будет обучить нейросеть детекции жестов? При наличии двух контроллеров, насколько легко будет обучить НС отличать хлопки ладоней друг по другу и по прочим поверхностям?И главный вопрос: надо ли для всего этого всерьез угореть по ML, или уже придумали кнопку "сделать заебись" для таких задач?
>>1532262Машоб тут не нужен. Задача поста есть просто усложненная версия событий тачпада. Вместо пространства XY тут простанство XYZ.
>>1532262Чел, нейросети придумали чтобы обрабатывать огромные массивы слабо структурированных данных, чел. Обрабатывать состояния пяти пальцев, которые ты перечислил в своем посте можно через десять ифов, какая тебе нахуй нейросеть.
>>1533306Рассматривать это как убер-тачпад — дело вредное.На тачпаде можно все твердо и четко определить: "1 см скольжения пальца по оси X на тачпаде = 100 пикселей движения курсора на экране". И это будет сносно работать, даже если пользователь касается тачпада носом.С жестами такой поход не сработает — один и тот же микрожест "пользователь чуть-чуть согнул палец" может значить изменение значения открытости на 10 пунктов для указательного правой руки, а для мизинца левой руки это может быть и 50 пунктов. Более того, предыдущий жест влияет на следующие, так что эти пункты еще будут меняться постоянно.>>1533319>нейросети придумали чтобы обрабатывать огромные массивы слабо структурированных данныхИменно поэтому я и рассматриваю НС для обработки жестов. Мне ж не со статичными состояниями "Палец согнут на 80 пунктов из 255" работать надо, а со временными рядами положения пальцев и ладоней.
>>1533327Все равно нейросети суть не нужны здесь. Знаешь о swype? Одного поля ягоды. Тут не пару ифов конечно, но и перцептрон поднимать смысла нет, не говоря уже о серьезных архитектурах.
>>1533337> swypeТы о клавиатуре, в которой пользователь проводит траекторию по предсказуемым, статически-расположенным блокам? Да, видел такую. Для нее перцептрон поднимать я бы не стал конечно.Стало быть, кнопку "сделать заебись" еще не придумали?
>>1533346>Стало быть, кнопку "сделать заебись" еще не придумали?Придумали генератор котиков, это ли не чудо?
>>1532262SOM Кохонена, например. Пометить нужные жесты, а потом просто смотреть, к чему модель отнесет тестовые векторы (жесты).
Антоны, хочу научить YOLO распознавать козяблики.Подходит эта сеть для такого?И я подзабыл, имеет ли смысл на вход нейронке давать размытое или повернутое изображение?
>>1533834Анон, наверное, резонно может спросить "А зачем пилить велосипед".Я знаю два решения OCR, первое - это Tesseract, второе - это Google.Почему не подходит тессеракт? Он не умеет распознавать фуригану, он не умеет распознавать цветной и повернутый текст, говорить о распознании текста в низком расширении вообще не приходится, это просто невозможно.Почему не подходит гугл? Гугл плохо справляется с текстом в плохом качестве, также не видит фуригану, дает упрощенную форму иероглифов.Ни одно из уже имеющихся на данный момент средств OCR не справится с вот таким вот текстом, а я хочу научить на размытой хуйне в том числе.Примеров информации куча, правда размер необходимого датасета ужасает, это же вам не алфавит распознавать.
Есть нетривиальная задача. Есть нейросеть. Неплохо обучается, переобучения нет, вроде как. Val ac и ak следуют как и положено друг за другом. Но на контрольном z тесте результаты гораздо хуже. В чем проблема, почему при достаточно высоких валид акк в итоге заваливаются реальные тесты?
>>1534048Излагай мысли яснее.Что такое ac и ak? Одно из них видимо accuracy?Что значит друг за другом?При чем тут Z-тест?
Мимоменеджер по внедрению решений ML в b2b вкатывается в тред. Базовое представление имею, курсы проходил, простое решающее дерево для какого нибудь блядского скоринга сделать на коленке смогу. Подскажите, тут есть такие же персонажи как я? Не боитесь что рыночек нас выкинет нахуй? Пока утешает только мысль что для серьезного DS нужны серьезные мозги, а серьезные мозги редко могут в общение с заказчиком, постановку задач и прочая, а следовательно мы всегда пригодимся.
>>1534054Прост подзаебался уже. Процесс обучения 200 эпох, вал акураси и акураси постепенно растет до примерно 90 процентов, причем вал акураси опережает акураси. Но на контрольном тесте вероятность 65 70 процентов. Переобучения нет, вроде как. Обучающая вып выборка порядка 30 тыс едениц.
>>1534059С чего ты взял, что переобучния нет? Может ты неправильно разделил на обучение-валидацию или в тесте у тебя данные другой природы, чем в обучающей выборке.
>>1534063Вроде поставил рандом отключение нейронов около 0,6 на каждый слой, слоёв всего 2, сократил кол во нейронов до минимума далее не знаю как ещё бороться с напастью
>>1534058Откуда у тебя "серьезные мозги"? Что ты можешь такого, чего не может automl? Рыночек таких как ты обязательно порешает.
>>1534140Жопой читал? Я же и говорю что серьезные ДСы не могут в адекватную коммуникацию с бизнесом и заказчиком, а следовательно такие раки как я будут нужны
>>1533851>Анон, наверное, резонно может спроситьГрамотные аноны, прекрасно знают, что OCR в жопе, ну за исключением говнолатиницы, поскольку писменность относительно примитивна.
>>1534191Ну вот. Интересно, сколько примеров потребуется на каждый кандзь? Тысяча, две, десять?Имеет ли смысл размывать изображение?
>>1534659>Ну вот.Если китайцы еще ничего приемлемого не запилили, то забей, задача не решаема нейроговном и общедоступными средствами, они не намного тебя тупей.
>>1535091> YouTube: Зачем программистам искусственный интеллект?Естественного нету, пусть хоть искусственный будет.
Из веб-макак к вам тяжело перекатиться? Пилю модные микросервисные бекенды, но математикой тут не пахнет, со школы и универа не помню ничего серьезного из математики. Сколько времени может занять изучение математики заново? Питон думаю быстро освою. С крестами не уверен, часто ли вы их применяете? На понижение должности и зп готов.
>>1535607Скорость изучения зависит от твоего icq и от количества у тебя свободного времени. И то и другое зависит только от тебя, тут мы тебе ничем не поможем.
>>1535044Ну я не на китайский вообще нацеливаюсь, а так у японцев есть фичи, которые позволяют им старые текста распознавать.
>>1535644С китайским будет все куда сложнее, так как классов больше, китайцы понаупрощали множество говна, да и вообще хуйни натворили.
>>1535635После прогерства трудно математику изучать, так как промышленное программирование приводит к деградации абстрактного мышления. Я не шучу. У опытных прогеров прагматическое конкретное мышление. 99.9% программистов паттерны не осиливают именно по этой причине. До архитекторов единицы дорастают.
>>1535667>Зачем? Можно быстро на php и jquery задачу решить. Не можешь? У тебя просто опыта не хватает.Прямо таки все программисты пишут на скале с растом
>>1535652Смотря после какого прогерства. Если после формошлепства, то да. Но зачем перекатываться с формошлепства, если там все деньги мира?
>>1535652ты не прав братюнь, математику сложно изучать если ты ее долго не учил, через пару месяцев все в норму придет. Я сам промышленный программист на си++, когда начал вкатываться в матан даже поплохело, в универе мог за две недели целый курс изучить, а тут читаю и хуй, просто не выкупаю нихуя, но я упертый парень и без понтов. Купил Виленкина для школьников, по нему изучил комбинаторику, затем учебник для экономистов прочитал, затем уже для инженеров и где-то через три месяца ХУЯК и я все понял и начал сразу врубаться, прорешал все примеры. Охуенно. Дело в нейронных связях.
>>1535689ну и главное не бросай, бери самую простую книгу, не насилуй себя, двигайся по чуть-чуть, размышляй. За это математика тебе свои тайны приоткроет, исследуй бля. Самое смешное, у меня много выпускников мехмата знакомых, так вот они уже многое позабыли на хуй, а я то что выучил по учебникам вроде статистика для идиота и гмурмана с венцель очень хорошо понимаю и помню, а они как-то все забыли. У меня коллега был с бауманки, рассказывал после 6 лет учебы он затруднялся сказать, что такое радиоволна, зато в интегралах с дифурами шарил, с трудом понимая захуй они сдались. Так вот он купил набор электротехнический для школьников и по нему изучил основы электротехники.
>>1535607в крестах никакой математики, мои друзья крестовики из топ контор вообще все позабывали. Я использую конечные автоматы из всей мощи науки. Так-то все.
>>1535689Красавчик. Я сейчас тоже по схожей системе математику повторяю. В универе системы дифуров решал как нехуй делать, а сейчас с трудом вспоминаешь как минор находиться. Но если что-то долго дрочить, то эффект будет 100%.
Хуя тут зумеров вкатывальщиков, лол, недельная норма. Тайдом закупились со скидосами по поводу черной пятницы? Гуд ньюс, ереван - там на базе грефосберкассы решили замутить распильный прожект по аи, вкатывайтесь, это ваш шанс поучаствовать в проебе народного бабла https://4pda.ru/2019/12/01/364837/
>>1535696Не это имел в виду. Машоб пишут на питоне и крестах, да? Питон я легко и быстро изучу, с крестами не уверен что так же будет.
>>1535607>Сколько времени может занять изучение математики заново?Чтобы научиться относительно хорошо понимать пейперы нужно 2-3 года.>С крестами не уверен, часто ли вы их применяете?Не часто, но будет плюсом.>На понижение должности и зп готов.0к устроит?
>>1536138Ты вообще не теми категориями мыслишь. ЯП не имеет значения. Сейчас все пишут на питоне, но суть там совсем не в питоне. И изучать нужно не питон.
>>1536328А что надо изучать?Я понимаю, что чуть не в питоне. Но почти все "интерфейсы" к необходимым инструментам написаны на питоне.
Поясните за one shot и zero shot learning. На первый взгляд это просто глубокое обучение метрики (distance metric learning) вместе с эмбеддингом и в дальнейшем сравнение с эталонами (т.е., считай, старые добрые метрические методы). Нечёткопетуха, жопеншмульцера и прочих шизиков просьба не беспокоить.
>>1535648Таки может кто ответить, имеет ли смысл размалевать текст и подавать его в качестве примера для обучения нейронке.
>>1533851>Ни одно из уже имеющихся на данный момент средств OCR не справится с вот таким вот текстом, а я хочу научить на размытой хуйне в том числе.А ты сам справишься? По-моему тут проблема не в распознавании (оно у 20% символов просто невозможно), а в хорошей языковой модели, чтобы додумывать пропущенные буквы. А это вне контекста тяжело. То есть тебе либо к YOLO приделывать ТРАНСФОРМЕР С АТТЕНШЕНОМ, либо даже не думать об end-to-end и по-старинке натренировать отдельно детектор букв, распознаватель символов и языковую модель. И если ты можешь это - пиздуй работать в гугл, хули. Тебя возьмут.
>>1534048Несоответствие распределений валидейшена и теста. Например, в трейнинге и валидейшене у тебя одни коты и мало негров, а в тесте одни негров, а котов мало. Тогда, особенно при недорегуляризации, сетка справедливо сделает вывод, что надежнее выводить которов, просто потому что вероятность кота выше.Попробуй поменять тест и валидейшен местами, либо перебалансировать валидейшен, либо тупым копированием, либо введением весов, а самое лучшее - доразметкой.
>>1536310За 2-3 года ты разве что местным шизиком станешь, которому голоса сообщают, что он все понимает.
>>1536426Это цель - обучаться на нескольких примерах, типа как человек. Metric learning один из вариантов достижения цели, самый унылый, но работающий. А веселые методы (типа систем с памятью) работают хуево.
>>1536858Только человек не обучается на нескольких примерах, он учится все детство. Так сказать человек обучается на неразмеченныз данных
>>1536864Человек предобучается все детство. Причем детство заканчивается массовым прунингом. А обучается он быстро уже, но только тому, с чем сталкивался в детстве
>>1536458Размытие убивает высокие частоты в твоем изображении, есть более дешевый и надежный способ убить высокие частоты - наложить шум, который выше сигнала на этих самых частотах. Можно наложить белый шум, а можно, дропаут. Т.е. если у тебя есть дропаут на первом слое, размывать текст особого смысла нет, нейронка обучается по намного более перепидорашенном изображении.Проблема-то не в этом, а в том, что если у тебя на картинке белый квадрат, это белый квадрат. Ты как человек понимаешь контекст картинки, имеешь модель языка, и на основе этого восстаналиваешь смысл. YOLO это не умеет, поэтому работать на белых квадратах не будет.
>>1536864>>1536866Человек предобучался весь эволюционный процесс, а рождающиеся личинусы это тупо моделька которую да, уже по-бырику можно дообучить.
>>1536843> а в хорошей языковой модели, чтобы додумывать пропущенные буквы. А это вне контекста тяжело.А для чего мне нужно додумывать пропущенные буквы? Я видел архитектуру сети, где просто сперва распознаются сами символы, а потом они отправляются в классификатор.Насчет языковых моделей, так у тессеракта ныне используется LSTM, а результативность хуже, чем у 3-й версии.
>>1537122Но на самом деле я понял, что проблема немного сложнее, чем я себе представлял.Если не считать скорописной хираганы и катаканы, то сами кандзи - это по сути набор радикалов, попробую сгенерировать текста и применить разные архитектуры.Особенность тут в том, что сам человек не распознает по сути отдельных элементов, он вообще смотрит на общую форму иероглифа и по ней ориентируется.
>>1537151> Особенность тут в том, что сам человек не распознает по сути отдельных элементов, он вообще смотрит на общую форму иероглифа и по ней ориентируется.То же самое можно сказать и про котов, и про негров, и про что угодно. С чего вы все тут решили, что эта ваша китайская грамота принципиально нераспознаваема? Может быть просто данные нужно правильно подготовить?
>>1537122>А для чего мне нужно додумывать пропущенные буквы? Потому что на твоём пикрелейтед есть настолько размытые квадраты, что без контекста ты не поймешь что там скрывается. Гугл лажает не потому они тупые и не догадались размывать изображения.>Насчет языковых моделей, так у тессеракта ныне используется LSTM, а результативность хуже, чем у 3-й версии.И что из того следует? Хуйню какую-то несешь
>>1537311Предобучение тоже. Вся безусловнорефлекторная деятельность, в том числе сложные комплексы безусловных рефлексов (инстинкты) - врождённые и не требуют обучения.
>>1534048чекай смещение выборок, перепроверь стратегию кросвалида, может данные зависят от времени, попробуй TimeSeriesSplit
Есть кто-то, кто готов решить мне лабы по numpy и sklearn за деньги? Обычные лабы в рамках предмета машинное обучение в заштатном универе. Пишите на aquanem@mail.ru
>>1537292Может быть и так.Я вот пока не увидел особого профита от реализации механизма внимания, классикой в этом вопросе является архитектура CRNN, где сперва текст локализируемая обычной сверхточной сетью, а потом подаётся на вход lstm.Мне удалось найти несколько готовых решений для этого. Только я до сих пор не понял, какая лучше.Данных хоть миллион можно собрать, бери, да генерируй сам, можно из новеллок брать, из субтитров к аниме, из манги, газет. Думаю результаты будут зависеть больше от самой архитектуры.
>>1537811>тессерактТебе сколько лет? Ты еще не допер, что рабочии решения никто бесплатно выклалдвать не будет, не? Это касается любой области обоссаного копетолиздического ракового общества.
>>1537811>тессерактТебе сколько лет? Ты еще не допер, что рабочии решения никто бесплатно выкладывать не будет, не? Это касается любой области обоссаного копетолиздического ракового общества.
>>1537983> Это касается любой области обоссаного копетолиздического ракового общества.Гугл практически выкатил идеальное решение, abby fine reader тоже имеет хорошую OCR, другие бесплатные решения также есть.Рабочего готового и платного продукта тут просто нет, ни за бесплатно, ни за деньги, так что вот эту коммунистическую шизу свою в тред не тащи, плиз.
>>1537997>abby fine reader тоже имеет хорошую OCRХорошую, но она платная и исходники ты не получишь.>Гугл практически выкатил идеальное решениеЭто ты не про тессеракт же? Поскольку это говно даже на латинице с диакритикой сосет.
>>1538002>Это ты не про тессеракт же? Поскольку это говно даже на латинице с диакритикой сосет.Это я про Google Vision Api, а еще можно через гугл доки по запросу получать) Получить доступ к этому всему не так трудно и ясен хуй, что тебе исходников не дадут, ибо хостится все это у них на серваках.Из всех этих нейроночек я только амазоновскую не проверял, но пока та, что от гугла на первом месте.А у тессеракта меня удивляет то, что 3-я версия, которая без LSTM работает лучше, чем новейшие версии, если чуть-чуть препроцессингом заняться
>>1537983> Тебе сколько лет? Ты еще не допер, что рабочии решения никто бесплатно выклалдвать не будет, не? Это касается любой области обоссаного копетолиздического ракового общества.Дебил с калмунизмом вместо мозгов, я тебе уже предлагал привести пример хоть одного закрытого патентованного алгоритма машоба, работающего лучше любого открытого и свободного. Ты слился, а теперь от опять свою шизу тут выдаешь за истину?
>>1538032>Дебил с калмунизмом вместо мозговЭто ты, тот токсичный анон, который с утра до вечера паперами обмазывается?
>>1538092> На то он и закрытый, манькаА, у масонов, рептилоидов и аннунаков свой машоб, ясно все с тобой.
>>1538124>А, у масонов, рептилоидов и аннунаковНу давай, расскажи что у ИБМовского Ватсона под капотом и как все реализовано. Не абстрактную поеботу из паперов, а именно технологии и алгоритмы.
Промышленный шпионаж слишком легко устроить. Можно даже не воровать документы, а переманить специалиста. Поэтому закрытость фирмам невыгодна - слишком легко спиздить секреты, но только тем, у кого есть бабки. То есть своей закрытостью ты только помогаешь своим самым жирным конкурентам.В случае открытости же, спиздить ничего нельзя, зато можно получить дохуя бесплатных исследователей твоей проблемы, которые ты потом с помощью своих гиганских ресурсов типа бабок монетизируешь. Ситуация ровно та же, что и с открытым софтом.Реально парятся с секретностью только китайцы (потому что сами пиздят из западных патентов все, и страшно боятся, что их раскроют) и прочий скам типа русских военных, которые просто живут где-то в прошлом веке.
>>1538172>Реально парятся с секретностью только китайцыНацпрограммы поощеряющие промшпионаж были у США и есть у Японии, поэтому пездоглазы постоянно лазят с фотиками.>Ситуация ровно та же, что и с открытым софтом.Говно на уши для лохов. Попенсорс как раз пиарится итгигантами, что бы с него можно было копипастить код.>В случае открытости жеРецепт ебаной ссанины - КокаКолы закрыт и охраняется, а ты про более технологичные вещи.
А скажите, господа Гусары, зачем сети на вещественных числах делаются, в диапазоне от -1 до 1, неужто нельзя было применить менее русурсоёмкий тип ?
>>1538173>Мониторинг патентов - часть моей работыЯсно, теперь покажи в каком из твоего списка патенте описаны детали реализации, а не общие концепты?
>>1538181Для профессионала там все достаточно подробно. А шизику с борд учебник по матану дай - он будет жаловаться на то, что нихуя не понятно, потому что жиды скрывают
>>1538178Потому что видюхи старых поколений дружат лучше всего с 32-х битными float'ами. Новые уже поддерживают 16-ти битные флоаты.А если ты хочешь инференс делать на FPGA, то можно и в целые числа сетку сконвертировать.Конкретного смысла именно в -1..1 в сетке с ReLU нет, но масштаб сигналов от слоя к слою не должен сильно меняться, иначе у тебя обучаться будет плохо.
>>1538181Он, похоже, говорит тебе, если простыми словами, я так понял, что, например, Теорема Пифагора и у Китайцев и у Нанайцев и у кого угодно - одна и та же. Как и вообще, математика.А нейронка работает на математике - рано или поздно она станет достоянием всех. Пытаться её засекретить примерно так же сложно, как, например, засекретить электричество : типа, ну мы тут у себя построим национальную электрификацию, а соседи пускай чиста на паровозах ездиют !
>>1538198>А нейронка работает на математике - рано или поздно она станет достоянием всех.Если есть какие то общие законы которые пока невозможно применить в практике, то да почему бы и нет. Но как только будет найдено что то уникальное, дающее преимущество то это будет держаться в тайне.
>>1538191Понятно. Но не понятно ничего, дальше первого слоя. То, что первый слой выясняет границы - это очевидно. Говорят, что следующий слой находит уже текстуры. Но каким образом ? - я уже бошку сломал пытаться понять. А там же ещё слои, которые найдут конкретные объекты !Но я не верю, что только математика даст ключ, кажется, всё можно понять интуитивно. А тут на тебе.
>>1538237>>1538234Вот же он охуеет, когда узнает про кучу моделей, которые по сути имплементации того, что пишут в статьях.
>>1538216А зачем же тогда они соревнования устраивают, чья сеть быстрее и точнее правильно расфасует картинки ?Могли бы втихаря. Выходит, им не только скрыть своё охота, но и слямзить чужое ?Это, конечно, печально было бы. Потому что такое поведение не способствует прогрессу.
>>1538216>Но как только будет найдено что то уникальное, дающее преимущество то это будет держаться в тайне.Такое может родить человек, который ни дня в жизни не работал. То, что знает больше 5 человек, никакой тайной быть не может. Совок атомную бомбу спиздил меньше, чем за 4 года с ее создания, а ты говоришь про какие-то сраные модельки, которые устареют через год. У того же ватсона основная интеллектуальная собственность не алгоритмы, а сама база, которую на болванках из офиса не вынесешь.
>>1538242>А зачем же тогда они соревнования устраивают, чья сеть быстрее и точнее правильно расфасует картинки ?Пузомерки, они же детали реализаций не раскрывают.>>1538240>кучу моделей, которые по сути имплементации того, что пишут в статьях.Только работают твои модели примерно как как на хую у негра выше.
>>1538234Я конечно, не так умён, как некоторые из нас, но мне всё равно интересно. Даже, скорее всего, напишу эту загадочную сеть, чисто по описанию, пускай простую и медленную, даже не понимая, как она пашет.Как думаете, стоит ли пробовать ?
>>1538245>Только работают твои модели примерно как как на хую у негра выше.Да нифига, в задаче той же OCR на гитхабе лежит модель с аттеншионом, которая дает схожие результаты на том же датасете.
>>1538245>Только работают твои модели примерно как как на хую у негра выше.Это же закрытая тайная модель, а работает на том же уровне, что открытые. То есть жиды не просто скрывают модели, они скрывают даже их существование. В тайных казематах, в темных серверах, они тайно сидят и классифицируют негров с умомрачительной скоростью. Даа, тяжело быть шизиком.
>>1538261>которая дает схожие результаты на том же датасете.А на других?>>1538262>Это же закрытая тайная модель, а работает на том же уровне, что открытые.Не работать это норма для нейронок. Гугля берет мощностями и тысячами обезьян бесплатно вводящих капчу с картиночек.
>>1538274Манька, два сорта нерабочего говно, ты пытаешься вывелять задом и спрашиваешь какое из них более нерабочее?
>>1538279Я нашел противоречие в твоей шизе, потому что могу даже спуститься до картины мира шизика и выебать его на его же поле. Проблема в том, что ты настолько туп, что не видишь противоречий даже в собственных словах.
>>1538283>Проблема в том, что ты настолько туп, что не видишь противоречий даже в собственных словах.Пиши по существу. Хочешь сказать что нейронки работают, или что открытые и закрытые реализации не отличаются?
Какая может быть для нейронки самая простая задача с изображениями, на которой можно было бы понять как она работает ?
>>1538287>Пиши по существу.Я пишу по существу. По существу тебе такой вопрос: ты умнее какого процента phd в ML? Навскидку, по ощущениям.
>>1538319>ты умнее Критерии? >phd >Doctor of PhilosophyВсегда с этого говна проигрывал, философы бля.
>>1538387Критерии назвал, в посте они есть.Впрочем, можешь не отвечать. Понятно, что ты считаешь себя умнее всех в принципе. Типично для шизика.
Какие есть способы сделать чатбота из FAQ? Т.е. есть список вопросов и ответы на них, но данных никаких больше нет? Какие есть идеи?
>>1539454Ты можешь закодировать готовой нейронкой запросы и вопросы из фака и находить ближайший вопрос по косинусной мере, и выдавать его ответ.
Антоны, с какой поры норма уменьшаться для loss? Обучаю Chinese Attention OCRМожете на гитхабе посмотреть, что за зверьСперва loss просто увеличивался, я подумал, что это из-за learning rate и уменьшил его.Теперь loss после 1000 эпох просто стоит на месте практически
>>1539915> Антоны, с какой поры норма уменьшаться для loss? Должен уменьшаться средний лосс по эпохе от эпохи к эпохе. Почему - понятно, батчи содержат разные данные и могут иметь произвольный лосс, но вот начиная со второй эпохи нейронка видит уже данные, которые видела, и естественно должна улучшаться.Но даже это хуевый вариант. Нагугли как выглядит лосс у сходящейся нейронки, как правило сначала он падает очень быстро и сильно, а потом медленно.Лучше всего скачай готовую реализацию и запусти ее на прилагаемом датасете, убедись, что все работает, а потом уже начинай вносить изменения. Не торопись.
>>1540359>Для нейронок есть колаб, для всего остального хватит обычного компаКолаб не лучше обычного компа. Сгодится разве что на первое время для небольших датасетов.
>>1540064Да я все понял, в итоге нейронка обучилась.Только вот немного страшно от осознания того, сколько мне данных реально нужно, помню, когда гуглил материалы по Yolo, там чуваки писали, что нужно как минимум 2 тысячи примеров на класс.В япе как минимум 3к уникальных символов. Конечно, уникальных элементов из которых состоят иероглифы куда меньше, что, как я думаю, тоже поможет сети обучаться, но это все ещё стремно.
Смарите, тут игру сделали на GPT2: http://www.aidungeon.io/2019/12/aidungeon2-is-here.htmlЭто текстовая игра, где можно делать вообще все что угодно. Полная свобода действий. Просто че хочешь то и делаешь. И на все будет какая-то попытка дальнейшего развития сюжета. Имхо, это открытие новой эры в компьютерных играх.
>>1540681>А потом что юзать? Копить себе на 32 гб ОЗУ и титана?Да. Память дешевая, так что можно и 64. Вместо титана 2080 Ti.
>>1540695Интересно. К этому бы ещё прикрутить нейроночки, генерирующие изображение и другое медиа из текста, а так же RL агентов, могущих обучаться и действовать в такой текстовой среде. И будет полноценная открытая виртуальная реальность, не ограниченная сценариями разработчиков.
Знакомый фотограф спросил, можно ли автоматизировать такую задачу: вырезать человека с фото, фон там всегда одинаковый (белая стена). Т.е. вручную это делается очень легко, но очень долго (фотографий сотни).Мне кажется, это хорошая задача для DL, но т.к. я кроме названия и общего принципа не знаю ничего, прошу совета, с чего начать?Погуглил, есть платный сервис remove.bg, демо делает то, что нужно и, судя по описанию, как раз на основе DL. Пытался загуглить, с чего вообще начать вкатываться в тему, всякие keras и прочее, но пока непонятно: во всех примерах очень много кода.А мне бы запилить прототип, для начала, просто проверить идею. Прототип не обязан быть идеальным. Тратить месяц на чтение книг, в данный момент, кажется неразумным. Как я себе это представляю: указываешь нейросети каталог с исходниками и каталог с результатом (то, что фотограф вручную уже сделал). Сеть учится, а затем просто автоматом умеет вырезать фон из фоток.Это возможно?P.S. Сам я погроммист, но именно в этой теме полный новичок.
>>1540680Хотя, учитывая то, что все создаётся под мангу, а в одном предложении может встречаться и по 2-3 раз один и тот же иероглиф, то думаю, что 100к примеров уже должно будет хватить. У хираганы и катаканы уже на 1к датасете у меня по 600-400 примеров. У самых частых кандзи по 100.
>>1540798Ты про модуль opencv_ml или про более "обычную" работу с изображениями, как в туториалах, например, тут https://docs.opencv.org/master/df/d0d/tutorial_find_contours.html ?
>>1540788Хуево гуглилhttps://github.com/aakaashjois/Background-Separation-using-U-Nethttps://github.com/murari023/awesome-background-subtraction
>>1540703>К этому бы ещё прикрутить нейроночки, генерирующие изображение и другое медиа из текстаНачальник, тут цопэ!!!!
Антоны, может ли быть такое, что из-за хуевых данных у меня loss не уменьшается? Предположу, что есть несколько очень трудных примеров, попробовал нейронку обучить на 500 данных, а она не смогла, хотя на 300 данных все у нее получилось.Сейчас увеличил датасет до 2к примеров, но результат пока такой спустя 20 минут обучения
>>1542188>нужно больше данныхХм, может ли нейронка хреново обучаться из-за того, что для кучи классов у меня по одному примеру? Только для каны по косарю примеров.
>>1542547Есть ROCm, но в нем до сих пор нет поддержки Navi (Только vega, polaris и Fidji(???)), а может ее не будет никогда. Из фреймворков полностью поддерживается пока только caffe и Torch через HIP.https://rocm-documentation.readthedocs.io/en/latest/Deep_learning/Deep-learning.html#deep-learning-framework-support-for-rocm
>>1542335Ну, может быть, так хоть опыта наберусь.Решил читерить в итоге, когда размечаю данные, то теперь пишу тот же самый текст 11 разными шрифтами, плюс делаю разные повороты текста, пишу белым на чёрном фоне, делаю размытие, в итоге с одного размеченного текста выходит больше 100 примеров, нормальный подход?
>>1543248>В общем научить сетку распознавать текстПиши нейронку или скрипт для распознавания регионов с текстом, и скармливай эти регионы тессеракту. Когда на изображении нет ничего кроме текста, он работает отлично.
>>1543248Ну и интересно чисто модельку попинать, никогда не видел, как работают сетки с механизмом аттеншона. Интересно потом визуализировать, какие там признаки выделяются и как оно внутри работает, хотя весь код и статью я уже вдоль и поперёк разобрал.
>>1543249Нет, не отлично, он вообще говно с максимально хуевым результатом, такую сетку я уже делал, только скармливал OCR от гугла, но она тоже хуевая, то упрощенку выдаст, то знает на чёрном фоне не распознаёт, то просто иероглиф не распознаёт, то лишние символы вставляет.
>>1543251>Нет, не отлично, он вообще говно с максимально хуевым результатомДавай несколько примеров, которые он не смог распознать.
>>1543254Чуть позже, сейчас не могу. Но вообще можешь проверить на этом, он уже тут не справится.Потом скину примеров чёрного текста на белом фоне.
>>1543263Попробуй вот это распознать, только потом отпиши версию используемого тессеракта, чтобы я сам проверил.
>>1543266Плюс, он как и другие японские OCR почему-то не умеет работать с фуриганой, вырезать ее не вариант, ибо у иероглифа может быть своё чтение, может быть имя персонажа или другая какая важная хуйня.
>>1543266>Попробуй вот это распознать, только потом отпиши версию используемого тессеракта, чтобы я сам проверил.Поделил текст на регионы, получился пикрил. Хуйню слева ни один OCR не распознает, а так получилось неплохо.
>>1543269Нормально, ты серьёзно? Он знак из хираганы ね распознал как 礼.し его запутала, он подумал, что это レ
>>1543274>Нормально, ты серьёзно? Он знак из хираганы ね распознал как 礼.>し его запутала, он подумал, что это レПроблема в угловатых буквах. Та же し которая выглядит в точности как レ. Без контекста в виде хираганы, я бы сам хуй это распознал. Если тебе важны такие шрифты, можешь попытаться перетренировать тессеракт.
>>1543275Так этих шрифтов тысячи вариаций, хоть угловатые, хоть псевдорукописные, ради каждого пинать это старье мне не хочется.На такие случаи есть гугл доки, которые прекрасно проводят OCR и распознают даже тот повернутый текст и тут не запутываются в шрифтах.Но у гугла есть свои недостатки
Экзамен в ШАДе по питону. Препод спрашивает студента:-С чего начинается нумерация массива?-С единицы-Вон, на пересдачу!Заходит другой.-С какой цифры начинается нумерация массива? -Один-2 балла и на пересдачу!"Может во мне дело, учу их как-то не так?"-засомневался препод-"Ладно, пусть ещё один зайдёт и посмотрим".Заходит третий студент.-С какой цифры начинается нумерация массива? -Ноль..Препод думает: "Слава Богу! Хоть одного еблана чему-то научил!"Студент, продолжая:-..целковый, чекушка, порнушка...
Антоны, получил инстанс от гугл колаба на 25 гб памяти.Но тензорфлоу все равно юзает только 11гб рам и валится, если много батчей указать.Как-то это можно решить?
ПЕРЕКАТ:https://2ch.hk/pr/res/1543969.htmlhttps://2ch.hk/pr/res/1543969.htmlhttps://2ch.hk/pr/res/1543969.htmlhttps://2ch.hk/pr/res/1543969.htmlhttps://2ch.hk/pr/res/1543969.html
