Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/
Почему python?
Исторически сложилось
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Версии для зумеров: https://www.youtube.com/channel/UCZHmQk67mSJgfCCTn7xBfew
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Кто нибудь использовал машоб для трейдинга?
Никто не использовал, ты первый такое придумал. Готовь камаз для бабла.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущие:
https://2ch.hk/pr/res/1832580.html
https://2ch.hk/pr/res/1817320.html
https://2ch.hk/pr/res/1785952.html
https://2ch.hk/pr/res/1758961.html
https://2ch.hk/pr/res/1734710.html
https://2ch.hk/pr/res/1704037.html
https://2ch.hk/pr/res/1665515.html
У меня друг нубас, начинает изучать программирование и хочет попробовать машинное обучение. Стоит ли ему, если с математикой у него всё плохо?
Или может scikit-learn им даст по щам?
Очень огромное спасибо за ответы :)
какие проекты шоб попракачиваться в компьютер вижн с ними можно сделать?
спасибо, друзья
>>1848482
Начнем с того, что машобчик пока ещё никуда и не ушел от классической статистики. Весь существующий машобчик можно свести к https://ru.m.wikipedia.org/wiki/EM-%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC о чем я даже ссылку на пейпер сюда постил. Но как говорится, не в коня корм зумера тайд.
Тащемта, в парадигме вероятностного программирования очень удобно строить нейронки. Я бы даже сказал, что элементарно.
Вероятностное программирование удобно для классификации и прогнозирования. Однако каких-либо инструментов для reinforcement learning и generative models оно не даёт.
>Какая-то юзлесс дрисня, судя по всему
Форумчане, несколько вопросов, первое - насколько сложня нужна математика, чтобы найти первую работу в сабже, если я умею считать интегралы и слау, пройду курс по матстату и теорверу на степике, этого будет достаточно, больше всего это волнует. Второе - сложно ли найти работу на стыке веба(сам почти вкатился в веб на питоне) и этих модных дсов. Третье - напишите про типичную задачу джуна на работе. Четвертое - берут ли 2-й курс на работу, много ли вакансий, большой ли конкурс, есть ли микроконторки куда проще попасть(не очень бы хотелось идти в крупный банк условно, чтобы меня там ебали менеджеры). Пятое - условно неплохо программирую на питоне, долго ли придется вкатываться, чтобы смотря на вакансию точно понимать что я смогу пройти собес?
Дебилам получать диплом итмо, лол. Как раз вариант проскочить. У меня так кунчик проскочил - правда он честно заявил, что нейронки не знает, и его посадили ковырять вилкой кернел-методы, но потом через полгода эти кернелметоды все равно всосали у нейронок, и теперь он трясет нейронки на 8 V100. траллирую, на 4 V100 азаза
А если ты умный, то - кагл, гитхаб, колабтри, апворк, демонстрируй свой ум, и тебя возьмут в итоге. Наверное. Меня бы взяли. А тебя - нет, азаза
Или как запустить его на gpu?
Сейчас автоматом все считает на процессоре, по 7 минут на эпоху, очень долго. Про коллаб знаю, просто там сейчас не с руки из-за нестабильности интернет соединения.
Ах да, совсем забыл про мои наполеоновские планы, вкатится в веб, копить 800к(чтобы кредит поменьше платить) и поступить в вышку на магистратуру где эти ваши математики изучают, 400к в год, а потом я выйду с дипломом вышки и похуй что я бакалавриат на инженера заканчивал(осталось найти силы закончить только эту хуйню с термехами и сопроматами)
На вход LSTM/Transformer желательно именно трансформер подаётся две строчки:
- Ввод игрока (Input)
- Состояние/модель мира (Model0)
А на выходе выдается так же две строчки:
- Вывод на экран пользователя сообщения (Output)
- Новое состояние мира после действия игрока (Model1)
Думаю, данная модель игры будет весьма адекватной. Важен так же датасет. Он должен содержать в себе примеры здравого смысла, к примеру, сообщения о том, что нельзя положить в карман лошадь.
>>1853226
Да ты тоже продешевил. НИПС уже который год это как соревнование крутит и все равно нихуя не работает.
https://minerl.io/
https://youtu.be/7J2HMUimj1A
>>1853246
>Есть идея
Красавчик, теперь реализовывай и выкатывай MVP
- эффективная передача знаний между датасаентистами. можно сразу пиздить и в продакшн
- классическая структура программы со всякими там main и return слишком многословна и утомительна
- ты можешь запускать обработку данных на удаленных мощных машинах, а сам ходить с древним macbook (обязательно обклееным наклейками)
- ipython - это просто предшественник ноутбуков. И равньше perl любили фигачить однострочники для работы с данными, но тут все развилось до действительно удобной тулзы
Впрочем, у этого подхода есть и программисты от них страдают.
Посоветуйте, пожалуйста, книжку по математике, позволяющую освежить знания по матану и заполнить пробелы, а то в статьях по машобу периодически вызывают вопросы всякие якобианы.
>ipython
Это питоновский REPL. Нужен, чтобы не запускать каждый раз весь код заново, что может занять много времени. Ну и самое главное - для интерактивной разработки, чтобы можно было пошагово писать код и смотреть на результат.
>ноутбуки
Это чисто веб-интерфейс для ipython. Основных фичей три штуки: возможность удобно запускать/перезапускать код частями, делиться кодом вместе с результатом вычислений (со всеми выведенными данными, изображениями и прочим), и писать заметки используя LaTeX/Markdown/HTML прямо рядом с кодом.
Во всем остальном интерфейс как и концепция в целом крайне убогие. Отсутствие возможности разбить проект на несколько файлов это просто огромный минус. Про нормальную организацию кода можно забыть - остается лишь ставить плагин для сворачивания секций, и пытаться не забыть где что находится. Как среда разработки ноутбуки тоже говно. Автодополнение кода отсутствует, дебагер отсутствует, возможность посмотреть значения переменных отсутствует (можно только через print). В общем, ощущение что ты пишешь код в блокноте, где не проверяются даже элементарные синтаксические опечатки. Про анализ производительности, покрытия кода и юнит тесты можешь просто забыть.
Учитывая, что поддержку ipython уже давно завезли в пайчарм (и не только в него), в 2020 году ноутбуками для датасаенса пользуются только отсталые дегенераты. Они оправданы только для демонстрации, когда нужно объяснять код параллельно показывая результаты, но не для разработки.
>А пайчарм может построить график для сеточки на удаленной пеке?
Да. Просто задаешь удаленный интерпретатор и делаешь все то же самое, что на своей пеке.
https://www.jetbrains.com/help/pycharm/remote-debugging-with-product.html
Это, кстати, умеет не только пайчарм. Разница лишь в том, что в пайчарме все работает из коробки, а какой нибудь вс код придется сначала напердолить.
>Матплотлиб как-то данные пробрасывает
Да, показывает все графики в специальном окне. У этого подхода есть плюсы и минусы. Из плюсов - предыдущий результат остается пока ты сам его не почистишь. Также можно развернуть это окно на весь экран на втором мониторе. Минус один - картинки не интерактивные, в отличие от ноутбука (нельзя, например приблизить). Чтобы был функционал как в ноутбуке надо отключить SciView - тогда картинки будут показываться в отдельном окне. Сохранять в файл не придется в любом случае.
>километровое описание пердолинга с платными тулзами и как тут почти все работает, если только не нужно <все что реально нужно>
Ок, макакен. А знаешь почему твои любимые тулзы такое говно? Потому что ими никто кроме тебя не пользуется, а все сидят в юпитерлаб.
>Ок, макакен
Маняматик на месте, я спокоен.
>tab нажми
Да, работает, раньше вроде такого не было. Еще есть shift-tab для документации.
Только работает по-прежнему так себе. Индексирования нет (будет сильно тормозить с большими библиотеками), типы переменных не подсвечиваются, аргументы не подсвечиваются, синтаксические ошибки не подсвечиваются.
>Который превращает таблицу в строку.
Пандус? Не превращает.
>Можно в самый низ ячейки записать переменную и она запринтится без принта.
Это по сути и есть принт. Функционал ограничен.
>Для того чтобы ресёрчить (и тем более пробовать и учиться) jupyter ноутов хватит с головой; никаких бурлений тут быть не может - макакены здесь чисто про свои гречневые говнокодерские темы раскукарекались.
Как же смешно наблюдать за диванными теоретиками, весь "ресерч" которых заключается в 20 строчках кода для классификации MNIST.
Если бы ты работал над реальными проектами, которые могут длиться больше года и разрастись до нескольких тысяч строк кода, то быстро бы понял необходимость нормально структурировать свой код и иметь систему контроля версий. Для работы в команде это тем более необходимо.
Даже сторонники жупитера не используют его как замену абсолютно всему, а лишь как дополнение, которое используется для краткосрочных экспериментов.
>И какова альтернатива?
Если тебе просто поиграться, то используй жупитер и не еби себе мозг. Но если ты серьезно настроен на изучения датасаенса и последующий поиск работы, то для начала подтяни программирования в целом. Тогда у тебя не будет вопросов как структурировать проект или какой IDE/редактор использовать.
Мне нужна инспекция переменных и построчное исполнение одной ячейки.
Я заебался уже. Пробовал в vscode загружать, но работает тормознее раза в 3.
>Николенко "Глубокое обучение"
Попытался начать читать эту книгу, но код оттуда совершенно неактуален, поскольку там tensorflow1.
Есть ли какой-то адекватный гайд сугубо по tensorflow2 дабы его изучить, а потом опять приступить к чтению книги?
да вы заебали.
Я тот самый 40 летний бумер. Я программировать умею получше тебя.
Просто замучался со сложной трансформацией сырых данных из экселя, а не со слесарьпловом.
Как удобно в браузере выполнять ячейку пошагово ?
СБИС на ЭВМ спиртом протираешь?
Погуглить и я могу. Мне совет от человека нужен.
Ipdb какой-то неудобный. А pixie в принципе не работает.
Ты что используешь?
Там есть дискриминатор
Это начало революции, последствия которой мы еще полностью не осознали. Сам гпт3 не очень пригоден как замена человеку, но, естественно, он будет только улучшаться. И путь к его улучшению тоже довольно хорошо виден. Только стоит это многие миллионы.
Меня больше удивляет, что его не очень широко обсуждают. Из обсуждений, что я видел, некоторые ушли в отрицание (да не так уж он и хорош), другие уже дошли до стадии отчаяния (сделать ИИ под силу только мега корпорациям, наши исследования бесполезны). Обыватели по-моему вообще не в курсе, что ИИ уже создан. Хотя столько разговоров было лет 5 назад про "нейросети заменили продавца", когда нейроночки могли еще только в зрение, да и то не слишком хорошо.
А вот дворники, официанты, доставщики, труженники секс-бизнеса - для их замены нужны какие-то супер специализированные устройства. Их разработка будет стоить огромных денег, а ЗП там низкие, так что они вряд ли будут автоматизированы в скором времени.
Так, похоже, мы все останемся без работы и будем драться со стаями псов и другими интеллигентами за просрочку из бака возле пятерочки. А барская обслуга низшего уровня будет поплевывать на нас со смехом.
Так чё делать? Идти в петлю или в дворники? Руки опускаются. Даже для вката в машоб, когда понимаешь, что все, что ты можешь, это никому не нужные детские поделки. С одной стороны, я сохраняю долю надежд, что не все так хорошо, как кажется, а с другой стороны я уже очкую
У меня 100% то же чувство. Вся эта работа, даже каггл где вроде как должна быть SOTA, все это игрушечное, по сути уже мертвое. Я пытаюсь предвидеть, что будет, и мне очевидно, что ГПТобразные модели заменят все. 0-shot learning изкаробки, причем не потешный как в прежних статьях, когда сначала тренируют месяц на почти идентичных задачах, а реальный, вообще без тренировки. Просто говорят нейроночке, а переведи-ка мне это на французский. То есть просто сказать компу, что ты хочешь, и чтобы он это сделал, это уже реальность, вот она. Все эти тысячи статей про neural translation в момент оказались до смешного наивным мусором, как до этого полетели в корзину статистические модели на фразах, как до них отправились в утиль вручную написанные трансформации грамматик.
Смысл что-то делать, когда следующей версии ГПТ просто скажут формулировку твоей задачи, и он уже может ее делать сам? Или дать ему название твоей статьи, а он напишет всю статью, только еще лучше.
Это все напоминает относительно недавние страхи о смерти веб разрабов, когда я слышал, что юкоз поделил на ноль ваши сайтики. Справедливости ради надо отметить, что статьи gpt, пусть м смотрятся относительно неплохо, но это удар прежде всего по копипастным статьям тех учёных, которые создают видимость деятельности, а не производят новые знания. Ты можешь сказать, что в будущем даже их поделят на ноль, ИИ скажет говно ли теория струн или нет, как нам обустроить Россию и так далее. Но схожий оптимизм я встречал в статьях времён ИИ-психологов, которых выкинули на свалку
>Дьяволы, что скажите о gpt3 ? Правда ли он так охуенен? В чем подвох?
На ютубе черри-пикинг. Он часто лажает. И если такой прорыв произошел при переходе от 1.7G до 175G, то кодить сетки научатся наверное если будут 17500G.
Короче, на твой век хватит, а вот детки твои пусть задумываются.
Это было ещё во времена корчевателя и впечатляет только хабровских обывателей: реальный специалист раскусит шуе за первую минуту чтения, что корчеватель что гпт этот ваш.
В ближайшем будущем если кто и останется без работы так это копирайтеры: всё-таки в креативном сочинении бессмысленных водянистых текстов которые никто не будет всерьёз читать гпт3 уже достаточно хорош. Хотя скорее они просто превратятся в прослойку между интернет-кабанчиками и сеткой.
От 1.7 до 175 прошел год. Угадай с одного раза, над чем сейчас работают в OpenAI. Ты (мы) уже одной ногой на помоечке.
Черрипикинг это все, что нужно. Это доказывает, что нейроночка в принципе это все умеет. Довести до ума, чтобы срабатывало чаще, это уже инженерная работа. Как было понятно, что дирижабли мертвы, как только первый самолет удачно полетел. Конечно, он не мог возить грузы, сотни людей - но всем было ясно, что сможет, после доработки. Так и тут видно, что ГПТ3 сразу ухватывает суть задачи по ее формулировке. Хотя подобных задач он не встречал, и не был на них специально натренирован. Это общий ИИ, который може все.
>От 1.7 до 175 прошел год.
Если ты думаешь, что раз от 1.7 до 175 прошел год, то скоро еще на 2 порядка вырастет модель - то нет. GPT3 - это предел современных технологий. Ее размер - это как раз примерно столько, сколько помещается на машину с 16 V100, то есть это 16*32=512 Гб видеопамяти, и стоит такая машина как однушка в Москве. У A100 (следующее поколение карт) не 32 гб памяти, а... 40. Охуенно, да, 25% рост за 2 года. Не, нужно еще дохуя исследований, чтобы трансформеры не были такими прожорливыми, но при этом быстро сходились
>Ты (мы) уже одной ногой на помоечке.
Я - нет, потому что никогда не был каглодрочером или SOTA-дрочером.
>Как было понятно, что дирижабли мертвы, как только первый самолет удачно полетел.
Первый самолет полетел с 1903, а дирижабли умерли в 1937. Я понимаю, что тебе кажется, что это хуяк и все, но вообще-то прошло 34 года. Через 34 года тебе будет полтос минимум. Единственный вывод, который тут можно сделать - это то, что в современном мире человек должен учиться всю жизнь, чтобы внезапно не оказаться пятидесятилетним программистом на делфи в госконторе.
>Довести до ума, чтобы срабатывало чаще, это уже инженерная работа
Мм, а мы какой работой занимаемся? Не, я понимаю, что ты тупо соцсети читаешь, но как бы да, прорывные открытия делают единицы один-два раза в год, а остальные занимаются инженерной работой.
Про предел это лол. Нейроночки распараллеливаются прекрасно. Разделят по слоям/attention heads на разные машины, будет линейное ускорение. Ма самом деле ускорение будет больше, потому что пресловутые инженеры без дела не сидят, и пишут кастомный код под эту модель. Это я еще даже не начал про ТПУ и специализированные чипы. Не думаешь же ты, что покупка 100, 10000, 1000000 этих машин это какая-то проблема для гугла или мс (которые дают мощности OpenAI).
Про сроки пустой спор. Никто из нас не имеет убедительных аргументов. Я думаю, что это дело считанных лет. Они уже даже инфраструктуру закладывают под будущие сервисы, АПИ.
Ну и я говорил про перспективность всей этой работы в целом. Еще год назад тот же нейронный перевод был бы хот топиком для ПхД. Все были такие: вау, как ты ловко навертел слоев! А теперь: ГПТ, переведи мне это с древней латыни на нпальский. Уже ясно, что это как ПхД по нахождению оптимальной формы дирижабля в 1904. И вообще непонятно, что теперь перспективно тут?
>Нейроночки распараллеливаются прекрасно. Разделят по слоям/attention heads на разные машины, будет линейное ускорение.
Нет, линейного ускорения не будет. Данные идут по модели волной - сначала forward pass от первого слоя к последнему, потом backward pass от последнего слоя к первому, с апдейтом весов во время backward pass'а. То есть это аналог передаваемого цепочкой людей ведра с водой при пожаре - хоть у тебя цепочка из 100 человек, ведро все равно одно.
Хуже того, когда у тебя одни и те же веса на разных машинах, ты обмениваешься между машинами только этими самыми весами. А вот когда то, что ты предлагаешь, придется гонять уже данные и их сильно больше.
>Это я еще даже не начал про ТПУ и специализированные чипы.
Тоже упираются в скорость памяти. Ты же не собираешься терабайт статической памяти реализовывать, правильно? Значит тебе нужно место под DDR, думать, как быстро гонять данные в память и обратно, все это будет пыхтеть и греться.
>Про сроки пустой спор. Никто из нас не имеет убедительных аргументов.
Зато кто-то из нас имеет реальные знания, а кто-то заново придумал model parallelism, не подумав, что линейное ускорение он не даст. А потом придет нечеткий петух и будет над вами потешаться, мол, "обещали через считанные годы, и где оно".
>Еще год назад тот же нейронный перевод был бы хот топиком для ПхД. Все были такие: вау, как ты ловко навертел слоев! А теперь: ГПТ, переведи мне это с древней латыни на нпальский.
Это просто неверная маняхуйня.
> вапнико-шизиком
Мимо, я в этом не участвую. И да, я считаю, что адаптивные / параметризованные кернел методы для NLP перспективнее всех этих соевых GPT "stack more layers" hurr durr кринжнейроночек, которые уже сейчас на кластерах стоимостью с пол-воронежа еле дышат.
Твои жалобы напоминают жалобы братьев Райт о том, что они самолет собрали в гараже и он летел целых несколько секунд, а теперь самолеты приходится на заводах клепать.
Фронтэндер 3 года опыта, очень хорошая ЗП. Понимаю бэкэнд и SQL, разбираюсь в алгоритмах и типах данных. Дело в том что энтерпрайз и веб уже не вставляет, чисто ради ЗП там и также слышу постоянно что скоро программистов в классическом понимании не будет и весь код будут нейросети писать (это как, можете просвятить?), ну и плюс давно я что-то основательно не изучал (так, статейки по своей теме, а чтобы книжки, курсы - с универа нет), надо бы встряхнуться, так сказать.
Реально ли сменить направление с миддла веб на миддл дата-саентист года за 2-3? Много ли нужно вкладывать времени? Джуном по этому направлению в сорокет быть не к лицу, но и странички верстать такое себе, а менеджерить - прям совсем не мое.
Я понял что работать с данными - читай писать логику на js, мне гораздо гораздо ближе чем верстка которая заебала что просто пиздец плюс хочется чего-то прям нового, но при этом хочется не просто учить, а чтобы монетизировать потом знания.
Чем твое умение верстать и писать на js отличается принципиально от умений нейросеточника? Что у последнего есть математика и из-за этого большее ЧСВ?
ИМХО ты свой навык дрочки фронта монетизируешь так же как и они знание сеток, разницы нихуя нет. Это нормально, что за 3-5 лет пердолинга в одной сфере это заебывает. Но и нейрончики тебя тоже заебут
P.S.: потому что программирование это 99% выкрутасы на хуйце барина, а не творчество или какая-то реализация себя и своих интересов
мимо-выгорающего-толкни
Он справедливо считает, что вместо борьбы с фреймворками созданными для борьбы с браузерами, он сможет заниматься деятельностью более близкой к сути программирования.
Хватит ли у кодомакаки упорства для освоения достаточно сложной деятельности - большой вопрос.
Реально будет за полгода устроиться джуном? У меня сейчас выбор - за пару месяцев добить андроид и устроиться джуном там, либо рискнуть с ML
Смотрю в сторону ML не сколько из-за более высоких зп, сколько из-за того, что у вас на изи устроиться на удаленку. На андро удаленки для джунов нет вообще
>Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
>Math 19/41, math 51 (single variable calculus, linear algebra)
Будут доступные видеокурсы в источниках?
Khan Academy и mooculus пойдут?
всм? в унике преподавали. 4-й курс щас кста
>>1856771
хуй его знает, просто нравится ML. я могу уделять 6 часов в день на обучение где-то до мая
мб пройти эту хуйню https://www.kaggle.com/learn/overview побырику, а потом задротить соревнования? потом покажу работодателю реальную работу. бля, не знаю
3 alpha = torch.rand(batch_size, 1, 1, 1)
----> 4 alpha = alpha.expand(real_data.size())
5 alpha = alpha.cuda() if use_gpu else alpha
RuntimeError: expand(torch.FloatTensor{[5, 1, 1, 1]}, size=[5]): the number of sizes provided (1) must be greater or equal to the number of dimensions in the tensor (4)
Как починить?
>Чем твое умение верстать и писать на js отличается принципиально от умений нейросеточника?
Не знаю, там хорошо, где нас нет? но надеюсь, как сказал >>1856698
>>>1856680
>вместо борьбы с фреймворками созданными для борьбы с браузерами заниматься деятельностью более близкой к сути программирования.
Потому как сейчас и программирования почти не остается - везде готовые решения можно взять из прошлого проекта немного приспособив их под текущий. Чтоб прям челленджевая таска была давно не припомню.
>Это нормально, что за 3-5 лет пердолинга в одной сфере это заебывает. Но и нейрончики тебя тоже заебут
То что в итоге все скатиться в рутину в итоге конечно демотивирует очень здорово.
>2-3 года фултайм хватит, если у тебя хороший айсикью
110, если верить https://test.mensa.no/ Средний очень, но я честно проходил, это результат первой попытки года 3 назад.
>Надо будет прямо вот работать, сидеть вникать
Часов 5-6 в неделю найду.
>https://test.mensa.no/
Гоню там датский тест был какой-то, не найду сейчас, домен dk помню только.
Питоны, сиквелы и гиты с докерами умею, матан, теорвер, матстат и линал "помню о чем, не помню чокак".
План - за год-два укатиться из бэкенд-техлидства/тимлидства куда-нибудь, где платят не меньше, но при этом не нужно отвечать за подчиненных.
>Ну так купи данные и мощности. 300к в месяц на мл сеньора у тебя есть, а на несколько ведер с 4 гпу и 64 терабайтным винтом нет
Стоимость тренировки SOTA моделей может измеряться в сотнях тысяч, а то и миллионах долларов. Для тренировки той же GPT-3 нужно $5M.
С данными все еще хуже. Вот захотел ты сделать свой автопилот для автомобиля, и где будешь брать миллионы картинок пешеходных переходов и гидрантов? Или во сколько тебе обойдется разметка гигабайтов текста для NLP?
Ну а самое главное, зачем использовать диплернинг когда более простые методы работают нормально?
>Для тренировки той же GPT-3 нужно $5M
Так я говорил что эта йоба на пределе техвозможностей типа египетской пирамиды. Ровно по этой причине кстати никто не торопится повторять их результат - он никогда не окупится на текущем железе, даже если ты гугл. Вот года через 2-4 польет как из ведра, потому что вместо тормозных денс трансформеров используются более эффективные решения, нужно их происледовать и только потом жечь бабки.
Это один в один как 3д в 90-е, если голливудские студии снимают журасик парк, но люди помельче вполне себе обходятся железом в 10 раз медленнее и в 100 раз дешевле.
Даже не так нужно сформулировать. В компьютерном железе данного поколения у тебя всегда идет падаюшая отдача на вложенный доллар. Тренировка 1 модели на 1 гпу самое дешевое. Та же модель но на 2 гпу всего на 70% быстрее из-за необходимости обмена градиентами по псие шине. На 4 гпу нужна уже мать не за 7к, а за 30к и хороший бп, и желательны карты не за 100к а за 300к, иначе ботлнек по псие будет заметен. На 8 гпу тебе нужна серверная мать и серверный корпус, уже за 150к. На 64 гпу тебе нужен 400 гигабитный эзернет для обмена данными в стойке, 30 квт электричество. И так далее. В итоге реально конкурировать не так сложно, потому что оптимум затрат как был в 90е годы в виде пк разработчика в 1000 долларов, рабочая станция в 10000 долларов, так и остался. Суперкомпьютеры всегда будут экзотикой, потому что они очень дорогие и сжирают всю маржу.
Тот же gpt2 обучается с нуля как раз примерно за 300к, а файнтюнится под задачу вообще за копейки.
С данными все еще проще, их целый интернет. Биттер лессон учит тебе не ебать мозги с более лучшей разметкой, а применять ансупервайзд решения и только потом дообучать под задачу на небольших датасетах.
А так дипленинг и является более простым методом.
>Биттер лессон учит тебе не ебать мозги с более лучшей разметкой, а применять ансупервайзд решения и только потом дообучать под задачу на небольших датасетах.
Он вообще не про это, а про то, что увеличение размера нейронки/количества данных/вычислительных мощностей в перспективе эффективнее, чем применение знания предметной области и разных ad-hoc решений. Это верно лишь в одном случае - когда у тебя есть возможность это все увеличивать. При фиксированном количестве данных и вычислительных мощностей приходится изъебываться.
>С данными все еще проще, их целый интернет
Это данные для простых задач, не несущих практической пользы. Как только тебе понадобятся работать над чем-то новым, то будет два варианта развития событий. Первый - данные имеются, но не размечены. Второй - их попросту нет в открытом доступе. Если ты занимаешься машобом в качестве хобби, то на этом этапе все закончится. Если работаешь в конторе, то получишь доступ только к тем данным, которые имеет эта контора, и этих данных не всегда хватит для того, чтобы просто кинуть их в нейронку.
Он про это. One thing that should be learned from the bitter lesson is the great power of general purpose methods, of methods that continue to scale with increased computation even as the available computation becomes very great.
Если твои методы не скейлятся, ты соснешь. И... ручная разметка данных не скейлится. Она ручная. Про это давно говорят. Трейнинг бьётся на две части - предобучение на большом количестве говна из интернета, затем дообучение на твою задачу. Пример - bert, simclr2, gpt. При чем с увеличением объема говна, тебе нужно все меньше размеченных данных. У gpt3 все дошло уже до few shot. Говна в интернете так много, что там уже содержатся все возможные датасеты и паттерны.
> При фиксированном количестве данных и вычислительных мощностей приходится изъебываться.
На колу мочало, начинай с начала. Ну так купи данные и мощности.
>Да, reCaptcha и тысячи аналогов не скейлятся, держи в курсе
Нет, не скейлятся. Ровно поэтому ты который год ищешь гидранты с google street view, как будто гуглу пиздец как нужны миллионы гидрантов (при этом некоторые шизики правдаэто верят)
>Нет, ты сам же скинул отрывок, где суть в "great power of general purpose methods"
Unsupervised learning - это general purpose, ручная разметка - нет
>На колу мочало, начинай с начала. Ну так купи данные и мощности.
В проекте за который мне платят больше данных достать в принципе невозможно - их просто не существует. Ну а в свободное время я не машобом занимаюсь, а вкатываюсь в веб. Трясти черные ящики с утра до ночи нет никакого желания.
>На колу мочало, начинай с начала. Ну так купи данные и мощности.
Слушаем и мотаем на ус
https://www.youtube.com/watch?v=X5i3owysLi0
Применимо и к идее "возьмём просто каких-то данных хуяк хуяк и ембеддинг".
Вообще-то если хоть 5 секунд подумать, то даже ты сможешь прийти к выводу что это полная чушь. На капчах с гидрантами в 99% случаев есть гидранты. Это значит, что они уже все распознаны. Да и это очевидно: иначе бы капчу нельзя было проверить. Для локализации такая разметка никуда не годится, слишком грубая. Ну и масштабируемость ни к черту. Ну распознаешь ты гидранты, светофоры, велосипеды. Дальше что? Если это для беспилотных машин, то им нужно гораздо детальнее, чем это. Если это вообще для зрения, то по каждой категории предметов отдельный датасет делать это очевидный тупик. Потому что этих категорий неограниченное количество.
>Да и это очевидно: иначе бы капчу нельзя было проверить.
Охх, оценка качества ручной разметки работает несколько сложнее чем давайте просто дадим размечать всё на что мы уже знаем ответ. Один из трёх гидрантов распознан, два другие нет, статистика говорит что человек который правильно отмечает распознаный гидрант в 99% случаев правильно размечает и два других (проверяется на специальной малой выборке с тремя уже размеченными). Зададим перекрытие в сто людей на каждую тройку гидрантов, получаем правдоподобную разметку неразмеченной части данных в два раза больше предварительно размеченной.
Так почему, все таки, питон?
Создать датасет недолго, вопрос в том, как его применить.
Стритвью - потому что у гугла огромный массив фоток с собственным копирайтом, неплохо подходит для капчи. Но применение у этой хуйни околонулевое. Беспилотным автомобилям такое качественное распознавание гидрантов не нужно. А если бы было и нужно, нужны фотки с разной освещенностью, ночные, и тому подобное. Да и в целом автомобилям нужна скорее сегментация, а не просто прямоугольники.
А чтобы заставить рекапчу распознавать, например, котов, нужно где-то найти фотки этих самых котов. Они есть в интернете, но применять подобное в рекапче нельзя по куче причин, от копирайта, то общестенной опасности, что она вместо кота письку покажет.
Поэтому вся эта технология нихрена не скейлится.
>>1858598
>>1858513
>>1858455
Эх, зумера... У него походу простая таблица Z столбцов на Y строк. Плюс отдельно столбец Y значений, по одному на каждую строку, который используется как выходное значение для каждого объекта из Y. И.е нужно найти y = f(x).
- есть собака / нет собаки
- есть кошка / нет кошки
- есть макака / нет макаки
Само собой, сумма тегов в каждой паре = 1.
Я хочу подавать картинки примерно на следующую геометрию
conv2 -> maxpool -> conv2 -> maxpool -> ...
#1 ... -> dense(128) -> dense(2) -> softmax(2)
#2 ... -> dense(128) -> dense(2) -> softmax(2)
#3 ... -> dense(128) -> dense(2) -> softmax(2)
То есть три последних слоя унаследовать от maxpool и размножить, на каждом из softmax ожидать собаку, кошку, макаку. Таким образом на каждом softmax я жду отдельное животное
О некоторых картинках я не могу с уверенностью сказать есть там кошки/собаки/обезьяны или нет. То есть у меня просто нет данных. То есть я точно знаю, что там есть/нет кошки, но о наличии собаки мне ничего неизвестно.
Теперь вопрос: Есть ли в Tensoflow способ не подавать какой-то item на обучение в конечный тензор, хоть в Input X тензоре этот item имеется?
Само собой, решением в лоб было бы обучение трех полностью отдельных сетей. Такой вариант в принципе тоже подойдёт
а вас тут как тут сразу нечётский петух к себе под крыло
Я наверное дико туплю, но, насколько я понимаю, в качестве X там тоже только двухмерные данные взять можно, а у меня трехмерные
Придется как-то резать картинки для проверок. Наверное так же как я их кормил, но это совсем не то что задумывалось. Обидно.
Спасибо.
> vgg19
погуглил, нашел вот это видео
https://www.youtube.com/watch?v=IYxU985meTM
Буду думать, спасибо
>Допустим я нормально шарю в мле, различной прикладной математике и алгоритмах. Но не шарю во всякой инженерной фигне: линукс, гит, докер, и еще куча названий которых я даже не слышал
>Само собой, сумма тегов в каждой паре = 1.
И зачем тебе 2 нейрона на выходе тогда? Достаточно одного
> Есть ли в Tensoflow способ не подавать какой-то item на обучение в конечный тензор, хоть в Input X тензоре этот item имеется?
Заведи 3 tf.placeholder и умножай соответствующее слагаемое в лоссе (у тебя лосс должен быть суммой лоссов финальных слоев) на этот плейсхолдер. Дальше если данные есть отправляешь 1, если нет - 1e-12. В этой ситуации на неизвестных данных обучения не будет
Так, подожди. Вот есть у меня
Lf = L1 x P1 + L2 x P2 + L3 x P3
В обучении тензорфлоу я задаю таргет на уменьшение Lf. Допустим, для первого и второго тега данные известны (и на первом ошибка), для третьего нет, тогда
Lf = 1 x 1 + 0 x 1 + 1 x 0 = 1
Тензорфлоу, увидев 1 балл ошибки, пойдет ведь обучать все три разветвления, нет?
Или мне нужно задать таргетом уменьшение всех трех композиций L1 x P1, L2 x P2, L3 x P3?
Что значит "пойдет обучать"? У тебя градиентный спуск. При прямом проходе по сети фреймворк вычисляет Lf. При обратном проходе он вычисляет dLf/dW, то есть на сколько нужно изменить W (каждый из миллиона весов у тебя), чтобы изменить L в нужную сторону. Затем в случае SGD выполняется
W=W-alpha x dLf/dW
то есть каждый из миллиона весов меняется согласно вычисленному dLf/dW.
Когда ты делаешь
Lf = L1 x 1 + L2 x 0 + L3 x 1
то
dLf/dW = dL1/dW + dL3/dW
у тебя L2 перестает влиять на вычисление dLf/dW, соответственно и апдейта весов для изменения L2 не происходит.
Единственное, P1.shape==(batch_size,) по понятным причинам - у тебя P1, P2, P3 должно быть разным для каждого примера в батче.
dense(128) -> dense(n_classes) -> sigmoid()
лосс - бинарная кроссэнтропия
в y_train хранишь векторы из нулей и единиц, где в i-ой позиции стоит 1 - если есть i-ый класс, 0 - если нет
>>1859095
>в Orange есть vgg19
Ты реально собрался это обучать в 2020? Сколько времени это займет?
В кликер ничего посвежее не завезли?
на заметку зумеркам
И шо таки с этого выбрать? Или оно будет сложновато?
Независимо от задачи VGG19 всегда будет всасывать у семейства EfficientNet'ов. В зависимости от задачи ты можешь выбрать EfficientNetB0 или EfficientNetB7.
Это на пальцах, на деле все немного сложнее, но одно можно сказать наверняка - VGG19 сосет, он слишком тормозной и одновременно неточный. Выбирать сетку без residual связей в 2020 - ну это ооочень спорно.
>Меня больше интересует откуда берется априорное суждение о не подходящем соотношении цена-точность?
Из первой картинки. Если тебе достаточно точности VGG19, бери ResNet-34, которая в 5 раз быстрее, легче и точнее при этом. По сути это та же VGG по своей философии (много-много одинаковых маленьких фильтров без наворотов как у той же inception), к которой добавили скип коннекшены, которые являются имбой для чего угодно.
Говорю на деле немного сложнее. Например, на реальных GPU эти теоретические гигафлопсы не всегда конвертятся в перформанс, можно бесплатно донавесить фильтров. Но это я на реддите когда-то давно прочитал в ответ именно на этот вопрос - почему EfficientNet такие крутые, а не используются. На самом деле это уже уровень конкретной ебли именно с классификаторами, какой там нынче в моде SOTA. А вот не знать про реснеты в 2020 это уже стыдно кому угодно.
>Там еще inception v3 есть
2015 год
>откуда берется априорное суждение о не подходящем соотношении цена-точность
Во-первых, ты споришь с голосами в голове - никто не говорил про соотношение цены-точности.
Во-вторых, архитектуры в твоем кликере устарели по сравнению с "sota" , занимают больше места, имеют более долгий инференс и трейн тайм, точность на имеджнете хуже.
Ещё актуально.
Делал как тут https://github.com/caogang/wgan-gp/blob/master/gan_mnist.py или тут https://github.com/caogang/wgan-gp/blob/master/gan_toy.py
НО НЕ ЗАВОДИТСЯ!!1
Даже жж Лебедева проще найти.
>Кстати, а что за нечеткий петух? Это математик-вкатывальщик или нечто большее?
Это маняресерчеры, которые презирают программистов и начинают дико орать при упоминании кода, отличного от лапши в жупитере. Математику и машоб они скорее всего знают тоже так себе.
Да хуй его знает. В тредах он с самого начала и взбаламутил много неокрепших умов. Любит вапника, нечеткую логику и word2vec. Не любит дип лернинг, по политическим взглядам весьма ватен, если не ошибаюсь. О любой вещи может рассказать, что это все было 50 лет назад в статье каких-то японцев. В основания тредах в /math он известен как конструшок, насколько я знаю.
Кодомакака ньюфажная плиз, нечёткий петух сначала возник в /math/ где заливал всё критикой натуральных чисел, нечёткой логикой и интуиционизмом, отчего и получил кличку. То есть это такой быдлокодер от математики, настоящей математики он не знает и не хочет.
Отсутствие активации превращает твой стек из 1000 слоёв в банальный линейный классификатор. Потому что ты можешь просто перемножить все матрицы весов и получишь матрицу весов.
А с активацией у тебя уже нелинейная модель, которая умеет, например, сравнивать числа и отбрасывать информацию.
0 или не 0 тут роли не играет, главное сам факт нелинейности.
Вытеснила, потому что работает и очень быстро считается.
https://arxiv.org/pdf/2011.08895.pdf
Почему бы не использовать вместо логита такую функцию:
f(x) = x для -1<x<1 и f(x) = sgn(x) для остальных x?
Существует проблема vanishing gradients - когда точка функции находится в зоне насыщения, градиент маленький, и обучение идет медленно, а если это в нескольких слоях подряд - то совсем медленно. Это привело к смене сигмоид на ReLU. Ты же предлагаешь вообще обнулить градиент нахуй, то есть как только твой вес попадет в область с константой, он не будет двигаться совсем.
На твою функцию похожа функция активации relu6, но там нижний хвост на уровне нуля, как у relu, а верхний - аж на уровне 6, чтобы не было проблем с переполнением low precision арифметики. Задумка в том, чтобы благодаря батчнорму и прочим ухищрениям значения до такой большой величины, как 6, просто не добирались, но если уж добираются, то не выше, чтобы не создавать арифметических проблем.
Ифа там вообще быть недолжно, relu это y=max(x,0), одна инструкция в PTX ассемблере, relu6 - две инструкции. А ботлнеки это всегда операции с памятью, а не подобная вычислительная хуитка. Вообще любые функции активации считай что бесплатные на GPU, эта хуйня идеально ложится на пайплайн GPU - грузишь байтики из памяти, применяешь активацию, грузишь назад, и все это конвеером
Пока что работал с несколькими датасетами на каггле, подготавливать особо не пришлось, кроме нарезки картинок для cnn. Хочу руки набить на простых задачах.
Ну это совсем дохуя. Вот смотри на второй график >>1860102
Самая большая сетка - 160 миллионов параметров, то есть 640 мегабайт, при чем 320 из них чтобы выжать 0.5% точности. Скорее всего у тебя избыточно много фильтров, попробуй сделать так, чтобы они росли хотя бы по правилу A*(2^N), где N - номер слоя. Плюс размеры фильтров важны - много 3х3 фильтров скорее всего будет работать лучше, чем один 7x7. Алсо изучи послойно, где именно у тебя максимум весов и флопсов, возможно у тебя в последних dense слоях слишком дохуя весов, и нужно просто еще пару раз добавить conv-conv-conv-pool блок, а не делать flatten раньше времени.
Ну а в целом просто возьми уже проверенную на разных датасетах архитектуру, где все это уже сделали за тебя.
Где-то расписано чем обусловлен именно такой выбор? Я искал сегодня, ничего кроме "ой, ну это стандартное разрешение)) на 256x256 было бы намного больше переменных обучения)))" и прочего не нашёл
>Где-то расписано чем обусловлен именно такой выбор?
В пейпере по VGG они представляют 5 разных моделей и более менее понятен ход их мысли. Стекали слои из 3х3 фильтров, пока повышалась точность, короче эвристики+гридсерч+эвристики+гридсерч. Как обычно, короче. Расходитесь, здесь не на что смотреть.
А 224х224 это размер картинок в имейджнет-контесте, под победу в котором оно и затачивалось. У меня тоже есть предположение, что это связано с тем, что minst это 28х28, но пруфов нет.
224 x 224 x 3 = 150 528 значений, по 4 байта (ширина float) каждое. Итого 588 килобайт на картинку.
Допустим, я хочу картинку немного помутировать: поповорачивать, сделать grayscale (которых тоже несколько). По 5 мутаций (включая оригинал) на картинку это 2.8 мегабайт озу на картинку, только на входные данные.
Допустим, я хочу воткнуть 20 000 уникальных изображений = 56 гигабайт данных.
Это только входные данные, без тензоров, которые тоже занимают озу в процессе обучения.
Что если мне понадобится отправить в два раза больше картинок? У меня столько ОЗУ нет.
Каждую эпоху мне надо скармливать все картинки, так? То есть мне надо их все держать в памяти. И если памяти не хватает, то считывать вновь с SSD. Потом скармливать другие данные, потом третьи и так далее.
Или можно пару эпох подряд скармливать один чанк данных (допустим, 10 000 картинок), потом пару эпох второй и так пока не закончатся чанки и начинаем все заново? Если я правильно понимаю, без длительного нахождения айтемов в обучающей выборке, сеть их забывает.
Имеется: два семестра теорвера, немного подзабытые.
>Подскажите как обучают на картинках без терабайт озу
Покупаешь быстрый SSD на терабайт (желательно 970 EVO или что-то похожее), и используешь либо Numpy memmap, либо HDF5. В обоих случаях данные хранятся на диске, но использовать их можно как будто они лежат в памяти. Только желательно их самостоятельно перемешать и отключить shuffle во время обучения, поскольку последовательное чтение в разы быстрее даже на SSD.
>Допустим, я хочу картинку немного помутировать: поповорачивать, сделать grayscale
>Допустим, я хочу воткнуть 20 000 уникальных изображений
20к это очень мало. Если аугментировать прямо во время обучения, то они без проблем влезут в память.
>Подскажите как обучают на картинках без терабайт озу.
Ищешь в своем фреймворке как с помощью коллбэков сделать так, чтобы пока GPU делает шаг градиентного спуска, CPU (в виде переданной фреймворку функции типа def day_mne_batch()). Так у тебя не будет тратиться время - пока GPU работает, CPU готовит новые данные.
В этой функции можешь спокойно и не торопясь прочитать с диска файл, наложить аугментации на лету, и вернуть подготовленный батч.
Далее, нюансы. Если CPU у тебя тормоз и ты не успеваешь на лету подготовить батч - придется сгенерить датасет с аугментациями заранее. Крайне не рекомендую. 5 мутаций - это хуйня. Каждый раз новая мутация - это сильно лучше.
Если аугментации совсем тяжелые, есть еще вариант делать их прямо на GPU, сделав специальные нетренируемые слои.
Если CPU у тебя наоборот ультрабыстрый, можно даже не конвертить картинки в сырые пиксели, а читать прямо jpeg'и и, возможно, обойтись HDD вместо SSD. Короче, ищи баланс.
>Это только входные данные, без тензоров, которые тоже занимают озу в процессе обучения.
Это ты совсем тупишь, тензоры лежат в памяти GPU.
>Всегда целься создавать уникальное, это необходимый скил
Если у тебя не 160+ айсикью, то ты не создашь ничего уникального даже в нишевой области. Уникальное создается в больших организациях с огромными бюджетами и множеством людей с разными специальностями и топовым образованием.
Естественно, какая-нибудь сверточная нейросеть для классификации залуп к уникальному не относится - это типовая задача.
или sql потребовать.
>Можно просто стремиться сделать немного лучше, чем сделано до тебя.
Можно, только это нахуй никому не нужно, эти пейперы уровня "мы подняли SOA на никому не нужном датасете с 87 до 89 процентов" просто забывают через неделю после их публикации и никто никогда их нигде не использует.
1. Нейронка, что ищет текст на картинках. Текст печатный, но может быть искаженным, на ебанутом фоне и.тд.
2. Нейронка, в которую можно загружать образы и чтобы она находила их на картинке. К примеру, хочу я искать лягушонка пеппе. Для этого я скармливаю нейронке десятки изображений лягушонка, чтобы в следущий раз она нашла его на совсем левой картинке.
Существуют ли такие штуки, при чем забесплатно и чтобы их учить не надо было?
В теории я могу/должен собрать новую среду с нужными зависимостями и перенести её на сервер или повторить её установку по всем пунктам (cuda, pytorch) на сервере. И тут, вероятно, у меня третья ошибка- я беру google cloud VM с какой-нибудь виндой с поддержкой GUI на ЦП без видеокарты (ну я не могу в линукс пока что, тем более без GUI все образы, и поставить GUI у меня по гайдам почему-то не получилось, пишет что-то про недоступность устройства). В случае с win-server 2012 и 2019 после установки conda, cuda и зависимостей код запускается и выдаёт ошибку, что не может подклучить _ctypes, хотя плагин для поддержки - VStudio 2019 я ставил.
Вопрос- я вообще правильно делаю, что пытаюсь на VM от гугла без видеокарты поднять pix2pixHD ?(в теории процессора и 8 гб должно хватать, я не обучаю там модель, а только запускаю уже обработку обученного генератора.) Может мне стоит посмотреть на 1) другие сервисы с ubuntu VM с GUI , там должно быть чуть меньше проблем. 2) Пробовать учиться делать docker-изацию всего этого дела и поднимать потом всё это же на виртуальнйо машине (или на выделенном сервере? где-то читал, что в VM докер- это извращение). Я просто уже пару дней бьюсь. Может есть способ сделать образ или список типа freeze всех зависимостей для приложения только грамотно? Я смотрю в сторону докера, но не очень понимаю, как там сохранить, например cuda или конду с зависимостями или как передать внутрь контейнера мои файлы снаружи. Или может где-то у Нвидии есть уже готовые контейнеры с pix2pixHD и даже серверы чтобы с ними играть тестить?
1. запусти свою модель на CPU на винде. например с помощью CUDA_VISIBLE_DEVICES='' python yoba.py в виндовом баше
2. запусти ее на ubuntu VM
3. далее там же можешь либо создать докер образ, выписав все команды, либо повторить все действия через шелл
>не очень понимаю, как там сохранить, например cuda или конду с зависимостями
Гугли, в интернете все есть
> 5 мутаций - это хуйня
Если у меня будет по 15 мутаций и 40k картинок = 300 гигов. У меня столько свободного места на SSD нет, придется еще один докупать. Про мутации во время обучения ну это просто пушка. Если у вас такие CPU-кластеры, которые за время эпохи могут намутировать хотя бы 20k картинок, то можете обучать прямо на них. Зачем вам тогда GPU вообще?
Во-первых, используют. Во-вторых, иметь репу с просто повторенным результатом и такую статью - это земля и небо в карьерном плане. Первое это ноль, не показывает ничего кроме макакинга. Второе это вклад, умение писать, понимание проблемы, умение решать задачи и добиваться результатов лучше других. Если еще и цитаты будут, а они будут если у тебя СОТА, то ты вообще будешь как боженька среди плебса.
>Если у вас такие CPU-кластеры, которые за время эпохи могут намутировать хотя бы 20k картинок, то можете обучать прямо на них
Ну мань, ну хули ты диванствуешь.
Нейросетка тяжелая, чтобы обработать 1 картинку, GPU нужно пропустить данные сквозь кучу слоев, сначала forward, а потом backward, параллельно сделав дохуя расчетов.
А аугментация картинки - штука легкая, самая страшная вещь, которую ты делаешь - это афинные преобразования, потому что кропы/грейскелы/отражения и прочая хуйня вообще считай что бесплатная и по скорости равносильна переносу байтов из одного места в памяти в другое. Возьми блядь time.time и замеряй. Поэтому если у тебя аугментация требует раз в 100-1000 меньше флопсов, чем forward+backward pass, все сходится. А если нет - ты просто самые тяжелые части агументации переносишь на GPU, либо, в крайнем случае, только их переносишь на SSD.
Залётный в треде. Поясните, пожалуйста. Если я хочу дома с помощью камеры видеонаблюдения распознавать лица, в какую сторону мне копать? Есть тренированные модели, подходящие для российского фенотипа? Платные/бесплатные? Можно ли получать какую-то условную хэш-сумму лица, чтобы сверять свой/чужой?
>Если я хочу дома с помощью камеры видеонаблюдения распознавать лица
Тебе сюда
https://www.youtube.com/watch?v=u_11jbdQA-8
>Если я хочу дома с помощью камеры видеонаблюдения распознавать лица, в какую сторону мне копать?
https://www.pyimagesearch.com/2018/09/24/opencv-face-recognition/
В принципе ты google фото описываешь. Картинки с нужным текстом ищет (довольно хуево). Определенные объекты ищет, даже если "аниме" в поиск написать, будет действительно только аниме. Но как бы у Гугла это всё работает неидеально, так что сомневаюсь, что у тебя лучше получится.
>Но гугол ищет фото по всему интернету, я же буду искать только в своей папке на 2 гигабайта.
Я не про поиск гугл по изображениям. Приложение google photos на ведро, галерея гугловская короче. Он ищет по твоим фоткам. Первый скрин ищет по слову сыр на изображении (ну и по объекту сыр тоже), второй скрин ищет объекты аниме.
>у коммуняк нейросети не работают
О, на сей счёт вот (миф второй)
https://www.youtube.com/watch?v=wHPp8L0KtMg
Зумер-вкатывальщик.
>17 years old
>Self-taught
>3000 USD
Перегнул с зарплатой раза в 3-4. Даже если закрыть глаза на отсутствие профильной вышки, я все равно не понимаю, как и когда 17-летний зумер может вкатиться в датасаенс.
>>1864643
>have experience in working with databases
>максимально криво звучит эта фраза даже для меня
Вообще-то так правильно. С английским у него как раз проблем нет.
>Хмм, а разве не проще дропнуть "in working" и оставить have exp with...
Так тоже можно. Пиши длиннее если резюме пустое, короче - если наоборот нет места.
>>1864671
>Типичные славянизмы, прямо чувствуется, что русский хохол писал
А ты сам кем будешь? Вбей эту фразу в кавычках в гугл и увидишь, что так много кто пишет.
Не слыхал о таком, обычно проверяют банальным разговором на заезженные темы (настолько заезженные, что следующий раз как буду искать работку думаю припизднуть маленько и сказать что у меня уже аппер, заготовив текста на попсовые темы заранее).
Но мои познания это B1-B2, может для сС рли требуют. Я видел такие формальные требования только для вакансий инглиш тичеров на крупных галерах, при этом для тех же сейлзов например я не припомню требований по бумажкам.
Да и вообще о каком сертификате речь?. Резюме - кусок дерьма. Не говоря о том где оно опубликовано. Насколько я понимаю у вас в РФ hh действительно ходовой сайт для ит, но в украхе в ит сфере работу на досках объявлений никто не ищет. Есть узкоспециализированные сайты и линкедин, а hh и прочие работа.уа имеют статус помойки (или около того).
djinni.co, linkedin, dou.ua, сайты интересующих тебя контор. В качестве агрегатора всех возможных ворк.юа можно jooble мониторить.
Олсо, не советую вкатываться сразу на джуна, это очень сложно. Смотри интернатуры/обучения/стажировки, через них имхо вкатится гораздо легче.
Обусловлено аутсорсной природой отрасли. В рахе есть какая-никакая экономика и внутренний рынок, продуктовые компании. В украхе напротив, почти все идет на аутсорс к дяде Джо, поэтому и пишут резюме сразу на понятном Джо языке (вполне вероятно что твоя кандидатура будет требовать апрува от заказчика) и поэтому и инглиш мастхев. Если ты не можешь на инглише даже резюме написать - то на работу тебя вряд ли возьмут вообще, даже обсосанной куа-макакой.
Пробовал разные модели, лучший результат показали ExtraTrees и обычный бустинг.
Вроде GRU форсили пару лет назад, но сейчас вообще нигде не встречается. Неужели не могут подрубить свой модный архитектурный поиск и найти что-то получше чем LSTM.
https://colab.research.google.com/github/ak9250/TecoGAN/blob/master/Tecogan.ipynb
Нарезал кадры ффмпегом. Прописал в runGan.py путь к кадрам(фреймам).
Запускаю
>%tensorflow_version 1.x
>!python3 runGan.py 2
Матюкнулось что не находить results/calendar
Переписал
> elif( runcase == 1 ): # inference a trained model
> dirstr = './results'
на
>elif( runcase == 1 ): # inference a trained model
> dirstr = '/content/TecoGAN/results'
Запустил снова
>%tensorflow_version 1.x
>!python3 runGan.py 3
Теперь пишет
Preparing train_data
Traceback (most recent call last):
File "main.py", line 280, in <module>
rdata = frvsr_gpu_data_loader(FLAGS, useValidat)
File "/content/TecoGAN/lib/dataloader.py", line 289, in frvsr_gpu_data_loader
batch_list, num_image_list_HR_t_cur = loadHRfunc(FLAGS, tar_size)
File "/content/TecoGAN/lib/dataloader.py", line 179, in loadHR
raise ValueError('Video input directory not found')
ValueError: Video input directory not found
Что делать хэлп????
>Trevor Hastie et al. "The Elements of Statistical Learning"
>Christopher M. Bishop "Pattern Recognition and Machine Learning"
только теория
>Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
только теория + слишком глубоко
>Франсуа Шолле - Глубокое обучение на Python
хорошая книга, но фокус на глубоком обучении
Для любитей R от себя могу посоветовать "An Introduction to Statistical Learning" Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani - хотелось бы вот такого, но на питоне
Я помню, что у сайта отвратительный интерфейс, но больше не помню ничего
> только теория
> только теория + слишком глубоко
Как что-то плохое. Теория и нужна, более конкретно - в документации к какому-нибудь sklearn.
> хотелось бы вот такого, но на питоне
"ISLR python" загугли, на гитхабе полно переписанного под пистон кода из этой книги.
Нашёл, оказывается это был не сайт, а standalone html-файл
http://www.robots.ox.ac.uk/~vgg/software/via/
Тут другие image labeling tool
https://medium.com/tektorch-ai/best-image-labeling-tools-for-computer-vision-393e256be0a0
https://www.youtube.com/watch?v=chVM-rBeo4E
https://scitldr.apps.allenai.org/
Очень часто при подготовке к экзаменам или обучении какой-либо дисциплине приходится читать десятки научных статей и книг. Это сотни и тысячи страниц. Американские исследователи создали систему на основе ИИ, способную сократить даже самый внушительный многотомник до одного предложения.
Полезное ПО было создано усилиями исследователей Института искусственного интеллекта Аллена в Сиэтле. Программа специализируется на объёмных статьях по информатике, предлагая экстремальное сжатие данных, что позволяет сократить до минимума время, необходимое для изучения сложной научной литературы.
Уже сейчас в базе данных Semantic Scholar насчитывается более 10 миллионов статей по информатике. Исследователи уверяют, что со временем их количество будет расти, расширяясь за счёт других дисциплин. Сообщается, что первые пользователи уже оценили эффективность работы ИИ и остались довольны новым опытом.
Semantic Scholar обладает наиболее высокой степенью сжатия среди всех доступных инструментов. Так, из научной работы со средним количеством символов около 5000 программа может выделить 21 главное слово: они способны передать весь смысл материала. Сообщается, что ближайший конкурент сжимает документы в 36 раз, в то время как Semantic Scholar обладает экстремальным сжатием в 238 раз.
В сети доступен демонстрационный сайт, где можно проверить эффективность ПО. Версия работает только на английском языке. В будущем не исключается появление и других языков.
>она же не для прогресса придумана
Талантливые кадры устраиваются в FAANG, где работают над закрытыми проектами, изредка публикуя революционные исследования. Менее талантливые перекатываются в индустрию либо кодером, либо машобщиком. Ну а большинство пейперов пишется людьми из третьей категории - теми, у кого не хватило мозгов ни на работу в топовой фирме, ни на перекат в кодеры. Именно они пишут тонны макулатуры, которая не несет никакой пользы.
Через эту макулатуру они получают жирные позиции, на которые требуется ПхД + публикации.
Но это они пока что жирные. Уже ходят слухи, что наступает отлив, и из-за огромных толп кандидатов со статьями происходит их инфляция. Не только требования становятся абсурдно-клоунски высокими (10+ статей в НеурИПС чтобы чистить вилкой цсвшники), но и вожделенные ЗП проседают.
>Через эту макулатуру они получают жирные позиции, на которые требуется ПхД + публикации
Я имел в виду тех, кто остается в академии - это в основном те, кто больше не смог никуда устроиться.
Жирную позицию ты не получишь в любом случае, максимум +1 от entry-level, что равносильно паре лет опыта. Вообще, насколько я понимаю, крупные конторы смотрят по большей части на твои навыки, а количество статей - это хуевый показатель навыков.