Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/
Почему python?
Исторически сложилось
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
На сентябрь 2020 ждем 30хх серию в магазинах и падение цен на 20xx на авито, /hw/ в помощь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
https://www.youtube.com/watch?v=pGbyTtWRRmo
Фигасе четкая детекция на втором пике.
1. Есть модели, которые относят объект к одному из двух классов. Есть модели, которые относят объект к одному из множества классов. Есть модели, в которых есть один класс и все остальное. Чем это отличается от модели с двумя классами? Возможно, я ответил на это во втором вопросе.
2. Если у модели 2+ классов, то она относит объект к тому классу, на который объект больше "похож". Если в модели есть один класс и "все остальное", то как определяется, отнести объект к этому одному классу или нет? По некоторому порогу чувствительности? То есть, если объект отдален от класса более чем на n, то он уже не относится к этому единственному классу? Если да, то как находится это n?
>Чем это отличается от модели с двумя классами?
На практике у тебя как правило X позитивных примеров (картинка с котом) и X*100 негативных примеров (картинка без кота - с собакой, травкой, домом). Из-за этого алгоритм получает на входе перекос в распределении и без дополнительных усилий (например, присваивания примерам с котами большей значимости при обучении) работать будет плохо. В частности, он может выдавать "не кот" в 100% случаев и получить точность в 99% - котов-то в датасете в 100 раз меньше. Это практическая разница. Для знаний теории же не забивай голову.
>Если у модели 2+ классов, то она относит объект к тому классу, на который объект больше "похож".
Нет, модель выдает тебе вероятности каждого класса. Если у тебя 2 класса (не важно, второй класс это "не-кот" или что-то другое), она выдает тебе одно число - вероятность p (от 0 до 1) либо какое-то другое число, которое можно пересчитать в вероятность. Если 3 класса - то 3 числа, сумма которых будет равна 1. Допустим, она выдает тебе, что 50% на картинке кот, 50% собака и 0% - травка.
>Если да, то как находится это n?
В зависимости от ТЗ. Если ты преступников-террористов ловишь, то тебе выгоднее занизить порог обнаружения, и посадить отдел сержантов, которые будут уже вручную сверять кто на картинке - террорист, или ложное срабатывание. А если ты по фейсу определяешь покупателя в пятерочке, то лучше пусть никакого срабатывания, чем ложное. Если модель идеальна и обучена без перекосов, то ставишь порог 0.5.
В твоем примере с котами и не-котами нужно сделать один класс "коты" и дальше настраивать порог срабатывания, насколько близко к котам? Или нужно сделать 2 класса: "коты" и "не-коты" и определять вероятность по каждому? Второй вариант не подходит, потому что у "не-котов" будет слишком много разных признаков, верно?
Скорее всего, я буду использовать не нейронки (байес, логистическая регрессия, опорные вектора, случайный лес), потому что данные не очень сложные. Я читал, что в scikit-learn есть гиперпараметры, которые задают количество классов для модели. Отсюда были вопросы. Пока что разобрался, спасибо.
>В твоем примере с котами и не-котами нужно сделать один класс "коты" и дальше настраивать порог срабатывания, насколько близко к котам?
Нужна вообще другая сущность - веса классов. Грубо говоря, ошибка в предсказании одного класса должна вызывать у модели во много раз больший шухер и апдейт весов. Для этого модифицируется целевая функция, как вариант - с помощью весов. Отношение весов настраивается так, чтобы максимизировать например >>1818246 или какую-то еще важную тебе метрику.
>Или нужно сделать 2 класса: "коты" и "не-коты" и определять вероятность по каждому?
У тебя по определению если вероятность кота p, вероятность не-кота (1-p). Если у тебя вероятность кота p, вероятность не-кота q, и p+q не равно 1, значит это не вероятность, а какая-то хуета.
Тоха говорил не про его работу, а про работу ds вообще
https://www.youtube.com/watch?v=iBO9YDLYGj8
Для вкатышей это видео куда полезней всяких cv докладов
>А ешё есть подозрение, что ты никогда в жизни достаточно данных не соберешь.
Возможно ему что-то типа StyleGAN нужно
https://twitter.com/hardmaru/status/1095639937842638849
А если без шуток... Я нашел некоторый сурс http://www.cvc.uab.es/~marcal/pdfs/ICDAR19.pdf
Вроде бы как неплохо получается, мне примерно тоже самое и нужно.
https://youtu.be/ArnwQdGHwOM?t=203
К примеру:
inc(1) -> inc(2)
dec(2) -> dec(1)
Задача компилятора: найти определение функции inc и dec используя примитивные функции.
Сама идея правильная, проблема в том что требует неподьемных вычислительных мощностей даже в наше время. Более-менее будет работать на языках с 1.5 операциями, например с лямбда исчислением. Но генетическое программирование сейчас уже не в моде, есть т.н grammatic evolution, эта тема поинтереснее. Общая идея в том, что нужная грамматика задаётся в виде BNF (форма Бэкуса - Наура), ну и дальше подбирается нужное решение по заданной функции приспособленности. Можно генетическим алгоритмом, можно тупо перебором, там много вариантов. Но это не для зумеров вкатывальщиков тема, там мозги надо.
Есть ещё property-based testing, например, quickcheck, но это больше для функционального программирования, хотя за 20 лет этот квикчек куда только не портировали с хачкиля, даже в пистон и coq. Там вообще без всяких генетических алгоритмов и прочего машобчика обошлись.
> Сама идея правильная, проблема в том что требует неподьемных вычислительных мощностей даже в наше время.
Ну, смотря что решаем. Большая часть времени уйдёт на компиляцию (нахождение функций).
Но зато какие огромные возможности! Компилятор будет выдавать из всех верных функций для X -> Y самую эффективную. Это может очень сильно повысить производительность как программ, так и программистов.
> Никак не связано с сабжем. GP про генерацию алгоритмов, а не про их проверку.
Я бы не сказал, что никак не связано. В том же коке оно может генерировать пруф-обьекты для доказательства обитаемости заданного типа. Это вполне можно рассматривать как генерацию алгоритма, если само задание нужного типа это спецификация программы, т.е описание того, что программа должна получать на вход и что выдавать на выходе.
>>1819863
> Но зато какие огромные возможности! Компилятор будет выдавать из всех верных функций для X -> Y самую эффективную
Ну так-то да, если на этих принципах вымутить оптимизирующий компилятор, знатная бы штука получилась. Но наверное давно бы уже сделали, если бы все так просто было. Ящитаю, все упирается в вычислительные требования.
> Большая часть времени уйдёт на компиляцию (нахождение функций).
Опять же, вместо непосредственной компиляции можно использовать аксиоматическую семантику (VST в коке, почти полноценный С), что сократило бы время проверки процентов на 95+. Если к VST прикрутить grammatical evolution или хотя бы тот же quickchick, получилось бы интересно. Я как-то давно пробовал, но там нотация несовместимая, одно импортируешь - другое отваливается, лол, надо разбираться, возможно авторов трясти, а мне лень. В итоге просто забил.
Сап двач. Реквестирую соус распознавания лиц. С меня как обычно
> Что думаете насчет GP(Genetic Programming).
Подобный подход хорош, когда у тебя пространство решений более-менее гладкое. Например, если у тебя нейронка, то добавив-удалив слой, перформанс сильно не упадет. Или когда ты проектируешь какую-нибудь амебу.
Но в случае классических алгоритмов такого свойства нет, и вся эта хуйня будет работать не сильно лучше простого перебора. Любые ухищрения уменьшат константу, но не экспоненту.
Ну чё, парни, вот ради чего вы учили machine learning. Ради зарплаты в 100 тысяч
> хипстерские
Фу, блять, уносите это говно нахуй.
мимо-не-прогрессивный-быдло-программист-без-гироскутера
Прочитал про фильтр вот здесь.
https://www.popmech.ru/technologies/402352-na-lice-napisano-kak-rabotaet-kompyuternoe-raspoznavanie-lic/
Нет, у них другая проблема. Фит функцию сделать несложно, если ты понимаешь что хочешь получить.
>>1819993
> Подобный подход хорош, когда у тебя пространство решений более-менее гладкое. Например, если у тебя нейронка, то добавив-удалив слой, перформанс сильно не упадет. Или когда ты проектируешь какую-нибудь амебу.
В теореме схем Холланда нет такого требования. Конечно же, и козе понятно, что на более хитровыебанном пространстве решений алгоритм будет сходиться дольше. Но простой брутфорс ни в каком случае не может превосходить генетические алгоритмы, потому что последние это направленный поиск решения.
> Но в случае классических алгоритмов такого свойства нет, и вся эта хуйня будет работать не сильно лучше простого перебора.
Нет, оно работает сильно лучше простого перебора. Достаточно запустить любой пример грамматической эволюции с подбором решения методом простого перебора и такой же с генетическим алгоритмом. Скорость схождения отличается буквально в разы.
Давайте ещё померимся письками по решению Титаника. У кого сколько? У меня-долбоеба 0,77 пока. Это с третьего раза.
> Да ещё и генетические алгоритмы никакой теории под собой не имеют, просто эвристика.
Потому что какой-то зумер такскозал? Я же чуть выше упомянул теорему схем Холланда.
>на русском
ты что тут забыл? вроде у computer science center на русском есть, но там как-то многовато классической обработки языков (регулярки, минхэш)
учи ангельский чтобы не быть батхертом
https://github.com/yandexdataschool/nlp_course/tree/2019
http://web.stanford.edu/class/cs224n/
Ну я начал у них смотреть, и засомневался такой чего-то. Показалось, что как-то много воды. Мне у них нравятся лекции Абакумова, но их по NLP нет. Ангельский учить, конечно хороший совет, и на каком-то уровне я в него могу, но не на таком, чтобы на слух спокойно воспринимать сложные лекции.
Ну вообще, диплернинх никуда не делся там, ведь этим ГА обучали нейронки.
>превзошли
Не превзошли, там всего на нескольких играх лучше результат. Да и количество необходимых фреймов в 10 раз больше чем у dqn.
Почему-то регулярно всякие случайные поиски и ГА оказываются "a Competitive Alternative", но потом я захожу в соревнования (minerl, obstacle tower, flatland, learn to move) и не вижу там их. Почему так?
Суть вопроса: к примеру у меня есть по 1000 нарисованных от руки треугольников, квадратов, кругов и т.п. и я хочу научить сеть классифицировать их. Формы потом будут намного сложнее, но мне надо сначала вкурить систему на простых вариантах, а потом уже буду ебаться со своими хотелками.
Не могу найти нормальный курс. Матфак есть (но хуеват), английский как родной, питон умею/практикую. Ткните лицом, пожалуйста.
Статистический анализ тебе в руки. Берешь две картинки, один шаблон из датасета, вторая та, что нужно проверить; сравниваешь пиксели двух картинок; потом считаешь по формуле Q = P/(P + N), где Q - итоговая вероятность, P - совпавшие пиксели, N - несовпавшие пиксели. На простых геометрических фигурах работает безотказно. К тому же он невероятно прост и быстр.
Выпал я на самой простой нейросети. Я захотел обучить её вести себя как элемент XOR.
Вот код: https://pastebin.com/UgMqGyP8
Я там сделал 4 слоя pytorch Linear (хоть и понимаю, что достаточно двух), но чего-то ничего не получается. loss минимальный выходит 0.25, с одним другим критерионом 0.5.
Как мне это решить? Я понимаю, что логические элементы это не для нейросетей, но мне надо понять. Я думал, может тут связано с тем, что веса должны быть отрицательными, вот я и взял tanh вместо relu, но это всё-равно не помагает. В каждом случае результат около 0.5.
У тебя задача классификации, а ты решаешь регрессию.
Поменяй последнюю строчку forward'а на x = torch.sigmoid(self.l3(x)), criterion на nn.BCELoss() и увеличь количество эпох в 10 раз. И будет нормально сходиться.
Ну и желательно делать это не на 4 точках
import matplotlib.pyplot as plt
X = torch.randn(size=(64, 2))
y = (X.prod(dim=1) > 0) * 1.0
plt.scatter(X[:, 0], X[:, 1], c=y);
>Но простой брутфорс ни в каком случае не может превосходить генетические алгоритмы, потому что последние это направленный поиск решения.
Может. Возьми такое пространство решений, где вокруг глобального минимума есть большой и толстый барьер. Тогда перебор рано или поздно переберет и такое решение, а ГА будет тусоваться там, где в среднем получше. Компьютерные алгоритмы в целом обладают таким свойством. Грубо говоря есть две программы:
print("fizzbuzz")
print("1")
print("2")
print("buzz")
...
и
for fizzbuzz in range(100):
if fizzbuzz % 3 == 0 and fizzbuzz % 5 == 0:
print("fizzbuzz")
elif fizzbuzz % 3 == 0:
print("fizz")
elif fizzbuzz % 5 == 0:
print("buzz")
print(fizzbuzz)
Вокруг первой программы огромное количество программ, вывод которых приблизительно похож на правильный ответ. Например
print("fozzbozz")
Вокруг второй таких программ гораздо меньше, зато такую программу очень легко поломать ошибкой в одном символе.
>Скорость схождения отличается буквально в разы.
Так я и написал, "Любые ухищрения уменьшат константу, но не экспоненту". ГА-то в принципе лучше перебора, но в целом шо то хуйня, шо это хуйня.
> Вокруг второй таких программ гораздо меньше, зато такую программу очень легко поломать ошибкой в одном символе.
Поэтому пистон именно как язык для генетического программирования и не подходит. Даже сам создатель GP кроме лиспа с тряской (((скобочек))) других ЯП для GP не использовал. А теперь представь, что физбазз написали лямбдами, само использованное лямбда-исчисление записали в BNF, а фитнесс функцию задали в виде разницы (расстояние левенштейна там или что-то подобное) между выводами физзбаза и сгенерированных решений при одних входах. Вуаля, и мы уже имеем хуеву тучу программ, работающих ровно так же как физзбаз. Дело в том, чтобы представить задачу правильно, я же говорю.
Прилетела задача построить несколько статистик на данных формата:
Колонка в датафрейме пандуса содержит данные формата:
[11, 23, 45, 33] от одного до множества элементов
Как обработать эту колонку и уметь вытягивать из нее количество элементов/отдельные элементы.
>nn.BCELoss
Спасибо, то что нужно.
Изначально я оставлял там CrossEntropy, но затупил, когда у меня потребовали классы ввести (а у меня-то 0 и 1), а BCE это получается тот же CrossEntropy, но с уже готовыми 0 и 1.
Я там ещё в SGD lr подкрутил в 100 раз, как раз быстро обучить.
> Uber впустую потратил $2,5 млрд на беспилотные автомобили
> Попытки Uber создать беспилотный автомобиль обошлись компании почти в $2,5 миллиарда долларов, но до сих пор она даже близко не приблизилась к цели, говорится в отчёте The Information.
> Несмотря на то, что команда впервые начала свои исследования в 2015 году, беспилотный автомобиль Uber до сих пор «не ездит нормально» и «не справляется с простыми процедурами и простыми манёврами», — это говорил менеджер подразделения генеральному директору Даре Хосровшахи, сказано в отчёте. Он добавил, что становится всё меньше надежд на то, что компания Uber вообще способна сделать систему беспилотного вождения.
https://pcnews.ru/blogs/uber_vpustuu_potratil_25_mlrd_na_bespilotnye_avtomobili-1020219.html
Нейроночки при том, что они не подходят для этой задачи. Хотя бы потому что для них нет строгих доказательств сходимости. Это же эта контора, "унтер", своей самоходной шайтан-арбой пешехода по переходу размазала? Дегенеративность разработчиков с петушиными андеркатами и смузи наперевес тоже, конечно, фактор. Но не основной.
Врети? Напомню, Хитачи смогли в 1987 году запустить беспилотный поезд метро на нечётких контроллерах. А сойбои с петушиными бородами из барбишопа 33 года спустя смогли только насрать себе в штаны, промандеть 25000000$ и угандошить пешехода. Прогресс налицо.
Есть несколько вопросов чисто по результатам:
1. Что впечатляющее сделало ML за последние 10 лет?
2. Что полезное сделало ML за последние 10 лет?
3. Что впечатляющее может сделать ML за следующие 10 лет?
4. Что полезное может сделать ML за следующие 10 лет?
3 и 4 вопрос, по мнению анона. Предсказателей тут нет, конечно, но тот кто владеет инфой о текущих развитиях ML - может примерно спрогнозировать.
Хочу просто оценить положение индустрии. Благодарю за ответы!
> Что впечатляющее сделало ML за последние 10 лет
Прошли тест Тьюринга (GPT-3)
Научились отличать кошек от собак
Научили автомобили ездить самим
Научили генерировать лица людей
Огромный прогресс в экономической сфере. Научились прогнозировать спрос на товар.
Alpha GO обыграл лучшего гошника.
Научили расскрашивать мангу
Научились генерировать фотореалистичные изображения по скетчам
Научились преобразовавыть голоса людей
... и многое другое.
> Что полезное сделало ML за последние 10 лет?
Список выше.
> Что впечатляющее может сделать ML за следующие 10 лет?
Сгенировать аниме по текстовому описанию.
> Что полезное может сделать ML за следующие 10 лет?
Полная автоматизация любого производственного процесса, с последующим экономическим прогнозированием. Глубокий анализ желаний людей, и оптимизация их жизни.
Благодарю за ответ!
Более подробный вопрос, если можно.
Я смотрю по ML канал "Two Minute Papers".
Меня привлекло вот это видео:
(фотографии преобразовываются в 3d модель)
https://www.youtube.com/watch?v=T29O-MhYALw
Вопрос специалистам: вскоре действительно возможно будет записать видео и алгоритм сам создаст 3d сцену по этому видео? Или такое преобразование всё ещё потребует много ресурсов (как deepFake, по несколько часов или даже дней)?
Нудк никто и не спорит. Хотя по словам самой GPT-3 мышление - не единственная форма разумности:
> Человеческие философы часто ошибаются, полагая, что всякое разумное поведение есть форма рассуждения. Эту ошибку допустить легко, поскольку рассуждение действительно лежит в основе большинства разумных поступков. Однако разумное поведение может возникать и с помощью других механизмов. Таких как обучение и воплощение системы в реальном мире (т.е. нахождение в окружающей среде с помощью сенсоров и эффекторов).
> Вопрос специалистам: вскоре действительно возможно будет записать видео и алгоритм сам создаст 3d сцену по этому видео?
Видео - просто чередующиеся картинки. Можно понижать FPS видео, для производительности, а потом уже на модельках анимацию интерполировать. Но это ахереть сколько ресурсов нужно.
Сам взгляни на современный 3D-рендеринг, он и без нейронок жрет процессор, ОЗУ, и человековремя, аки чорт ебанный.
Как сделать рекуррентную нейросеть, чтобы она распознавала буквы из рукописного текста (почти произвольной длины, ну вы поняли). Я уже нашёл разные статьи, например: https://towardsdatascience.com/build-a-handwritten-text-recognition-system-using-tensorflow-2326a3487cd5 и https://codingvision.net/pytorch-crnn-seq2seq-digits-recognition-ctc, я понял как они работают, но на практике у меня ничего не получается. Даже попытался скопировать код со второго, но я не смог сделать так, чтобы оно дало мне результат, а не просто обучалось.
Можете навскидку глянуть код и указать, в чём могут быть проблемы?:
https://pastebin.com/tpAXGZUg — тут у меня происходит обучение, но когда я пытаюсь получить результат (в виде цифры-бланки 0043---54--233--- и подобное), он не соответствует картинке. Этот код я сделал из кода для второй статьи выше.
https://pastebin.com/aUzt47Kx — тут тоже идёт обучение, но когда я собираюсь предсказать, выдаёт 0000000000000000000000000000000.
Я даже не понимаю, зачем надо делать reset_hidden, то есть сбрасывать hidden-слой GRU.
Или почему в первом коде автор сделал кучу permuteов...
И может ли быть проблема в датасете? Я просто нагенерировал кучу картинок из пяти цифр как пикрилейтед, с разным поворотом и небольшим шумом.
Только вот нейроночки в самодвижущихся повозках это вообще дело десятое, они даже в определении контекста не на первом месте, а большую часть занимают классические алгоритмы и классический мл с твоими любимыми каминсами и кннами. Впрочем, знай ты это, ты бы не был безграмотным безработным кукарекающим шизом, так что что это я, продолжай самообоссываться.
Хотя может мне кажется, и этим делом промышляет полтора шизика.
Выходит на связь >>1821213-анон
Проблема обучения была в том, что я данные неправильно перемешал. Взял пример из первого кода и скопировал перемешку туда. Ещё nn.InstanceNorm2d добавил и скорость увеличилась. Теперь всё обучается и работает! Хотя, возможно, и раньше работало...
Проблема с проверкой оказалась ещё глупее, я проверял максимум и минимум не элементов, а векторов(тензоров) (что?). Чё-то нули после минимальных и максимальных индексов меня не смутили.
Я поражён результатом. Получается, таким же образом можно и голос на слова раскладывать.
>Анон, вкатываться не собираюсь, так как без меня много желающих.
Желающих, и при этом способных, меньше, чем нужно.
>1. Что впечатляющее сделало ML за последние 10 лет?
Впечатляющее для кого? Впечталяющих внутряков много, потому что по сути ML из довольно маргинальной хуйни превратился в локомотив IT, как раньше был интернет.
Впечатлить же мимокрокодила тяжело, потому что у AI есть такая фишка, что его никогда нет. Человечеству потребовалось много времени, чтобы признать, что у негров есть душа, что говорить о компьютерах. Вау эффект спадает за неделю и дальше как будто всегда с этим жили. Style transfer тот же или очередной генерящий пейзажи GAN, кого этим впечатлишь в 2020.
>2. Что полезное сделало ML за последние 10 лет?
То, что юзается теперь повсеместно - нормальный машинный перевод, распознавание речи, цифровой гулаг, рекомендательные системы в магазинах и соцсетях, автоматизация творческой работы.
>3. Что впечатляющее может сделать ML за следующие 10 лет?
>4. Что полезное может сделать ML за следующие 10 лет?
Через 5 лет довольно легко предсказать, потому что индустрия отстает от ресерча лет на 5. Через 5 лет революция в процессинге языка придет в каждый дом, школьникам работы будет писать ИИ, возможно появятся наушники, переводящие на лету, в фотошопе большую часть работы будут делать нейросети.
Через 10 уже тяжелее, потому что нужно знать, где будет ресерч через 5 лет.
В ресерче же все упирается в железо, каким будет железо, таким будет и ML.
Наоборот, это ответ на этот предел.
Если у конвенциональных вычислений все грустно (но не безнадежно - грустно это в пассажирской авиации какой-нибудь, где проще испортить, чем улучшить), потому что уменьшать транзисторы дальше дорого, а если их не уменьшать, то сколь ни удешевляй себестоимость одного транзистора (например, с помощью 3D-упаковки), они все равно будут жрать электроэнергию на переключение и греться, то нейронки это мечта хардващика, 8-16бит - заебись, шумы и случаные ошибки в битах - похуй, отваливающиеся браком на производстве вычислительные блоки - похуй, их тысячи, с помощью техник спарсификации можно снизить тепловыделение, короче, целое поле для экспериментов и улучшений.
Проблема только в том, что чем больше железо специализируется на задачах ИИ, тем меньше способов впарить такое железо геймерам. Поэтому относительно другого железа оно будет дорожать. Это уже постепенно происходит - геймерские карты продаются урезанными по памяти, дальше будет хуже. Так что вкатываться лучше сейчас, а не потом.
Благодарю, Анон!
Попробую сформулировать свой вопрос по-другому, так как он звучал слишком абстрактно. Я сейчас напишу случаи применения ML, о которых я знаю:
1. Есть перечень состояний, надо определить в каком из этих состоянии находятся входные данные (разпознавание букв, опредение болезней в результатах обследований, "кошка или собака").
2. Есть входные данные А (стиль), есть входные данные Б. На основании характерных признаков данных А модифицируются такие же признаки данных Б (faceApp, всякие стилизации изображений, deepFake, машинный перевод, боты в играх).
Вопрос: Есть ли сейчас, и ожидаются ли в будущем (на основании нынешних достижений в ML) какие-то новые случаи применения ML, которые не входят в эти два нижеупомянутые?
> А самому-то реклама в душу запала
Естественно, когда тебе не релевантные вещи впаривают.
>Желающих, и при этом способных, меньше, чем нужно.
Олимпиадников много не бывает.
Пацаны, пара часов до дедлайна. Скажите, Силует 0.55 это плохо для оценки кластеризации? Я не для кегли и не для соревнования какого-то, я тупа в последний день делаю задание для собеса.
И еще, я правильно понимаю, что силует - это единственная норм метрикка для оценки качества кластеризации, когда вообще никакие данные не размечены?
Меня в гугле забанили. В mlcource.ai тоже.
>Дасаентист работает только в jupyter и никогда не пишет классы.
Как же у меня горит с таких "датасаентистов". Эти петухи программируют хуже стажеров. Они не то что не знают паттернов - они даже не соблюдают PEP 8. Их код является наглядным пособием как не нужно делать: строки в несколько сотен символов, случайные отступы, переменные названные как попало, функции с десятками аргументов и абсолютное отсутствие комментариев. Помимо этого они постоянно пишут велосипеды. Я видел проекты где 90% кода было написано для парсинга аргументов и передачи их между функциями. Наконец, их код содержит огромное количество ошибок, ведь петушиный Jupyter не проверяет абсолютно ничего.
Ну смотри, что есть GridSearchCV - это перебор параметров, который бы можно было бы в питоне слепить в цикле из ячеек или каким-нибудь модулем itertools .
Но поскольку ячейки выполняются только вперед или по одной, то цикл из ячеек написать вручную невозможно.
Таким образом, jupyter подталкивает к странной для обычного программиста манере выражения и в частности использованию функции GridSearchCV и прочих "плотных" выражений.
Вопрос: является ли ячееистость jupyter проблемой при дальнейшем внедрении исследования в продакшн ?
Советую пробежаться галзами по посту вастрика https://vas3k.ru/blog/machine_learning
Я распознаю, какие-то изображения. Например, номера домов.
Пусть я обучил на каком-то датасете.
Могу я впоследствии дообучить нейросетьили не нейросеть, когда у меня появилось ещё дополнение к датасету?
Или надо заново переобучать?
Сколько занимает обучение заново?
Что можно использовать в такой задаче?
Я новичок в этом всём.
>Могу я впоследствии дообучить нейросеть
Да. Используешь те же веса, дообучаешь.
>Сколько занимает обучение заново?
Чуть больше, чем в первый раз — у тебя же датасет увеличился. Но нахуя, если можно дообучить за меньшее время?
>Что можно использовать в такой задаче?
Google + RTFM
>Или надо заново переобучать?
Всегда лучше обучать заново. Это как язык учить - ребенок делает это быстрее и проще, потому что нейросеть нулевая.
>Сколько занимает обучение заново?
Гугли такую инфу, никто не знает, что у тебя за архитектура и датасет. Примерно часов 8.
Благодарю, Анон!
Лучшая статья по МО.
https://new-retail.ru/novosti/retail/v_shveytsarii_svarili_pivo_po_retseptu_sozdannomu_iskusstvennym_intellektom7252/
>еще никто не придумал
https://vk.com/cooktech
Можно ли берт использовать для генерации? Например, подать ему строку "a b c <blank>", он для <blank> предскажет "x", дальше подавать "a b c x <blank>"? Насколько я понимаю, так гпт и работает. Или качество говном будет?
Почитай тогда это
https://en.wikipedia.org/wiki/Language_model
Да, я сиранул маленько, в xlnet нормально расписана.
Кстати, вот тут обсуждается про использование для генерации https://ai.stackexchange.com/questions/9141/can-bert-be-used-for-sentence-generating-tasks - вроде как получается не слишком хорошо.
https://www.youtube.com/watch?v=w-0NdY8y-4Y
>- Валера рассказал о своем переезде в Facebook и чем он теперь будет заниматься
Ха-ха. Пиздел на митапах и интервью рандомные баззворды, подслушанные у коллег, надрочил кагл на конторском железе, высидел положенный срок и съебал в закат ради новой строчки в резюме.
да нет. Я не про уменьшение размерности. Мне просто нужно из датасета на 300 столбцов вытащить некоторый конкретные столбцы и сделать из них датасет. Я пытаюсь просто присвоить переменной значение, но выходит ошибка. понимаю, что это должно быть элементарно и я тупой.
Ты еще скажи, что у меня от персонажей типа ксюши собчак или доктора курпатова горит. Эти люди просто существуют и добиваются успеха единственным им доступным способом, а мое дело - предупредить анона о том, что это не человек, а человекоподобное существо, и попытка слушать подобное существо ни к чему хорошему не приведет. При чем предупредить не тебя - до тебя это с первого раза не дошло и не дойдет, а остальных. Даже если ты хочешь стать таким же - делай то, что он делает, а не то, что он говорит.
Регулярно я вижу горящие жопы только у подобных тебе. Расписал, что какой-то чел с ютуба нарциссичный балабол - не, в машобе нарциссов и балаболов не бывает, надо срочно поспорить и доказать анониму, об уровне которого ты не знаешь нихуя, что он просто завидующий бичара.
Relying on driver to perform ptx compilation.
Setting XLA_FLAGS=--xla_gpu_cuda_data_dir=/path/to/cuda or modifying $PATH can be used to set the location of ptxas
This message will only be logged once.
и
Internal: Invoking GPU asm compilation is supported on Cuda non-Windows platforms only
Relying on driver to perform ptx compilation.
Modify $PATH to customize ptxas location.
This message will be only logged once.
Ну раз там нет, значит нет, ставь бубунту
>кроме отката на совсем старые версии
А в чем проблема? Тф2 нужен если у тебя RTX карта разве что, mixed precision трейнинг делать. А так можно на 1.14 жить спокойно, АПИ они все равно сломают еще 10 раз, пока ты научишься всему
Для вкатывания тебе и первая версия сойдет, главное помни, что во второй версии керас стал основным API, соответственно изучать надо керас.
>А если проблема только в этом, то на том же кегле или колабе все должно быть норм?
Конечно. Очевидно это очередной баг для страдания вендоблядей, который им там лень фиксить. Я не читал портянку фикса на гитхабе, но вангую, что он фиксится пересборкой tf из исходников либо (все-таки почитал) какими-то симлинками.
Колаб вообще с выпуском нового поколения нвидии расщедрился и мне только что выдал T4, а это что-то уровня 2070 с 15 гигабайтами памяти. Вряд ли у тебя настолько хороший ноутбук, так что для обучения колаб очень хорош.
Еще у одного не бомбит, лол. Где я писал, что наболтал? Ну золото и золото. Вопрос не в золоте, а как оно выдрачивается.
1. Убеждаешь начальство, что участие в кагле - ниибаца повысит престиж конторы, все зумерки косяками пойдут батрачить за копейки именно у них, а не в яндексе. И ШАД еще свой нужен, че мы как лохи
2. За счет железа и рабочей силы фирмы берешь золото, дальше ездишь по конференциям и светишь еблом - мол, престиж, еблом нужно светить, как иначе зумерков нанимать
3. Выжав все что можно из пятерочки в плане торговли еблом, съебываешь, оставив проекты этим самым омежкам и нанятым зумеркам
Комбинация - мое почтение
Основная проблема колаба в том, что он для обучения и гугл банит тех, кто тренирует сетки долго. 4 гб довольно здоровый датасет, не знаю, не забанят ли тебя.
А так если хочешь обучать на винде, ставь tf 1.14 или даже 1.9 и не еби мозг. Единственное, с fp16 обучением будет не так эффективно, но тебе будет проще потерпеть подольше и потренить в fp32, чем пытаться его включить и настроить. Алсо, ноутбучная видюха может и коньки отбросить от долгого обучения, озаботься охлаждением
>Хуя ты специалист, сложность модели рассчитываешь исходя из размера датасета
Скорость обучения обратно пропорциональна размеру датасета независимо от модели. Ну и саму модель тоже выбирают исходя из имеющегося датасета. Если данных мало, то при использовании большой модели очень быстро начнется оверфит.
>Скорость обучения обратно пропорциональна размеру датасета независимо от модели
Не обязательно. Возьми терабайт белых и черных картинок - данных будет много, а реальное распределение очень простое и выучится за 0.001% эпохи.
Если утрировать не так сильно, то есть разница, отличать котов от собак или одного кота от другого кота. При одном и том же размере датасета в первом случае ты быстрее выйдешь на хороший перформанс. То есть пришел анон, не сказал вообще нихуя о том, что ему нужно, какой у него датасет (и даже глядя на сам датасет в тысячи картинок, хер ты угадаешь, насколько хорошо пойдет обучение, а тут просто размер), пришел анон, просто сказал его размер, и ты уже готов со своей экспертизой. При чем она довольно маразматична сама по себе.
Вот я беру датасет на 40 гигов и обучаю его за день. Датасет на 4 гигов, составленный из рандомного подможества этого датасета, обучится за 2 часа что ли? Нихуя, тот же день будет обучаться. Просто эпох будет не 10, а 100.
>Если данных мало, то при использовании большой модели очень быстро начнется оверфит.
Регуляризация и аугментация тебе на что дана? Кто вообще в 2020 году кормит непосредственно датасет нейронке, да еще так, чтобы она заметно оверфитила.
>То есть пришел анон, не сказал вообще нихуя о том, что ему нужно, какой у него датасет (и даже глядя на сам датасет в тысячи картинок, хер ты угадаешь, насколько хорошо пойдет обучение, а тут просто размер)
4Гб (картинок) - это просто смешной размер данных, и здесь уже неважно, из чего конкретно он состоит. Исходя из размера данных можно предсказать максимальный размер модели и количество эпох в худшем случае.
У анона 1660ti, на которой одна эпоха должна занять от силы секунд 30. Даже если запустить тренировку на 100 эпох, то она должна закончиться меньше чем за час. Колаб при таком датасете дергать не нужно.
>Регуляризация и аугментация тебе на что дана
>Кто вообще в 2020 году кормит непосредственно датасет нейронке, да еще так, чтобы она заметно оверфитила.
Они помогают, но если данных действительно недостаточно, то нейронка будет оверфитить в любом случае, независимо от изъебов с регуляризацией/аугментацией.
> 4Гб (картинок) - это просто смешной размер данных
> У анона 1660ti, на которой одна эпоха должна занять от силы секунд 30
>ESRGAN с 2070 приходится двое суток обучать на 3.5гб сэте, лучше — дольше
Бля, палкой бы тебя пиздануть, эксперт. Так, для профилактики кукареков.
Смотря что ты подразумеваешь под классическим CV. Многие путают. Есть невмирающая классика которая НЕ является CV - это image processing. Это знать нужно как свои 5 пальцев. Если ты не знаешь, как работает фильтр sharpen в фотошопе - немедленно покинь тред.
Но CV он вообще не про это. Вот тебе цитата из вики:
Image processing and image analysis tend to focus on 2D images, how to transform one image to another, e.g., by pixel-wise operations such as contrast enhancement, local operations such as edge extraction or noise removal, or geometrical transformations such as rotating the image. This characterization implies that image processing/analysis neither require assumptions nor produce interpretations about the image content.
Computer vision includes 3D analysis from 2D images. This analyzes the 3D scene projected onto one or several images, e.g., how to reconstruct structure or other information about the 3D scene from one or several images. Computer vision often relies on more or less complex assumptions about the scene depicted in an image.
Machine vision is the process of applying a range of technologies & methods to provide imaging-based automatic inspection, process control and robot guidance[22] in industrial applications.[20] Machine vision tends to focus on applications, mainly in manufacturing, e.g., vision-based robots and systems for vision-based inspection, measurement, or picking (such as bin picking[23]). This implies that image sensor technologies and control theory often are integrated with the processing of image data to control a robot and that real-time processing is emphasised by means of efficient implementations in hardware and software. It also implies that the external conditions such as lighting can be and are often more controlled in machine vision than they are in general computer vision, which can enable the use of different algorithms.
There is also a field called imaging which primarily focuses on the process of producing images, but sometimes also deals with processing and analysis of images. For example, medical imaging includes substantial work on the analysis of image data in medical applications.
Finally, pattern recognition is a field which uses various methods to extract information from signals in general, mainly based on statistical approaches and artificial neural networks. A significant part of this field is devoted to applying these methods to image data.
В общем, image processing знать нужно. Популярные методы в CV типа SIFT - тоже, потому что приемы типа пирамид и инвариантных трансформаций - понимать очень полезно для общего развития. Но тонкости знать уже не нужно, для этого есть диды, которые унесут свои навыки и рабочие места в могилу.
Классический CV в принципе еще нужен, потому что если алгоритм из нулевых справляется, нахуя что-то выдумывать.
То есть ты берешь свой граф с циклами, пускаешь данные на его вход и начинаешь выписывать ноды, которые задействуются причино-следственным образом в каждый момент времени. В случае RNN у которого выход замкнут на вход, будет пикрелейтед, но вообще это универсальный способ, потому что причинно-следственные связи всегда ацикличны в нашей реальности.
Таким образом ты получаешь новый, уже ациклический граф, эквивалентный графу с циклами, в котором ноды будут шерить свои веса со своими аналогами из прошлого и будущего.
Далее все упирается в то, насколько длинную цепочку такого разворачивания ты можешь себе позволить, потому что вся эта ебола, в которой у тебя один и тот же появляется в разных местах, крайне недружественна к железу. Скорее всего проще забить хер на шеринг весов и подобную ациклическую йобу обучать уже как стандартную feedforward сеть, работающую с последовательностями.
Про спайковые вообще не в курсе. По идее спайковый нейрон - это дискретизация диффура, решаемая, например, эйлером. Соответственно такое дискретное решение может быть теоретически нодой в бэкпропагейшене (просто помимо стейта нужно еще помнить стейт в предыдущий момент времени, чтобы посчитать производную), но я думаю эффективность такого решения вообще как у хлебушка.
Я не вижу большого смысла в спайковых сетях на текущем железе, ведь частоты и фазы спайков все равно кодируют какие-то вещи, которые можно закодировать просто либо числами (возможно даже комплексными).
Ну ты любую несойбойскую науку описываешь. Пусть занимаются, всяко лучше, чем в геополитические многоходовочки финансировать.
Я про практический смысл - пусть делают железку и портируют на нее слесарьплов, а то эмулировать спайки на железе, которое считает dense матрицы явно бесперспективно с практической точки зрения.
Давно уже есть: https://en.wikipedia.org/wiki/Cognitive_computer#IBM_TrueNorth_chip
Кроме ее разработчиков никому не нужно.
Нормально ли решаются задачи speech recognition и в частности распознавание владельца речи с помощью deep learning, или в вопросах звука без мануальной работы с фичами никак?
я очень далёк от ML/DL, но сейчас надо вкатиться, соре если вопрос тупой
ебанутый вопрос. причем тут deep learning?
deep learning - по определению, это любая нейросеть с ГЛУБОКИМ слоем. То есть, любая нейросеть.
Ты имел ввиду следует ли использовать готовые сети-эмбединги вместо того чтобы конструировать всякие спектрограммы?
Ну хуй знает.
Я что-то и не знаю таких ембедингов.
001011
ответ должны получить любой из этих:
001000
000010
000001
не получается такому научить.
что делать?
немного разобрался.
шум из нулей и едениц стремится к этой хуйне, т.к. из возможных правильных ответов я выбираю первый попавшийся.
если учить на рандомном ответе - на выходе прямая.
такое ощущение что слои не помогут.
https://www.youtube.com/watch?v=fJYcl-EF-0s
>чтобы написанное датасаентистами распараллеливалось на видеокарты и не вылетало с ошибкой от перерасхода памяти
Нормальные датасаентисты это умеют. А если не умеют, то это петухи, а не датасаентисты.
>Учиться просто надо было в своё время
Аналогично можно сказать про ко-ко-ко-саентистов, которые как минимум имеют профильную вышку. При таком раскладе можно было хоть как-то научиться программировать, и это не говоря про стажировки/фриланс. При этом датасаентисты зачастую не знают даже своей предметной области. Принцип работы SOTA моделей не понимают, математику не знают, алгоритмы вне стандартного набора вкатывальщика - тоже. Ничего принципиально нового такой датасаентист не сделает, нормальный код не напишет. Остается только трясти черный ящик и извиняться перед барином, когда натрясти нормальный результат не получилось.
потомучто мои данные это шум из нулей едениц без какой либо логики, аппроксимация это прямая линия со значениями:
0.1 - если 10% едениц
0.5 - если 50% едениц и т.д.
кол-во скрытых слоев 1 или 6 приводят к одинаковому результату ( 6 слоев через раз учится не хочет)
>>1827314
Softmax(x) ну вроде это другое
>архитектуру приложений с МО
>делать так, чтобы написанное датасаентистами распараллеливалось на видеокарты
Это не архитектура.
По архитектуре - у тебя всё должно описываться декларативным конфигом, а код должен поддерживать обратную совместимость этих конфигов. Тогда не будет проблем с воспроизводимостью, даже если сам код будет жуткой лапшой из if'ов - потому что редко какой скрипт для тренировки будет превышать 10к строк. Конфиги эти можно складывать в монгу, пайплайны сохранять в dvc, из монги же воркеры (по одному на инстанс гпу) могут доставать архитектуры для гридсерча. Впрочем, сейчас везде 80-е и каждый пилит кто во что горазд.
А то, что говоришь, это никакая не архитектура, а банальное знание инструментов. Читай мануалы по tf2, kubeflow, тренируйся на самых дешевых инстансах на AWS/google cloud. Судя по сайту, гугл ща выдает бомже-T4 за 11 центов в час.
>>1827585
>как работать с 4 видеокартами.
На нулевом уровне - используешь какой-нибудь tf.distribute.MirroredStrategy , а фрейморк сам все тебе сделает. Более продвинутый уровень - это подбор железа для сервера (все pci express x666, nvlink'и и прочая еботень - не очень в курсе), затем - писать кастомный код для быстрого обмена данными по 10 гб сети.
Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Ну в том смысле, что при k раз подбрасывании может и какая-нибудь решка k раз выпасть.
> Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Можно. При большом количестве подбрасываний распределение вероятностей будет отличаться от нормального. Это не доказывает, что дело в монете, возможно виноват подбрасывающий.
>При большом количестве подбрасываний распределение вероятностей будет отличаться от нормального.
Ну, как бы понятно, что большая часть возможных комбинацией даст как раз результат 50% +- 10-15%. Но опять-таки это ничего про саму монету не говорит.
И даже если мы 100 раз кидаем монету, только решка всё равно может выпасть с вероятностью 1/2^100, что, хоть и мало, но отлично от 0.
Т.е. на основании только результатов выпадения нельзя однозначно сказать про качество монеты нужно взвешивание и хим. анализ.
Поправь, пожалуйста.
>Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Со 100% вероятностью - нет, но чем больше у тебя k, тем более уверенным ты будешь (типа, ответ звучит так: монета - честная с вероятностью 99,9999999%). Точно так же работают доказательства в какой-нибудь физике элементарных частиц. То есть, возможно, что этот пук на графике - не бозон хиггса, но вероятность этого крайне мала.
Например, если выпало 1 - случайность такого события 1/2, [1,1] - 1/4. 10 единиц подряд выпадают в одном случае из двух тысяч, а 16 - в одном из 32 миллионов. Соответственно при k=1000 получится, что вероятность того, что последовательность - не случайная сравнима с числами типа 1/число_атомов_во_вселенной, и практически ты сможешь считать честность доказанной. Для реальных последовательностей тесты посложнее, но принципиально такие же - дают ответ с некоторой вероятностью.
На это тебе ответит только тот, кто с этим дрочится каждый день.
Берешь тест https://duckduckgo.com/?q=тестирование+последовательностей+на+случайность
Скармливаешь ему последовательность. Он выдаст тебе вероятность. Поиграйся с длинами последовательностей - поймешь, какое k тебя устраивает.
Навскидку, я думаю 1000 бросков нормальная последовательность. Алсо, монетки никогда идеальными не бывают, если тебе нужно что-то идеальное, используй квантовую механику.
Можно сказать всё что угодно.
Но обычно делают так: если это твоё M выходит за пределы доверительного интервала, то говорят что наиболее вероятно что с монетой что-то не так, если не выходит - то нельзя сказать, бросают дальше. Бросили миллион раз и не получили расхождений достаточных для выхода за этот интервал - принимают что монета честная.
Ну вроде как тут классика потянет, но вот мб есть какие-то подводные? В общем, буду благодарен за ответ
>Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Можно, с какой-то вероятностью. Или доверительный интервал найти. Вообще, чем-то напомнило sunrise problem, которая у лапласа возникла. Так что зависит от того, какое у тебя априорное знание о монетках.
>>1828002
>Ну вроде как тут классика потянет, но вот мб есть какие-то подводные?
Если потянет - то используй. Из подводных - может не потянет, тогда не используй.
>>1828018
а ну сорян
Ну короче коробок несколько штук более-менее стандатизированных
Детектить нужно следюущим образом: видим коробку, говоритм роботу где она находится (там короче нехитрый портальный робот, который в плоскости перемещается и хватает коробки).
Ну и собсна все, к кадрам нет каких то требований тк работа: увидел, подъехал, схватил, уехал. Почему задаю вопрос - не уверен, что могу обеспечить в этом всем вот пресете постоянное и не меняющееся освещение, да и в целом что сделать, если фичи ебану уевые и он будет фосл позитив мне хуярить
это ведь 3д и облака точек и все дела. Тоже вопрос о границах применения , как бы допольнительные фичи, в случае если мы допом имеем карту глубит, будут иметься. В такой задаче это оверинжениринг или оправдано?
>не уверен, что могу обеспечить в этом всем вот пресете постоянное и не меняющееся освещение
Ты можешь использовать инфракрасную подсветку от ебла самой камеры, если она будет достаточно яркой, то освещение вокруг вообще будет давать мизерный вклад.
Мы знаешь какие йобы проектировали, узкополосный лазер на 1 Вт херачит в полную силу в течение 1 мс и отключается, на матрице стоит фильтр настроенный только на полосу этого лазера, то есть выбирающий примерно 1% всего видимого света, в итоге в этот краткий момент лазер по освещению он перебивает все возможные источники, кроме прямого солнца, но и прямое солнце тоже просто видно, оно не слепит.
А на объекте стоит зеркало, которое выглядит как белая точка. В таком формате не то, что нейронки, 10 МГц микроконтроллер справляется с обработкой в риалтайме - тупо точки определенной площади нашел, контуры выделил, и вперед.
Но с нейронками вся эта ебля уходит в прошлое, потому что они и так работают.
>Но с нейронками вся эта ебля уходит в прошлое, потому что они и так работают
Ага, держи карман шире
https://www.youtube.com/watch?v=u_11jbdQA-8
Есть сигнал, в котором иногда проскакивают события, которые надо детектить. Сигнала МНОГО, нужных событий в нем десятые (если не сотые) доли процента. Есть хуёвая модель, которая должна детектить события. Как мне правильно намайнить событий из сигнала, чтобы дообучить модельку?
Единственное, что приходит в голову - прогнать сигнал через модель с пониженным порогом срабатывания и разметить руками то что намайнится. Но это плохая идея, так как мы таким макаром не сможем собрать сложные случаи.
Я просто постоянно сука гуглю и ворую из своих старых тетрадок, никак не могу запомнить синтаксис, потому что есть миллиарды вариантов сделать ту или иную операцию и постоянно вылетает из головы.
Это норма или я такой тупой?
Построение графиков в матплоте - отдельный ужас .
>Блять, аноны, как вы запоминаете все возможности пандуса, numpy и т.д?
Никак. Просто пользуешься чем надо, и оно само со временем запоминается. А что не запоминается - то гуглишь, пока не запомнишь.
>Это норма или я такой тупой?
Если пользуешься лишь изредка, то неудивительно.
Я с табличными данными практически не работаю и графики тоже строю редко, поэтому в пандусе и матплотлибе знаю только самые базовые вещи. В нампае запоминать особо нечего.
Распечатай себе что-нибудь.
Заебали вчерашние успешные студенты.
Не знают азов как программисты усваивают такой объем информации. А НИКАК
Ну типа у меня есть нешифрованные поточным шифром сообщения соответствующие им данные и я хочу сделать универсальных расшифровщик двоичных протоколов в своей области.
Размер сообщений не известен, но от 2 до 15 байт.
LSTM ? Как именно? Есть ли аналогичные исследования ?
https://ai-journey.ru/contest/task02
>Ключевое значение отводится именно инновационности и нестандартности используемых фичей и подходов, с помощью которых можно будет получить наиболее качественный прогноз.
Боюсь, там основная фича будет "насколько ты близкий родственник организаторов и судей". Просто наблендить нейроночек не прокатит.
>На практике надо больше разбираться в области, к которой ты применяешь машоб, чем в кодинге. Классические модели в пару строк кода умещаются.
Ты путаешь аналитиков и машобщиков. Машобщику нужно уметь кодить, знать SOTA модели и математику хотя бы на среднем уровне, но в предметной области можно особо не разбираться.
>Классические модели в пару строк кода умещаются.
Скорее в пару сотен. А для обработки данных придется написать еще пару тысяч.
В общем обычные машобки, которые я смог найти здесь и сейчас, в паре десятков из которых есть хоть какой-то инфа о том, что я могу нихуя из них сделать - никакого профита за эту работу я не вижу. А вот в качестве альтернативы мне от чего отказывать надо - так это в том что при этом у меня все равно нет возможности.
Салам братья машобщики
>А в чем разница?
Аналитик все делает вручную, машобщик трясет черные ящики.
Знающих и машоб и предметную область не существует - для этого тебе придется потратить сначала 10 лет на машоб, а потом еще 10 лет на предметную область не отставая при этом от трендов в машобе, которые меняются ежегодно.
>и почему ты решил что у тебя вообще будет аналитик на работе?
Если нет аналитика, то по крайней мере есть человек из предметной области. От него ты получишь базовые навыки и понимание этой области, но экспертом и близко не станешь.
У тебя в твоем посте сквозит презумпция равенства людей. А люди не равны. В аналитики идут как правило люди без фантазии, готовые выполнять инструкции, которые в них загрузили в универе, со слабыми скиллами программирования и изучения нового. А в машоб идут люди сильно поумнее, при чем на момент 2020 года у 0.01% есть хоть какое-то формальное образование именно в машобе, а не просто прикладная математика или вообще инженерная специальность. Поэтому знающих и машоб и предметную область дохуя.
Точно так же, как дохуя электронщиков умеет паять, а дохуя программистов могут быстро разобраться с девопс-задачами, но вот хуй из ларька по ремонту телефонов не сможет спроектировать электронный девайс, а девопс - разобраться в том, как работает квиксорт. Разный человеческий капитал.
> при чем на момент 2020 года у 0.01% есть хоть какое-то формальное образование именно в машобе, а не просто прикладная математика или вообще инженерная специальность. Поэтому знающих и машоб и предметную область дохуя.
Предметная область это как правило вообще не инженерная специальность. Экономика, маркетинг, медицина, предотвращение мошенничества и прочее. Машобщики по образованию либо кодеры, либо математики, и знания этих областей у них на нуле.
умные люди спорят только если не договорились об терминологии.
кто для тебя Аналитик и почему он тупой?
у меня на одной из работ в должности аналитика были девочки из Зажопинсков. Анализировали видео. Путем прямого просмотра в реальном времени видеостены 16x16 камер.
А на другой чувак в должности аналитика закончил матфак и отличные документы строчил.
1.Напряженно работаешь в Пятерочке с чужими данными
2.Случайно замечаешь, что Паша Дуров втихую объявил конкурс
3. Понимаешь, что никто про этот конкурс не слышал и заюзываешь ресурсы Пятерочки для обработки данных.
4. Решаешь там ту самую задачу разделенную на два этапа. Всем говоришь что решил аж две.
5. Увольняешься из Пятерочки
6. Проматываешь за год бабло
7. Спиваешься , скатываешься, становишься лутоманом от машоба пытаясь безрезультатно выиграть другие конкурсы.
Буду рада если вы мне напишите!
мой телеграм @BQ666692000187
ну вот читаю, но там действительно пока что много вещей, на которых сейчас нет времени. хотелось бы конкретно по тому что я хочу.
вот я пока поняла, что мне нужно проделать 3 этапа :
1. почистить фотки от шумов, сделать их четкими
2. удалить с фотографии не интересующие меня части
3. найти и посчитать (аномалии)
может знаете какие нибудь курсы посвященные конкретно этому?
https://github.com/okraus/DeepLoc
Он поддерживается в кликере Orange.
И это твой единственный шанс с разгону хоть что-то сделать кроме рекламирования пизды.
вообще лучше данные свои показывай.
А то про deeploc написано что его на довольно мелких одиночных клетках учили.
deeploc :
>'data1' elements are cropped images of single cells (64x64) x number_of_channels flattened into vectors.
'>Index1' elements are the protein localization labels for each single cell using one hot encoding.
Сейчас расскажу главный секрет датасаентиста:
нужно взять не те фото, которые нужны, а те фото с которым результат лучше.
Ладно.
Просто бери и копируй все что тут написано
https://www.nature.com/articles/s41467-019-12397-x
Как видишь, 20 человек примазались к статье.
но это, как ты понимаешь, совершенный читинг и в computer science нельзя публиковать.
А чо, кстати, зря вы на мой кликер наезжали. Вот так и должен выглядеть настоящий датасаенс - просто как рядовой инструмент исследователя в любых областях. Он полностью готов классифицировать изображения.
Девочка реально заебись защитится. Результат явно будет отличаться от нулевого.
Тот самый 40летний бумер.
>Почему еще никто не сделал нейронку, которая вотермарки убирает с пикч?
Ты для начала хотя бы забил вопрос в гугл.
https://arxiv.org/pdf/1911.07205.pdf
страшно за бесполезно проведенные годы?
https://www.youtube.com/watch?v=NcTZoNY2V_I
https://www.thedataschool.co.uk/emily-dowling/calculate-linear-regression-line-tableau/
Либо я не знаю уже, как тюнить модель, чтобы было хотя бы 0.8+
Максимум, что я смог выдать - это 0.77 на катбусте
Надо ещё вместо бабушкина в правом нижнем углу зумера поставить
Книжки есть того что в шапке, более чем достаточно, да ты их не осилишь.
Да ты сам типичный токсик и проецируешь. Книги в шапке - те, которые за несколько лет хоть кто-то из треда прочитал и спросил "а почему в шапке нет XXX". Если какой-то книги там нет - значит про нее никто не спрашивал. Никто специально книги не прячет.
А если здесь априори считают, что собеседник знает английский, это не потому что тут элитаризм какой-то разведен, а, наоборот - к тебе относятся лучше, чем ты того заслуживаешь.
Нужно на основании истории действий пользователя предсказывать, что пользователь съебал или нет. Как правильно фичеинженерить подобные связанные по юзерам потоки действий?
Я знаю и sql, и group by и питон. Я спрашиваю как правильно заинженерить фичи.
Сделаю я твой group by по юзеру и сделаю агрегацию в фичу "количество пуков на сайте". Плохая фича. Сделаю агрегацию по дням и получу, скажем 14 фич - количество пуков на сайте по дням. Ну так не гибко нихуя будет - пользовательское поведение может занимать больше 14 дней. Хорошо, захуячю 365 фич - количество пуков по дням. Но тогда у кучи пользователей куча фич будет пустые, а это для алгоритмов машоба нихуя не хорошо.
Поэтому я и спрашиваю как потоки пользовательских эвентов заинженерить в правильные годные датасеты.
>У меня закрадывается мысль, что эти черти багнули сайт
Тут нет никакого бага, если есть достаточно времени и достаточно fellow indians можно просто пробить паблик: меняешь по одной строчке в сабмите и смотришь как меняется метрика, отсюда узнаёшь правильный ответ.
Чем выборка треда отличается от стандартного бизнеса ?
Вот, допустим, наблюдаю я недавно ситуацию в чате питонистов:
Приходит чувак, притаскивает условный выдуманный датасет и спрашивает как ему сделать простейшую нейронку. Дальше ему несколько человек начинают советовать бросить эту идею и использовать классику и дают ссылку на sklearn (random forest)
Вот тут тоже не понятно в чем проблема:
>>1831464
По классике куча книжек весьма толковых накопилось и перевелось на русский.
>>1832001
здесь тоже можно нагуглить https://www.coursera.org/learn/process-mining#syllabus
нечто не относящееся к сетям(но выглядит многообещающе)
40летний джун
5. Ну типа юмор. 40 летний чувак переодевается в айтишника. Задание такое.
> Достать лошадь из кормана
Ошибка: лошадь нельзя достать из кармана.
То игра станет намного лучше. Трансформеры очень мощны. Думаю они применимы почти везде. Надо главное датасет выбрать верный.
Алсо, как заставить трансформеры обучаться во время выполнения, как в моделях с подкреплением, и что будет, если совместить трансформеры и подкрепление? Произойдет чудо?
>Я даже не знал, что он был опенсорсным когда-то.
Я начал в него играть буквально через пару дней после релиза. Он был сделан студентом и выложен на гитхаб. Изначальная версия использовала GPT-2 и была просто олицетворением определения говнокода, с кучей багов и вылетов, и я по ходу дела сам правил все это говно. Потом создатель просек что с этого можно зарабатывать, и сделал анально огороженный сервис + заменил модель на GPT-3. Старый код с гитхаба не удалил, и на том хорошо.
Собственно, это является наглядным примером того, как делаются ИИ стартапы. Студент немного потряс черный ящик, который до него натренировали Большие Дяди, приписал пару сотен строк ковнокода, по стечению обстоятельств приобрел популярность, оказавшись в нужное время в нужном месте, и теперь гребет бабло. При этом по навыкам он находится на одном уровне с местными зумерами-вкатывальщиками.
Там надо в настройках сменить модель, и плюс первые несколько абзацев генерятся специализированной GPT-2 для создания контекста и далее она же периодически включается для возврата в контекст. Но дальше уже начинается веселуха, особенно если понять, что это что-то вроде помощника по написанию рассказов, и смело править генерируемый контент.
> Друзья, а в чем заключается феномен форса нейросети ИТТ?
ИТТ? Зайди reddit.com/r/MachineLearning/ и попробуй найти там что-то не про нейросети хотя бы на первой странице. Это тебе придется объяснить, в чем заключается феномен форса нейросетей в мире.
Классика сейчас в той же ситуации, что байтоебство лет 10-15 назад: да, еще были динозавры, пишущие на C++ даже программы для банковского документооборота, и жалующиеся на тупую молодежь, которая выбирает jQuery вместо тонкостей ебли байтиков, но всем было очевидно, что тренд на подобную йобу отрицательный, байтоебство замкнулось в своей нише.
Классика будет медленно, но неотвратимо, подыхать. Ну и как бы просто скучно заниматься вещами, которые будут медленно, но неотвратимо, подыхать. Лучше заниматься перспективными вещами.
Это какой-то странный механизм компенсации. Живет такой подпивасный хуй, работает каким-нибудь байтоебом на заводе. И узнает новость - в другой стороне есть школьник, который в 18 лет натренировал нейронку и устроился на хорошую работу. Какая реакция нормального человека? Молодец школьник, круче сверстников. Какая реакция подпивасного быдла? Ко-ко-ко, нейронки - хайп, любой школьник так может, и я тоже могу, просто... не хочу
Ну окей, перефразирую :
Можно ли по объему Buzz в треде судить о делах в бизнесе?
Ведь если все начнут (начали) накапливать данные, то появится куча работы в первую очередь с классикой, а потом уже по мере роста требований к точности часть захочет нейросети. Интерпретируемости ведь нет.
Разве нет?
В общем, мне надо определиться, как вкатывальщику.
Для этого там есть отдельная кнопка с постоянным контекстом, туда нужно сливать подобные вещи, которые ты хочешь, чтобы висели всегда. Сам GPT-3 помнит 30к токенов насколько я помню, если факт упомянут раньше, его не будет. Ну и смело править ошибки, если они есть.
Это языковая модель, а не чудо чудесное. Самое забавное там писать любой бред и наблюдать, как оно выкручитывается, пытаясь минимизировать бредовость текста.
А если рассматривать это как ролевуху, гейммастером должен быть ты, тогда все будет весело. Хотя 90% времени я просил разыграть сценки между вымышленными историческими персонажами из разных эпох. Так как эта йоба читала весь интернет, она знает дохуя фактов и комбинирует их весьма забавным образом
>Можно ли по объему Buzz в треде судить о делах в бизнесе?
Нет, это просто тред со своими мемами и шизиками. Суди вакансиям
>В общем, мне надо определиться, как вкатывальщику.
Занимайся тем, от чего не тошнит. Меня, например, от фразы типа "кредитный скоринг" в сон клонит, а картинки-звуки - норм. А у кого-то действительно батхерт от неинтерпретируемых моделей, хотя по мне никакой машоб нормально не интерпретируется просто по своей природе
Если есть единственное наблюдение u =4, можно ли что-то сказать о N?