Можно ли научить машину ТРИЗу и заставить изобретать?

>>1267458
> ТРИЗ
Совковое наебалово. Много ты знаешь изобретений, созданных этим методом?

>>1267458
Плати мне биткоин и решим вопрос.

>>1267466
Большинство советских технологий, если верить автору.

>>1267468
Давай кошелек.

Умный анон, поясни нормальным крайне доступным языком, что такое "эффективность оценки", а так же "асимптотическая эффективность"? Результаты гугла и вики для меня нечитаемы.

тупой анон

Привет. в прошлом писал про тексты и прочий генсим.
В общем обучил я значит по вишневскому модель, запрашиваю мост_симилар к слову "время". А он мне говорит:
[('скорой', 0.9968923926353455), ('The', 0.9966970682144165), ('Мерседес-Бенц', 0.9962846636772156)]

Он ахуел?

>>1267506
у тебя данных-то сколько? если меньше 500 мб, то уменьшай размерность вектора и хотя бы делай .lower() на своих "Мерседес-Бенц". И насколько у тебя данных различаются? Если обучаешь на какой-нибудь ерунде типа дваче, то у тебя половина сообщений будет одинаковыми, смело можешь делать set и набирать еще данных.

>>1267495
Это нечеткий петух использует умные слова для того, чтобы сказать, что нейронки требуют много данных для обучения (много примеров одного и того же класса), что на самом деле является проблемой. Но он, конечно же, не учитывает всякие тренды на zero-shot learning и one-shot learning, так как он из машоба видел только курс индуса на ютубе.

>>1267537
> нейронки требуют много данных для обучения (много примеров одного и того же класса), что на самом деле является проблемой.
Это ты понимаешь, уже хорошо. Но это не проблема, это суть ваших нейроночек. Они могут обрабатывать данные только так, квадратно-гнездовым способом, при том что примерно 85-90% данных вообще не нужны например для построения решающего правила, классифицирующего классы, т.к в этом случае роль играют только примеры, находящиеся на границах классов. Когда речь об игрушечном примере с десятком точек, разницы нет. Но когда нужен классификатор негров, построенный на многогигабайтном датасете, вот тут и получается, что без топовых видюх нихуя не сделать. И не надо говорить, что SVM распознает негров хуже, это алгоритм из прошлого века, его нужно сравнивать с перцептроном, а не с ганами. Речь о самих подходах к проблеме.

>>1267495
Эффективность грит, что твоя оценка самая пиздатая. Асимптотическая эффективность используется, чтобы ты вообще хоть какую-то оценку получил, а то эффективная оценка может и не существовать.

>>1267458
Можно, если сможешь научить нейронку решать конечную проблему физического противоречия. Только вот не сможешь же.

>>1267534
https://m.habr.com/post/343704/ по этому тутору делал, спасибо попробую сегодня покурить по обрывкам инфы от тебя какой то мануал. Слушай а может ты что то подкинешь мне чтобы я не блуждал в этих дебрях информации в интернете, на английском тоже сойдёт.
На вишневском учил, сама модель 20метров вроде встала, хочу научить её стилизировать моё сухое говно под говно с которого тякут тянки, не баду ради, а копирайтинга для

>>1267673
Тянки текут с ганов и имейджпроцессинга.

>>1267679
Да нет, они от красивого текста про еблю и чувства лубов и все такое., тякут) хотя тут знаешь все от человека зависит, толи он нихера в представить не может и ему картинку нужно показать, либо написать и дать прочитать чтобы его нейронка в голове сама нарисовала картинку)

>>1267582

Как хорошо, когда ты во всем разобрался и всё уже знаешь до конца.

Теперь иди нахуй.

>>1267687
https://habr.com/post/326380/

думаю, тебе стоит попробовать готовые эмбеддинги с http://rusvectores.org/
эмбеддинги сами по себе мало дают

>>1267715
А что ты подгорел-то, мань? Я разве что-то не так сказал? Я понимаю, что проще нести хуйню и кукарекать про нечёткого петуха, чем признать, что петух тут только ты. И сам нихуя не понимаешь в том, про что несешь

>>1267723
Тееекс, бнадеюсь ты тот анон что это мне кидал в телеге, бтв ещё раз спасибо, долго обрабатываю статейки я эти своим мозгом.
Статья кайфовая и она в принципе решает всю проблему оьощнаяенную ранее: " рерайтинг", но там модель общая, а я хочу эдакого романтика сделать, так что обучать свою модель все равно придётся. Но для того чтобы обеспечить себя можно замутить такую штуку и рерайтить всякий информационный мусор о здоровье, крипту валютах, беременностях и прочем... Какой кайфовый мир, ааааах!

>>1267777
Ну и фантазёр пиздос. Уроки то сделал?

Здарова пачаны. Объясните плиз гуманитарию насколько вообще все эти ваши нейроночки близки к созданию искусственного разума и возможно ли это в принципе?
И насколько правдив этот видос?
https://www.youtube.com/watch?v=WbUJZJz9cag

>>1267806
Ни секундой не близки. Гугл напиздел, что создаст уже к 2020-му. Сейчас нет даже зародыша.

>>1267806
>возможно ли это в принципе

Ну ты же думаешь как-то?

>>1267808

Думаю как continuous learning осилят - дело максимум 10 лет

>>1267815
Окей. Когда реализуют абстрактную концепцию хуя с горы, тогда то и заживём!

>>1267815
> continuous learning
Очередная хипстерская поебень под смузи?

>>1267848

https://arxiv.org/pdf/1802.07569.pdf

>>1267777
нет, не он, но вот еще одна ссылка
https://www.robinsloan.com/voyages-in-sentence-space/

>>1267876
Лол. Полнейшая хуита. Как HTM, придумали говно и славят себя что такое изобрели, а сойбои им верят.

>>1267390 (OP)
Фолды здесь?

Есть ли в треде успешные kaggle-господа? Делитесь историями. Насколько сложно было вкатиться, какие проффиты поимели

Вот задачка для нейроночников: есть фильм, требуется в видеопотоке выделить героев и подписать, как кого зовут, информацию взять из аудиодорожки. Как решать будете?

>>1268094
Возьму нейросеть точеную, на пике посажу.

https://learnpythonthehardway.org/book/

>>1267899
Что не так с htm?

>>1268242
Не нужно.

>>1268261
А можешь подробнее?
я пока не особо лез в нейроночки, но читал про htm и показалась интересной

>>1267723
А скажи, как мне подкрячить к гензиму? Вот качаю я значит самую большую модель с русвектора, качается чудо в архиве, в архиве 7 файлов что мне грузить
в gensim.models.KeyedVectors.load_word2vec_format
М?

Кстати теперь
мостсимилар "Стол"
[('губами', 0.9999538660049438), ('цветы', 0.9999417066574097), ('комнаты', 0.9999401569366455)]

>>1267985
Бамп.

>>1268312
Ты уже два дня не можешь посмотреть документацию, туториал, блог, любой пример? Ты понимаешь, что ты спрашиваешь буквально хеллоу ворлд от кераса? Даже не физзбазз, хеллоу ворлд? Ты безнадежен, бросай это дело сейчас, пока не слил впустую годы своей жизни.

Посмотрел на ютубе новинки, прямо магия ИРЛ, вау.

Какой бэкграунд нужен для вката? если прямо ноль, то что учить ДО?

Деньги не интересны, интересно смочь в магию.

>>1268504
Новинки? Ссылки можешь привести?

>>1268504
Питон, матан класса до 9-10 и всё.

>>1268504
https://www.youtube.com/watch?v=zTQwRe6_hCs

Можно ли научиться скорочтению с помощью приложений на анроид?

>>1268561
Нет, конечно.

>>1268441
Хочешь верь, хочешь нет, но нигде нет туториала в виде:
код - его визуальное представление.
Везде просто дается несколько строчек, которые с нуля непонятно, как интерпретировать.

>>1268662
Есть подобные вещи...

>>1268662
Бросай это говно. Оно не для тебя.
Deep learning specialization на Coursera

Аноны, не могли бы вы ответить на пару вопросов

Дико доставляет сама тема, хочу вкатиться.

Но так же интересно, реально ли устроиться куда-то?
В моём городе от силы вакансии 3-4, с "перезвоним позже" могут спокойно все продинамить.
Или все же, думать о каком-то своем стартапе

Второй вопрос:
Как понять, когда ты готов к трудоустройству?

Бонус-вопрос:
Какой нужен опыт для работы, опыт той же веб макаки пойдет?

>>1268281
Отлично,
@Хочешь поверяй, хочешь нет, но везде нет туториала в миндале:
идентификатор - его фотограмметрический понятие.
Всюду просто достаётся немного строк, которые с нуля неизвестно, как эксплицировать.@
Просто превосходно

И все же, поясните за htm

>>1269150
Негров распознает пока плохо.

>>1267390 (OP)
Котаны, пытаюсь научить bvlc_googlenet видеть хуи, сделал 85к итераций, а до сих пор повсюду глаза какие-то выдаёт. Хуёв если что 160 штук, один хуй = одна категория. Может итераций мало, или датасет слишком маленький?

>>1269179
>один хуй = одна категория
Ну и мудак. Делай в одну категорию все хуи. Пиздец, ты хоть основы понимаешь?

>>1269191
Я так и хотел сделать с самого начала, но на хабре начитался что стоит в разные категории хуи раскидывать. Давно уже вкатываюсь в нейроночки, писал перцептрон без сторонних библиотек, но пока-что всю эту ебаторию со слоями не совсем понимаю. Обучаю нейронку на хуяих и параллельно читаю про их проектирование.

Та самая статья на хабре: https://habr.com/company/io/blog/264757/

>>1267537
>>1267495
Спасибо за ответы

>>1269194
На Хабре сидят в основном унтеры всякие. Хотя переводчики классные бывают, уверен они имеют какой-то профит.

Че вы только картиночки дрочите давайте про тексты говорить
>>1268662
>>1269094
Это же шидеврвальна!

>>1268279

Не слушай этих манек, читай научные бумаги лучше

Это чтобы хуетреды банить сразу же?

>>1269334
>На Хабре сидят в основном унтеры всякие
то ли дело двощь

>>1269407
но двоще всё знают про хуи

Сап, аноны. Есть какие-либо статьи/гайды с подробным описанием библиотек pandas и scikit-learn, кроме документавции?

>>1269407
одно другого не исключает же

Объясните, когда нейронка обучается, она задействует память?
Она же должна как-то "запомнить" "правильные" варианты, верно?
Если да, то как много для этого в среднем требуется памяти?
Сколько в среднем весит сама нейронка?

>>1269482
Пятистрочный файл несколько КБ, либа на несколько МБ и матрицы весов максимум один ГБ.

>>1269494
Охуеть, почему так мало?
А если в сети пара тысяч нейронов, это сильно повлияет на задействованную память?
Где-то вообще можно почитать про вот такие вещи без жёсткого матана?

>>1269498

А что тебя удивляет? Там в каждом нейроне одна функция + куча весов по 8 байт каждый. Некоторые даже человеческий мозг оценивают в несколько Тб, так что он вполне может влезть тебе на винт, вопрос в архитектуре

>>1269498
Пара тысяч это хуйня. В нормальной бывает и миллионами.

>>1269514
>>1269519
Просто, я всегда на мозг смотрел как на архитектуру с огромнейшим объёмом памяти.
Тогда задам закономерный вопрос : почему никто не хранит информацию в нейросетях?

И да, почему нужна такая мощная видеокарта?

>>1269539
Потому что это ебланизм. Всё равно что хранить информацию закодированную числами, то есть так как она в компьютере и хранится.
>>1269542
Потому что вычисления охуенные.

>>1269539

А ты попробуй вспомнить то что видел, например, 3 года назад 21 марта в 1080p

>>1269542
> И да, почему нужна такая мощная видеокарта?
Чтобы ты (((нвидии))) продажи поднимал.

>>1269382
То есть, лучше самому модель запилить? Или лучше дальше googlenet ебаться?

http://ru.diveintopython.net/odbchelper_indenting.html

>>1269572
То есть, хочешь сказать эта информация безвозвратно удалена мозгом?

>>1269617

Скорее упакована в говно, и оставлено только то, что связано с эмоциональным откликом/важно, а какой-нибудь генерик день тебе будет сложно вспомнить

>>1269597
Гугли fine-tuning что ли. Рано ты за рисование хуев взялся.

>>1267390 (OP)
Анонче, привет!
Запилил модельку, посчитал RMSE и всё такое. Теперь пытаюсь как-то анализировать результаты работы модельки. Типа на каких объектах модель выдала хуевые результаты, на каких - хорошие. Не уверен, что есть какие-то там алгоритмы для этого, но могли бы покидать хороших материалов анализа по результатам работы модели?
Надеюсь, понятно изложил мысль. Я хуй. Спасибо

>>1269636
Спасибо, погуглю. Надо же какую-то цель ставить и пытаться её достичь. Так проще учиться.

Посоны а проясните про рекомендательные системы (напр для магаза).
Насколько я понимаю обычно составляется матрица юзер - покупки, уменьшается размерность, например, svd разложением а потом юзеру предлагается то что покупали похожие на него юзеры.
А если есть еще какая-то инфа про пользователей, типа там возраста и длины члена то как-нибудь можно эту инфу использовать?
Буду благодарен за линк на алгоритм / статью

>>1269788
Статистику уровня "если купил шмурдяк три семерки и цветы, то купит и гондоны" можно посчитать напрямую, алгоритмы типа apriori, eclat итп из области association rule mining. Естественно, в такие модели можно добавить и длину члена и все что угодно.

Посоны, а как граф запихать в нейронку?

Когда нейроночки смогут в генерализацию (CIFAR-10 на CIFAR-10 хотя бы), контекст (овцы, покрашенные в оранжевый цвет распознаются, как цветы, лол), sample efficiency и устойчивость к адверсариальным атакам? А то создаётся нехорошее впечатление, что текущее направление это тупик и нет никаких идей, куда идти дальше.

>>1270878
Ты когда-нибудь руководил людьми? Я тебе расскажу: они тупые и ленивые. Делают ровно столько, чтобы избежать пиздюлей - ни больше, ни меньше. Нет угрозы пиздюлей - нет работы. Инициативы от них не дождешься.
При чем тут нейроночки? Подумой.

>>1270885
Двачую, люди слишком тупые и никчёмный чтобы делать то, что лучше них.

>>1270878
> создаётся нехорошее впечатление, что текущее направление это тупик и нет никаких идей, куда идти дальше.
Ещё в 60х умным людям было понятно, что это тупик.

>>1270878

Тупик, тупик, можешь не вкатываться

Сап, программач. Хочу накатать свою нейросеть, чтобы вылечить себя от одиночества и безделья. Умею в питон и дата сайнс. Какие курсы посоветуете? Хочу прям полностью сам написать, без всяких датафлоу.

>>1270973
Впрочем, извиняюсь, что в шапку не заглянул

>>1270973
Самому написать полносвязку можно за один вечер по памяти, если ты и правда знаешь питон и датасаенс.

>>1270973
>одиночества
Ты с ней под пледиком няшиться собрался, что ли?

Объясните дебилу, в чем же прогресс в многослойном обучении случился в 2012 году, если алгоритм не поменялся(тот же бэкпроп). Просто кто-то из ученых внушил себе и другим, что бэкпроп не будет работать после 3-ех слоев и все затормозилось?

>>1271006
Бля, надо попробовать.

>>1271009
Можешь не надеяться поднять триллиарды на покеррумах, боты сразу баняться банально по аномальному винрейту.
Но как задачка для практики правда интересна.

МимоСпрашивающий.

>>1270973
https://neuralnet.info/chapter/%d0%bf%d0%b5%d1%80%d1%81%d0%b5%d0%bf%d1%82%d1%80%d0%be%d0%bd%d1%8b/
Смотри примерно с середины главы, там есть "прям полностью"

>>1271013
Аномальный винрейт всмысле высокий?

>>1271013
Вообще если честно я умнее, чём ты подумал. Я подниму, я знаю как.

Скиньте АПИ для покеррумов. Жрать не на что.

>>1270993

Есть мнение что мощности подтянулись и пересеклись с объемами данных (хотя до сих пор на моей пеке сет дрочится часов 20)

>>1270993
Прогресс случился ещё в 80х, с появлением ленетов. И у Лекуна вроде что-то было про это, почему ничего не выйдет если взять простой перцептрон с кучей слоёв. Никто никому ничего не внушал, можешь сам проверить в керасе или ещё где, как будет работать перцептрон с хотя бы парой десятков слоёв.

>>1271040
> простой перцептрон
Это там где функция активации - знак?
У сверточных почему все нормально?

>>1271115
>У сверточных почему все нормально?
Потому что фичи детектят лучше. В обычном перцептроне картинка, например, полностью рассматривается, а в перцептроне со свёрточными слоями по ней ходит окошко, которое вытаскивает нужное.

>>1271129
Так так и пиши, что полносвязную сеть хер настроишь после 3-ех слоев, а придумали настраивать сверточные.

Кто-нибудь может встречал проекты по генерации CSS с картинки? То есть берём самое банальное, есть скриншот с одним элементом, например кнопка, нужно сгенерировать стили этой кнопки по скрину.
На сколько вообще это сложно сделать? в нейронках полный 0, но готов разобраться

>>1271218
Был же проект jpg2html, нейроночка по картинке писала код. Гугли.
Моча тут есть вообще? Почему >>1271231 хуйлопана не банят?

http://rgho.st/8TzxP7syb

Как заставить линейную регрессию работать?
1. Масштабировать признаки.
2. Убрать выбросы. (а как их найти?)
3. С помощью Lasso поудалять лишние признаки.
4. Применить всякие функции к признакам и к целевой переменной (а как понять, какие?).
А ещё какие способы есть? (этих не хватает)

>>1271596
Провериться на гетероскедастичность и мб бороться с ней, использовать другую модель, ???

>>1271596
ISLR читай. Там очень много про линейную и не только регрессию с кучей примеров что и как.

Сап двач помоги. У меня есть ноут офк без гпу и т.д. я хотел бы с потренировать модель для обджект детектиона есть ли какая то возможность сделать это бесплатно?

>>1271656
Можешь модель уменьшить, там рост ресурсов по оси точности экспоненциальный. Объект детектор можешь на своём ноутбуке запускать.

>>1271656
google colab

Привет. Сосач посоветуй годный гайд про desicion tree regression. Чтобы там объяснялись всякие оптимизации и в итоге можно было запилить свое дерево.

>>1271984
Смотри, берёшь формулу из Вики, мапишь её на признаки, а затем сортируеешь. Это три строчки, а дерево уже вырастил.

>>1271596
Покажи пример данных, где этого не хватает.

http://wombat.org.ua/AByteOfPython/

https://www.dropbox.com/s/3vndxclz1v5v9tu/%D0%92%D0%B0%D1%81%D0%B8%D0%BB%D1%8C%D0%B5%D0%B2%20%D0%90.%D0%9D.%20-%20Python%20%D0%BD%D0%B0%20%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%D0%B0%D1%85%20%28%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%20%D0%BE%20%D1%81%D0%BB%D0%BE%D0%B6%D0%BD%D0%BE%D0%BC%29%20-%202016.pdf?dl=0

http://www.deeplearningitalia.com/wp-content/uploads/2017/12/Dropbox_Chollet.pdf

>>1267390 (OP)
Че на четвёртой картинке в формуле Байеса за черточка такая между P(йоба1|йоба2) чо там значит |

>>1272445
Условная вероятность. Зная, что это формула Байеса, немного странно спрашивать такое

>>1272087
Я думаю, мои данные -- не такой пример.
Но не знаю, не взлетает. А в каком порядке применять 1, 2, 3, 4? И как 2 и 4 можно реализовать?

>>1272447
Не понял. Что | делает?

>>1272482
https://ru.wikipedia.org/wiki/%D0%A3%D1%81%D0%BB%D0%BE%D0%B2%D0%BD%D0%B0%D1%8F_%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C

>>1267390 (OP)
>персептроны и прочий мусор
Чиво блять? А из чего нейронки состоят, типа из перцетрона жи. Чо за хуйня, чо тогда в нейронках то используют?

>>1272584
Из пучков. Даже математика это наука о пучках.

>>1272588
https://ru.wikipedia.org/wiki/Пучок_(математика)

>>1272591
>https://ru.wikipedia.org/wiki/Пучок_(математика)
и где там хоть одно слово про нейросети а?

>>1272072
Хуйня там на вики, относительно разумное описание тут
https://cran.r-project.org/web/packages/partykit/vignettes/ctree.pdf

>>1270885
>Ты когда-нибудь руководил людьми работающими за статичную ставку
Пофиксил, а то думаю что тут не так.

>>1272595
эй пучки я жду ваших ответов, как связан пучков и нейроночки?

>>1272627
ну бле, чо вы такие трудные.
Поясняйте давайте, у вас тхред нейроночки называются, а вы мне про пучки свои, чо за хуйня, переименовывайтесь в пучковый тхред тогда, либо поясняйте.

>>1272690
Тебя троллят, нейроночки пока математикой плохо описаны.

Пучки - это кусок топологии, про связь нейроночек и топологии написано в этом треде на реддите.

https://www.reddit.com/r/MachineLearning/comments/5jfaox/d_what_are_current_relations_between_algebraic/

Если интересно, в Deep Learning book есть немного про многообразия и их связь с нейроночками, но популярным эвристикам там посвящено раз в 10 больше страниц.

>>1272708
https://www.deeplearningbook.org/version-2015-10-03/contents/manifolds.html

>>1272708
>Тебя троллят
вот пидоры двачерские.

Спасибо анон, хотя бы один адекват в треде.

обоссал перекатывателя за такое говно в шапке

>>1272708
> Тебя троллят, нейроночки пока математикой плохо описаны.
Опять ты на связь выходишь, мудило? Не отрицаю того, что с пучками это ещё один местный опущ без мозгов. Что там математикой не описано, мань? Полторы формулы, которые и представляют собой нейроночку? Или что?

>>1272727
а я понял, тут у вас завелся поехавший мотиматик в тхреде бугуртящий со своего бесполезного диплома, пытающийся свои говнотеории приложить туда куда они ниразу не вписываются. Понятнинько.

>>1272584
Это добавлено, потому что несколько тредов назад мелькали объебосы, которые брали голый перцептрон и орали, что "почему-то" ничего не работает.
>>1272718
>говно в шапке
Малолетний дебил, у нас доска тут немного не /math/, а /pr/. В конечном итоге заходящий сюда хочет не диссертацию защитить, а разобраться в хипстерских технологиях, для которых математика инструмент, а не самоцель.

>>1272744
почему другие методы не используют в коммерции, если они лучше сверточных сетей?

>>1272740
Но в шапке правда говно из жопы. Диплернинхбук ниочем и изложение там для новичков не пригодное, ебут митеньку на десятки страниц с многоэтажными формулами там, где все можно парой картинок объяснить. И одновременно забыли весьма неплохую именно для вкатывальщиков книгу на русском, где все, в т.ч и диплернинх поясняется не только на словах и картинках, но и на готовом коде с нуля.

>>1272727
>>1272740

господи, да что с вами не так, откуда вы беретесь? полторы формулы бэкпропогейшена не отвечают на вопрос, почему нейроночки работают.

например, список вопросов, на которые жду от вас ответа.

почему дропаут дает лучше результат (сто раз уже "доказали", но не в совсем формальном виде)
почему attention работает лучше lstm на длинных последовательностях, а lstm на коротких (если это так)?
почему работает (или не работает super-convergence), или это вообще выдуманный концепт?

>>1272740
>немного не /math/
А зачем тогда в шапке писать, что нейроночки это чистая пучковая математика?

>>1272754
> почему нейроночки работают
Нука докажи и покажи почему нейроночки работают? Давай ты ответы лучше, что там мотиматика твоя доказала, кроме бекпропердолейшена.

>>1272754
> полторы формулы бэкпропогейшена не отвечают на вопрос, почему нейроночки работают.
Потому что ты их не понимаешь?

>>1272762
Их никто не понимает.

>>1272757
например,
Зачем нужно это обоснование? Казалось бы, дропаут и так отлично работает.
Одно важное следствие состоит в том, что изначально доля выбрасываемых ней-
ронов в дропауте была фиксированным числом. Но теперь, когда мы переформули-
ровали обучение с дропаутом в виде максимизации вариационной нижней оценки,
мы без проблем можем оптимизировать долю дропаута тоже: для этого достаточ-
но просто зафиксировать остальные веса и максимизировать ту же самую оцен-
ку по доле дропаута! Более того, мы теперь можем подбирать ее индивидуально:
для каждого слоя, для каждого нейрона, даже для каждой связи между нейронами.
Этот метод получил название вариационный дропаут (variational dropout) [279].
Изначальная процедура дропаута таких вольностей совершенно не предусматри-
вала, из нее не было понятно, как можно автоматически настраивать вероятность
дропаута. При этом никакого страха переобучиться нет — мы не меняем априор-
ное распределение, просто все точнее и точнее приближаем апостериорное. Более
того, выяснилось, что вариационный дропаут добавляет разреженности в глубо-
кие нейронные сети, то есть обнуляет подавляющее большинство весов [374]; этот
результат, кстати, был получен в России, в лаборатории Дмитрия Ветрова

>>1272750
>диплернинх
>на русском
>на готовом коде с нуля
И тут ты такой даёшь ссылку на эту хуйню.

>>1272775
> И тут ты такой даёшь ссылку на эту хуйню.
Вроде в прошлом треде было, я её даже на рыгхост заливал.
>>1272768
> Их никто не понимает.
Школьничество твоё заебало с тобой вместе. Не говори про всех, говори про себя. Ничего кроме аппроксимации функций в нейроночках не было, нет и не будет.

>>1272782
Неа, нет ничего. Ни в прошлом, ни в позапрошлом.

>>1272782
Двочую >>1272791, кого ты наёбываешь?

Планирую делать диплом распознавание меланомы по фоткам, планирую юзать тензерфлоу. Какие подводные? Нормальная тема или лучше свапнуть?

>>1272941
из подводных только датасет для обучения. Сможешь ли ты раздобыть достаточное количество размеченных фоток?

>>1272941
Тема ок, довольно хайповая. Такие проекты уже есть, ищи. Что не мешает тебе сделать свой, но как выше верно заметили, нужны большие объемы данных.

>>1272771
кстати поясните как попасть к нему в лабу, какие цели и подводные

>>1267390 (OP)
Пацаны! я ток щас понял что МАШОБ это МАШинное ОБучение! Ехууууууууууууууууу!!! ЯЯ до этого гуглил слово машоб, но мне выдавало в поиске только ссылки на эти треды. А теперь до меня дошло! уууууу вы на американских горках!
мимо учим джаву в шараге

>>1272782
Ссылочка-то таки будет или нет? А то гуглится только Николенко и др., где те же "многоэтажные формулы", есть код реализации на слесарьплове который так-то для игрушечных примеров можно тупо по поиску на гитхабе найти, не говоря о том, что его даже сами создатели фреймворков пишут, но охват меньше, чем в диплёрненхбуке.

>>1272754
> откуда вы беретесь?
С первого курса, вестимо. Пердун какой-нибудь с кафедры формулу накидал на доске, состоящую из суммирований по индексам - всё, значит "объяснено".

Господа, что нужно иметь, чтобы устроиться по нейронкам в какую-либо контору?
КТН нужон?

>>1273003
Мне больше интересно реально ли вкатиться после курсов типо Нетологии или Гикбрейнса без диплома бакалавра или магистра? Вышка есть но она инженерная и вуз шаражный.

>>1273003
Об этом тебе расскажут в какой-либо конторе.

Помогите вспомнить название фреймворка для (не глубокого): написано на крестах и куде, распределенные вычисления во все щели. Позиционируется как альтернатива спарку - у них в вики на гитхабе приводились таблицы сравнения бенчмарков.

Видел это чудо где-то год-полтора назад, сейчас не могу найти, все время натыкаюсь на mxnet.

>>1273046
Thrill, Caffe? хз, если честно, мутноватое описание.

посмотри ещё тут https://github.com/topics/distributed-computing?l=c%2B%2B

Скиньте почитать про самые новые оптимизаторы

>>1273081
Пацаны грят, новые оптимизаторы это опиум для народа. В плане обобщения и всяких новых моделей, РЛ и т.п. СГД с моментумом рулит.

>>1273046

Vowpal Wabbit ?

>>1273011

Нет конечно

>>1273205
еще пока гуглил про DyNet вспомнил, хотел его попробовать, но не попробовал
https://skymind.ai/wiki/comparison-frameworks-dl4j-tensorflow-pytorch#dynet

Где про VAE почитать достаточно подробно
Оригинальная статья что-то не заходит

>>1273444
У Кингмы в диссере отдельный раздел его енкодеру посвящён. Не ебу, правда, насколько он подробнее оригинальной статьи.
https://www.dropbox.com/s/v6ua3d9yt44vgb3/cover_and_thesis.pdf?dl=0

>>1267390 (OP)

Так нейродвочаны, кароч я вкатываюсь, так шо сильно не пиздите, можете обоссать максимум.
Я вот читал кароч про нейроночки, анга смотрел, он там мне дич какую то втирал с мотиматикой, даже яндекса шад глянул, там еще больше дичи матиматической.
А на днях меня осенило, надо всеголишь взять какие нибудь данные, табличку, где есть какие то значения и взять другую табличку в которой каждая строка соотвествует строке из таблички с данными исходными. И запустить какой нибуть змеиный скрипт, это все прогонять через себя. И на выходе иметь готовую нейросеть, в которую можно скармливать данные по типу тех что были в таблице первоначальной.
Ну там еще тип нейрона выбрать всякие там сигмы и тд.

Так это, а чо так сложно преподают то? Во всяких шадах и на курсере, кучу матиматики, зачем? Свои всякие боесы, рисуют графики с точечками, между которых линии проводят. В чем смысол? Ведь можно этим ограничится, ну или вначале хотя бы это показать, что бы было понятно зачем это все.

>>1273825

>>1273859
Ну ты чиво? Вроди нормально же общались

>>1273825

Ебани курс A-Z hands on deep learning удемишный (на торрентах есть), там вообще без математики объясняют основные архитектуры и как на фреймворках дрочить, а матешу отдельными ссылками на доп материалы - можно уже потом ПОГРУЖАТЬСЯ в меру своих сил, если захочется.

>>1273825
Потому что этим ебланам математическая дичь всё равно что обычная дичь. Они её понимают, а люди нет.

>>1273874
> Потому что этим ебланам математическая дичь всё равно что обычная дичь. Они её понимают, а люди нет.
Как раз ровно наоборот - люди математику понимают, а ебланы нет. В чем и разница между человеком и всякой хуйней.

>>1273880
Фанатик плес. Куча говнотермином обозначающих простые вещи, это для говноедов, которые строят из себя илитку. Нормальными людьми такое говно явно не назвать.

>>1273889
Нормальным, как и вообще человеком не назвать говно вроде тебя, ты заебал уже своим кукареканьем, не можешь в математику - просто сьеби из треда про математику. Это же так просто, а, говно?

>>1273917
>пук
Довен походу читать не умеет, ладно читай по слогам это тред про нейронки.

>>1273921
Это тред про машоб, сука.

когда вы уже перестанете кормить неосиляторов производных

>>1273927
Производные не нужны.

Кстати правда не могу допереть, разве f'(x) = F(x) | F = f' ?

>>1273952
плюсую
просто перебираю коэфы в нейронке и беру потом лучшую из всех

>>1273927

Двачую, давно пора банить наду этих гуманитарных пидорах.

>>1270878
Вот тогда и поговорим/вы находитесь здесь.тхт

>>1271176
Почему, используй relu и residual связи и настроишь, если точнее, нужно решить проблему затухающего градиента. Суть сверточных в другом, у них by design есть инвариантность к сдвигу твоих данных. Практически любые данные так устроены - от изображений до биржевых графиков, поэтому и сверточные везде.

>>1271596
> Убрать выбросы. (а как их найти?)
Посмотри с помощью PCA на свои данные под разными углами, может увидишь чё.

Да просто надо говорить сразу что без фунтдаментального математического, IT, физического образования в машоб не пустят. И не давать надежду шаражникам. Зачем эти сраные курсы плодить и давать надежду, факультеты целые по ИИ, спецухи яндекса. Зачем? Надо фильтр там вводить и даунов не пускать.

>>1274046

Потому что машоб можно использовать и без матеши же

>>1273825
Потому что сделал ты свою табличку, скормил рандомной нейросети, а нейросеть не работает так, как ты хочешь. И все, конец истории, так как в математику ты не можешь.

>>1274046
> физического образования
Физика-то зачем? Может быть, ещё и химию до кучи?

>>1274093
Биологическое. Нейронки же

отделите этих метавкатывальщиков уже в отдельный тред как с маттредами сделали

Правда ли что все эти ваши машобы это просто старая добрая статистика?

W tensorflow/core/framework/op_kernel.cc:1275] OP_REQUIRES failed at ctc_loss_op.cc:166 : Invalid argument: Not enough time for target transition sequence (required: 36, available: 6)0You can turn this error into a warning by using the flag ignore_longer_outputs_than_inputs

ЧЯДНТ? Каждый раз в генераторе проверяю размерность, и всегда 36, в т.ч. на той итерации, когда эта ошибка вылетает.
Где этот флаг, блядь, искать?

>>1274157
почитай доку про ignore_longer_outputs_than_inputs=True

>>1274149
> Правда ли что все эти ваши машобы это просто старая добрая статистика?
Новые методы в статистике, если точнее.

>>1274261
Но зато ты при этом знаешь математику, что, согласись, гораздо круче первого варианта.

>>1274261
Если можешь, ты начинаешь ее улучшать, пока она не начинает работать так, как ты хочешь.

>>1274310
Ну тогда и поговорим.тхт

>>1274270
>гораздо круче
Мам ну скажи, что я маладец, ну маам ведь я не зря потратил 4 года в вузике дроча концпекты, заместо поёбывания тян, ну скажи ему, ну мааам.
ты молодец серожа, ты у мамы самый лучший.

>>1274333
Ты считаешь, что если бы дрочил конспекты, мог бы в математику, но ты выбрал поебывать тян, и поэтому в математику не можешь. На самом деле не так. Ты не можешь в математику, потому что от рождения дебил, и дрочка конспектов тебе никак бы не помогла.

>>1274346
>потому что от рождения дебил
Найс манямирок, а ты в нем избранный математикой.

>>1274065

Тюнинг и вперед

>>1274149

Правда ли что вся наша реальность это старая добрая математика. Что сказать-то хотел?

>>1274346
Удваиваю, есть просто люди дебилы, мне читали матешу на первом высшем 2 курса, после универа я нихуя не знал ее, мне читали матешу на втором высшем чуть больше года, + спец разделы, и результат такой же.

>>1274402
>мне читали матешу
>мне читали матешу
Ты не находишь, что проблема в том что тебе читали, а не ты сам читал? Просто тебе она нахуй не нужна была, вот ты и нихуя не понял. Хотя чо это я, нравится считать себя дебилом, на здоровье.

Какое мнение анона про курсы Яндекса на Курсере?
Реально вкатиться вообще в ML если матан и тервер видел 5 лет назад в универе.
Какой уровень нужен?

С питоном вот все норм

>>1274410
>мнение
Курсы - говно для даунов. Берёшь книжку, берёшь задачу, дрочишь.

>>1274410
Если техническое образование, то можешь придти просто пропёрдывать стул, научат.

>>1274440
Срать не снимая свитера.

>>1274440
>чему?
Учиться, ебана рот, ты шо, с деревни7

>>1274432
Куда придти?

>>1274410
мне помогло на первых парах сориентироваться, потом будет легче самому разбираться
всю необходимую математику там пояснят

Пацаны, пошли ICO делать по децентрализованной площадке для машоба. Я уже набросал чё будем разрабатывать. В ближайшее время whitepaper соберу и картинки сделаю. Смогу визитку наверстать.

>>1274534
анусы вы себе будете разрабатывать

>>1274583
швятое дело!

>>1267390 (OP)
В pandas считал столбец. Там значения типа
350 02.08
351 02.01
352 02.02
353 0
354 0
355 0

Length=..., dtype=object.

Но при этом в строках 353,354, 355 значения int
type(df.ix[353]['col1'])
<class 'int'>

Pandas при смешанных данных в столбце всегда старается определить тип ? По идее, если хотя бы в одной ячейке не число, весь столбец должен считаться нечисловым, ведь его просто так нельзя сложить
sum (df['A'])
TypeError: unsupported operand type(s) for +: 'int' and 'str'

Сканирую спрос - есть интерес у кого-то поучаствовать в проектах по сабжу в области крипты? В том числе для получения опыта и самообучения, возможен гешефт при хороших результатах. Если будут отзывы, то можно будет конкретней говорить.

>>1274673
Какой гешефт то? Как-то далеко ходишь. Выкладывай чего у тебя в мыслях.

>>1274432
Техническое, бывает разное, машиностроительный инженер тоже техническое, химик тоже техническое, разное бывает понимаешь?

>>1274675
Нужно спроектировать систему, которая сможет анализировать рыночную котировку (колебания цены крипты) в лайв тайме, предварительно обучившись на исторических данных и совершенствуясь по ходу дела, находить определенные закономерности и на их основе выносить решения (торговые рекомендации). Гешефт денежный, епт.

>>1274678
Работадателю плевать

>>1274682
Лол, ну удачи тебе. Ты хоть какие-то принципы анализа рынка знаешь или решил что тебе прям напишут нейронку, которая на основе скалярного значения во времени предугадывать курс будет? Лол. Как же тебя легко наебать, жалко что мне лень.

Допусти у меня есть входной вектор x. Но признаки имеют разную важность, например x₁ всегда очень важен, это главный признак, а вот x₂ бывает действительно важен только раз в год да и то в определённом значении, то есть не всмысле когда он больше или меньше. Я думал, а почему функция вычисления входа в нейрон вообще линейная? Разве она не должна как-то быть нелинейной?

>>1274780
Дело в том, что валютные котировки могут иметь совершенно другие механизмы движения, чем в крипте, поскольку крипта торгуется совсем недавно по историческим меркам, рынок очень молод и соответственно, логически, в нем должно быть гораздо больше каких-то рыночных неэффективностей, паттерн которых можно определить и работать с ним. У тех же манипуляторов там значительно более топорные схемы и методы. Никто не говорил, что это легко, конечно же.

>>1274780

Такенс завещал, что аттрактор всегда можно извлечь из временных рядов.

Пусть есть модель f(x), которая выдаёт число в интервале [0,1] по которому мы, если оно >1/2 причисляем объект к первому классу если, если <1/2 ко второму. Кто-нибудь интересовался свойствами разделяющей поверхности f(x)=1/2? Типо если это нейронка или ядерный свм, например, какие ограничения на (ко)гамалогии и ввести какой-нибудь порядок на них и говорить, что эта модель сложнее той если её разделяющая поверхность может иметь более сложные гамалогии?
Другой вопрос. Вот в бишопе, например, для линейной регрессии очень хорошо написано откуда она берется такая какая есть, а можно ли такой же байесовский вывод получить для нейроночек?

Немножк (совсем) офтопик, но реально не знаю где спросить пока что, поэтому под спойлером


Перечитал статью на хакере (опять), а там типичная проблема для россии
>Сотрудники «Газпрома» посетовали на низкий уровень информационной безопасности и заявили, что это не их дело, поскольку они руководствуются требованиями и правилами, которые устанавливает ФСБ. Круг замкнулся, стало понятно, что эту монолитную систему «информационной безответственности» не пробить.

Тоже самое когда-то заметил у себя дома, когда родители искали пульт от телевизора. Никто не хочет брать ответственность за то что проебал этот пульт и не положил на место, всё скидывает на других.
Откуда это взялось, как оно могло появиться? Что это за вид рака?
Сейчас вспомнил что в прошлом треде речь зашла про синдром корсакова. Посты оттуда ниже, на всякий случай. Может у кого-то есть идеи как это может быть связано, и где спрашивать про этот вид зацикленного рака, это же платиновый вопрос (где-то)

>>1263147 >>1263177
>>Полное удаление гиппокампа делает невозможным формирование новых воспоминаний, что убедительно продемонстрировал случай с пациентом H.M. Нарушения в работе гиппокампа могут привести к синдрому Корсакова, который так же сводится к невозможности фиксировать текущие события, при сохранении старой памяти.

>Конфабуляции (лат. confabulari — болтать, рассказывать) — ложные воспоминания – когда больной не может вспомнить события из своего прошлого и заменяет их вымышленными являются одним из самых характерных симптомов корсаковского психоза.
>Конфабуляции у некоторых пациентов носят постоянный характер. Они всё время придумывают новых персонажей, детально рассказывают происходившие с ними истории и т.д., заменяя таким образом забытые воспоминания на вымышленные.
>При этом важно учитывать тот факт, что больные не лгут – они действительно считают данные воспоминания реальными.

>>1274687
Я тож нихуя не знаю, но мне платят деньги на работе за то что я такую ебалу пишу

>>1274872
Какую? Всмысле по скалярному значению курс предсказывать? Сколько там коэфицент угадывания? 50% хотябы есть? Какое у тебя образование?

>>1274824
> Такенс завещал, что аттрактор всегда можно извлечь из временных рядов.
Тоже думаю, что нужно копать в сторону нелинейной динамики, хаоса и всего такого.
>>1274793
Ну и где взять исторические данные по крипте? Я давно ещё пробовал кластеризовать криптовалюты по их динамике роста и падения по пересечению плюсов и минусов за последние час, день, неделю итд, чтобы отделить годноту от хуеты, но там тоже не так все просто, что-то может взлететь на 100-1000% снихуя и наоборот. Но вообще наверное да, крипта это свободный рынок, который обычными способами не зарегулировать. Может быть, там все более предсказуемо.

>>1274908
>пробовал кластеризовать
Поделить по k-mean ты имеешь ввиду?

Аноны, есть прикладная задача по анализу данных (около 100к записей), в экселе смог найти зависимость, хотелось бы продвинуться дальше и обучить модель, но в питоне не силен.

Данные выглядят как набор фич и вознаграждение от -1 до +3, нужно добиться устойчивого дохода.

Есть кто за нефть порешает ?

>>1274922
> Поделить по k-mean ты имеешь ввиду?
Не, я пробовал картами Кохонена, SOM. Но прямые значения кластеризовать смысла нет, нужны дельты, т.е изменения + какие-то рыночные показатели типа скользящих средних, индикатора Ишимоку итд, все же это можно посчитать и добавить в вектор текущего состояния валюты. Если человек в этих индикаторах что-то видит, то и алгоритм увидит не хуже, главное данные правильно представить.
>>1274925
> Данные выглядят как набор фич и вознаграждение от -1 до +3, нужно добиться устойчивого дохода.
Если реально есть зависимость, то твоя задача - аппроксимация функции от нескольких переменных y = f(x), где набор фич это х а значения от -1 до +3 это у. SVM вполне достаточно. Давай данные, посмотрим.

>>1274929
Держи...

https://ru.files.fm/u/ffxn8uks
пароль стандартный 2ch.hk

В таблице уже применен фильтр, результат ручного анализа, то есть максимальная сумма 2 profit, но меня беспокоят просадки на графике (на второй вкладке).

Что можно еще придумать в моем случае, чтобы улучшить результат или избежать таких просадок ?

Ну как, перекатились уже на PyTorch? Или как лохи на Tensorflow сидите?

>>1274872
И что, приносишь сверхприбыли компании?

>>1274961
пиздец ты хохотач

>>1274826
а вот это совсем поехавший

>>1275034
ну лол баркоды же считают, мало ли какая хуйня зайдет

>>1275069
Мань, хуй соси.

>>1275064

Ну судя по графику на второй книге - зависимость очень неплохая, а что-нибудь из этих данных можно еще вытянуть?

Не совсем понимаю, что на этих полях отображено...

>>1274906
нейроночки до такой степени интерпретируемы, показываешь, что у тебя от таких-то входных значений, большие веса (фича импотанс) на последнем слое, получаешь профиты

>>1275203
тренируешь регрессию стохастическим градиентным спуском или рандом форест какой-нибудь, получаешь другие веса. Не?
Добавляешь новые данные и все идет по пизде. Не? машоб вообще не имеет смысла на данных из другого домена

Объяснить - это показать, почему модель приняла такое решение. Почти все машоб модели являются стохастическими, и следовательно у двух одинаковых моделей, натренированных на одинаковых данных будут разные веса.

>>1275225
и уже классика
https://distill.pub/2017/feature-visualization/

Прочитал книгу автора Ту, сейчас начну читать книгу автора Фу.

>>1275460

Хм

>>1274780
>там точно не гауссово распределение вероятности, т.е не чистый рандом
Да ты заебал, пёс, твой "чистый рандом" на каждом шаге (то что random walk называется по-человечески) это равномерное распределение, а не гауссово. Стандартный курс прошёл для начала, хотя бы.

>>1275553
яб сказал лучше случайный процесс и суть не столько в равномерности сколько в независимости X_s, X_t

Няши, как вкотиться в нейроночки? Я понимаю принципы, даже немного математики, но вот как именно взять и написать сеть которая будет что-то делать - не могу. Я пытался искать полноценные гайду, но везде одно говно. Не подкините чего-нибудь для питона? Чтобы с нуля и до обучения, а если будет материал как готовить датасеты и обучать по ним - вообще буду благодарен.

>>1275834
Если на русском, то в stepic.org есть курс по нейронным сетям. Если на английском, то там дохуя норм гайдов есть.

>>1275837
Можно и на английском. Думал на курсере хорошо все по этапам разложили, но нет, там вообще в матан ушли. Читал еще кучи других гайды, по TF, керасу, но везде либо уходят в теорию либо предлогают просто копировать код и учиться на готовых датасетах. Ну ок, скопировал я, все работает, а как это на реальную задачу то перенести?..

>>1275780
Ну мартингейл, которого он постоянно тут вспоминает всё-таки при равномерном распределении применяют.

А есть просто сборник best practices где-нибудь по теме того как структуру сети выбирать под конкретные задачи?

>>1275915
Узнаешь, как твоя задача называешься, и гуглишь со "yobification state of art".

>>1275941

>>1275849
нет никакого смысла читать про тф и керас без сильной базы

>>1276088
В чем заключается сильность базы? Некоторые аутисты думают, что запилив на каком-то левом языке бэкпропагейшен вручную, что они будут знать что-то большее об обучении нейронок. Это не так. А изучать математику тф и керас не мешают, лучше всего делать это одновременно.

>>1276097
двачую
запилил все эти бэкпропы в cs231n никак не помогло их лучше понять
лучше бы всякие архитектуры на торче реализовывал бы

>>1276162
Нужно сначала базу, потом практику делать. Без базы ты будешь по туториалам кнопки тыкать, не представляя как работает шайтан-машина, что она может, и почему надо делать так, а не иначе. Глупые ошибки будешь делать, и не поймешь в чем дело.

>>1276185
Что есть база? Математические функции? Я просто не очень понимаю, мне забить на все и просто учить матан, или же все-такие можно как-то без этого обойтись?

>>1276218
ну если во время прохождения базовых курсов по нейроночкам ты не справляешься с матаном то да учить ту маленькую частичку матана

>>1276218
>как-то без этого обойтись?
Да, пихвовекторизацией.

>>1276185
>по туториалам кнопки тыкать, не представляя как работает шайтан-машина, что она может, и почему надо делать так, а не иначе
А что, есть кто-то, кто представляет, как работает шайтан-машина, что она может, и почему надо делать так, а не иначе? Примеры в студию.

>>1276261
>А что, есть кто-то, кто представляет, как работает шайтан-машина, что она может, и почему надо делать так, а не иначе?
Крутишь пимпочки до упора, если не работает, значит сам виноват, матиматически там все должно работать111

С конкурентным обучением с подкреплением мне хватит 10000 итераций? Неделя реальных вычислений. Данные приходят и обрабатываются в течение 1 минуты.

Если в керасе ошибка всегда нулевая, и выход целевой функции (CTC) почти всегда одинаковый (циферки немного отличаются, но декодируются всегда в один неверный набор символов) - то где я наговнокодил? Learning rate крутить пробовал, оптимизаторы менял, не помогает.
Сеть - CRNN, текст с картинок распознаю.

>>1276411
Метрику меняй

>>1276414
Не сильно помогло
Я каждую эпоху проверяю сеть на одних и тех же данных (тренировочных, чтоб наверняка) и каждую эпоху сеть у меня текст распознает одинаково неправильно, будто так и должно быть. И выход функции ошибки без декодирования почти не отличается.
Предполагаю, что косяк где-то в реализации CTC, хоть и писал все на базе чужого кода с гитхаба.
Learning rate менял с 0.0001 до 100 - ничего не меняется

>>1276437
ну, где-то наговнокодил, без самого кода тебе только ванга поможет

>>1276438
Как-то так, как мне кажется, косяки где-то здесь.
Впервые с рекуррентными что-то пробую, до этого только сверточные писал, может чего-то очевидного не сделал

>>1276261
Не понимать можно на разных уровнях. Я, тот анон, и твоя мама - это три разных уровня непонимания. Лучше быть на моем.

>>1276411
Дропаут добавь и побольше

>>1276448
Слишком муторно. Упрощай до одного ЛСТМ-юнита, который должен просто копировать предыдущий вход.

>>1276448
Если у тебя лосс сразу на дне, вряд ли ошибка в валидации, скорее имеет место дикий оверфит, а сетка со дна выбираться не желает, а ты накосячил или с регуляризацией, или с инициализацией, типа оставил дефолтные нули вместо шума

>>>1276448
С ЛСТМ все нормально. Сначала пару слоев свертки делаю, разбавляя макспулингом и нормализацией, потом один полносвязный, бидирективный ЛСТМ и СТС-алгоритм в конце.
В out со второго скрина у меня пробелы почему-то минус единицами заполнились, хотя у меня все лэйблы просто по индексам разбиты, наверное в этом проблема.
Попробую другую сетку с гитхаба под свой генератор адаптировать, ибо сам в этих заебах с СТС (типа iy_pred = iy_pred[:, 2:, :] такой строчки) не шарю.

>>1276468
>>1276496
Это сюда

>>1274958
Аноны, помогите задачу решить за вознаграждение, что можно сделать и сколько это будет стоить ?

Сап аноны, как много людей тут действительно получают деньги за нейронки?
Работаете на кого или же пилите свой проект?

Мимо вкатывальщик

>>1276546
>Работаете на кого
Na SkyNet

>>1276546
Я работаю на Roko's Basilisk.

>>1276577
Блять. Да ну нахуй. Наконец-то я могу харкнуть кому-то связаному с таким дерьмософтом в лицо. Хррр-ха-пфу

>>1276577
>Roko's Basilisk
Это что?
>>1276584
>с таким дерьмософтом
Разъясняй

Как нейронную сеть научить работать с графами?
Просто изначально научились запускать на картинках фиксированного размера, потом - на картинках произвольного размера. Научились применять для анализа последовательностей произвольной длины. А что с графами?

>>1276660
>графами
Монте Кристами?

>>1276521
>что можно сделать и сколько это будет стоить ?
Скорее всего, много чего можно. Какая строка там конкретно выход? Профит 1 или профит 2?

>>1276842
профит2, нужно, чтобы сумма вознаграждений профит2 была максимальной и не было просадок по графику (как на книге2).

Можно поиграться штрифтами фильтрами и увидеть, как все там меняется.
По сути можно построить прибыльную стратегию и на профит1, если так получится.

>>1276521
Ты задачу сначала сформулируй. Пока ты высрал эксель с какими-то колонками цифр.

>>1276660
https://habr.com/company/ods/blog/418727/
делаешь эмбеддинг, засовываешь в нейронку

>>1277189
>habr.com
Лол

>>1277238
>2ch.hk
Лал

>>1277256
Спасибо за ваш комментарий, посасал бы вам писю и дал в жопу.

"10 лекций по распознаванию" (Шлезингер, Главач) уже устарели?

Сап. Есть RNN на GRU 4 слоя по 1500 нейронов. Добавлять ли дропаут? Подозреваю на таком конфиге будет больше вреда чем пользы.

>>1277357
Хм... попробовать и посмотреть самому? Да не, бред какой-то.

Может кто-то объяснить как обучают рекурентные сети? А то я посчитал сколько маленькую лстмку проитерировать бэкпропогэйшеном. Получилось около 2 триллионов итераций слоёв на один вход.

>>1277413
Без датасета? Совсем ебнаулись уже

>>1277379
Я обучал сетку три недели на 1080ti. Предлагаешь ещё пару месяцев потратить на файн тюнинг?

Ладн, вопрос попроще. Начиная с какого количества скрытых слоев бесполезен дропаут?

>>1277545
тебе надо было сначала фаинтьюнить сетку на подвыборке, а потом уже тренировать три недели, дропаут (и вообще регуляризация) нужен при переобучении. Если у тебе трейн и валидейшен лосс не расходятся, то можно и без дропаута. если валидейшен выходит на плато, а трейн продолжать падать - добавляешь регуляризацию.
от Гудфелоу 2-7

>>1277559
>дропаут (и вообще регуляризация) нужен при переобучении.
Не только, дропаут вполне может помогать от high bias тоже, он ведь помогает от корреляции между нейронами, и, соответственно, делает параметры более эффективными.

>>1277545
>Начиная с какого количества скрытых слоев бесполезен дропаут?
Дропаут бесполезен, когда у тебя другой регуляризации полно - batch normalization, weight decay и т. д. А если ее вообще нет, то он полезен.
>Я обучал сетку три недели на 1080ti. Предлагаешь ещё пару месяцев потратить на файн тюнинг?
Ну это явно хуевая стратегия исследований. Я бы отладил всё на малой части датасета (добился оверфита, регуляризовал, затем подобрал гиперпараметры), чтобы обучение шло час маскимум, потом плавно бы увеличивал датасет с корректировкой гиперпараметров, останавливаясь сильно рано (как правило удачные параметры сразу проявляют себя), и только затем уже хуячил максимальный датасет. А три недели с 1080ti это пиздец как рискованно и бессмысленно.

>>1277633
На чём запускаешь сетку?

Дайте маленький датасет для лстмки. Насколько зашкварно писать лстмку на чистом питоне?

>>1277766
А что именно ты пишешь на "чистом питоне"? Саму математику? Ещё какой зашквар, питон не для того предназначен.

За keras.backend.ctc_decode() кто-нибудь пояснить может?
Почему она возвращает разные значения при одних и тех же входах?

>>1277783
Вернее значения разных размерностей, фикс

Почему веса для нейронок не подбирают брутфорсом? Это же более эфективный алгоритм. В 10 тысяч раз быстрее иногда, чем бэкпропогэйшн.

>>1277774
Не ебу, у меня летает

>>1277789
Ну да, функцию от сотен тысяч переменных же проще перебором минимизировать, ага.
Теорию оптимизации тоже дауны какие-то придумали, можно же перебирать просто, в 10 тысяч раз эффективнее

>>1277795
Твоя оптимизация подразумевает возведение количества ввычислений в степень колличества слоёв. Лучше перебором. Или дедовским отжигом.

>>1277795
Попробуй меня остановить.

Если серьезно, недавно показали, что случайный поиск или ГА может быть на порядки быстрее РЛ на многих задачах.

>>1277798
Да, все так и делают

>>1277801
Зачем доказывать, если и так видно, что там почти бесконечные рекурсии с квинтилионами вычислений.

>>1277801
> на многих задачах
на нейронках в т.ч?

Скоро можно будет макачить нейроночки не отходя от мейлача: https://youtu.be/9NcBqjAMNjQ

На сях нейрончики есть?

>>1277693
У меня два 1080ti на двух пеках, на одном как правило запускаю расчет на подольше, на втором ставлю эксперименты, чтобы к окончанию работы "длинной" видюхи у меня был набор улучшений для новой итерации.

Нахуя так много сложных формул и выебонов, если всё можно и так реализовать на уровне школьной математики?

>>1277798
>Твоя оптимизация подразумевает возведение количества ввычислений в степень колличества слоёв. Лучше перебором.
Все наоборот. Бэкпропагейшен относительно любого числа параметров - это вычисление символьно взятой производной, то есть обратный проход не сильно медленнее прямого, только памяти требует больше для хранения промежуточных производный, а вот случайный поиск плох как экспонента от числа измерений, в твоем случае - от числа параметров. ГА не сильно лучше.
При этом для многомерных функций проблема застревания в локальном минимуме почти не стоит - чем больше измерений, тем меньше вероятность существования минимума в точке (для функции N переменных производные по N параметрам должны быть равны нулю одновременно - это очень маловероятно). Поэтому для нейронок только бэкпроп.
РЛ же это отдельная история, это не только нейронка, но и йоба со всеми этими Q, какими-то графами-хуяфами тыр пыр восемь дыр. Там вполне ГА могут быть эффективнее в каких-то местах, почему нет.

>>1277863
На рекурентные посмотри, блять, на каждой итерации слоя нужно отправляться в первую итерацию, прогонять нейронку назад до инпута, двигаться дальше, прогонять на один слой ниже, затем отправлятьсч к началу, снова прогонять нейронку, затем спускаться на слой ниже и прогонять ещё раз, и так пока каждый пример не прогонит каждый слой, в котором ещё опять прогоняется каждый младший слой. То есть тут не экспонента, тут нахуй больше чем экспонента.

Подалуйста, объясните мне градиентный спуск. Умоляю.

>>1277867
На русском в Stepic.org есть курс по нейронным сетям, там про градиентный спуск объясняют.

>>1277865
Ты хуйню какую-то несешь, похоже не понимаешь что-то. Рекуррентные сети разворачиваются в feed-forward, соответственно становятся сложнее пропорционально заглядыванию назад в прошло.