Тред общенаправленныей, тренировка дедов, лупоглазых и фуррей приветствуются
Предыдущий тред: >>314956 (OP)
➤ Софт для обучения
https://github.com/kohya-ss/sd-scripts
Набор скриптов для тренировки, используется под капотом в большей части готовых GUI и прочих скриптах.
Для удобства запуска можно использовать дополнительные скрипты в целях передачи параметров, например: https://rentry.org/simple_kohya_ss
➤ GUI-обёртки для kohya-ss
https://github.com/bmaltais/kohya_ss
https://github.com/derrian-distro/LoRA_Easy_Training_Scripts
https://github.com/anon-1337/LoRA-train-GUI
➤ Обучение SDXL
Если вы используете скрипты https://github.com/kohya-ss/sd-scripts напрямую, то, для обучения SDXL, вам необходимо переключиться на ветку "sdxl" и обновить зависимости. Эта операция может привести к проблемам совместимости, так что, желательно, делать отдельную установку для обучения SDXL и используовать отдельную venv-среду. Скрипты для тренировки SDXL имеют в имени файла префикс sdxl_.
Подробнее про обучение SDXL через kohya-ss можно почитать тут: https://github.com/kohya-ss/sd-scripts/tree/sdxl#about-sdxl-training
Для GUI https://github.com/bmaltais/kohya_ss и https://github.com/derrian-distro/LoRA_Easy_Training_Scripts/tree/SDXL так же вышли обновления, позволяющее делать файнтьюны для SDXL. Кроме полноценного файнтьюна и обучения лор, для bmaltais/kohya_ss так же доступны пресеты для обучения LoRA/LoHa/LoKr, в том числе и для SDXL, требующие больше VRAM.
Всё пока сырое и имеет проблемы с совместимостью, только для самых нетерпеливых. Требования к системе для обучения SDXL выше, чем для обучения SD 1.x.
➤ Гайды по обучению
Существующую модель можно обучить симулировать определенный стиль или рисовать конкретного персонажа.
✱ Текстуальная инверсия (Textual inversion) может подойти, если сеть уже умеет рисовать что-то похожее:
https://rentry.org/textard (англ.)
✱ Гиперсеть (Hypernetwork) может подойти, если она этого делать не умеет; позволяет добавить более существенные изменения в существующую модель, но тренируется медленнее:
https://rentry.org/hypernetwork4dumdums (англ.)
✱ Dreambooth – выбор 24 Гб VRAM-бояр. Выдаёт отличные результаты. Генерирует полноразмерные модели:
https://github.com/nitrosocke/dreambooth-training-guide (англ.)
✱ LoRA – "легковесный Dreambooth" – подойдет для любых задач. Отличается малыми требованиями к VRAM (6 Гб+) и быстрым обучением:
https://rentry.org/2chAI_easy_LORA_guide - гайд по подготовке датасета и обучению LoRA для неофитов
https://rentry.org/2chAI_LoRA_Dreambooth_guide - ещё один гайд по использованию и обучению LoRA
https://rentry.org/59xed3 - более углубленный гайд по лорам, содержит много инфы для уже разбирающихся (англ.)
✱ LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) - это проект по созданию алгоритма для более эффективного дообучения SD. Ранее носил название LoCon. В настоящий момент включает в себя алгоритмы LoCon, LoHa, LoKr и DyLoRA:
https://github.com/KohakuBlueleaf/LyCORIS
✱ LoCon (LoRA for Convolution layer) - тренирует дополнительные слои в UNet. Теоретически должен давать лучший результат тренировки по сравнению с LoRA, меньше вероятность перетренировки и большая вариативность при генерации. Тренируется примерно в два раза медленнее чистой LoRA, требует меньший параметр network_dim, поэтому размер выходного файла меньше.
✱ LoHa (LoRA with Hadamard Product representation) - тренировка с использованием алгоритма произведения Адамара. Теоретически должен давать лучший результат при тренировках с датасетом в котором будет и персонаж и стилистика одновременно.
✱ LoKr (LoRA with Kronecker product representation) - тренировка с использованием алгоритма произведения Кронекера. Алгоритм довольно чувствителен к learning_rate, так что требуется его тонкая подгонка. Из плюсов - очень маленький размер выходного файла (auto factor: 900~2500KB), из минусов - слабая переносимость между моделями.
✱ DyLoRA (Dynamic Search-Free LoRA) - по сути та же LoRA, только теперь в выходном файле размер ранга (network_dim) не фиксирован максимальным, а может принимать кратные промежуточные значения. После обучения на выходе будет один многоранговый файл модели, который можно разбить на отдельные одноранговые. Количество рангов указывается параметром --network_args "unit=x", т.е. допустим если network_dim=128, network_args "unit=4", то в выходном файле будут ранги 32,64,96,128. По заявлению разработчиков алгоритма, обучение одного многорангового файла в 4-7 раз быстрее, чем учить их по отдельности.
✱ Text-to-image fine-tuning для Nvidia A100/Tesla V100-бояр:
https://keras.io/examples/generative/finetune_stable_diffusion (англ.)
Не забываем про золотое правило GIGO ("Garbage in, garbage out"): какой датасет, такой и результат.
➤ Гугл колабы
﹡Текстуальная инверсия: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/sd_textual_inversion_training.ipynb
﹡Dreambooth: https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast-DreamBooth.ipynb
﹡LoRA [1] https://colab.research.google.com/github/Linaqruf/kohya-trainer/blob/main/kohya-trainer.ipynb
﹡LoRA [2] https://colab.research.google.com/drive/1bFX0pZczeApeFadrz1AdOb5TDdet2U0Z
➤ Полезное
Гайд по фиксу сломанных моделей: https://rentry.org/clipfix (англ.)
Расширение WebUI для проверки "сломаных" тензоров модели: https://github.com/iiiytn1k/sd-webui-check-tensors
Гайд по блок мерджингу: https://rentry.org/BlockMergeExplained (англ.)
Гайд по ControlNet: https://stable-diffusion-art.com/controlnet (англ.)
Гайды по апскейлу от анонов:
https://rentry.org/SD_upscale
https://rentry.org/sd__upscale
https://rentry.org/2ch_nai_guide#апскейл
https://rentry.org/UpscaleByControl
Ручная сборка и установка последней версии xformers и torch в venv автоматика:
Windows: https://rentry.org/sd_performance
Linux: https://rentry.org/SD_torch2_linux_guide
Подборка мокрописек от анона: https://rentry.org/te3oh
Группы тегов для бур: https://danbooru.donmai.us/wiki_pages/tag_groups (англ.)
Коллекция лор от анонов: https://rentry.org/2chAI_LoRA
Гайды, эмбеды, хайпернетворки, лоры с форча:
https://rentry.org/sdgoldmine
https://rentry.org/sdg-link
https://rentry.org/hdgfaq
https://rentry.org/hdglorarepo
https://gitgud.io/gayshit/makesomefuckingporn
Шапка: https://rentry.org/catb8
Прошлые треды:
№1 https://arhivach.top/thread/859827/
№2 https://arhivach.top/thread/860317/
№3 https://arhivach.top/thread/861387/
№4 https://arhivach.top/thread/863252/
№5 https://arhivach.top/thread/863834/
№6 https://arhivach.top/thread/864377/
№7 https://arhivach.top/thread/868143/
№8 https://arhivach.top/thread/873010/
№9 https://arhivach.top/thread/878287/
№10 https://arhivach.top/thread/893334/
https://civitai.com/models/44605?modelVersionId=112251 - пик релейтед, мне зашло на ура
https://civitai.com/models/59719/2357-200 (старая версия даже пизже, хотя это дело вкуса)
https://civitai.com/models/98018/hello25dvintageanime
Anything тоже китайская модель. Попадались даже шикарные чекпойнты, которые не известны за пределами китайской блогосферы. Копипастные мерджи, которыми завален Civitai, сделаны западными пользователями (французы и прочие), они пережевывают одно и то же по много раз. Anything v4 это неофициальный bullshit мердж сделанный троллем.
Быть может, всё это потому, что в стране с миллиардным населением больше всего юзеров с баблом и энтузиазмом, + техническая подкованность и деловая дисциплина азиатов + визуальное богатство культуры, которая получила дальнейшее развитие в ИИ-арте. Зная предприимчивость чонгов, можно догадываться что они давно внедряют ИИ в геймдев, в десигн и всё остальное, а также пилят свои аналоговнеты.
Что касается Америки, то она = соя и повесточка (при всем уважении к достижениям американских спецов, которые зачастую те же китайцы).
>>400555
Имаджинировали сколько вклада сделал этот ваня в клозет с дырой типа "очко на улице"?
Против Google подали коллективный иск, в котором компанию обвинили в «тайном сборе всего опубликованного или созданного в интернете». Авторы иска считают, что данные используются для обучения генеративного искусственного интеллекта Google и подобных продуктов. Юридическая фирма, оформившая иск, ранее подала аналогичный, но уже против компании OpenAI, известной по ChatGPT.
В документах отмечается, что сбор информации американцев ведется компанией Alphabet без уведомления пользователей, которые даже и не подозревают о происходящем с их данными.
«Google прибирает к рукам всю нашу личную и профессиональную информацию, предметы творчества и авторские работы, наши фотографии и даже письма в электронной почте — буквально весь наш цифровой „отпечаток“», — утверждают авторы иска. По их словам, все это происходит годами и бесконтрольно.
В качестве доказательства приводятся изменения в пользовательское соглашение от 1 июля, в котором появилась отметка о том, что Google может собирать всю публично доступную информацию о пользователе для тренировки ИИ и совершенствования Google Translate, Bard и Cloud AI.
«Google должна понять раз и навсегда: она не владеет интернетом», — говорится в иске и отмечается, что публично доступное не означает бесплатное.
>«Google прибирает к рукам всю нашу личную и профессиональную информацию, предметы творчества и авторские работы, наши фотографии и даже письма в электронной почте — буквально весь наш цифровой „отпечаток“», — утверждают авторы иска. По их словам, все это происходит годами и бесконтрольно.
>
Пиздеж, уже давно обоссан, информация не персоанализована. Обычный пиар-иск.
>«Google должна понять раз и навсегда: она не владеет интернетом», — говорится в иске и отмечается, что публично доступное не означает бесплатное.
Как там Австралия гугол забанила уже или нет? А тут вообще ноунейм попук.
Веб-архив уже сколько лет существует и почему-то никто не пиздит на него. А ведь там есть такое, что не просто осталось после удаления, а даже то что вычищалось как нелегальный контент.
Ну я и предпологал, что "потянет" в смысле запустится. Там кажется достаточно и 8gb vram.
Просто думал что живые пользователи ответсят что то вроде: "работает раз в 10 медленне" или "скорость генерации почти не упала".
Тянет и хайрез фикс и рефайн на 8Гб. Скорость генерации на 2060Super 1536х1024, DPM++ 2M Karras, 30 шагов — 40 сек.
Генерация с хайрез фиксом latent с 1024х768 до 1536х1152 при тех же параметрах — 1 минута.
Спасибо! Это обнадёживает. А то не очень хочется связываться с этими новыми видеокартами, которые размером и мощностью сравнялись со стиральными машинами.
>а даже то что вычищалось как нелегальный контент.
Например?
>>403781
>40 сек
>100% врама
Драйвера слишком новые, лол.
> Драйвера слишком новые, лол.
Скоро™ пофиксить обещали https://github.com/vladmandic/automatic/discussions/1285#discussioncomment-6328116
>>403934
Я пробовал различные версии драйверов, торчей, куды, куднн, хформерсов и сравнивал их производительность.
В итоге максимальная производительность у меня получилась на связке драйвер 528.49, torch2.1.0+cu118, CUDA11.8, cuDNN8.8, xformers 0.0.21+cu118.
Что касаемо показателя Sys VRAM, то при использовании SDP cross-attention оптимизатора у меня он практически всегда показывает 8192/8192 вне зависимости от размера картинки. Хоть 512х512, хоть 2048х1024.
ЧЯДНТ?
>ЧЯДНТ?
Ищи проблему в железе или софте. Проверь стабильность оперативы под нагрузками, проверь версии ПО, торча, хформерс и прочего говна.
Инпеинтит почему-то слишком долго. Даже маленькое закрашенное пятнышко на условной пикче 1000х1500 гоняет 5 минут. Раньше это делалось точно намного быстрее, железо все то же.
Сталкивался кто-нибудь, есть идеи? Настройки пикрил.
Спасибо, по ходу нашёл - дело в файле подкачки - он должен быть на одном диске.
Ща релизнут SD XL, может он будет лучше.
Ящитаю, анклип как в миджорни - топчик.
Удалил несколько программ через прогу Reg Organizer с "чисткой следов". После этого при запуске webui user.bat появилась ошибка: py torch can not connect with GPU и Stable Diffusion не запускалась. Сделал восстановление системы, точка восстановления каким то чудом была только одна на 16:50 сегодня, откуда она взялась я в душе не ебу, кроме неё не было ничего. Восстановился - вроде все норм, работает. Но теперь заметил следующее в консоли:
A matching Triton is not available, some optimizations will not be enabled.
Error caught was: No module named 'triton'
D:\ai\stable-diffusion-webui\venv\lib\site-packages\pytorch_lightning\utilities\distributed.py:258: LightningDeprecationWarning: `pytorch_lightning.utilities.distributed.rank_zero_only` has been deprecated in v1.8.1 and will be removed in v2.0.0. You can import it from `pytorch_lightning.utilities` instead.
rank_zero_deprecation(
Model loaded in 5.4s (load weights from disk: 0.5s, create model: 0.6s, apply weights to model: 2.5s, apply half(): 0.5s, move model to device: 1.0s, calculate empty prompt: 0.1s).
D:\ai\stable-diffusion-webui\venv\lib\site-packages\torchvision\transforms\functional_tensor.py:5: UserWarning: The torchvision.transforms.functional_tensor module is deprecated in 0.15 and will be removed in 0.17. Please don't rely on it. You probably just need to use APIs in torchvision.transforms.functional or in torchvision.transforms.v2.functional.
warnings.warn(
Что это за хуйня разъясните пожалуйста.Что за Тритон? Что за ошибки с Pytorch? Что это все блядь? Я знаю тут есть знатоки, а я на уровне хлебушка в этих вопросах.
тритон в винде не работает, остальное поебать если работает. если трясешься то можешь папку venv удалить, вебуй при след запуске все перекачает.
вроде бы 23 год на дворе, а люди до сих пор сиклинерами пользуются
Ну спасибо блядь, снес venv он перекачал, теперь extensions не загружается и вся консоль в ошибках
Да иди ты нахуй, я чистую снова наверну чем теперь из-за тебя долбоеба с тысячей ошибок ебаться
>мокрописькой поломал пути в копровинде
>поломал автоматик делолом венв
>виноваты все вокруг
Мегамозг наху
Я ее не смог найти, поэтому написал свой велосипед:
https://pastebin.com/5bKfqgyw
Из зависимостей только pip install PyQt5 и pip install Pillow
Кто не умеет в питон, я скомпилил 7 килобайт кода в 57 мегабайт экзешника, наслаждайтесь (должно работать вообще без питона): https://pixeldrain.com/u/rBbu6EET
Вызов либо через командную строку, python batch_sorter.py f:\iloveass
Либо если без пути запустите, то оно спросит
По пути создаст папку discarded
В окне нажимете (на клавиатуре) левую стрелку, чтобы скинуть в discarded левую пикчу.
Правую стрелку наоборот соответственно.
Вверх - скипаются и остаются обе
Вниз - скидываются в discarded обе
Вместо стрелок можно использовать класскический WASD
Кнопки в интерфейсе не стал пилить, ну их нахуй.
Оно закончит, когда останется две пикчи. Либо когда вы окно закроете. Файлы перемещаются сразу по нажатию кнокпи на клаве. Не в конце процесса.
В консоли будет дудосить ошибками
QWindowsWindow::setGeometry: Unable to set geometry
Не обращайте внимания, мне просто лень чинить.
А, еще посмотрел вашу шапку и увидел мокрописьки для ресайза
Но они все проигрывают в удобстве этой, как мне кажется:
https://www.birme.net/
Может ее стоит тоже туда хуйнуть, датасеты кропать самое оно.
А нахуя полностью удалял? Я переименовываю всегда, можно было бы откатится.
Генерирую пиксель арты, если смотреть издалека и один глаз закрыть, то результат вроде бы ничего, похоже на правду.
Но на самом деле много грязи в изображении, квадраты (якобы пиксели) разных размеров, аутлайны плохие. Фиксить каждый пиксель руками - заебешься насмерть, мне быстрее с нуля нарисовать самому.
Возможна ли модель которая получив на вход пикрелейтед, преобразует его в близкое к pixel perfect?
Фильтр ближайший сосед не предлагать!
> Фильтр ближайший сосед не предлагать!
Чего так? Если совместить одно с другим то как раз починит, тут скорее не нейронка а просто численных алгоритм нужен, скрипты фотожопа есть. Изначально генерацию делай с аутлайном но без стремления получить идеальную пикселизацию, а ее организовывай уже потом.
>Чего так?
Когда я даунскейлю картинку до четкой пиксельной сетки 1 "квардратик" генерации = 1 реальный пиксель то хорошо получается только там где квадраты большие и четкие, и там где они выровнены по сетке.
А выровнять по сетке всю картинку не получается, потому что в разных местах квадраты разного размера и формы. И поэтому картинка превращается в кашу.
При этом глазами-то я вижу где какой пиксель должен быть, вот думаю значит и нейрон очка тоже сможет.
Вот так получается, не слишком уж хорошо.
raise RuntimeError("Cannot add middleware after an application has started")
RuntimeError: Cannot add middleware after an application has started
> На винде, на моей 6700xt на одну картинку уходит в среднем 20-40 секунд.
Не указывая размер картинки, семплер и количество шагов твоя информация абсолютно бесполезна.
Посмотри внимательно, исходная пикча не должна быть столь сильно пикселизованной если эта пикселизация поломана, тогда по ближайшим сработает уже нормально. Также палитру скорректировать в любом случае придется или заставить нейросеть изначально сделает плоские цвета. У тебя в той пикче не смотря на закос под пиксельарт есть полутона между пикселями, потому ресайз туда-собратно и ломает аутлайн, попадая не серые участки вместо черных, и сам аутлайн тонкий из-за чего при уменьшении он может потеряться.
Та пикча изначально обычная но с жирным лайном и "пиксельарт" сделан в фотожопе.
Попробуй вместо VAE использовать ApproxVAE, будет в 8 раз меньше разрешение, без попыток автоэнкодера убрать пиксели.
У тебя карта не тянет? Ну хочешь- кидай датасет с описаниями. Я у себя создам лору. Параметры тоже лучше скинь/спроси у кого-то
Везде насрало фиолетовым, где не надо, хотя через запятую
>>419574
Чел... Вроде обмазался плагинами (сборочку поставил что ли?), но базы понимания работы нейросетей это не прибавило.
>Пиздец просто
А хули ты хотел? Это не ИИ нихрена.
В принципе, можно чуть потвикать и нароллить, но лучше инпейнт, ибо сетке сложно понять, что к чему, особенно по такому короткому промту.
ппц так обидно
есть обходные пути этой херни, или идти в магазин за видимокартой, чтоб ии прон посмотреть?
спасибо, аноны, заранее
сам полный хуй и лох, хочется посмотреть голых девок, показать другим
>sd без фильтров
Чаво? Юзай автоматика, как и все тут. Он вроде кое-как дружит с радевонью.
>>420199
>или идти в магазин за видимокартой
Да, самый беспроблемный вариант. Минимум 12ГБ врама, лучше сразу 24, и будешь перед всеми козырять классными картинками.
> Хачмодель
Еблан.
>>420199
> показать другим
Другие ведь никогда голых девок не видели, а тут такой ты с двух ног со своими шедеврами.
Дохуя хочешь, геометрические татухи без дополнительных костылей работать не будут.
А какие костыли нужны? Я так то натренировал, и даже работает, но оверфитит модель, или зажаривает, попробовал конвертнуть в дим 8 но лучше не стало особо. Или этих костылей ещё не придумали?
>1488
Спасибо, буду пробовать.
>Ебаться с инпейнтом для такого хеловворда? Пиздец просто
Ну а нахуй ты в фотожопе со слоями ебешься? Или в 3дмоделерах с полигонами? Ебать говно ниудобна! Это блядь азы работы с программой, прости, ебаный кусок говна, что она устроена не так, как ты хотел. Сделай блядь лучше или забей пасть.
>>421738
Хуйня. Кот у тебя не белый. Этот дрочь в принципе не нужен, когда сенд ту инпейт и сменить цвет глаз это 3 секунды.
Я сказал хуйня. Зачем ты споришь, блядь? Обязательно надо последнее слово сказать? Как бабе? Ты баба?
Соси. Негатива нет. Миллиарда присетов как у Мочи Жоры тоже нет.
>>422148
Ты прав.
Что и требовалось доказать...
Тряска - есть, нормального котика - нету.
Чем тебя этот не устраивает, мразь? Ты скаал не может - я показал что может.
> Крутим веса моделей, срёмся за тензоры, пишем гайды, организуем помойки для моделей
> Технотред №11
> Пытаемся сгенерировать кота
Технотред. Итоги.
> upscale by: 2
> генерация занимает минуты 3-4
Зачем так унижаешься перед Хуангом? У нормальных людей это 5 секунд.
> База треда: СД котика сгенерить не может.
Хуйню несёшь. Ещё полгода назад генерил охуенных мэйнкунов.
> На моей 6700xt на 512x1024, модель Rev animated, сэмплер DPM++ 2M Karras, 30 шагов, upscale by: 2 генерация занимает минуты 3-4
Не верю. Покажи скрин.
> На моей 6700xt на 512x1024, модель Rev animated, сэмплер DPM++ 2M Karras, 30 шагов, upscale by: 2 генерация занимает минуты 3-4
Ха-ха, амудебляди соснули
512х512, Euler A, 150 шагов, без хайрезфикса, сколько it/s?
oriental
eastern
therawada
mahayana
arabic
arabesque
ottoman
hindu
mughal
tantra
spicy
persian
achaemenid
babylonian
tao
sanscrit
islamic
sunnah
ramadan
wuxia
tang
ming
qing
thai
burmese
Короче пока особой разницы не заметил, я правда Дадаптэйшном фигачил, хз какой крутой лёрн рейт для ликоризов.
Стоит брать? В чем камни?
https://www.avito.ru/sankt-peterburg/tovary_dlya_kompyutera/inno3d_geforce_rtx_3090_ichill_x4_24gb_3153691486
https://www.avito.ru/sankt-peterburg/tovary_dlya_kompyutera/asus_tuf_geforce_rtx3090_gaming_oc_tuf-rtx3090-o24_2530308393
Майнеры распродают, вот тут ответы к посту смотри, все пояснено >>404177 →
Понял, спасибо. Ну, майнеры и майнеры, похуй, лишь бы работала
> Ну, майнеры и майнеры, похуй, лишь бы работала
Это как машину после таксиста брать.
Лучше из таксу но нормальную иномарку, чем сосквич 3 из салуна.
Почему какой-то кореец написал прогу для генерации картинок на своем компе для ламеров (kohya_ss), но не нашлось другого корейца, который бы написал такую же программу генерации картинок для ламеров, но через Google Colab? Ну, если слово "программа" понимть максимально широко. То есть почему никто до сих пор не сделал нотбук на колабе, где нужно было поправить руками пару параметров и запустить одну ячечку, чтобы прога генерила изображение, используя мощности Гугла? Можно настроить Колаб так, чтобы он регулярно, после каждой эпохи например, сохранял на гугл.диск обученную модель. Ну да, боярам, у которых видюхи на ПК лучше тех, что дают бесплатно в колабе, использовать колаб тупо не удобно. Но кому в кайф сидеть без компа Х часов? Не понимаю
А, лол. Только сейчас дочитал шапку до того момента, где есть ссылки на колабы
Как бесплатно улучшить картинку? есть немноо блюеренный скрин с ютуба, хочу обдагородить дял обои
После запуска скрипта из этого гайда
https://rentry.org/2chAI_LoRA_Dreambooth_guide
начинает бешено сжираться ssd, изначально свободно 30 гб, в консоли доходит до .. epoch 1/10, далее съедает все до конца
OSError: [WinError 1455] Файл подкачки слишком мал для завершения операции. Error loading "C:\Users\user\git\sd-scripts\venv\lib\site-packages\torch\lib\shm.dll" or one of its dependencies.
Чзх, почему скрипт так сильно использует SSD, сколько должно быть свободного места?
30 оказалось впритык, надо было чуть больше, и заработало.
В чем там технические отличия, почему обычная модель не может делать инпейнт?
Что такое пайторч? Чем оно отличается от либторч? Что такое tensorflow и keras? diffusers, transformers итд.
Везде написано что это "библиотеки/фреймворки для машинного обучения", но не понимаю чем они отличаются.
Пишешь промпт, нажимаешь Generate, смотришь картинку.
В интернетах уже есть десятки статей, в которых по винтику разбирают внутреннее устройство stable diffusion.
Как передать через скрипт анона несколько параметров --lr_scheduler_args?
если один то всё нормально
$run_parameters += " --lr_scheduler_type=$scheduler --lr_scheduler_args=T_max=$T_max"
А если передаю хотя бы 2, то ошибки выдаёт.
Я пикрилейтед делаю. Вообще оно кривущее говно без документации.
>>431122
--lr_scheduler_args "T_0=400" "gamma_min_lr=0.99945" "decay=1" "down_factor=0.5" "warmup_steps=80" "cycle_warmup=40" "init_lr_ground=True"
Примерно так, просто равно убери
Вот еще данные, не знаю что они значат A: 3.93 GB, R: 5.90 GB, Sys: 6.1/14.748 GB (41.1%)
Чел, это сделано для шизов, экономящих 50 мб места на диске. Они всегда будут хуже обычной лоры. Более того, и локон не обязательно лучше выдаст результат чем лора, с ним надо больше тонкой настройки. Все они дают лучше результат при одинаковых размерах файла или на низком ранге, но если тебе похуй на размер файла, то ванильная лора с 32/64/128 рангом выебет их. А ещё локоны очень плохо работают в паре с другими локонами, лору так никогда не запидорасит.
Если не знаешь что делаешь, есть всегда топовый вариант - DyLora. Шизы будут кричать РЯЯЯ ТЫ НЕ МОЖЕШЬ ВЗЯТЬ ДИЛОРУ РАЗМЕРОМ В 300 МБ И ПРОСТО НАТРЕНИРОВАТЬ ЕЁ, но по факту она будет ебать все эти локоны и при этом шанс получить кашу минимальный, а бонусом она просто работает у всех из коробки.
> А ещё локоны очень плохо работают в паре с другими локонами, лору так никогда не запидорасит.
Примеры таких локонов есть? Сколько не подрубал по несколько, обычно всё нормально получалось, на больших весах чем с обычными лорами, которые как раз очень просто пидорасит, если подключать несколько.
> Шизы будут кричать РЯЯЯ ТЫ НЕ МОЖЕШЬ ВЗЯТЬ ДИЛОРУ РАЗМЕРОМ В 300 МБ И ПРОСТО НАТРЕНИРОВАТЬ ЕЁ, но по факту она будет ебать все эти локоны и при этом шанс получить кашу минимальный, а бонусом она просто работает у всех из коробки.
Ты хочешь сказать что 256 ранг обычной дилоры будет лучше например дилоры с 128+128 ранг слоёв локона? Ведь только так получится 300мб файл. Да и к чему ты вообще про ёбку локонов, это же просто дополнительные слои для любого из методов, дающие нихуёвый буст к тренировкам стилей, да и пережарить с ними сложнее. Мне как концепт то дилора нравится, сразу несколько рангов в одной модели, вот только её тренить заебёшься по времени да и лр там нужен куда больше.
> Ведь только так получится 300мб файл.
У дилоры на ранге 128 файл 300 мб. Вообще тренировка лоры на больших датасетах совсем не то что тренировать персонажа на 50 пикчах. Персонажа или стиль действительно хоть на чём можно на похуе сделать.
> просто дополнительные слои
Которые очень легко ломаются оверфитом и ты не можешь это контролировать вообще никак в отрыве от тренировки остального. В лоре не просто так их выкинули. Файнтюн - это не тоже самое что тренировка с нуля.
> по времени
Всего раза в два.
Спасибо, действительно всё дело было в = сразу после lr_scheduler_args. Причём я его добавил потому что изначально без него не работало. Короче весь день копался даже в коде, а в итоге ларчик-то просто открывался.
Если кому интересно, вот что нужно написать для кривой как на пикриле:
$run_parameters += " --lr_scheduler_type=$scheduler --lr_scheduler_args T_0=$T_0 T_mult=$T_mult eta_min=$eta_min "
Где $scheduler = CosineAnnealingWarmRestarts, естесна
https://www.kaggle.com/code/isbhargav/guide-to-pytorch-learning-rate-scheduling тут крч больше инфы
> через скрипт анона несколько параметров --lr_scheduler_args?
Это какой?
Вообще все также как и с аргументами оптимайзера, вечером могу пример скинуть, только ты укажи полные параметры что пускаешь чтобы проверить как работает.
>>431152
> несмотря на свои размеры файла в 2.5 мб, но и стиль и персонажа не до конца запоминает, в отличии от локона.
Концепты не пробовал тренить?
>>431184
> для шизов, экономящих 50 мб места на диске
Поддвачну, хотя есть нюансы, обучение идет по-разному
> А ещё локоны очень плохо работают в паре с другими локонами, лору так никогда не запидорасит
Индвидуально что там что там
> есть всегда топовый вариант - DyLora
Показывай примеры
> У дилоры на ранге 128 файл 300 мб.
У меня точно такой же размер получился с добавлением 128 ранга локона.
> Вообще тренировка лоры на больших датасетах совсем не то что тренировать персонажа на 50 пикчах. Персонажа или стиль действительно хоть на чём можно на похуе сделать.
Да я понимаю, что с большими датасетами уже и грамотная сегментация нужна с отфильтровкой и тегать придётся более тщательно. Вот только лора как раз и существует для чего то более простого, чтобы на похуях сделать не нагруженную кучей концептов модель.
> Которые очень легко ломаются оверфитом и ты не можешь это контролировать вообще никак в отрыве от тренировки остального
Опять же сколько не пытался перетренировать до жути, с локоном намного сложнее это сделать.
> В лоре не просто так их выкинули. Файнтюн - это не тоже самое что тренировка с нуля.
А зря как по мне, с ними лучше получается. Вот только лора вообще из трансформеров насколько я помню пришла, и видимо лучшей практики использования здесь и не было. А с нуля тренить это вообще не про лоры, тут уже и реги понадобятся ведь.
> Всего раза в два.
В два раза тут, в два раза там, в 3-4 раза от XL и вот уже аниме девочка запекается полтора часа на 4090.
>>431277
>>431281
Кстати где то вот тут есть чуть более интересная версия этого шедулера >>342124 →
>>431291
> Концепты не пробовал тренить?
Тебе опять хвосты важнее? Я поинтереснее вещь нашёл для концептов, вот думаю попробовать на чём нибудь https://github.com/p1atdev/LECO
> https://github.com/p1atdev/LECO
> erasing
Забавно, ну и реализация с весом -1 показательная. Интересно как оно будет работать если чего-то изначально не было?
> опять
Always has been, но другого интереса не отменяет.
Там кстати некоторые результаты есть, думаю еще поиграюсь с параметрами и отпишу.
> лора как раз и существует для чего то более простого, чтобы на похуях сделать не нагруженную кучей концептов модель
С лорой можно датасет разбить на категории, а потом каждую тонко примержить по слоям. Литералли с одного захода делается если автотегер нормальный, в отличи от полноценного файнтюна, когда хуяк и всё запорото.
> У дилоры на ранге 128 файл 300 мб
>>431329
> точно такой же размер получился с добавлением 128 ранга локона
Очевидно что удвоенная величина будет почти равна сумме ее с рядом младших степеней двойки
>>431238
> тренировка лоры на больших датасетах
Для чего это делаешь и что хочешь получить?
> Очевидно что удвоенная величина будет почти равна сумме ее с рядом младших степеней двойки
Ты про 128+64+32...? Энивей это
> > У дилоры на ранге 128 файл 300 мб
Пиздёжь, я проверил без конв слоёв, чисто ради теста одну эпохе с одним параметром unit кохьевской реализации, она весит как и обычная с 128 рангом.
>>431339
> С лорой можно датасет разбить на категории, а потом каждую тонко примержить по слоям.
Слои искать затронутые ведь тоже долгое занятие.
Я что-то сделал не так? Для gui нужны дополнительные шаг чтобы уменьшить вес или это SDXL виноват?
Для SDXL это норма.
Можешь уменьшить там же в гуе, или через консоль. Сделай несколько штук 64/32/16/8 и выбери какая устроит. На цивитае вообще лоры на SDXL выкладывают в Dim 256 по 1.7 гига.
Да я то уменьшил.. Хотя надо попробовать еще сжать. Просто думал что-то упускаю.
А лоры в гигабайтах это пиздец
У меня хрень странная, если выбираю размер 768 то результат весьма неплох, если с точно такими же настройками обучаю уже на 1024 то какая-то говнина полная выходит.
>>433869
У ХЛ же параметров больше раза в 3, соответственно и лора будет тяжелее. Но и слоев ей надо меньше для схожих результатов. На 1.5 у меня локон на 64\32 а на хл уже хватает 16\8.
> слоев
Ранг лоры - это не количество слоёв. У лоры всегда фиксированное количество слоёв. Если специально не отключал тренировку конкретных.
> хватает
Потому что 1.5 и XL должны с разными lr тренироваться. Ты отсюда можешь сделать вывод лишь о том что на 1.5 у тебя проёб по lr.
>Ранг лоры - это не количество слоёв
А что тогда этот dim означает?
>на 1.5 у тебя проёб по lr.
Получается у меня и 96% гайдов. Как фиксить?
> 96% гайдов
Все эти гайды писались шизами, тренирующих персонажей на 30 пиках с диким lr до оверфита и потом ставящих вес 0.4 для лоры. Естественно таких слушать не стоит. Если они получили хоть какой-то результат это ещё ничего не значит, обезьяна тоже может палкой постучать и что-то получится.
Запустил обучение лоры для SDXL на тех же настройках и датасете что и для SD1.5, все завелось нормально.
Получил лору 128dim в 800Mb, там же в кохе ужал по 128dim на дефолтных настройках и получил 180Mb
> Если специально не отключал тренировку конкретных.
Оно же просто тогда зануляться будет, не? И как отключить обучение конкретных (кроме клипа офк), про послойное применение только слышал.
>>436185
> что тогда этот dim означает
Когда тренишь модель у тебя подбираются значения огромной матрицы, которая описывает веса взаимодействий между нейронами, если упрощенно описывать. Эта веса - основной объем модели. Лора - тренировка нескольких матриц с размером dim x исходная размерность, которые при перемножении друг на друга дадут полную матрицу. Офк это сжатие с потерями, но для типичных задач с учетом особенностей работы нейронки работает хорошо, в ней хранится не сами веса а смещения к ним для получения нужного.
>>436211
Поведай как надо
ну и как, нравиться то что получается? ты тестил свои датасеты 1.5 vs XL ?
Я ток 2 дня назад это обнаружил, пока что тестирую. На 768 результаты довольно неплохи, на 1024 хуже и явно видно что надо настройки крутить.
Пока что тестирую тот же датасет который использовал для 1.5, для 1024 его пропустил через самый удачный апскейлер.
Опять переделывать датасет..
Так тегай нормально, а не всяким говном типа файнтюнов BLIP. В описании должно быть нормально прописано что происходит, а не просто бессвязная гора кривых тегов.
- Roop
- img2img inpainting / sketch
>>438065
не актуальная это какая? люди на 1070 генерят нормально, у самого дрова 528
> таггером
Так ты бы хоть нормальную мультимодалку взял, а не непонятный кал от васянов-анимешников.
На них софт что-ли не пишут?
У них много памяти, но чип говно. Плюс пока с поддержкой нескольких карт все довольно плохо
Чел вроде пробовал паскали - работает, но перфоманс слабоват. Что-то новее дороже условной 3090, если найдешь хороший вариант то вполне тема.
Пишу нейронку, LTSM, ее цель - смотреть на текущую свечу и определять, пойдет ли цена вверх или вниз. Столкнулся со следующими проблемами: при трех - пяти слоях (по 10-100 нейронов в каждом) и 70.000 строк для обучения, выходит 51%-55% accuracy, при таком же количестве слоев и нейронов, но с примерно 300 строчками, получается 65%. Пробовал делать датасет еще больше: 500.000 строк и 14 параметров (против 70.000 и 5), accuracy падает до 53%, но более стабильна в процессе обучения. При большей дате пробовал делать больше слоев и нейронов (максимум - 5 слоев по 1024 нейрона), но чем больше становилась сетка, тем хуже результаты.
Скажите пожалуйста, что я делаю не так? Неужели надо тренировать нейронку на очень малом датасете? Может просто ебануть 100500 нейронов и слоев и молиться пока оно три дня обучается?
>LTSM
Вот это. Сетки для трейдинга смотрят на прошлое, как и индикаторы теханала.
И асло это тред про картиночки
Можешь пояснить подробнее в чем проблема? LTSM вроде для этого используют + я скармливал для тренировки достаточно много данных, 4 года вроде как.
И если есть специальный тред для того что я пишу - перешли пожалуйста, я не нашел
Здесь с чем-то подобным ебались >>385611 (OP)
Дело в том, LSTM учится по прошлым данным прогнозировать следующие данные. Для рынка это все равно что индикатор, типа EMA. Она не будет давать большой точности потому что рынок постоянно меняется, а данные 4 года назад уже не актуальны.
Чел, очевидно же что данные говно. Чем больше наваливаешь этого говна, тем хуже. Оно учится предсказывать по статистике, но статистика полностью неверна. А на минимальном датасете получаешь что-то чуть лучше рандомного результата. Ты так никогда вменяемого результата не получишь, если у тебя нет каких-то внешних данных кроме свеч.
какой таймфрейм у свеч? может не надо на 5 секундных её обучать?)
Да, только там тред умер
>>439654
Да, рынок нехорошо таким образом пытаться предсказать, но был же случай когда нейронки определяли расу человека по рентгену, может и на рынке есть какие-то, недоступные людям, закономерности.
>>439655
А чем они говно, не очень понимаю. В датасете где 500.000 строк, используются 3 индикатора, причем на 15, 60, 240 -минутном таймфрейме. Пробовал еще просто количеством раньше (10 индикаторов на 70.000 строк, результат 50%-53%)
>>439660
15 минут, можно и на 5 секундах попробовать, не понимаю как это поможет правда
> чем они говно
Тем что статистика не работает, чел. Ты учишь сетку предсказывать по прошлым данным, но эти данные не верны. Дроч с индикаторами - это уровень похода в казино, лучше сходи на ставки. Ты реально думаешь что один такой умный и можно просто взять и предсказывать по истории как оно будет изменяться?
Если бы раса менялась так же как данные рынка, то у нас бы были эльфы, кошкодевочки и рептилоиды. Даже при налиции циклов и закономерностей, данные больше пары месяцев уже не актуальны
что значит "не работает"? Статистика не нужна же для закручивания гаек, она не может работать или нет. Что ты имеешь ввиду?
Почему данные не верны? API бинанса как то их искажает или в формате .cvs есть систематические проблемы какие то? Опять же поясни пожалуйста, я не понимаю тебя.
Да, я понимаю что не один такой умный, понимаю что наверняка пальцем в небо было бы примерно так же, но должен же наверняка быть способ сделать хотя бы 60% правильности предсказаний, этого уже будет достаточно
>>439715
Почему именно пары месяцев? Почему они перестают быть актуальными?
Потому что у условной компании выходит квартальный отчет, все ждали что будет хорошо и тарили, а там плохо. Или хорошо, но все просто начали разгружаться на факте.
Потому что изменили ставку ЦБ и для банков изменилась прибыльность
Потому что в Америке/Европе холодно/жарко и газ подорожал, поставщики получили прибыль..
Слишком много факторов, чтобы делать предсказания на основании одного только графика
> она не может работать или нет
У тебя статистическая модель, а ты пытаешься предсказывать погоду в Химках по количеству говна в лотке у кота.
да, поэтому я поставил еще индикаторов на разных таймфреймах, но твою мысль понял, попробую сделать более подробный датасет на меньшем временном интервале.
>>439727
Ну нет, все таки говно в лотке и погода вообще не связаны, а данные рынка с рынком связаны, да и даже если нет, то как объяснить тот случай с определением расы?
И все таки почему данные не верны или что ты имел ввиду под этим?
Индикаторы не добавляют полезной информации, они строятся по тем же данным свечей. Грубо говоря сетка сама должна понять закономерности, если они есть.
> данные рынка с рынком связаны
Это как ещё? Изменения рынка никак не связаны с историей этих изменений.
Ну история происходит от изменений, а корреляцию в обратную сторону придумает нейронка
А ничего больше и нет. Только отчеты, новости и другие котировки (индексы, цены товаров, фьючерсы, опционы..)
Алсо ныжно ваше мнение. Сам выбираю между V2 и V2C
Все не так одназначно:(
>то как объяснить тот случай с определением расы?
Негры делали снимки в бомж районах на старом оборудовании, а белые люди на современном, и снимки сильно отличались по качеству. Мыло? Негр.
Я слегка адаптировал похожий случай, когда нейросетка определяла болезнь по тому, что в больнице снимки делал другой аппарат, лол.
В графике с разным весом ноль смысла, оставляй 0.9 или 1 и увеличь число батчей чтобы сравнивать по нескольким пикчам а не одной. Также попробуй разный фон, разные ракурсы, разную одежду.
Да, я так и делаю.
Сначала смотрю какой вес лучше, чтобы не было корявых картинок на ~1.
В sd я наблюдаю что изображение постепенно проявляется из рандомной каши пикселей, в мж проявляется из черного фона. Это я верно заметил?
710=70, 253=75, во втором случае будет дольше обучение.
Есть факторы что повлияют, но обычно их проявление на уровне рандома сида. В 10 эпохах легче вытащить вариант до запекания, а в трех последняя может оказаться пережаренная а предпоследняя - полусырая. Больше 10 смысла нету, но есть любители делать десятки-сотни, может они расскажут зачем и чего так можно достичь.
ну я тестил и в принципе меня устраивает 25x3, но хотелось бы 7x10 и чтобы он последние три сохранил, а не создавал кучу файлов
да я походу разобрался, все у питонистов через жопу сделано, вроде как название папки "15_model trigger_word" делается
вот видосик в тему кстати https://www.youtube.com/watch?v=kimxha0wTbY, как промтовые и триггер слова по разному работают, в теории тригер слово надо чтобы избежать перекрытия токенов в самой модели, но я слабо понимаю почему бы уникальное слово не использовать в датасете
Просто добавляешь этот тег с текстовое описание пикч, можно на первое место поставить. Например, имя персонажа, если его модель не знала то будет запомнено, если было - будет трактовать по-новому.
>>443390
> вроде как название папки "15_model trigger_word" делается
В тренере кохи название папки будет браться в качестве единственного тега только если к пикчам отсутствует текстовые описания, иначе игнорируется.
> но я слабо понимаю почему бы уникальное слово не использовать в датасете
Его и нужно использовать, и в экспериментах на видео наиболее адекватное поведение у 3й версии где триггер-слово было плавно встроено в общее описание к пикче. С одним тегом еще будет обучение страдать, что видно по результатам соответствующих лор в видео, хотя оно не самое показательное, непонятно что в датасете и насколько оптимальны параметры обучения.
Сегодня при генерации любого изображения, вне зависимости от модели, использования/неиспользования Roop и режима (txt/img2img), возникает ошибка:
Traceback (most recent call last):
File "F:\SDwebui\stable-diffusion-webui-master\venv\lib\site-packages\gradio\routes.py", line 337, in run_predict
output = await app.get_blocks().process_api(
File "F:\SDwebui\stable-diffusion-webui-master\venv\lib\site-packages\gradio\blocks.py", line 1013, in process_api
inputs = self.preprocess_data(fn_index, inputs, state)
File "F:\SDwebui\stable-diffusion-webui-master\venv\lib\site-packages\gradio\blocks.py", line 911, in preprocess_data
processed_input.append(block.preprocess(inputs))
File "F:\SDwebui\stable-diffusion-webui-master\venv\lib\site-packages\gradio\components.py", line 1492, in preprocess
im = processing_utils.decode_base64_to_image(x)
File "F:\SDwebui\stable-diffusion-webui-master\venv\lib\site-packages\gradio\processing_utils.py", line 53, in decode_base64_to_image
content = encoding.split(";")[1]
IndexError: list index out of range
Сталкивался ли кто, есть ли идеи как исправить эту ошибку?
Усиленный гуглинг помог решить проблему.
Нужно создать папку с именем gradio в C:\Users\%юзернейм%\AppData\Local\Temp\
Вдруг будет кому полезно
Какие подводные?
С полгода назад (или больше уже?) была какая-то ебля со сборкой компонентов из исходников ради значительного повышения производительности - это решили?
Работаю с СД через runpod, раньше все было прекрасно и я был доволен как слон, но в последнее время заебала ошибка CUDA out of memory. На карте в 24 гб не вывозит больше 1200 px, один раз даже 500х500 отказывался, на карте в 48гб картинку в 800х1500 еле генерирует и тормозит. Пробовал по советам с реддита удалять процессы python launcher и webui через терминал, но это то помогает, то нет. Что делоть? Я не айтишник, вот совсем.
> Какие подводные?
16гб врам вместо возможных 24х. В остальном все ок, быстро работает из коробки даже в кохе, второй торч с кудой 118 сейчас уже везде.
>>444727
Подробнее распиши что и как запускаешь, обычный sd-webui автоматика или что-то еще? Как там вообще организовано, тебе дается виртуалка с линуксом или что?
Да, обычный, облако с линуксом, Jupyter Notebook, запускаю готовый шаблон SD.
> запускаю готовый шаблон SD
Похоже в этом проблема, реально для 48 гигов (если речь о чем-то типа а6000 ада без преимуществ в мощности чипа) нет задач, 6 мегапикселей помещается в 24 гига, если нужно больше - хватает tiled vae.
Проверь чтобы устанавливалась нормальная версия, запускалась с xformers и вся врам действительно была доступна изначально ( https://stackoverflow.com/questions/58216000/get-total-amount-of-free-gpu-memory-and-available-using-pytorch )
ммм чет залупа какая то
14k шагов, вверху LoCon, внизу LoHa
>16гб врам вместо возможных 24х
4090 просто для моих повседневных задач шибко оверкилл.
Думал вообще 4060ti новую взять и не париться, но комп чота старый уже, плюс продать его есть кому... Решил обновиться в итоге.
>второй торч с кудой 118 сейчас уже везде.
Эт хорошо. Значит, на новую систему ставлю гит, ставлю питон, копирую текущую папку вебуя - и оно работает, так? Или для уверенности венв убить, и пусть перекачает?
4080 вполне солидный вариант, с ним посоперничать может 3090(ти) но особенно в обычной встречаются проблемы с температурой памяти плюс это не новье со всеми вытекающими. Но аппетит приходит во время еды, и если увлечешься - потом будешь ныть что не доплатил.
> Значит, на новую систему
На новой системе - гит клон, лоры-модели-эмбединги копируешь, если лень настройки выставлять - еще config.json. Ультимативный вариант, делается быстро, если что старую папку не убивай - будет бекапом.
Чел, LoHa будет всегда хуже даже обычной лоры. Сопоставимые результаты можно получить только на ультрамелком датасете и низком ранге.
>Но аппетит приходит во время еды, и если увлечешься - потом будешь ныть что не доплатил.
Он уже пришел =)
Запарило в 8 гигов моей 2070 упираться, а тут сразу двойной прирост, красота будет.
Тренить свои чекпоинты не планирую все равно, на остальное 16 гигов должно хватить.
Сколько вообще мегапикселов в 16 гигов лезет? на 8 лимит ~1.3, и это если без лор и контролнета.
В 24 лезет около 6, тут будет 3.5-4, с костылями больше. Зависимость чуть не пропорциональна потому что в любом случае у тебя сколько-то отожрут веса и прочие компоненты. Вообще с учетом tiled vae должно хватить на все, но на горизонте sdxl а у нее требования больше и там уже 12-гиговые начали волноваться.
Если это верхний порог бюджета и уже все резервы выбраны - бери, вариант хороший.
>но на горизонте sdxl
Так и не понял особо ее преимуществ, если честно.
Пальцы хоть нормально рисовать будет?
Ахаха.
Поставил эту штуку, и тупо на загрузке автоматика со включенной модель - пикрил.
Это что вообще?
> Пальцы хоть нормально рисовать будет?
Да (нет)
>>444950
> Это что вообще?
> там уже 12-гиговые начали волноваться
Голая прунед модель овер 6 гигов весит если что.
>Не зря комп апгрейдить собрался.
Заранее заготовь ответ консультанту, который будет охуевать от железа, мол, беру аниме тянучек создавать да на тексты дрочить.
Да я уже оплатил. Он ничего не спросил.
Наверное, по моему внешнему около-хикканскому виду и так всё понял.
Для некоторых моделей есть пара лишних, которые лучше скипать. В основном аниме модели и скипают 1 слой (настройка на 2).
Я хочу скопировать его стиль. Я закинул его арты в папку, раздал им веса, выставил тег
artist_name_style
Получил лору. Так вот, лора превосходно копирует его стиль рисования и цвета, но есть одно но: лора почему-то иногда рисует body horror — то две попы на теле, друг над другом, то фистинг по локоть то 2 пары рук, как у Горо.
Вопрос: можно ли мне нагенерить лорой очень много артов, затем вытащить из них арты с боди-хоррором, сложить в папку с первичными рисунками и выставить боди-хоррор теги на сгенерированных артах — чтобы потом через негативный промпт "лишние конечности" и прочее удалять такие арты из выдачи (а не фильтровать самому)?
переформулирую: можно ли удачную/неудачную выдачу добавлять к первичному дата-сету и обучать заново?
Или SD-лоры/модели нельзя обучать на выдаче SD,
Экспериментируй, хули там. Можешь ещё в регуляционные картинки залезть.
> лора почему-то иногда рисует body horror — то две попы на теле, друг над другом, то фистинг по локоть то 2 пары рук, как у Горо.
Даже до хайрезфикса?
Просто потренируй с другими параметрами, такое обычно происходит при пережарке некоторых слоев. 400 пикч врядли будут однообразны, для начала поиграйся с параметрами тренировки, посмотри что на разных эпохах и т.д.
Также можешь попробовать в послойное применение лоры вычисляя экспериментально, но это попытка снять симптом а не причину.
> выставил тег
Тег один или к полноценным тегам добавил имя художника?
>послойное применение лоры
Для этого же есть расширение название которого я забыл
я не понял, прошла неделя а контролнета для С-Д-ИКС-ЭЛЬ так и нет. кто за вас это делать будет, хули вы тут волов пинаете?
Бодихоррор обычно возникает, когда ты пытаешься заставить нейронку генерить картинку в слишком большом разрешении.
В результате нейронка генерит часть картинки, потом переходит на другую часть - и генерит ее заново, а потом пытается всё "сшить".
Отсюда всякие кентавры лезут.
Уменьшай базовое разрешение генерации, 800х600 - это почти предел стабильности сейчас (ну, за пределами SDXL). Всё, что выше - либо хайрезфиксом, либо апскейлом через и2и.
Другой вариант - на артах в обучении были картинки с несколькими персонажами (особенно в сложных взаимодействиях), и ты это соответствующим образом не протэгал. В итоге и получается 1girl с четырьмя руками и двумя головами.
Появилась новая проблема: при генерации с использованием Roop (который сейчас переименовался в ReActor), генерируется со всеми моделями что-то в духе пикрила. При этом, та же самая картина при генерации уже без Roop, будто весь SD сломался. Используется Automatic1111. Обновление плагина не помогло.
В командной строке, сначала заполняется ползунок генерации до 100%, потом перед ним появляются две строчки:
00:17:16 - ReActor - STATUS - Working: source face index [0], target face index [0]████| 16/16 [01:03<00:00, 4.23s/it]
00:17:29 - ReActor - STATUS - No target face found for 0
Будто бы на картинке, откуда надо взять лицо, лица нет, но оно есть.
Кто сталкивался, как фиксить, кто знает?
1. Берем фото, прогоняем через TopazPhotoAI, со всеми включенными пресетами. Если лицо одноклассницы достаточно крупно изображено на фото - все равно увеличение в 2 раза, это положительно влияет на конечный результат. Нет, через img2img результат похуёвее, мне не нравится.
2. Получившийся результат прогоняем через img2img на уровне Denoising strength 0,3-0,5 и выбираем самое годное.
3. Получившийся результат начинаем гонять через inpaint. Тут все стандартно: маску на лицо, Mask mode "not masked", Denoising strength "1", можно еще попробовать Masked content поменять.
Но чего я не решил - это дорисовка изображения таким образом, чтобы оно дорисовывалось только снизу например, или только слева, нувыпонели. Если тян мне нужна в полный рост а на фото только по грудь - приходится прогонять несколько интераций между Resize and fill и уменьшением фото & обрезкой ненужных сторон. Как сделать так, чтобы Resize and fill работал только вниз, например?
>Кто сталкивался, как фиксить, кто знает?
SD сломался. Ты сам ответил.
детайлером мама пользоваться не научила? Какие то лишние ненужные телодвижения.
> Тег один или к полноценным тегам добавил имя художника?
боюсь, что тег один. так как руками 400 артов разметить анриал. художник не с данбурятника, а с фанбокса.
>>445231
> Даже до хайрезфикса?
я ещё не разу не видел, чтобы хайрезфикс делал что-то такое. да, без него.
>>445290
> в слишком большом разрешении
512x512 / 768x512 / 512x768
> на артах в обучении были картинки с несколькими персонажами (особенно в сложных взаимодействиях)
балин... да, так и было. мне поделить картинки на персонажей, где это можно, а на остальных — протегать?
Оптимизировал настройки, вместо 13 часов обучение заняло 5
>>445667
Что за видяха? 5ч на 2к шагов довольно медленно, у меня 2ч на 4к на 3070. Ну правда с проблемой выше.
У меня было 4000 шагов, видеокарта 3060. На редите многие жалуются что очень медленно обучение идет. В итоге получилось замыленное говно.
>так как руками 400 артов разметить анриал
Авто-таггеры используй. В автоматике расширение есть.
Качество порой сомнительное, иногда откровенно шизит, но все-таки лучше, чем в один-единственный тэг всё пихать.
> так как руками 400 артов разметить анриал
Автотегеры. Один тег для некоторых случаев может работать и в очень редких даже полезен, но с ним обучение всирается до ужаса, от того и весь бадихоррор.
>>445696
Что тренреруешь и с какими параметрами? Такое при дикой пережарке или битых пикчах в датасете происходит.
Locon, lr 0.0002-0,0004, alpha = dim. 50 картинок которые я пропустил через сетку чтоб придать стиль, на этот же стиль уже треню лору для хл.
Заметил что при повышении лр возникает чаще но вот вообще не стабильно, то на 0.0002 дохнет на 500 шаге то проходит весь процесс в 3к шагов без проблем.
2. Картинка была допустим 300x300 и при увеличении имеет заметную лесенку, есть ли смысл прогонять картинки через апскейлер и потом ужимать чтобы были ровные линии, или все равно при обучении?
множественный кроп. все части изображения попадут в обучение
Что-то мне всегда казалось, что там таки ресайз под определенное соотношение сторон, а не кроп.
Ибо я на абсурдресах тренил до 4к-6к разрешения - и получалось вполне себе. В случае кропа - что-то сомнительно, чтоб оно нормально натренилось.
это bucket надо включить?
хотя он вроде тупо резайзит под указанное разрешение https://github.com/kohya-ss/sd-scripts/blob/main/library/train_util.py#L936
а еще есть галка `Random crop instead of center crop`
чет намеков на множественный кроп я не нашел
Нейрота в датасете ухудшит результат. Сколько дим и батчсайз? Альфу убавь или снизь лр, многовато, у текстового энкодера поставь половину от юнета. Планировщик и оптимизатор какие?
Ресайзиться, если соотношение сторон странное то еще кропнется до ближайшего что стоит в настройках.
>>445908
Врунишка
> чет намеков на множественный кроп я не нашел
>>446270
> Врунишка
Епить. Неужели я всё это время понимал алгоритм неправильно? Ясно, понятно. Буду делать 1:1
Это для SDXL лора так что там нету ни батчей, ни обучения энкодера, планировщик естественно констант, другие жрут до жопы.
24 дим, 12 конво, адам обычный. На адафакторе та же дичь. Даже если альфу 1 поставить и немного лр задрать для компенсации.
Сейчас внезапно выяснил что продиджи довольно неплохо работает. В гайде был weight_decay=0.01 но у меня он тоже на 400 шаге ебнул, поставил weight_decay=0.1 и вроде самое то
Зачем? Это говно изначально мертво было, все мультимодалки используют.
> все мультимодалки используют.
Раз это все используют, то должны быть уже готовые решения с пакетной обработкой и готовый чекпоинт, которых я вот не нашел. Линкани если есть. Демка с сайта ожидаемо обосралась инбифо: проблема навыка
мимо
> booru tags
Буквально худший способ тегать пики. Хотя бы потому что текстовый энкодер SD лучше работает с осмысленными предложениями, а не набором бессвязных слов. В итоге получается что все пики протеганы говном типа "1girl, sitting", а базовые промпты типа позы или положения персонажа относительно окружения и камеры - почти нихуя не работают.
>Хотя бы потому что текстовый энкодер SD лучше работает с осмысленными предложениями
И поэтому сосёт на персонажах, которые нужно указывать как два тега, а не как один через _, как это сделано на бурах.
Лол. Ну опиши все детали в осмысленном предложении и чтобы оно тебя поняло. А учитывая что аниме модели тренировались на тегах данбоору, то это еще больший лол
>А учитывая что аниме модели тренировались на тегах данбоору, то это еще больший лол
А ещё мержи даже реалистик моделей содержат в прадедушках (или прабабушках?) какую-нибудь новел аи...
>>447037
>Брат, тоже генрируешь ковбоев по cowboy shot'у?
Не всё так плохо конечно, но определённое влияние есть.
Нужны мультимодалки, а не вот это всё с автоматом созданными тегами по частоте встречаемости.
>а базовые промпты типа позы или положения персонажа относительно окружения и камеры - почти нихуя не работают.
Так они в принципе не работают даже на чистой SD, лол.
> через _
Потому что это разделительный символ, энкодеру в целом похуй какой символ будет стоять между словами, они всё равно на этапе токенизации будут разделены и оно не будет восприниматься как цельное слово. Если в описании пикчи нормально написано что эту тян зовут так-то, то оно и будет нормально воспринимать её имя в любом формате.
>>447021
> Ну опиши все детали в осмысленном предложении и чтобы оно тебя поняло.
В чём проблема? Даже NAI понимает связь между словами в предложении, с миксах так вообще можно писать как при обычных генерациях. А вот когда гора тегов, то цвета и объекты всегда рандомно по пику раскиданы.
>Потому что это разделительный символ
Но ведь нет...
>>447082
>то цвета и объекты всегда рандомно по пику раскиданы
А теперь угадай, почему у тебя боксы на картинке покрашены в blue.
Пример красивый, но в нем все элементы окрасились в оттенки зеленого, боксы не очень то калоред, и главное то же самое достигается буру-стайл тегами с чуть более развернутым описанием.
ginger girl, blue eyes, sitting on the box, yellow boxes stacked, pink pyramid on top of head, full body
Negative prompt: (worst quality, low quality:1.3)
Важно указание понятного контекста а не просто спам в навал тем что может быть двусмысленно истрактовано.
Более того, с ними можно закладывать описанием больше деталей не делая странные предложения, что только спутают сеть, а взаимопроникновение может быть даже меньше чем натуральным текстом.
Если что не топлю за обязательное задание буру тегами, просто разбавляю твою радикальную позицию.
Еще важный момент что раз наи после столь интенсивной тренировки сохранила навык восприятия натурального промта, то почему тренинг лор буру тегами должен их испортить? Интересно сравнить с разным стилем теггинга на одинаковых параметрах
> буру-стайл тегами
Но ведь у тебя не они, ты просто предложение разбил запятыми вместо грамматических связок...
У тебя буквально два тега в booru-стиле - blue eyes и full body.
Подобное разбиение помогает модели, а "не они" потому что подобных для ситуации их просто нет. Как и описал, важно простое и понятное описание без двусмысленностей,
> pink pyramid on top of head
достаточно, потому что понятно что относительно чего, и использование чего-то типа
> pink, pyramid, object over head
сожрет не меньше токенов и будет иметь много трактовок. В то же время пилить натуртекст ради натуртекста - занятие того же уровня и не даст преимуществ в типичных ситуациях. Модель распознает структуру далеко не так хорошо как может показаться.
Возвращаясь к обучению - бурутеги (если нормально проставлены офк) вполне неплохо описывают главные атрибуты пикчи, что как раз важно для тренировки. Но если у тебя есть другие данные и с плейнтекстом все стабильно тренится лучше - покажи, будем делать так и благодарить.
Ну что ты копротивляешься? Видно же, что у тебя разные результаты, хотя это как бы разделители, которые должны как бы игнорироваться.
И да, я не хочу, чтобы _ было разделителем, и было бы лучше, если бы ото воспринималось как одно_слово.
> разные результаты
В первый раз видишь смещение результата при изменении символов и порядка тегов?
Кмк идентичность восприятия при разных разделителях и поломка при написании слитно очевидно. А вообще еще с прошлого года известно что _ - пожиратель токенов и заменяем пробелом.
>>447286
Можно подробнее что за t2ia и что вообще на пикчах?
> вполне неплохо описывают главные атрибуты пикчи
Но они не описывают их взаимосвязь.
> pink pyramid on top of head
Ты ведь такое только руками можешь написать, booru-таггеры в такое не смогут.
> покажи
Я все пики вот такими простынями тегаю, намного лучше чем написать 5-10 коротких тегов. Если надо на аниме треноровать, то можно с бур теги вкинуть в промпте, оно вычленит имена и самое важное, остальное выкинет.
Вообще есть очень простой способ протестить качество тегов - вкинуть их в SD. Вот если ты свои пики с ящиками протегаешь каким-нибудь DeepBooru и попробуешь сгенерировать из этого - получишь совсем не то, генерация будет фактически как при "1girl, sitting, boxes, pink". А вот с простынёй уже будет сильно ближе к тому что было. Условно, тебе не надо учить модель по промпту "1girl, sitting, boxes" догадываться что тянка сидит на коробках, она и так умеет это генерировать если попросить правильно. Если это тренировка на персонажа, то и генерации с описания этой пикчи должны отличиться только внешним видом тянки, любые отклонения в композиции будут тренироваться вместе с ней.
> разные результаты
Дефис и подчеркивание - литералли одинаковое. Так же как и пробел если убрать ничего не меняется. По смыслу они все одинаково воспринимаются.
> Но они не описывают их взаимосвязь.
Вопрос в том нужна ли она при тренировке анимелор. Даже не спорю ибо для этого нужно хотябы знать, но есть ощущение что влияние будет слабое, надо сравнивать. Что для подобных тегов используешь?
> протегаешь каким-нибудь DeepBooru
Ага, тут вообще без шансов, оно пригодно только заапскейлить чужую пикчу когда база уже есть.
> любые отклонения в композиции будут тренироваться вместе с ней
На следующей неделе попробую если с теггером подскажешь. Если это еще улучшит лоры персонажа с мелким датасетом то будет замечательно.
>Дефис и подчеркивание - литералли одинаковое
Я даже в фотошопах накладывать не буду, на глаз же видно, что немного разные.
>По смыслу они все одинаково воспринимаются.
Не спорю, в данном случае да. Но вообще нет, не всегда это работает адекватно. Впрочем если будут делать мультимодалку, то будет похуй на такие мелочи, полноценная языковая модель в составе рисовалки вытянет любое говно в любом стиле (в теории).
> немного разные
С включенными оптимизациями они и будут немного разные всегда.
У меня он уже раздулся до 30ГБ, и я не думаю что это нормально. Полное удаление этой папки влияет только на скорость генерации (становится в 3 раза медленней).
Как исправить или сменить на другой диск путь кэша пипа? У меня системный ссд не резиновый.
Пардон, это я жестко ступил, можете чистить этот мусор у себя, никак не влияет на скорость генерации.
вот это мне прокнуло говна при первой установке, а и я не думал
>>447346
pip cache purge
Модель T2I-Adapter для контролнета. Дополняют controlnet reference
https://civitai.com/models/17220?modelVersionId=20331
Можно использовать для более точного переноса стиля.
>pip cache purge
Что там вообще лежит?
Тоже 20 гигов весит.
кеш, чтобы не качать одно и тоже из интернета, он пакеты кеширует у тебя в системе
бумп
> lora
я так понимаю, что это до сих пор bleeding edge
> Фотки вместе с рисунками
Отдельные, конечно.
У тебя базовые модели будут разные. У тебя базовая модель для фоток это SD 1.4/1.5, а для аниме -- NovelAI/AnythingElse
Можешь попробовать оба варианта, в целом с лоры начни.
> Фотки вместе с рисунками или лучше раздельные модели?
Разные офк, и разные базовые базовые модели использовать.
>>448805
Для базовой модели - весьма неплохо.
Time taken: 0.6 sec.
Что за ошибка? В колабе появляется. Только начал изучать, а тут такое. Пару дней назад тестово запускал, все генерилось. Помоги, анончик.
Kohya_ss только знаю, я нуб немножко. Что за расширение и куда там лезть?
Это от него
https://github.com/kohya-ss/sd-webui-additional-networks
Прожимаешь editing enabled и правишь
Это снова я-нуб, в общем, я попробовал этот способ, и добавить новое я могу, а вот вычистить старое, чтобы красиво описать и структурировать заново после - нет. Или я чего-то не понимаю, или в этом расширении можно только добавить то, что в окошки ввести можно (name, author, и тд).
Может, есть какой-то способ именно очистить метаданные?
Говнокодеры постарались.
Что-то сломали в апдейте, у всех сейчас так.
Временное решение есть тут:
https://www.reddit.com/r/StableDiffusion/comments/15mdxok/following_a_tutorial_to_get_into_stable_diffusion/
Не с моей удачей всё закончить сразу, блин.
Обновил комп, приступил к переносу вебуя, и тут такое.
Ну ладно, займусь другим, авочь починят через пару часиков.
Я уже и настройки, и промпты, и вообще заебался бороться с этим, как фиксить?
Они там сломали штоле что-то?
Контролнет
>>449825
Не генерируй на инпеинт модели, для нее хтонь выдавать нормально. Если раньше все было ок а потом поломалось - чекай настройки.
> Не генерируй на инпеинт модели
Я генерирую вокруг одного объекта, так что инпейнт без вариантов.
>Если раньше все было ок а потом поломалось - чекай настройки.
Не менялись, только на странице генерации дергал, размеры изображения и все такое.
А то заимел себе 4080, и на параметрах типа
>resize: from 600x800 to 2400x3200
генерация такую хтонь выдает... Что на латенте, что на других апскейлерах.
Даже тайловый контролнет не шибко помогает (хотя с ним лучше, конечно)
Может, надо не сразу такой апскейл бахать, а по шагам?
Тогда ничего непонятно, это ты инпеинтишь вокруг тела снизу? Подробнее опиши что и как. Алсо галочку Tiling чекай, если стоит то убери.
>>450009
Больше 2 мегапикселей стандартными способами, как правило, будет ерунда. Здесь влияет работа модели на больших тайлах и кратность апскейла.
> а по шагам
Именно
>это ты инпеинтишь вокруг тела
Вокруг лица вестимо. Чекбокс на тайлинг снят.
>Больше 2 мегапикселей стандартными способами, как правило, будет ерунда.
Эх, а я думал как ща замучу себе овердетализацию...
Придется опять извращаться.
Но хотя бы после 2070 картинки быстро генерятся. Реально быстро, прям уф. Столько времени экономится.
Интересно, а если я в инпэинте сделаю маску на область, и в режиме маски Full Picture, но с повышенным разрешением, генерацию запущу. Оно как будет?
в теории написать скрипт чтобы через апишку автоматика запускать задачи с нужными параметрами
Как вариант поставить дополнение на очередь задач.
Или комфи\владаматик в котором оно вроде бы встроено.
А где на пикче тогда лицо?
>>450208
Хайрезфикс это базовый однотайловый апскейл, который галочкой можно встроить в процесс t2i. Овердетализация делается после него, не то чтобы требует извращений. Кастом хайрез попробуй накатить, он лучше работает на больших кратностях.
> Оно как будет?
Область будет обрабатываться в указанном разрешении. Так лица и глаза инпеинтятся, только слишком много нет смысла ставить, примерно в пару раз выше чем выделено. Поэкспериментируй и станет понятно.
>>450265
> заставить контролнет апскейлить
Вут? Если хочешь просто апскейлить с применением контролнета - в i2i есть раздел batch, где можно натравить автоматика на папку. В i2i исходная пикча автоматом подсовывается на вход контролнета.
>в i2i есть раздел batch, где можно натравить автоматика на папку. В i2i исходная пикча автоматом подсовывается на вход контролнета.
Это не совсем то. Как бы это удобно, сразу кучу апскелить, но когда ты уже проапскейлил 10 артов с 960х540 в 4к, каждую с разными настройками и тебе надо просто их доапскейлить до 16к но уже с одинаковыми релизными настройками, это не катит. Я не могу засунуть ему одну папку с изначальными артами 960х540 и засунуть ему вторую папку уже с почти готовыми хайрезами, которые надо всего лишь дошлифовать на низком денойзе, чтоб он просто сверил файлы в папках по именам и апскелил нужные арты с нужными артами в контроле.
Если хочешь автоматизировать апскейл в несколько проходов с идентичными параметрами - пробуй скрипт loopback
Я не уверен, что он будет для каждого арта нужную картинку в контрол подставлять.
А ты попробуй и проверь, тут (если не проявятся сюрпризы быдлокода) возможны только 2 варианта: или оно будет каждый раз обновлять пикчу в контролнете, или же оставит ту что была исходной.
>Я так понимаю дримбоз мне с 6гб врам не подходит?
Дримбуз начинается с 16, насколько я помню.
Лучше - 24.
Тоесть остаётся делать большую Лору или ликорис и мержить с моделью? Ок, есть ли какие-то способы упростить создание большой датабазы (кроме мокрописьки, мож какие скрипты)?
>ликорис и мержить с моделью
Ликорисы с моделями не мержатся.
Ну, по моей информации месячной давности.
Может, уже доработали за это время.
>какие-то способы упростить создание большой датабазы
Понятия не имею. Я больше чем с 300-400 файлами не работал. Обычная ручная сортировка по папкам на этапе формирования, и прогон автотаггером поверх.
> Дримбуз начинается с 16, насколько я помню.
На 11 работает.
Потом задумался, откатил версию кохи на несколько коммитов назад, попробовал запустить с теми же параметрами - результат резко стал намного лучше.
В случае с локон еще и врам меньше жрет. И лоры на старой качественнее.
Пробовал локон и лору, оптимайзер адам и продиджи, все лучше в старой.
У меня одного такая херь? Кто-то может проверить,
>В случае с локон еще и врам меньше жрет. И лоры на старой качественнее.
Проебланил кажесят. Лоры в старой и новой примерно одинаково норм. А про локон все верно.
Через консоль и там и там показывает 1.8.3 но если искать по имени то в старом 1.8.0.dev6
Я уж думал ты новую дев версию с тренировкой дополнительных normalization слоёв пробуешь https://github.com/KohakuBlueleaf/LyCORIS/commit/48f0836f1e46650419faf7cd37744f10a48292a9 , что оно стало жрать больше врам, а так хз, сам не обновлялся до сих пор с 1.7.2, кохак постоянно что то срёт своими коммитами, может что и поломал.
> Или подскажите в каком треде это можно сделать пожалуйста
Сейчас это выкинули в /nf
Я хотел пораздевать тянок для анонов, и тоже тред не нашел. А самому создавать лень. Видно не судьба...
Есть какие-нить расширения, что б в Inpaint upload размеры генерируемой картинки ставились как у сорса автоматически?
Вся доска нф не нужна, лол.
>>459205
>размеры генерируемой картинки ставились как у сорса автоматически?
Такой кнопочки нету что ли?
От спасиб тебе мил человек. Дай тебе бох два чаю.
Может еще подскажешь. Есть какойнить промт который делит генерируемую картинку на 2 равные части? Чот я не смог ничего толком подобрать. Либо три части получается, либо 2 но не равные. Редко когда 50 на 50 делит.
не, смысле не область генерируемую разбить. А шоб готовый результат был разбит на две части. Типа шоб генерируемая картинка была разбита на две фотки, типа как на пикрилейтеде, но тока шоб на равные части делилась.
Не, надо шоб за раз генерировал 2 равных по размерам. Таков путь...
Свазанная по смыслу пикча из двух половин - региональный промт, просто 2 пикчи - закажи батчсайз или прсото батч 2, в начале грид так склеит.
Все ясно, это пидорская кожанка перданула своим обновлением и добавила shared vram, что замедляло генерацию, пиздец просто
> Вся доска нф не нужна
Согласен, это идиотская затея. Я просто сказал, где это теперь искать.
И случайно придумал, как контролировать чрезмерное засирание картинки деталями от латент-апскейлера.
1) Сначала генерим лоу-рес пикчу, как обычно.
2) Ебашим лютейший однотайловый апскейл каким-нибудь валаром, сколько памяти влезет. Желательно побольше, этак на х3.
Тут у нас будет четкая большая картинка, не перезасраная деталями. Но проблема в том, что мелкие детали такой апскейл рисует очень плохо, в отличии от латента.
3) И вот уже эту картинку кормим тайловому контролнету на вход апскейла в режиме latent.
Так как картика уже четкая и в большом разрешении (в отличии от базовой, с первого шага), она очень жестко контролирует основное направление латентного апскейлера, не позволяя ему сильно увлекаться и распидорашивать всё излишними деталями.
Если это было известно - звиняйте, но вроде нигде не видел.
> лютейший однотайловый апскейл каким-нибудь валаром
GAN-апскелы говно потому что тренировались на фото, а не сгенерированных лоурезах, они всегда выдают ещё большую кашу, хоть и чёткую.
> как контролировать чрезмерное засирание картинки деталями от латент-апскейлера
Вместо этой шизы можно просто сразу проапскейлить двумя апскейлерами (латент и любой другой пиксельный) и просто совместить их с какими надо весами. Есть и тонкий контроль, и возможность сидеть на низком деноизе. По скорости бесплатно, в отличии от шизоидных контролнетов.
>они всегда выдают ещё большую кашу, хоть и чёткую.
У меня вот как раз наоборот почему-то.
Никакой каши и излишних деталей, обычная "плоская" картинка с улучшениями. Тогда как хочется как раз детализации.
>Вместо этой шизы можно просто сразу проапскейлить двумя апскейлерами
И как? В кастомном хайрезе латент не присутствует, а больше скриптов на апскейл я и не видел.
Вообще на втором этапе можно использовать просто ган, а то и вообще лоурез подать на вход латента, последнее емнип настраивается для работы в один клик в img2img.
>>461090
> можно просто сразу проапскейлить двумя апскейлерами (латент и любой другой пиксельный) и просто совместить их с какими надо весами
Подкажи как это сделать.
>а то и вообще лоурез подать на вход латента
И в результате получить очень лютую дичь, вплоть до полнейшей каши, мутантов и заселение картинки призраками.
Особенно если апскейлить на высокую кратность и без контролнета, который хоть как-то латент будет сдерживать.
Меня просто дичайше бесит невозможность контролировать латент-апскейлер по уровню добавляемых деталей.
С описанным подходом вроде бы хоть как-то его обуздать получается.
> В кастомном хайрезе латент не присутствует
А это что?
Хм.
Надо будет попробовать покрутить эту фигню.
Но пока меня результаты кастомного хайреза не впечатляли.
Скорее портит картинку, чем улучшает.
Еще бы автор хоть какой-то тултип сделал к нему.
Ничерта ж непонятно, какой слайдер за что отвечает.
> И в результате получить очень лютую дичь, вплоть до полнейшей каши, мутантов и заселение картинки призраками.
Схуяли? В обычном апскейле из шакала (при хайрезфиксе) этого не происходит а тут внезапно окажется. Ну и там очепятка на вход контролнета.
> невозможность контролировать латент-апскейлер по уровню добавляемых деталей
Криво/косвенно но есть, несколько костылей и лоры твикеры также действуют. А так используй tiled diffusion для апскейла, вот где раздолье настроек и контроля, никто не запрещает ему лоурезы скармливать.
>Ну и там очепятка на вход контролнета.
Вот без опечатки оно лучше звучит.
Но лоурез на входе контролнета слабо справляется. Я очень долго именно так и пробовал, на больших апскейлах всё равно дичь лезет. Меньше, чем совсем без контролнета, но всё равно лезет.
А вот хайрез-картинка справляется гораздо лучше. Причем именно картинка из ГАН-апскейла. Если сделать сначала латент, а потом догнать ГАНом - опять получается овердетализация.
>Криво/косвенно но есть, несколько костылей и лоры твикеры также действуют.
И где это всё?
>А так используй tiled diffusion для апскейла, вот где раздолье настроек и контроля
Результат чуть лучше, чем чистый латент, но без контролнета.
Потеря композиции, анатомии, излишняя детализация там, где ее быть не должно. Так я этой штуке применения и не нашел нормального.
> на больших апскейлах
На больших это на каких? Просто больше разрешение или большая кратность после лоуреза? Ну и какая пикча апскейлится.
> Если сделать сначала латент, а потом догнать ГАНом - опять получается овердетализация.
Не понял, расшифруй
> Потеря композиции, анатомии, излишняя детализация там, где ее быть не должно.
Это оно так на лоурезах работает или в принципе?
>Потеря композиции, анатомии
Контролнет точно у тебя работает, лол? Ибо такого никогда не наблюдал.
>На больших это на каких?
Когда, например, 800х600 апскейлить на х2-х2.5
На какой-нибудь х1.6 все нормально работает, ясное дело.
И если потом этот апскейл дальше подымать, на следующий шаг, тоже фигня выходит.
>Не понял, расшифруй
В первом варианте я беру пикчу из генерации, лоурес. Прогоняю через валар на х3 кратность. Получаю хайрез, но с низкими деталями. Получается нормально.
Во втором варианте эту пикчу сначала прогоняю в хайрезфиксе на х1.6, получаю детальную картинку, и потом уже добиваю тем же валаром до размера пикчи с первого варианта. И тут получается хуже. Латент с высокой кратностью под контролнетом рисует детали поверх деталей.
>Это оно так на лоурезах работает или в принципе?
Тайлед то? При использовании в связке с латентом и хайрезфиксом на х2.5 кратности с лоуреза.
Но я тут не говорю о серьезных потерях, типа руки там лишние могут вырасти, нет. Мелкие детали ломает очень сильно. Мышечную структуру, пальцы, одежду, всё такое. Задники колбасит вообще дичайше порою.
Сейчас вот попробовал его вторым этапом подключать, не с лоуреса, в комбинации с тайловым контролнетом без входной картинки - вроде интересные результаты выдает.
Вообще хотелось бы актуальные мануалы по апскейлу со всеми этими приблудами почитать. А не устарвшие, полугодовой давности.
> например, 800х600 апскейлить на х2-х2.5
Это уже более 2 мегапикселей, просто так подобное разрешение для 1.5 уже за гранью, а со стандартным латент апскейлером тем более будет дичь.
> если потом этот апскейл дальше подымать, на следующий шаг, тоже фигня выходит
Офк, если делать в лоб то оно не будет чинить а наоборот подчеркнет косяки.
> лоурес. Прогоняю через валар на х3 кратность
Сам по себе ган из лоуреза исходной генерации с такой кратностью - лютейший вырвиглаз будет.
> И тут получается хуже
Вот это странно, ведь должно быть наоборот, покажи примеры.
> Латент с высокой кратностью
Больше х2 не нужно, или пользуйся другими средствами.
> Тайлед то? При использовании в связке с латентом и хайрезфиксом на х2.5 кратности с лоуреза.
Ты про что? Про тайлед вае или тайлед дефьюжн? Первый это костыль чтобы помещалось в врам, а второе это такой метод апскейла или i2i в латентном пространстве. Чтобы не ломал - используй контроллнет.
Вообще или тебя не понимаю, или ты делаешь что-то не то, ибо оче многое из описанного идет вразрез с практикой. Давай примеры с наиболее подробным описанием что делаешь.
> хотелось бы актуальные мануалы по апскейлу со всеми этими приблудами почитать. А не устарвшие, полугодовой давности.
Напиши сам, или придумай мотивацию чтобы их написали.
Для тайлового апскейла можно просто включить контролнет для улучшения результата, мультидифуззия работает из коробки с контролнетом, буквально ползунки крутануть, галочку поставить и запускай. Нюансов офк много, изи ту лерн хард ту мастер, но начать и получить приличный результат оче легко.
>Это уже более 2 мегапикселей
При этом под контролнетом эти 2 мегапикселя получаются. Надо просто контролировать уровень добавления детализации.
>Офк, если делать в лоб то оно не будет чинить а наоборот подчеркнет косяки.
Так в том то и фишка, что х1.6 апскейл получается без косяков. Косяки идут выше, когда ты на этот х1.6 следующий х1.6 делаешь без надстроек.
>Сам по себе ган из лоуреза исходной генерации с такой кратностью - лютейший вырвиглаз будет.
Для законченной картинки - да. А вот как инпут для контролнета - работает. Нет размазанности и нечеткости лоуреса, что дает более точное руководство контролнету.
>Больше х2 не нужно, или пользуйся другими средствами.
Это скучно и неинтересно. Основной целью у меня было как раз научиться делать разорви-экран картинки (4080 жы!), чтоб не терять при этом композицию и основной уровень детализации, при этом умеренно добавляя второй уровень более мелких деталей. С "умеренно" вот только проблема.
>Вообще или тебя не понимаю
Вот и я не понимаю, как именно тайлед использовать, и какие результаты он вообще должен давать. Пока ерунда выходит.
>Напиши сам
Гайдописатель из меня так себе.
> под контролнетом эти 2 мегапикселя получаются
Офк, с ним и больше выйдет без типичных поломок, только на совсем больших уже другие пойдут.
> Косяки идут выше, когда ты на этот х1.6 следующий х1.6 делаешь без надстроек.
Получается что есть какие-то граничное разрешение, или проблема именно в повторном апскейле? Что если дважды 1.3 сделать, например?
> Нет размазанности и нечеткости лоуреса, что дает более точное руководство контролнету.
Вот это полезное наблюдение, кстати при апскейле в img2img с контролнетом на его вход как раз апнутая ганом пикча подается.
> Основной целью у меня было как раз научиться делать разорви-экран картинки
Не, суть не в том что не нужно делать хайрезы, а что не нужно пытаться их делать сразу в хайрезфиксе.
> как именно тайлед использовать
Если самое простое в качестве отправной точки - после харезфикса, который получился хорошо, отправь в i2i и выстави настройки пикрелейтед. Апскейлер по вкусу, денойз в районе 0.4 и тайловый контролнет, если не хватит памяти то включи tiled vae. Играясь с денойзом (в широких пределах), семплерами, весом контролнета, можно получать разный уровень наброса мелких деталей с сохранением исходника. Размер латентов также влияет, плюс промт, доп лоры, сменить саму модель здесь также справедливо. Можно и наоборот сгладить используя эти приемы, в т.ч. включив noise inversion. Хочешь больше разрешение - отправляй результат на вход и повторять до полного удовлетворения, но полезут свои нюансы.
Исходные генерации и примеры пикрел, без претензии на качество но иллюстрирует возможность регулировки наброса с сохранением исходника.
> Гайдописатель из меня так себе.
Как раз поймешь - освоишь - напишешь понятно.
>Что если дважды 1.3 сделать, например?
Пока не пробовал. Хотя 1.3 апскейл вообще слабо по деталям отработает, разрешения картинки банально не хватит.
>на его вход как раз апнутая ганом пикча подается.
Там не ган (который все-таки с дорисовкой), там обычный ресайз по алгоритму. Как итог - заблюренная фигня и плохие данные на вход тайлов.
>Исходные генерации и примеры пикрел
Вот первый апскейл - это хорошо (хотя и с небольшим перебором), а второй как раз то, что я и говорил - детали поверх деталей, сплошной нейрошум.
>Как раз поймешь - освоишь - напишешь понятно.
Это надо понять и освоить сначала.
> Хотя 1.3 апскейл вообще слабо по деталям отработает, разрешения картинки банально не хватит.
Если дважды то может и сработать, по крайней мере можно попробовать.
> Там не ган (который все-таки с дорисовкой), там обычный ресайз по алгоритму
При использовании контролнера в аутпуте также и его исходники выдает, специально сравнил - там тот самый ган что выбран. Если что про i2i говорю, контролнет в t2i при хайрезфиксе референс просто ресайзит.
> а второй как раз то, что я и говорил - детали поверх деталей
Ага, специально для иллюстрации.
> понять и освоить сначала
Если освоишь - найдешь ответы на свои вопросы, которыми гайдописцы скорее всего не задаются, потому такое изложение может быть очень полезным.
лора в коллабе натренена, (ебучка тянская), по тестовым сэмплам в коллабе то, что надо.
качаю лору в пекарню, запускаю на той же модели, с теми же настройками промта/рендеринга, что и в колабе, все блять 1 в 1, цфг,семплы,ю, разрешения, выставляю и мне выдает какую-то залупу, не имеющую к лоре никакого отношения. то есть ебальник рендерится, видно что один и тот же, типа лора работает, но совершенно другое лицо.
тренится чисто на сд1.5, без всяких дополнительных пидерсий, вае и прочего кала.
Клип-скип проверь.
Ну и вообще, качни тестовый семпл из коллаба, и через ПНГ-инфо в свой генератор на пекарне его закинь, там все настройки принудительно проставятся как в оригинале.
метадаты нету в семплах, клип скип дрочил, и 2 и 0, и нихуя. чутка попiзже закину сюда лору с семплами,
>метадаты нету в семплах
Так сделай чтоб была. Коллаб ж вроде настройки поддерживает.
буду ща курить.
там миллиард пунктов, я обосрался пока пока запустил треню
короче, сколабыпидорнуло и назад не пускает, вот что успел скопировать
промт семпла с коллабы
prompt: masterpiece, best quality, 1girl, aqua eyes, baseball cap, blonde hair, closed mouth, earrings, green background, hat, hoop earrings, jewelry, looking at viewer, shirt, short hair, simple background, solo, upper body, yellow shirt
negative_prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark,
sampler=euler
username, blurry
height: 768
width: 512
sample_steps: 28
scale: 7.0
лора https://dropmefiles.com/7AoLO
Project Name: suzzz
Model Version: Stable Diffusion V1.x
Pretrained Model Path: /content/pretrained_model/Stable-Diffusion-v1-5.safetensors
No VAE path specified.
[sample_prompt_arguments]
sample_every_n_steps = 100
sample_sampler = "euler"
пик1 семплы с колабы/ебало орига, с которого тренил, 146% тащемта результат
пик2 - то что мне высирает мне гуи с настройками 1 в 1
чекните у себя, и скажите, че как, у меня пукан горит блять уже
>Если дважды то может и сработать, по крайней мере можно попробовать.
Попробовал. Не очень.
>Если что про i2i говорю
Ну а я первые шаги в т2и делаю.
Хотя, если честно, и в и2и тоже обычный ресайз постоянно видел. Может надо было и2и апскейлер поставить в настройках?
1. Какой метод обучения лучше выбрать?
2. Можно ли это сделать в облачном сервере с мощным гпу, если да то как?
Ибо локально это будет вечно, а подобными сервисами никогда не пользовался. Плз скиньте какую информацию минимально я должен знать для работы с облачными серверами.
А то у меня что-то в районе 1-1.25, это нормально вообще?
Батч 2, разрешение 768, bf16.
Может там файлы докачать надо какие?
Кохай еще и про неустановленный triton что-то выводит.
Насколько он критичен?
Чел, тут нет ванг чтоб догадаться какой у тебя конфиг тренировки. От разных оптимизаторов/моделей/лор/параметров может быть разница в разы.
Макака у тебя в голове в тарелочки бьет, а тут сидят благородные доны.
Вот и я думаю, где я облажался. Чистый кохай, безо всего, дефолт-настройки, только на 768 разрешение переставил.
А тренит так же медленно, как бесплатный гугловский коллаб.
https://files.catbox.moe/f4n76k.json
Жсон с конфигом тренировки.
>DPM++ 2M Karras
А в чем прикол карася и вообще какой семплер самый лучший? Я немного поигрался и кажется, что лучше Эйлера ничего нет, а остальное все какую-то шумящую мазню генерит
> какой семплер самый лучший?
Очевидный Рестарт. Euler - это худший семплер по качеству пиков.
Можно пруфы, картиночку там сравнительную? Пока картинки из шапки только подтверждают мои наблюдения
Euler лучший только по мыльности и уродствам, в этом ему нет равных, да.
Короч, ёпта. Мне нужен картинка в реалистичном стиле. Тощий мужик в обычной одежде (пиждак, брюки, рубашка). Одежда грязна я и в пятнах крови. Голые участки кожи (руки, шея) в царапинах и кровоподтёках, но не прям в мясо. В руках держит горящий факел (просто палка с тряпкой. Не такой, который на стенах в замках). И самое главное. Голова его полностью перемотана бинтами, на 100 процентов покрыта. Бинты тоже немного в грязи и со следами крови. На месте рта красной краской нарисована несколькими линиями широкая зубастая улыбка от уха до уха, как у чеширского кота. Фон или лес или кирпичная стена, или вид на город с крыши.
Я могу больше ста рублей скинуть. Скока вам там нада за помощь?
Почему во время тренировки генерируются розовые пикчи? Пробовал разные датасеты даже убирал розовые пикчи - всё ровно получается розовая херня.
Протегай нормально, чтоб в описании пикчи было написано про цвет. Протести на генерации чтоб твоё описание выдавало такие же розовые пики, блять.
Я без описаний генерирую (т.е. в дата сете нет txt файлов) просто стиль (style.txt).
Но почему именно розовый цвет?
Причины. Хочу посмотреть как можно вернуть художников в кастомные модели\миксы. Хочу просто научить какие тянки\одежда мне нравятся чтобы не писать длинные промпты. Интересно как современный эмбединг будет интерпретироваться старыми художниками (т.к как видел очень интересные результаты используя старых художников + ембединг на портретные фото(рил)). Не хочу просто ограничиваться промптами.
Анон ты пробовал тренить анимешную модельку с подробным описанием? Мне интересно хорошо ли получиться, возможно описание тегами и его последствия стали бедствием для анимешных моделей, а пока xl не разогналась возможно ещё всё можно исправить, видел 1 модельку которую тренели таким методом но не тестировал https://civitai.com/models/128351/anime-natural-language-xl
>Очевидный Рестарт.
У мну такого нету.
Меня не интересует один конкретный художник, мне нужно несколько. К тому же можно выбрать какие картины мне нужны у некоторых артистов рисует автопортреты (женщины получаются с усами), а можно обучить на женских портретах и будет рисовать женщин скорректировать баланс белого, перед обучением%% к примеру в фотошопе и т.д.
Ну и к тому же лора влияет на скорость и память, а люблю добавлять по 5-6 художников на промт.
Контролнет, тайл и с параметрами поиграться
>>465587
> вернуть художников в кастомные модели\миксы
Врядли эмбеды здесь будут хорошим выбором, тринарт аккуратно подмешивай, а еще лучше через будку дотрень.
>>465752
Все упирается в качественный теггер, результаты беглого осмотра популярных вариантов не понравились. Если тем более готовый датасет есть - скидывай, можно попробовать.
Бамп
>>465992
Мне очень хочется поэкспериментировать с эмбеддингами и самому убедится.
>тринарт
А что это?
>а еще лучше через будку дотрень
Типо под каждого художника отдельную SD модель тренировать?
> А что это?
Файнтюн sd 1.5 который как раз натренен на художниках
> Типо под каждого художника отдельную SD модель тренировать?
Под всех вместе сразу, если сделать все правильно то будет модель что воспроизводит стили художников на которых тренировалась. Аккуратный теггинг датасета обязателен.
> Все упирается в качественный теггер
Мимо https://rentry.org/ckmlai#ensemblefederated-wd-taggers пробовал это? Вроде неплохо тегает, только не разбирался пока как туда добавить ещё чтобы персонажей протегивало, там где то это походу выключено. Но это бору теги конечно же.
>>466230
> Файнтюн sd 1.5 который как раз натренен на художниках
Спрашивал у того исследователя стилей каких уникальных художников он находил в тринарте и позже пробовал их же промптить на обычной 1.5, и они себя проявляли и там тоже, это походу мем с художниками в тринарте.
Короче, ебался я с img2img рендеров моего 3д персонажа и понял что это хуйня полная. Картинку слишком пидорасит при низком нойзе, а при высоком получается уже не мой персонаж. Хочу следующее:
1) Наделать кучу рендеров 3д модели и обучить Лору на них.
2) Поставить персонажа в нужную позу, сделать рендер Depth Map в 3д максе или Блендере.
3) Использовать свою Лору, скормить Depth карту в ControlNet, генерировать.
Правильно я понимаю, что такой алгоритм самый совершенный для 3д моделей на данный момент? Из всех Control Net моделей именно Depth даст лучший вариант, а всякие OpenPose или Canny хуже?
Ты сделаешь литерали тоже самое, как обучают на артах. Только ты можешь сразу сделать рендеры с разных углов, в разных позах и одежде.
И для контролнета можно не только карту глубины, но и openpose использовать
> в разных позах и одежде.
Позы будут разные, но вот одежда всегда одна. У меня цель в том чтобы максимально "постоянного" персонажа получить. Обычно фейлы все же с разной одеждой на каждой генерации.
Ну если у тебя перс всегда в одинаковой одежде, тогда норм. Но если ты планируешь ее менять, то лучше дать примеры, как он выглядит в другой одежде. И протегать все соответствующе
>Картинку слишком пидорасит при низком нойзе, а при высоком получается уже не мой персонаж.
Я с денойзом в 90 и контролом на тайлы юзаю, мне норм.
> Из всех Control Net моделей именно Depth даст лучший вариант, а всякие OpenPose или Canny хуже?
Для позы лучший результат будет с Openpose, на бекграунд он слабо влияет и можно исправлять скелет вручную. Можешь и несколько разных контролнетов подрубить для пущего эффекта с разными весами и эндинг поинтами.
> Наделать кучу рендеров 3д модели и обучить Лору на них.
Есть немалый шанс что у тебя заодно подхватится и 3дшность.
Зачем тебе ебаться с генерацией, когда можно просто красиво зарендерить?
Ну а вообще пайплайн красивый, если с обучением лоры не проебёшься - должно получится хорошо.
>Для позы лучший результат будет с Openpose
Да, но только вот напрямую из своего 3д-пакета я не получу OpenPose, надо будет отрендерить персонажа и использовать препроцессор который может и ошибиться.
>Можешь и несколько разных контролнетов подрубить
Какие кроме Depth и OpenPose стоят внимания?
>Есть немалый шанс что у тебя заодно подхватится и 3дшность.
Ну, это можно попробовать обойти тун-шейдерами, редактированием нормалей и самой сетки под нужный ракурс.
> Да, но только вот напрямую из своего 3д-пакета я не получу OpenPose
Получишь https://toyxyz.gumroad.com/l/ciojz?layout=profile
> препроцессор который может и ошибиться
А для этого чтобы не ебаться с блендером можно использовать костыль самого вебуи https://github.com/huchenlei/sd-webui-openpose-editor
> Какие кроме Depth и OpenPose стоят внимания?
Другие там для других целей просто нужны, конкретно для поз вообщем то только эти и стоят, ну может что-то для линий ещё, типо кенни и лайнарт, скриббл. В идеале конечно чтобы был тег на твою позу, или что то похожее, чтобы не сильно пришлось после инпеинтить. Комбинация двух вещей, промпта и контролнета всё таки себя лучше показывает, чем просто мучать контролнет с усилением.
> Ну, это можно попробовать обойти тун-шейдерами, редактированием нормалей и самой сетки под нужный ракурс.
Есть способ покруче, но сам не пробовал, лишь манятеория https://rentry.org/bp87n решить вопрос подхватывания стиля как настоящий командир жифорса.
>напрямую из своего 3д-пакета я не получу OpenPose
Получишь, если сделаешь скелет и материалы к нему. Для блендера есть риг OpenPoseBones, где так и сделано.
>стоят внимания?
Canny
>попробовать обойти тун-шейдерами
Да, шейдеры под аниме. Только там могут быть проблемы и необходимость менять геометрию модели для нормальных теней
>>466482
Ты написал на секунду раньше меня;(
Если концепт или если хочу что то отделить от стиля то на най, если хочу сохранить стиль, например персонаж со оригинальным стилем или просто стиль какой то то на чём то что близко к юзаемой модели, мимо нихуя не разбираюсь
>Гайды по апскейлу от анонов
>https://rentry.org/UpscaleByControl
Cоветую в начало добавить, какие экстеншоны надо установить, я несколько раз гуй перезапускал, напряжно по новой одни и те же настройки ставить.
В самом гайде:
>Ниже приводятся настройки на максимальное «сплющивание» картинки в 2D-анимешность.
А можно настройки не сплющенности, а уже для реализма добавить? А то гайд слишком узконаправленный.
>Промт менять смысла уже почти не имеет. Denoise 0.75, Steps 50. Включаем Tiled Diffusion: Mixture Diffusers, Enable Noise Inversion, апскейлер порезче (напр. Anime6B), Inversion Steps 50, Renoise 0.
Автору стоит обратить внимание на консоль:
>warn: noise inversion only supports the Euler sampler, switch to it sliently...
Так что апскейлер будет использоваться дефолтный.
Тьфу, сэмплер, потому что я по привычке карася впихнуть пытался, наверно это стоит уточнить, чтоб знали.
А ещё куда сосноль выдала ошибку:
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 31.29 GiB (GPU 0; 12.00 GiB total capacity; 14.18 GiB already allocated; 0 bytes free; 14.40 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
Поэтому 4 пункт у меня требует сосать бебру, наверно придется сидеть на ультимате сиди апскейле. Хотя хотелось бы узнать, что делать, что бы это работало.
>>466729
А ещё хотелось бы услышать, почему в пунктах 1-3 апскейлер используется латент, а не тот же DPM++ SDE Karras и иже с ними.
>Ты тайтелед вае врубил?
В гайде ничего не сказано.
>Ты не путаешь апскейлер и семплер?
Да, я опять путаюсь в показаниях. Почему используется латент, а не те же ерсганы и валары и т.д.
И да, попробовал тайлед диффужн 1 ко 1 сделать, пиздец он медленно работает:
MixtureOfDiffusers Sampling: 57%|| 57/100 [09:17<27:01, 37.72s/it]
Латенты дают больше всего деталей и быстрее (вроде как), ну а то что апскейлиться так долго это из за того что ты уже большую картинку апскейлишь, или у тебя видюха старая, хотя вижу что вроде 12 гб, 3060? В любом случае ты платишь такую цену за то что у тебя не будет швов и если с нойз инвершеном то избавившийся от лишней детализации, вроде как он тоже увеличевает время апскейла
Лучше, 2060. А ещё есть шанс, что у меня опять слетели дрова, что бывает, когда пытаешься заапскейлить больше чем 1920х1080, попробую перезапустить.
И да, опять же в гайде не сказано, какой экстеншн откуда качать, в частности меня интересует только последний DEPTH, вот где его брать, мне 5 штук предлагают, я чет не понимат. Заранее благодарю за помощь.
Ну, у меня все в мыле от латента, поэтому я им не пользуюсь, деталей не наблюдаю как-то.
Так денойз побольше ставь, при хайрезфиксе 0.65-0.7, в гайде написано больше потому что с контролнетом
>>466483
Спасибо за советы, аноны. В таком случае может в самом деле OpenPose интереснее будет. Вообще одежда в 3д выглядит неестественно, если только ручками не добавлять полигонов и не править геометрию код каждый кадр.
Может быть в самом деле стоит OpenPose болванчиков для позинга использовать, а информацию об одежде нейронка будет брать из моей Лоры. Только не знаю несколько точно она одежду повторять будет, и не будет ли отсебятины. Тут только тестировать на практике.
Без ТЗ результат ХЗ.
Бамп
>>466230
>Файнтюн sd 1.5 который как раз натренен на художниках
Откуда эта инфа? В описании написано что это просто анимешная sd1.5. Или ты имеешь ввиду туда натринеровали аниме художников?
1)Кастомный микс MilkyChicken + R34
2)Тринарт 2 (Characters)
3)SD 1.5
на любой силе артефачит ебальник и чтото еще, но в основном ебальник, это не лора
Да у меня ноутбук блять амудешный. Ага, купи, я миллионер блять, конечно
Ты часто меняешь место жительства? Нет? Ну так что мешает собрать себе ПК на 3060 за 50к (без монитора)?
пока что для меня 50к это большие деньги, я предпочту их потратить на что-то более важное и материальное, а картиночку руками не потрогаешь
И генерить квадратики? Нахуй надо, уж если покупать под это дрочево видюху, то так чтобы пикчи 4-8к запекались, и вместе со всеми контрол нетами и прочими актуальными ебами.
У меня там получалось запечь охуенную 8к картинку за 15-20 минут, пару месяцев назад. Чё щас не знаю.
Может буры с картинками с реальными людьми?
А что тогда не дохлое? Алсо интересно, они реально отдают мне целую настоящую карточку или используют какой-то механизм выделения?
>или используют какой-то механизм выделения?
Само собой это.
А обучение ЛОРы требует меньше vram чем обучение эмбединга?
А то я заебался что на gtx 1660, как ни кручу, никак не влезает 2 мб.
>А обучение ЛОРы требует меньше vram чем обучение эмбединга?
Больше, ибо лора это более глубокое обучение, чем эмбедингю.
Отключай Restore Faces. Он лица только ломает (обычно).
Делай апскейл хайрезфиксом. Такая фигня может случаться от того, что в сетах были мешанина из реалистик картинок, аниме, и чего-то очень сильно стилизированного.
Позакрывай разные приложения. Они тоже бывают по чуть-чуть отжирают. Браузерные вкладки, стим, дискорд...
рестор выключен по дефолту всегда
лица ломаются перманентно, частично ломаются фоны и так далее зависит от сида
я так понимаю модель по пизде идет и там по слоям что-то сдвигается, мне бы какой фикс найти под это дело, замена клипа не работает, подмена юнет тоже, трейн дифренс с дополнительными полностью рабочими моделями ухудшает артефакты еще больше
Ясно, спасибо.
>>470786
2 мегабайта стабильно не хватает и 448х448 и 320х320 и с открытыми приложениями жрущими vram и закрытыми все ровно 2 мб. Пробовал Kohya_ss, webUI, Onetrainer, vladmandic. Остается только sd-scripts.
Хотя генерировать могу по 5 пикч (448х640)одновременно, не уходя в lowram mode, но только на комфиЮИ.
А у тебя тоже 1660?
gradient accumulation ебани, оно будет меньше врам кушать, но и тренировать медленнее.
Вообще никак не повлияло. Мне интересно это SDXL все разъебал или у меня просто старя версия шин10.
Оно блоками память выделяет, увеличивай градиент, уменьшай батч сайз, кешируй латенты на диск
Хотя тренировать SDXL на 6 гигах у тебя вряд ли получится в принципе.
>увеличивай градиент
и 2 и 128 пробовал
>уменьшай батч сайз
всегда 1
>кешируй латенты на диск
теперь требует 16 мб
>>471632
Нет, я имел ввиду что поддержка SDXL сломала тренировку в SD1.5. Вот у Kohya gui просят отдельный бранч для SD1.5 сделать, т.к. скорость\качество стало хуже. Может и требования для тренировки SD1.5 тоже увеличилась. Я, конечно же, тренирую SD1.5.
> скорость\качество стало хуже
Пиздят. Я на SDXL-ветке тренирую и 1.5, никакой разницы. За гуй не знаю, это уже не к кохе вопросы, а кто говно-гуй пилил.
>А у тебя тоже 1660?
Нет, у меня была 2070, но я на ней постоянно в 8 гигов упирался, приходилось иногда для включения контролнета убирать часть программ из памяти.
Тебе стоит попробовать gradient_checkpointing, а не аккумулейшион который для имитации батча, и да cache_latents_to_disk тоже. В сд-скриптсах соответствующие ключи, в гуях к нему тоже должны быть.
Четкости не хватает, но мне лениво было с линиями париться.
Так что получилось как получилось.
Понятно.
>>471945
А я не понял, в сд-скриптсах нужно самому создать лаунчер, да? В нашем гайде на 6гб нече про это не написано. После установки "редактирование скрипта", хотя "скрипта" в папке с программой нет.
>demonic girl suited to highly detailed dress, 8k, beautiful
Мде
Там же скрипт от анона какой-то в гайде, скорее всего про него речь.
Ну так а тебе что надо? В любом случае, скрипт тупо переменные проставляет дефолтные (Ну и пару вычислений на количество шагов делает необязательных), после чего 90% всего этого идет просто в параметры запуска train_network.py, так что кури хелпу к train_network.py и запускай как тебе надо, благо в хелпе кроме японского английский тоже есть.
Было и стало. Пиздец мыло. Иногда выдает совершенно другие арты.
>>469990
Спасибо, всем кто помогал. Я достиг предела своей компьютерной компетентности. sd-scripts оказался сильнее. Следующий раз попробую эмбединги если\когда установлю обновления на десятку и новые драйвера (531).
> А я не понял, в сд-скриптсах нужно самому создать лаунчер, да? В нашем гайде на 6гб нече про это не написано.
Гайд староват и был написан когда и половины того, что сейчас есть, не было, давно пора бы переделать. Если совсем плохо понимаешь, лучше в гуе дерриана поставь вот так градиент чекпоинтинг, а остальные настройки свои. Я бы мог тебе скинуть конфиг для самого непопулярного гуя местного анона, ведь я пользуюсь именно им, но мне кажется ты ещё больше запутаешься, так как там нужен готовый венв с сд-скриптсами.
>>473843
> Следующий раз попробую эмбединги
Зачем? Он же для совершенно иного предназначен.
>>473843
Оно stable diffusion portable, каким-то хуем, заработало!
>>473929
> Следующий раз попробую эмбединги
>Зачем? Он же для совершенно иного предназначен.
Это я и пытался сделать, но наверно плохо это скоммуницировал.
Буквально то что она написала, отсутствует необходимая структура папок в датасете.
Какая нахуй структура?
Структура иерархии каталогов другой и не может быть. папка внутри папки внутри картинки.
Они называть должны как-то конкретно? Так там в примере они называются dog и cat.
Мне их что так же надо назвать? Это чё прикол такой?
Внутри папки датасета должна быть одна или несколько папок, с именем N_xx где N - число повторений при обучении, xx - имя концепта (можно любую букву поставить если каждая пикча протегана). Внутри уже этой(тих) папок должны быть пикчи.
> Мне их что так же надо назвать?
В начале число повторений, потом имя, например 4_cat 14_dog.
Ну я поставил 40_woman.
Оно там начало что-то крутить, и создало файл .safetensors.
Я закинул его в папку лоры. Добавил в промт. И нихуя. Ну типа нет ни намека, что баба фото которой лежали в папке 40_woman, как-то влияют, на то, что выдается.
Оно как генерило дженерик баб, так и продолжает генерить.
Тестирую разные параметры обучения, оптимальные значения пока не ясны. Для теста взял датасет из ~200 картинок с 5 повторами на эпоху (т.е. суммарно ~1000 шагов на эпоху, без учёта батчей) и пытаюсь подобрать параметры обучения, пока выходит не очень. Хотя для того же NAI всё прекрасно тренится. На всех пиках (кроме первого) промпты идентичны, эмбеддинги не используются. Для теста 1.5 на пиках CounterfeitV3 (ген 512x512 и апскейл x2), для теста SDXL - CounterfeitXL (просто ген 1024x1024).
Есть идеи, в какую сторону копать? Или может пока не выйдет достойного базового чекпоинта под аниме не имеет смысла даже пытаться?
Какие были параметры тренировки, в инфо генераций было указано что лора подгрузилась и приведен ее хэш?
>>474076
> пока не выйдет достойного базового чекпоинта под аниме не имеет смысла даже пытаться
Скорее всего this, плохой результат может быть не только/столько из-за лоры а таков общий перфоманс модели. На всякий уточню - разрешение пикч датасета 1024+? Ты просто лору делаешь или локон/ликорис/... с дополнительными матрицами?
Что насчет скопировать параметры тренировки из лоры на реализм? С размерностью и альфой игрался?
В wd результат улучшала тема с добавлением в теги их триггеров анимца (tone mapped, anime, ...), но последняя подделка xl по дефолту их не использует, так что может и толку не будет.
> эмбеддинги не используются
Рекомендованный негатив cfxl подкидывать не пробовал?
Для начала дефолтный грид с разным лр надо пощупать, сколько там тренировка одной лоры занимает?
>Какие были параметры тренировки
Да я там вообще не менял никакие параметры.
Я понял что это тупо зависит от названия папки. 40_woman.
Поставил 260_woman и что-то начало появляться.
Но всё равно похожее ебало только мелькает на предпросмотре в процессе генерации, когда картинка мыльная. А финальный результат всё равно нихера не похож на тренировку.
Ну я же не настолько дебил, что бы не заметить, что я мог не тот сэмплер влепить, когда я всегда на одном и том же делаю. После обновы так вся линейка DPM++2M SDE и DPM++3M SDE начало выдавать ебейшее мыло с проебом деталей.
Вот тебе euler a и DPM++2M SDE Karras в качестве пруфа. Еулер даже лучше работает, та что ты ошибся.
Поправлю себя: все сэмплеры, которые включают в себя SDE после обновления стали выдавать ебейшее мыло. Так будет точнее.
У тебя одна фотка чтоли? Число в имени это количество повторений пикч что внутри. Обычно их десятки или сотни, 260 даст безумное число шагов. Ну проблема у тебя явно в параметрах и/или датасете.
>>474932
Забекапь жсон с параметрами, удали, после запуска выстави базовые необходимые настройки и попробуть опять сгенерировать.
кинь промпт и настройки своей антилопы ебаной сюда, а еще для прикола попробуй все экстеншены обновить мож чо поправит
https://www.youtube.com/watch?v=N_zhQSx2Q3c
Попробовал ещё раз по параметрам с этого видоса, он там реализм тренит. Вроде немного получше, хотя может просто сиды удачные выпали, или у меня уже глаз замылился после нескольких дней разглядываниях этого добра на SDXL. Думаю, надо эпох побольше, или лр ещё выше сделать.
Не могу понять только, почему он почти всегда пытается какой-то "side-view from behind" сделать, если я его ни о чём таком не прошу. Только в 19 сиде поза почти на всех версиях лоры выглядит так, как я ожидал бы от такого запроса.
---
Базовая модель: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0.safetensors
Batch size выставил в 4 чтобы пекой можно было пользоваться пока лоры тренятся, а так вроде 6 максимум влезает в 24GB VRAM.
Попробовал варианты с/без треньки текстового энкодера и вариант с SD-style промптами (сгенерил через blip captioning) вместо booru-like, раз у нас базовый чекпоинт не аниме.
В видосе упомянули эти параметры, пробовал с ними тестить:
--network_alpha="16"
--network_dim=32
--learning_rate="0.0003"
--text_encoder_lr=0.0003
--unet_lr=0.0003
--optimizer_type="Adafactor"
--lr_scheduler="constant"
--no_half_vae
--mixed_precision="bf16"
--save_precision="bf16"
--cache_latents
--cache_latents_to_disk
--gradient_checkpointing
И ещё в видосе такую настройку через UI вбили в LR scheduler extra arguments, не понял, как она в кохя-скрипт передаётся:
scale_parameter=False relative_step=False warmup_init=False
>>474228
> На всякий уточню - разрешение пикч датасета 1024+?
Чекнул - и вправду, некоторые арты не дотягивают до 1024x1024 по какой-то из сторон. Так что стоит датасет перебрать.
> Ты просто лору делаешь или локон/ликорис/... с дополнительными матрицами?
Пока просто лору пробую.
> Рекомендованный негатив cfxl подкидывать не пробовал?
На пиках слева какой-то обычный негатив от nai, а справа копипастнул негатив с примера на цивите для CounterfeitXL. Эмбеддинг negativeXL_D скачал. Из того, что явно заметно - с рекомендованным негативом сильно отличаются цвета в зависимости от того, тренили ли мы на тегах в стилях бур или в стилях SD.
> Для начала дефолтный грид с разным лр надо пощупать, сколько там тренировка одной лоры занимает?
Одна эпоха при ~1000 повторах (батч сайз 4) и параметрами выше у меня тренится 10 минут.
Поскольку SDXL релизнулся, предлагаю добавить в шапку схему его работы. Для этого можно объединить эти две картинки в одну. Вторую можно перевести перед этим, при желании; хотя я не вижу особого смысла в этом.
Всё написанное в секции про обучение SDXL вроде как ещё актуально. Разве что не уверен насчёт актуальности этой фразы:
> Всё пока сырое и имеет проблемы с совместимостью, только для самых нетерпеливых.
>Забекапь жсон с параметрами, удали, после запуска выстави базовые необходимые настройки и попробуть опять сгенерировать.
Так, абажди, а какой и где? config.json или ui-config.json в корневой папке, или вообще что-то конкретное в папке configs?
>>475166
Обновил, не поправилось. Все так же мыло выдает.
https://files.catbox.moe/609c0j.png
>Забекапь жсон с параметрами, удали, после запуска выстави базовые необходимые настройки и попробуть опять сгенерировать.
Да, это помогло. Удалил оба конфига, теперь мыла нет. Может что лишнее удалил, хз. Пасеба, теперь специальная олимпиада по выставлению всего обратно.
Тренировка Yolo детект моделей для адитейлера может будет полезна?
Гайд https://civitai.com/articles/1224/training-a-custom-adetailer-model
Тулза для датасета https://github.com/vietanhdev/anylabeling
Больше про параметры https://docs.ultralytics.com/modes/train/
> Всё пока сырое и имеет проблемы с совместимостью, только для самых нетерпеливых.
Уберу эту строку из шаблона перед катом, если нет возражений.
> Поскольку SDXL релизнулся, предлагаю добавить в шапку схему его работы. Для этого можно объединить эти две картинки в одну.
SDXL схему на коленке перевёл в вертикальную ориентацию, чтобы она нормально смотрелась в паре со схемой для SD 1.5. Она у меня в векторном представлении есть, можно поменять что-нибудь, если есть пожелания.
>>476136
> Тренировка Yolo детект моделей для адитейлера может будет полезна?
Давай добавим, лишним не будет.
➤ Тренировка YOLO-моделей для ADetailer
YOLO-модели (You Only Look Once) могут быть обучены для поиска определённых объектов на изображении. В паре с ADetailer они могут быть использованы для автоматического инпеинта по найденной области.
Гайд: https://civitai.com/articles/1224/training-a-custom-adetailer-model
Тулза для датасета: https://github.com/vietanhdev/anylabeling
Больше про параметры: https://docs.ultralytics.com/modes/train
---
Катну сегодня вечером, если больше нет предложений.
1. Что за XL модели? Краем уха читал что это полная дроч и поставить их тяжело, а так же не увидел список их недостатков и преимуществ в сравнении с обычными моделями.
2. Второй пик. Что это такое? Как я понял связано с XL дифуженом и как я понял это еще один способ апскейла и добавления деталей или што?
3. Уже все по отключал, так и не понял куда у меня кнопочки со стилями пропали. Пытался найти информацию об этом, но не нашел
Умоляю на коленях помогите
три раза тебе ответ писал, но какие-то ебучие стоп-слова не дают отправить
Проебанные стили - это обноление автоматика
СДХЛ тут не при чем
Рефайнер - это улучшалка для СДХЛ и не только, просто забей, ни на что не слияет
> Что за XL модели?
Новая версия от стабилити, аниме пока генерит посредственно, дедов может.
> Что это такое?
Рефайнер, буквально постом выше, индусы изобрели хайрезфикс, должен дорисовывать до выхода из латента картинку примерно на 0.8 как раз, но работает как то так себе.
> Уже все по отключал, так и не понял куда у меня кнопочки со стилями пропали.
Не пользовался ими. Вот эта кнопка с кистью у тебя на пик2 разве не то что тебе нужно?
>>476899
> Уберу эту строку из шаблона перед катом, если нет возражений.
Ну хз, сырость никуда не пропала, кохья до сих пор не добавил в мейн сдхл ветку, как и дерриан, чекпоинта для аниме тоже нету.
Ну кати, раз нету других предложений.
>>478081 (OP)
>>478081 (OP)
> Ну хз, сырость никуда не пропала, кохья до сих пор не добавил в мейн сдхл ветку, как и дерриан, чекпоинта для аниме тоже нету.
Ок, оставил.