Локальные языковые модели (LLM): LLaMA, Mistral, Gemma и прочие №83 /llama/
Аноним
02/10/24 Срд 19:28:28
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
• Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models
• Рейтинг моделей для кума со спорной методикой тестирования: https://ayumi.m8geil.de/erp4_chatlogs
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде
Предыдущие треды тонут здесь:
>>900425 (OP)
>>895645 (OP)
>>905013 →
Сука, как же у меня сегодня сгорела жопа от Убы...
Чтоб упростить жизнь юзерам он сделал автоустановку через пусковой файл. И всё бы ничего, но все зависимости ставятся сразу в ебучую Конду, а это значит что просто строчкой кода установить требования для конкретного дополнения нельзя... вернее можно, но конда должна быть уже установлена, а устанавливается она с запуском вебуи, когда уже поздно заранее что-то устанавливать
Есть выход - можно указать автоустановку дополнений. НО, у этой ебанины нет команд на установку конкретных дополнений, либо всё, либо ничего. А всё ставится около 1,5 часов...
Но оказалось что список дополнений для установки он берёт из имён папок в папке extensions. И я придумал гениальное быдлокодерское решение: выпиздить их от туда нахуй и вернуть только те дополнения, что нужны!
Теперь всё снова работает адекватно, пользуйтесь - ни в чём себе не отказывайте!
Первый блок теперь только грузит модели, а второй устанавливает и запускает, но установка идёт только один раз, можно смело перезапускать.
>И я придумал гениальное быдлокодерское решение
Если оно выглядит как костыль, но при этом работает, то это не костыль, а фича.
https://3dnews.ru/1111889/nvidia-predstavila-nvlm-10-semeystvo-multimodalnih-modeley-ii-s-otkritim-ishodnim-kodom
Уже затестили?
https://huggingface.co/nvidia/NVLM-D-72B
>Если оно выглядит как костыль, но при этом работает, то это не костыль, а фича.
Вы вообще читаете перед тем как кидать ссылки сюда? Это визуальная модель и тесты там только визуальные, с 4о сравнивают, которую уже все по визуалу ебут.
>Это визуальная модель
Это мультимодальная модель и по тексту ее сравнивают с ламой, клодом и джемени.
Тут вот еще тесты от самой нвидии https://research.nvidia.com/labs/adlr/NVLM-1/
>Nvidia выпустила
Хоть одна достойная модель от них была?
>>905340
>/usr
там всё равно ничего полезного, как темпы в винде.
> которые летают на железе десятилетней давности
Сильное заявление. Сейчас бы создать проблему а потом ее героически решать, выпуская упоротые технологии и строя невозможные ситуации для того чтобы показать как они хороши.
>>905280 →
>>905284
> а это значит что просто строчкой кода установить требования для конкретного дополнения нельзя... вернее можно, но конда должна быть уже установлена, а устанавливается она с запуском вебуи, когда уже поздно заранее что-то устанавливать
Там есть отдельный ярлык для венва и отсылка для установки реквайрментсов экстеншнов. Чето ты вообще не то делаешь.
А, тут коллабопердолинг, увы. Предлагаю следующее решение - ставить все не через конду а классическим вэнвом, залив свой простой скрипт. С ним все прекрасно работает пол года назад точно работало, а конда нужна чтобы иметь нужный питон и подсосать куда-тулкит + либы вне зависимости от платформы, все равно все основное через pip ставится. Если оно уже есть или тем более там линукс со всем установленным - нахуй не нужна.
>>905336
Ну, в 4 битах может и запустится. Только оно 99% не сможет в нсфв и на этом большинство юскейсов кончается, лол.
>Только оно 99% не сможет в нсфв
Вот меня тоже этот момент интересует.
>Предлагаю следующее решение - ставить все не через конду а классическим вэнвом, залив свой простой скрипт.
А ничего что в этом случае обновления убы в колабе начнут слетать по кд? Потому что автор решил что всё должно ставится через скрипт и забил на обновление реквайментса.
>Чето ты вообще не то делаешь.
Перестал делать буквально сегодня.
Сука, сколько же я накумил из-за этого со вчерашнего дня. Гейм чейнджер. Удалил русский текст в скрипте, из-за чего возник один нюанс. Из-за того что мысли пишутся от первого лица РП тоже продолжается от первого лица где-то а 25% случаев, хотя терпимо.
>Потому что автор решил что всё должно ставится через скрипт и забил на обновление реквайментса.
Вы там какие вещества употребляете?
Спокойно всё ставится и обновляется в 3-4 команды без ебучего bloatware под названием конда
> А ничего что в этом случае обновления убы в колабе начнут слетать по кд?
С чего бы?
> Потому что автор решил что всё должно ставится через скрипт
Который просто и делаешь что обращается к реквайрментсу. Внезапно, да? И обновляются они регулярно.
Многие вообще специально держат убу не кондой а на классическом венве и все прекрасно работает.
Нах тебе этот пердолинг, когда можно просто шаблоном всё это сделать, а нормальные модели чисто по системному промпту нагенерят мысли/планы.
Попробуй не просто убрать примеры, а заменить их примером на английском языке в третьем лице. У меня по опыту структура примера влияла на ответ сильнее, чем основная инструкция.
ты уверен что тебе в колабе вообще этот комбайн нужен? гонял бы жору голого да и все
Хотя даже не уверен, какими аналогами тогда это заменить. Типа добавить ко всему префикс аля "Alice thinks that"? Прямо сейчас нет времени особо потестить.
Условно можно попробовать заменить:
Боб так нежно смотрит на Еву... Я чувствую, как моя грудь сжимается от ревности.
На:
Alice watched Bob gazing at Eve with tenderness. She felt her chest tighten with jealousy.
Или:
Alice thinks that Bob is looking at Eve so tenderly. She feels her chest tightening with jealousy.
лол, ну это уже приближается к рофлу с перловым скриптом, который делал то же для /
по этому докер наше все...
>я, запускающий 123B на проце и видяхе 12гб
Ну да ну да, пошёл я нахуй.
Qwen2.5-Coder-7b?
>>905336
Это так, которая недели две назад выходила, а потом зашла? :)
Которая плюс-минус Qwen2-VL-72b?
Который вышел месяц назад?
Ух ты, вот это реакция!.. =)
>>905353
Мистраль Немо? =D
>>905370
Я погонял вчера Молмо-72б и 7б — таки могут в нсфв, но 7б моделька плоха на русском, ибо пары картинка-описание были на инглише.
>>905471
А че там выяснять.
https://huggingface.co/SeanScripts/Molmo-72B-0924-nf4
Пиха в две теслы.
Выше написал — нсфв могет, но малая в русском плоха, а вот большая нормас.
Но ролеплеить я не пытался с ней.
>>905671
В 4 бита может и влезть на две теслы (а может и не влезть=).
Qwen2-VL-72b у меня впихнуть не вышло. А мольмо вошла без проблем.
Контекст в квене не влазил. Ограничить не вышло никак.
>Но ролеплеить я не пытался с ней.
Ну так попробуй. А то на сайте анальная цензура и требование картинки (а то может я без пикчи хочу).
ты ж не забывай, что мультимодалки не квантуются по человечески, в лучшем случае bnb, и при таком раскладе нельзя частично выгрузить...
я ламу пытался в колабе запустить - 11В только в 4 кванте заводится, на ЦП вообще не смог завести, но не отрицаю что может я криворукий... а обычные текстовые конечно можно на чем угодно запустить...
>В 4 бита может и влезть на две теслы
пока не сделают нормальной возможности частично грузить в гп или чисто на ЦП гонять мультимодалки будут не для каждого...
> что мультимодалки не квантуются по человечески
Зависит от архитектуры. Большая часть нормально так же квантуется как и все прочие трансформеры, если там прям не насрано чем-то совсем. Оно просто нахуй особо никому не надо было квантовать что-то до последнего времени.
>пока не сделают нормальной возможности частично грузить в гп или чисто на ЦП гонять мультимодалки будут не для каждого...
Ну тут или найдутся новые люди чтобы пилить поддержку в лламацппвлс, или сидеть бибу сосать. Или изучать всю хуйню и идти делать самому.
Скорее последнее... ну или привет передавать Бибу Ясосу
>>905740
пока что рабочие кванты тьлько на bnb или GPTQ, второе нормально не работает - спасибо кривым трансформерам, где старые не поддерживают квен, а новые не совместимы с либой для кванта,
тот что остается рабочим вариант внезапно с выгрузкой в оперативу не совместим... надо что-то типа жоры с гуф квантами, которые отовсюду работают нормально
> в колабе
> жору голого
Пиздец.
И нет бы проявить уважение к добрейшему человеку, что поддерживает в живых эту дичь, такие ахуительные советы.
>>905713
К сожалению тут так, жора не может в мультимодалки кроме всякого треша.
>>905721
> таки могут в нсфв
Насколько? Просто "там sexual intercourse" или "big fat cock of left guy with messy red hair penetrates vagina of girl with a naughty expression while veiny penis of second boy who is positioned above them are inserted deep into her anus, there is a splashes of cum and other body fluids around girls crotch"?
> моделька плоха на русском
Вот уж где это суперпохуй так именно здесь.
>>905731
> мультимодалки не квантуются по человечески
Им вообще пофиг как квантоваться, проблема в отсутствии ориентированных на эффективный-быстрый инфиренс или бюджетный запуск лаунчеров.
>ты ж не забывай, что мультимодалки не квантуются по человечески
Ну так пускай жора допиливает. Или кто-нибудь его уровня. Главное чтобы на процею
>>905734
Там цензура даже на буквы, за фотку моего хуя меня засмеют точно забанят.
>>905748
>где старые не поддерживают квен, а новые не совместимы с либой для кванта
Надо пилить франкенштейна же.
Им вообще пофиг как квантоваться
та понятное дело что пофигу в какой формат записать, только ж запустить нечем, только трансформеры...
>Ух ты, вот это реакция
Тем не менее в тредах она не обсуждалась. Интересны ее возможности и ограничения. Самому железо не позволяет.
>Надо пилить франкенштейна же.
я так и не смог проверить такой тип квантования вообще на ЦП реально выгрузить... но надеюсь оптимайзера пофиксят и он не будет старых трансформеров просить, тогда узнаем...
> спасибо кривым трансформерам, где старые не поддерживают квен, а новые не совместимы с либой для кванта
Поставь дев версии и того и другого, скорее всего все заработает. Или там нужно будет мелкие правки сделать. А вот нормальной выгрузки там особо и не будет, это увы.
https://tridao.me/blog/2024/flash3/
Походу 50-я серия может дать существенный прирост ещё и по этой причине. В 40-й не уверен, а 50-я должна это поддерживать.
>но хочет Хоппер
Ебать запросы конечно же.
>Походу 50-я серия может дать существенный прирост
Если не порежут дровами, лол.
Интересная штука, анон, спасибо за твой труд. Мне, кстати, больше понравилось, когда мысли по умолчанию скрыты (без "open" в теге) - это более иммерсивный подход ты же не можешь читать чужие мысли ИРЛ, который всё так же помогает ИИ-шке лучше структурировать свой отыгрыш. Ну и как бонус можно потом открыть эти спойлеры и ретроспективно посмотреть, что творилось в голове у персонажа.
Даже если завезут в 50xx нужные штуки в железе, то нормальной поддержки в софте ждать придется с года полтора как обычно.
Интересно, а есть ли в таверне возможность не просто вырезать текст по регекспу, а, например, находить по нему сообщения и исключать их из промпта.
Куда это лучше всего записать в таверне? В правила мира или в карточку самого персонажа?
Там с HBM вариант, но карта на 16 гигов получается дороже 30к. Учитывая кучу других подводных мне это не кажется выгодным.
>>905370
>Сильное заявление.
У 3d mark есть тест на мешлеты. Сами по себе они ультрабыстрые, скорее всего, у свини есть фича с освещением, которое просчитывается уже для детализированной геометрии. Что позволяет уничтожать перформанс на любой карте.
>>905947
Рулбук используй, не?
>гонял бы жору голого да и все
Зачем же голого? Есть Кобольд, прекрасно себя чувствует и мозги не ебёт. Сам им часто пользуюсь чтобы проверять новые модели, т.к. ставится быстрее.
Главный минус в том, что квант больших моделей будет на единицу меньше + Жора.
Могу выкатить либо как одельный колаб, либо запихать всё в этот для полной шизы надо?
>>905564
>>905578
Ок. Хотите разбираться, почему интерфейс срёт ошибками при установке через реквайментс? Я нет.
>С чего бы?
Самому любопытно, но слишком впадлу в этом говне копаться. А даже если бы и нет, лучше скрипт автора, который будет обновляется вместе с убой, чем свой, который надо будет править в ручную.
>Ок. Хотите разбираться, почему интерфейс срёт ошибками при установке через реквайментс? Я нет.
Когда ебешься с нейронками на постоянке это уже рутина тупо.
>это уже рутина тупо
>@
>написанием скриптов занимаются 1,5 анона
Спасибо большое, анон, ток гугл транслейт не работает что-то.
> Насколько?
Где-то между.
Может быть промпты это исправят в пользу второго.
Вообще, условно 7b-4bit можно запустить на 12 гигах, тащемта. Дерзайте.
>>905762
Оке, я посмотрю седня-завтра, может в ней есть что-то хорошее.
Если заведется.
понтдерживаются только топчик карты иначе можн объебатца
Сейчас проверил, вроде работает. Правда звук генерит долго, но тут я уже ХЗ.
Кстати насчёт тоннелей, можето только у меня такое, но через ВПН все работают нормально, а без него интерфейс виснет намертво. Возможно в Градио и Нгроке российские ИП забанены Локалтоннелю похуй, но он сам по себе падает регулярно
>понтдерживаются только топчик карты иначе можн объебатца
А instinct mi50?
написано што депрекатед
>Deprecated - The current ROCm release has limited support for this hardware. Existing features and capabilities are maintained, but no new features or optimizations will be added. A future ROCm release will remove support.
через перевочик сам прогониш яна деюсь
ого а ето оно ещё и звук может делать! я тока текст(llm) делал, хотел делать картинки нос табле дифужон хер поставиш на линуксе да ещё и с амудой
>silero_tts
>Расширение преобразования текста в речь с использованием Silero.
>хотел делать картинки
Если юзаешь таверну, там есть хорда для генерации картинок. Нормального ничего конечно не выдаст, но для поиграться вполне.
Короче говоря - Все ясно, самая доступная Pro VII депрекейтед уже...
и не поддерживается винда...
> Сами по себе они ультрабыстрые
Если сравнивать с вариантами заведомо кривой реализации альтернатив игнорируя возможные оптимизации. https://www.youtube.com/watch?v=M00DGjAP-mU
>>905988
> Ок. Хотите разбираться, почему интерфейс срёт ошибками при установке через реквайментс? Я нет.
Не то чтобы, но в целом интересно. Там ошибкам вроде и неоткуда взяться, на каком этапе серит? Готовое офк лучше, просто ты же жаловался что он не ставит нужное.
>>906078
> Где-то между.
Ну типа она хорошо "видит" все это но стесняется описывать, или в чате может разговаривать на релейтед темы но при этом скипает восприятие важных деталей останавливаясь на общем?
Если не впадлу, можешь прогнать несколько жестких пикч и куда-нибудь с описанием залить? А то тащить эту штуку чтобы в итоге разочароваться очень не хочется.
>>написанием скриптов занимаются 1,5 анона
А мои скрипты это для кого-надо скрипты. я ебал выкладывать какие-то скрипты/код/проекты и поддерживать их потом смотря каждый день на предъявы рандомных людей что всё не так как надо им и автор пидарас выпей йаду, и таких так же ебавших этим заниматься тут и на доске много
Не думал экстеншен написать на это дело? Я вот думаю, мб самому упороться и заняться этим, но хз как процесс пойдёт, фронтендер из меня не ахти.
> >написанием скриптов занимаются 1,5 анона
Блять ну не настолько же. Хоть васянов, сектантов или поехавших тут много, таки тех кто основные вещи знает и практикует наберется порядочно хотя иногда кажется что это не так.
>>906209 двачую, кто может тому мало мотивации стараться ради неблагодарных маргиналов, заняться есть чем.
>>906234
Да. Множество операций линейной алгебры на выходе дает вектор длинною в словарь, значения которого соответствуют предсказанной вероятности следующего токена. Из этого вектора с помощью семплинга ты выбираешь следующий токен и запускаешь цикл по новой.
> ради неблагодарных маргиналов
Какой нынче анон нежный пошел, кек
ну да, 8к рейхсхривен и 40к что-то как-то большая разница... или ты про какую-то другую 7900?
>на предъявы рандомных людей что всё не так как надо им и автор пидарас выпей йаду
Ога, а ещё дохуя умных лючностей, которые знают как надо и легко могут лучше тебя, но не будут, потому что
>мои скрипты это для кого-надо скрипты.
про неё радимую, вот я лохонулся конечн взял хт с 20гб а надо было брать хтхтхт с 24гб памяти кто ж знал что ети нееросети расцветут так я думал ето всё пузырь как с крипой было
Мне ебли такой и на работе хватает, ещё не хватало бесплатно еблей ещё хуже страдать. Пару раз хватило впопенсурсом и выкладыванием штук для анонов позаниматься, спасибо больше не хочу, если прям интересно не станет или что-то полезное точно не сооружу случайно.
>>906245
>тут много, таки тех кто основные вещи знает и практикует наберется порядочно хотя иногда кажется что это не так.
Да тут на самом деле бывают, в ридонли и не очень, очень порядочно шарящие люди вплоть до всяких личностей из меты и прочего фаанга.
>>906234
Если наглядной базовой инфы хочется, то можно потыкать сюда https://bbycroft.net/llm
Не забывай что нытье и плохие отзывы лезут активно, а похвалы и благодарности почти всегда умалчивают. Если что-нибудь интересное обнаружил/сделал и т.д. - делись хотя бы концепцией, кто шарит уже сам воплотит без сильного попрошайничества и предъяв, или просто обсудить можно.
Кек, база.
Еще и жопы подорвал. =)
>>906300
Тут проблема в том, что если дело касается чего-то простенького, зачастую и делиться нечем.
Скриптики тебе квен напишет без проблем, но многие аноны из раза в раз приходят в треды и ноют «я хочу сделать такое, но не могу!», хотя на деле ровно наоборот: могут, но не хотят достаточно.
А если сделать для них — так еще и говна нальют.
Как бы, тут все на поверхности лежит, просто люди ленивые. Думаю, автора изначального коммента это и демотивировало напрягаться ради кого-то.
>>906181
> Ну типа она хорошо "видит" все это но стесняется описывать, или в чате может разговаривать на релейтед темы но при этом скипает восприятие важных деталей останавливаясь на общем?
Я не тестил глубоко. Покидал картинки — она их описала. Попросил дать пошлый коммент — ну, как смогла, написала, немного репетишн, но по смыслу верно.
Мольмо — это же Квен2, он в базе не про книги и художественные тексты, поэтому и она в итоге пишет так себе.
РП без картинок со старта не пробовал, ща домой дойду и попробую, почекаю немножк.
Я бы многого не ждал в принципе, то что она описывает и не стесняется давать комментарии — уже хорошо само по себе. Но для полноценного мультимодального рп нужна в начале нецензурная модель (а квен2 цензурирован все же), или хотя бы аблитерированная, а уже поверх дообученные на картиношки. И то, это прям край. А по-хорошему полноценная мультимодалка с нуля и без цензуры.
Мольмо — все же пруф оф концепт, что можно сделать новым методом.
>Скриптики тебе квен напишет без проблем, но многие аноны из раза в раз приходят в треды и ноют
Вот это вот вообще отдельный смех, когда в треде про ллм какие-то банальные вещи спрашивают про скрипты и всякое около, с которыми помочь или полностью часто сделать с минимальными правками может шо бесплатно доступный жопете, шо клод, шо ещё куча всего через кучу сайтов и апи.
>>906300
>>906303
>Тут проблема в том, что если дело касается чего-то простенького, зачастую и делиться нечем.
This. 80% это ли что-то простое, что опять же накидывается самими ллмками за 5-10 минут, или что-то очень специфическое под конкретную задачу. Остальные это и специфическое, и больше времени проебать придется чтобы это привести в приличный вид и с хотя бы каким-то гайдом и доками дабы не грешно поделиться было. И опять же поддерживать впадлу.
> Думаю, автора изначального коммента это и демотивировало напрягаться ради кого-то.
Так прикол в том чтобы не делать для кого-то. А делится тем что сделал для себя, не?
Ну вот ты наделал для себя скриптов, сидишь охуенный такой, обложенный скриптами, завтра помер, и все что ты делал померло с тобой.
А выпусти на публику, и оно будет жить на харде каких-нибудь шизов которые архивируют интернеты. А когда настанет время сингулярности искусственного интеллекта эти знания попадут в мегамозг.
>что можно сделать новым методом.
Ну там нового только то, что невероятно и за очень дорого заебались с сбором очень качественного (на фоне того на чём обычно обучают) датасета.
> если дело касается чего-то простенького, зачастую и делиться нечем
Да не, часто мелочи довольно важные и недооцениваются или забывается. Не стесняйся.
> приходят в треды и ноют «я хочу сделать такое, но не могу!», хотя на деле ровно наоборот: могут
Не, проблема в том что как раз не могут воспользоваться обилием доступных инструментов из-за внутренних особенностей. Но при этом считают себя лучше чем есть на самом деле, из-за чего обижаются когда по их просьбе (!) за спасибо (!!) им помогают стараясь сделать хорошо (!!!) но игнорируя какой-то ахуительный (часто нежизнеспособный и контрпродуктивный) довод или совет, чем задевают чсв. Там уже начинается не конкретный спор или обсуждение по деталям с положительной направленностью, а просто хейт всего и нытье. Вот так сказать коренная причина проблемы.
не стоит путать еще со срачами исповедующих противоположные точки зрения, там другое
> Покидал картинки — она их описала
Ладно, значит надо поковырять. Тут просто главный вопрос в потенциале и распределении что хорошо видит, что домысливает ллм частью и насколько правильно воспринимает абстракции.
Мультимодальный рп - забей, до этого еще оче далеко.
>>906307
> и больше времени проебать придется чтобы это привести в приличный вид и с хотя бы каким-то гайдом
Уууу, вот это вот оно, да. Ну просто хотябы в общем виде обрисовать, может быть полезным.
>сидишь охуенный такой, обложенный скриптами, завтра помер, и все что ты делал померло с тобой
знания - сила, в перспективе это может принести профит или же умереть вместе с тобой (когда ты умрешь тебе уже будет все равно). делиться можно, если оно не представляет ценности. делиться знаниями с рандомами, которые не могут даже открыть командную строку или запустить скрипт - себя не уважать.
делать что-то безвозмездно - пустая трата времени и сил.
>Мультимодальный рп - забей, до этого еще оче далеко.
Технически не особо, вопрос сбора хорошего датасета по большей части. А вот с этим проблемы конкретные уже.
>>906319
>Уууу, вот это вот оно, да. Ну просто хотябы в общем виде обрисовать, может быть полезным.
Надо, короче, взять потюнить модельки на харкач-датасете и доске, да посадить пытаться описывать/писать гайды так чтобы последний дегенерат осилил.
Хуя ты философ. Наверное с таким подходом ты уже миллиардером стал.
у нвидии за пример-но те же деньги можно постараться теслу выцепить p40... но нюанс в том, что нвидия пока что не депрекейтед, и тензоркоров в обязательном порядке не просит никто пока-что... за то VII с охладом без колхоза...
>и больше времени проебать придется чтобы это привести в приличный вид и с хотя бы каким-то гайдом и доками дабы не грешно поделиться было. И опять же поддерживать впадлу.
С этим пожалуй согласен.
>>906321
>делать что-то безвозмездно - пустая трата времени и сил.
А вот с этим нет.
Каким бы "ахуенным" ты не был, ты всё равно не сможешь самостоятельно реализовать всё, банально 99% годных идей тебе даже в голову не придёт. А вот рандому из треда придёт, и он возможно это даже реализует, но начитавшись подобной хуйни, никому об этом не скажет сорри, гейткип
С другой стороны, безвозмездно выкладывая вещи, которые ты всё равно никогда не коммерциолизируешь, ты подаёшь таким рандомам пример что это норм тема и увеличиваешь вероятность появления в треде годноты, которая пригодится уже тебе.
Но судя по постам выше, тредовички скорее будут жрать говно, зато своё - домашнее!
это база, понимаешь? если ты чего-то хочешь - платишь деньги, если не можешь платить - делаешь сам. в другом случае довольствуешься опенсурсным говном.
Да по сути самая основная проблема, что кучу времени надо тратить на всё это, если не просто выбрасывать голый код условно, а работу, личные дела, беды со здоровьем и желание просто отдохнуть, когда в день часа 3-4 свободного времени - никто это всё не отменял.
У нас за год суммарно с форчом столько всякого выложенного и понаписанного уже наскладировано по сотне ссылок на рентри было, а реально оно по большей части нахер никому не нужно без постоянной поддержки. А с каким-то кодом и тулзами, которые кто-то где-то выложил просто, частенько порой спустя месяц-два-три уже не разобраться без сиськи пива наперевес будучи кодером. Ебля это всё, короче, времязатратная.
>если ты чего-то хочешь - платишь деньги
Ну как бы да, например для инференса можно было бы арендовать. Быстрее было бы. И бесплатный Жора не нужен. Ведь верно, ведь правильно?(с)
>а реально оно по большей части нахер никому не нужно без постоянной поддержки.
И с поддержкой и без поддержки. Узкоспециализированные вещи, нужные 2,5 анонам, да ещё и с жутким пердолингом в применении. Ну так сделано - не нужно удивляться, что не идёт в массы. Оно не для этого.
>И бесплатный Жора не нужен
C бесплатным жорой вообще туманные перспективы сейчас, там пиздец не хватает контрибьюторов уже, мультимодалки нормально впиливать тупо некому вот, а работы там ебаться и ебаться.
>Если сравнивать с вариантами заведомо кривой реализации
Даже без сравнения с кривыми реализациями. Мешлеты быстрые. Наниты - нет.
>>906330
>А вот рандому из треда придёт
Как бороться с тем, что рандом из треда хочет жрать говно вместо реализации моих охуительных идей? Я бы вообще код не писал, если бы всё, что я хочу, кто-то сделал до меня.
>>906342
>И бесплатный Жора не нужен
А Жора за свои потуги получает деньги, между прочим. И даже не смотря на то, что весь тред жрёт его продукт - его все хуесосят. Неплохой повод задуматься, нужно ли вкидывать свои скрипты в тред.
Ну типа, ты это говоришь об опенсорсных LLM-ках. Про скрипты в опенсорсной таверне. Еще наверное и запускаешь это в опенсорсном линуксе/докере, а огромная часть интернета в принципе живет только потому что кто-то когда-то начал двигать эту ебатню с GNU
>Как бороться с тем, что рандом из треда хочет жрать говно вместо реализации моих охуительных идей?
Писать код самому и показывать положительный пример. Тогда у рандома пригорит от того, что внимание достаётся не ему, когда он литералли не огранённый алмаз и он тоже напишет.
>его все хуесосят
Я нет, Жора мой бог!
мимо боладатель Р40
> его все хуесосят.
Да это вроде по большей части рофлы по иннерции же, двачи хуле, шизов, которые реально хуесосят меньшинство.
>>906349
Опенсурс это и великое благо, и великая боль от которой постоянно хочется грызть вены на жопе себе и всем причастным.
Я сам который месяц периодически порываюсь начать наконец удрачиваться в плюсы с кудой и потихоньку вкатываться в вкладывание в опенсурсные проекты, но каждый раз от горького опыта опенсурса и представляемого объема нервов и времени, которые придется вложить, хуй падает сразу же.
>>906345
И это тоже. Хорошо, конечно, когда хоть что-то есть и вдруг пригодится, но реально многое просто затрат времени и нервов не стоит как обычно.
> его все хуесосят
Так за дело же, из-за каких-то ахуительных убеждений и странностей делает все ломает. Там сейчас на самом деле поддержка комьюнити настолько ахуенная что с него оче много нагрузки поснималось, и финансируется нихуево, так что вполне. Местами это уже трансформируется из крутого-прорывного-полезного для всех в тормозящее прогресс сборище костылей и недоделок.
Но даже так, стоит отметить что большинство кто его хуесосит всеравно признает важность его вклада.
> нужно ли вкидывать свои скрипты в тред
Нужно конечно, а кто хочет лучше переделает под себя. Ты же не публичное лицо, действия которого определяют многое и нужно нести ответственность, а простой анонимус, который показывает рабочую реализацию чего-то.
>>906352
> Опенсурс это и великое благо, и великая боль
Свобода слова на фоне отсутствия явного лидерства и иерархии. Крутые идеи тонут под тоннами херни, очень активный шиз с парочкой мелких удачных решений и вагоном провалов становится популярным-уважаемым, бриллианты остаются без внимания на фоне превозношения ерунда и так далее.
> заведомо кривой реализации альтернатив игнорируя возможные оптимизации
Если в поддержку своих фантазий ты нагуглил какого-то шизика, то это не значит что это правда. Посмотрел тот видос - полнейшая хуита, он предлагает как деды лоуполи лоды использовать. Наниты никогда не были про производительность, они про качество. На лодах сопоставимое качество просто невозможно по куче причин - нужна слишком сложная логика мерджа мешей/материалов, нужна ебанутая шина и горы RAM чтоб гонять качественные лоды по памяти, нужна ебанутая нагрузка на ЦП. Есть огромное количество примеров опенворлдов с лодами, которые долбятся в шину/ЦП. Например те же юбиподелки или киберпук, начинающие статтерить на топовом железе при быстром движении над локацией и при этом имеющие качество лодов на дне. Про то что видеорил можно повторить с лодами и запустить на консольке - это фантазии, не имеющие ничего общего с реальностью.
Это просто первое видео из поиска, их множество и в этом лишь какой-то частный пример. Чсх чтобы "опровергнуть" его пришлось отречься от исходного и заявить
> Наниты никогда не были про производительность
значит и цель достигнута. И как раз про
> нужна слишком сложная логика мерджа мешей/материалов, нужна ебанутая шина и горы RAM чтоб гонять качественные лоды по памяти, нужна ебанутая нагрузка на ЦП
это тоже в целом критиками нанитов опровергается по пунктам.
Какбы похуй и этим вообще не занимаюсь, однако оргументы одних выглядят более убедительнее чем повторение мантр про революционность, скорость и наивысшее благо нанитов. Технология как технология, на которую пытаются навешивать и продвигать как единственно истинную, а не одну из.
> 1653776784773.webm
А что тут революционного, мыльцо без освещения, местами красивое и детальное, местами унылое и кривое?
> критиками нанитов опровергается по пунктам
Фантазировать можно сколько угодно, нужны пруфы хотя бы в виде технодемки. Но ведь этого нет, а из примера топовых лодов, чтоб глаза не вытекали в 4К, имеем только какой-нибудь Элден Ринг, даже близко не дающий уровня нанитов. Показывать один высокополигональный меш в статике с одной текстурой без материалов и сравнивать что-то там - это подгон результатов под желаемое, даже хуже синтетических тестов железа.
> мыльцо без освещения
Если ты слепой, то с тобой нет смысла разговаривать. На видосе тени есть вообще от всего, на любом расстоянии, как и GI/AO работает везде, даже в километрах. В каком-нмбудь юбикале теней тупа нет в 100 метрах уже и лоды из пяти полигонов прячут в тумане. Даже в РДР2 всё то же самое - лоурез лоды, годящиеся только для 1080р чтоб не резало глаза, и куча тумана.
Ну вот, поток сознания с игнором нестыковок и очевидных проблем с проходом в оскорбления собеседника, хотя до этого пост в положительном ключе. Фу таким обиженкой быть.
В видосе использован хороший трюк. А именно - влажные поверхности. Такая погода проще всего подгоняется под ИРЛ работу света, вон ГТА5 с решейдом и HD текстурами выглядит как фильм во время дождливой погоды.
https://www.youtube.com/watch?v=cC0T4dhagZY
>революционность, скорость и наивысшее благо нанитов
А эти проповедники нанитов с нами в одной комнате?
>>906482
>это тоже в целом критиками нанитов опровергается по пунктам.
95% критики нанитов это ебатория откровенная, где сравнивают хуй с жопой придумав из головы свое удобное предназначение нанитов, которого у них никогда не было.
Наниты изначально преподносились как хуйня, которая должна упростить пайплайн ебли с 3д моделями для тяжелых крупных проектов, позволяя не заниматься всей поебенью традиционной с запиливанием артистами сотен и тысяч ссаных лодов для моделей вручную и прочим дрочем вприсядку. И сидеть в лоб сравнивать как на видосе выше в сценах на обоссаные несколько лямов полигонов с подготовкой как при стандартном пайплайне, это максимально тупорылая бессмысленная хуйня. Сами соломенное чучело придумали, сами сидят с ним воют так ещё и в максимально тупом виде.
Ну и предлагаю таким гениям посравнивать на сценках в примерно полтриллиона полигонов суммарно со всем освещением, анимациями и остальным набором всего что будет в реальный практических кейсах.
Мы же вроде про геометрию и лоды говорили изначалино. У тебя на видосе объекты/люди в 50 метрах появляются и дома в 100 метрах прогружаются из коробок рывками.
> вон ГТА5 с решейдом и HD текстурами выглядит как фильм во время дождливой погоды
Выглядит как всратый решейд без теней, но зато с выкрученным скрин-спейс амбиент оклюженом, вытекающим чёрными пятнами из всех углов.
> А эти проповедники нанитов с нами в одной комнате?
Нет, но поданриальная макака точно в этом треде.
> это максимально тупорылая бессмысленная хуйня
Такое можно сказать про попытки впечатлить притащенной технодемкой из дефолтных ассетов с местами крайне унылым визуалом, и отсутствием теней, но с претензией на демонстрацию чего-то прорывного. Еще и обижается на это, во рофел. Чел, воюешь здесь только ты, всем похуй.
>Такое можно сказать про попытки впечатлить притащенной технодемкой из дефолтных ассетов с местами крайне унылым визуалом, и отсутствием теней, но с претензией на демонстрацию чего-то прорывного. Еще и обижается на это, во рофел. Чел, воюешь здесь только ты, всем похуй.
Я не анон что демку постил. Это раз.
Два, не стреляйте из пушки по воробьям. Наниты не про то чтобы рендерить сцены с количеством геометрии уровня кот в лоток нассал и у них есть очевидный "upfront cost" и порог после которого их использование начинает иметь смысл и позволять рендерить ебанутую геометрию без потери производительности до нуля, которая будет на стандартных всех техниках. Сраные 2/5/10/15 и даже 100-200 лямов полигонов на сцену это и близко не он.
Это скорее интересные факты, чем повод посраться.
Олсо. Прогрузка лодов и у тебя на видосе видна. Как 1-2 машинки припаркованные вдруг появляются.
При этом машина для такого нужна наверное раз в 10 мощнее. И все равно мало.
Так изначально посыл лишь про то что наниты - одна из технологий со своими плюсами и минусами, к которой применимо не только восхваление но и критика, а не единственная вершина всего.
> без потери производительности до нуля
Еще бы это увидеть в игоре.
> технодемкой
Есть и не технодемки, в отличии от твоих фантазий, наниты уже в играх есть. Пикрил выглдяит как пререндер, хотя это просто релтайм графон в 60 фпс.
>>906556
> При этом машина для такого нужна наверное раз в 10 мощнее.
Это был просто видос из демки матрицы с PS5, ничего особого нанитам не нужно, всё это на текущих консольках работает без проблем.
>одна из технологий со своими плюсами и минусами, к которой применимо не только восхваление но и критика
Эти все восхваления и критика как обычно в подавляющей своей части это словесный дроч на реддите, форумах и видосах. Те, кому не шашечки, а ехать и реально какие-то проекты делать, прочитают нормально документацию, подумают полчаса, поймут что это довольно новый инструмент с такими вот ограничениями, такими профитами, в таком вот состоянии текущем, и или будут юзать в соотв. с документацией, или не будут потому что он им вообще не нужен или пока не нужен. Остальное на 90% классическое пиздеть не мешки ворочать.
>Писать код самому и показывать положительный пример.
А нахуя мне тогда рандомы, если я сам всё напишу?
>>906366
>Нужно конечно, а кто хочет лучше переделает под себя.
Такая себе идея, конечно.
>>906461
>Наниты никогда не были про производительность, они про качество.
А где качество? Графон уровня гта 5 с парой шейдеров.
>На лодах сопоставимое качество просто невозможно
Так можно без нанитов хуйнуть всю геометрию в сцену. Ещё и быстрее окажется, чем 50 фпс с нанитами.
>нужна ебанутая шина и горы RAM чтоб гонять качественные лоды по памяти
Ты прикинь, если справку почитать - окажется, что наниты гоняются по памяти. Это стриминг с диска. Со всеми теми минусами, которые ты для лодов перечислил, только х10, потому что наниты жирные, что пиздец. Вместо статтеров в движении будут статтеры при вращении камеры, как в демке матрицы. Охуенно же.
Мы уже поняли что ты оче болеешь этой темой, скоро вырастешь и станешь игровым разработчиком которого заменят нейросети. А текущая реальность такова что про графен мыловарен, "нативные 8к/4к 60/120 фпс" и наниты в частности не шутил только ленивый. И ты уже оперделись, это про скорость, про удобство, про качество, а то по отдельности одни опровержения или нытье "вы не так используете".
>>906584
> словесный дроч на реддите, форумах и видосах
> поймут что это довольно новый инструмент с такими вот ограничениями, такими профитами
Все так
> только х10, потому что наниты жирные, что пиздец
Чел, с лодами ты фактически хранишь 5 копий одного меша разного качества, у нанитов на практике сильно меньше потребление памяти, буквально в разы. И сам размер ассетов сильно падает с ними, вот тот город с видоса весит 10 гигов, его можно просто в RAM хранить весь.
Как нанитный меш может весить полгига в одно ебало, так и ассет с лодами весить столько же. Это всё вообще параллельная друг другу залупа.
>вот тот город с видоса весит 10 гигов
Неужели ты ещё не понял, что пиздеть бесполезно? Город с видоса весит 21 гигабайт. С лоуполи модельками строений и буквально одной моделью машины. Такая демка должна весить максимум гигов пять, с лодами, тесселяцией и т.д. Ой, прости, забыл. Анрил же не поддерживает тесселяцию - она работает слишком быстро и имеет хардварное ускорение.
> С лоуполи модельками строений
Лол. Мне и скринов с плойки не жалко.
Алсо, собака лает, караван идёт - каждый апдейт всё новые технологии завозят.
https://www.youtube.com/watch?v=WpnYqJsh-Dc
https://isl-org.github.io/PhotorealismEnhancement/
Сегодняшний огромный рисёч тренд это темпорально стабильный нейрорендер тегированной лоуполи геометрии, наблюдайте завтра на ваших пеках. Потому что в отличие от всех этих нёрфов с гауссианами там не надо переделывать весь пайплайн, с этим будет и ворлдспейс и свет/отражения и всё остальное, можно использовать имеющиеся движки на 90%.
>локальные языковые модели тхреад
Со сканами всё намного проще. А твоя старая херня слишком прожорливая, в реалтайме такое никогда не запустить.
https://gsplat.tech/excavator/
https://gsplat.tech/garden/
На скринах графон уровня гта 5. Или даже хуже, бампа вообще нет ни на одной поверхности, ни шероховатостей, нихуя. Ровный плоский пластик. Насколько же жирные наниты - во всей демке модульная архитектура и уникальных строений 24 штуки. И это дерьмо весит 21 гигабайт. Страшно представить, сколько терабайт весило бы что-то уровня RDR2.
>всё новые технологии завозят
А старые, которые быстро работают - выпиливают. Путь долбоёба, хули.
>>906701
Странно выглядит на самом деле, с зелёным фильтром слишком мыльно, но где погода солнечная - всё окей. Разве что дымку стирает в ноль и капли дождя квадратные. Они, вроде, так и не выложили чекпоинты и дропнули всю разработку.
>А твоя старая херня слишком прожорливая, в реалтайме такое никогда не запустить.
Она литералли пёрла реалтайм на 2х980 с видео в качестве исходника. 4090 её уже свободно в реалтайме потянет, вместе с игрой. Там проблема в другом, её каждый раз обучать с нуля надо, фундаменталку хуй запилишь, а ведь надо ещё рендерить тренировочный футаж реалистичный, если хочешь под стиль подстроиться, там в общем затрат как у голливудского кино.
>>906739
Они просто тренили на хуёвом разрешении, и образцовое видео снимали в Австрии, в результате им нейронка починила американские дороги и превратила машины в Ауди и БМВ, лол. А так подход рабочий, но требует ещё допила чтобы это рентабельно было.
По итогу это через два сообщения залупилось и мысли и планы были всегда одни и те же, лол.
А самое смешное что даже после отключения квик реплея - скрипт все равно срабатывает выдавая то же самое но при этом уже нет ответа чара.
Я ебал.
> бампа
Уже давно не нулевые, чтоб он был где-то. Везде давно PBR. Держи плитку на дороге с прорисованными стыками.
Гауссианы это что-то типа фото, но 3Д. Они слабо юзабельны для геймдева, т.к. слабо совместимы с интерактивом, только в нишах юзабельны. А тут у тебя обычный лоуполи из примитивных коробок, помеченных "машина", "пальма", "хуман" и т.п., так что все премудрости движков, от коллижена до рейтрейсинга, применимы.
>А нахуя мне тогда рандомы, если я сам всё напишу?
>банально 99% годных идей тебе даже в голову не придёт
Даже если забить на идеи. Ты напишешь что-то одно, рандомы - второе, третьё, пятое, десятое, т.к. ты один, а их много.
Забавное ощущение от этих скринов. Вроде бы выглядит где-то как фото, но есть какие-то части которые тут же рушат впечатление.
Хуй знает, как ты этого добился, мб сэмплеры в говне? У меня мысли персонажа постоянно развиваются в зависимости от ситуации, эффект на ролеплей положительный. При этом я гоняю на 12B модели.
Лет 7 назад это показалось бы крутым, а сейчас просто приличный графен, которого не получить от плойки без долгой ловли удачных моментов для запечатления. Не по адресу, здесь над хвастовством железками и графениумом чаще насмехаются ибо искушены.
>>906701
Вот это прикольно, где наши ии шейдеры? у хуанга Простая сверточная сеть из начала 21 года, и действительно создает эффект. Можно ведь исходный рендер подрезать (скорее разрешение) и уже сейчас устроить подобное в реалтайме.
>>906884
Правильно.
А то такое ощущение, что разговор идет о чем-то, чего никто не понимает, но свое охуеть какое важное мнение высрать обязан.
>Как думаете в теории сейчас можно запилить аналог переводчика Deepl?
Ну я попробовал towerinstruct-mistral-7b - что-то не очень. Даже инструкциям не очень-то следует и перевод посредственный. Сунуть его в сервер и давать запросы на перевод не получиться - это не специализированная сетка, а всё тот же мистраль, который в любой момент может отчебучить что-то своё. Если у кого другие впечатления и кто-то сделал свой сервер-переводчик - пишите как. Давно назрело.
На Ollame когда шастал по их опубликованным моделькам натыкался на такую в описании которой было написана, что она обучена переводить на 12 языков. Вот только не вспомню что это.
Вопрос железа.
Не файтюненные нормально под задачу сетки меньше 20-30b нихуя в нормальный перевод особо не могут по большей части, да и 70b не все могут.
Из того шо всплывает в памяти вроде aya-23 что то должно уметь, там разные размеры есть.
Если у тебя железо не пара-тройка 3090/4090, то берешь Cursor, берешь фришный апи groq, доебываешь в Cursor клод или жпт4о чтоб оно тебе писало шо тебе надо.
Ну типа большие ллм уже сама по себе может хорошо переводить, и даже учитывать контекст. Пишешь промт и простую обертку чтобы формировало запрос.
> через кобольд или таверну
Кобольд может выступать бэком, таверна фронтом, там можно выбрать апи переводчика и указать свой скрипт. Для кода сетку хз, так-то и гемма неплохо пишет, но в этом случае лучше клодыня.
Возможно ли как-то реализовать активацию скрипта по таймеру? Пришла идея сделать что-то вроде тамагочи. Если оставить включенным таверну с моделькой, то персонажу начнут осылаться какие-то полу-технические данные типа "прошло 3 часа, а анон-нейм все еще не ответил тебе, какие эмоции у тебя на этот счет?"
И с каждым сообщением накручивать градус.
Возможно ли вобще такое реализовать?
есть дополнение https://github.com/SillyTavern/Extension-Idle
скрипт привазываешь свой к этим сообщениям, вроде не сложно
Если учесть, что бамп входит в PBR пайплайн, то анрил просто не дорос до технологий нулевых? У тебя на скринах не PBR, а всратый пластик. Даже без AO и контактных теней, лол, эти левитирующие кондеи на крыше. Это выглядит всрато, это весит овердохуя, нахуй оно вообще нужно? И я напомню, это сделано из мешлетов, которые работают со скоростью 150 фпс на 1650. Как можно настолько обосраться?
>>906884
И из этих "много" аж один анон выложил скрипты для таверны. Я в треде не первый день и такое событие - редкость. Сам сейчас вот пилю автоматический генератор датасетов из аудиофайлов, кто это будет делать? Да никто. Здесь вот все ощущают энтузиазм по поводу мультимодалок, я же в них не верю пока что и скриптами наворачиваю обёртки вокруг нейронки, чтобы так расширять возможности системы в целом, а не отдельной нейросети. И что-то мне подсказывает, что это не слишком популярная затея будет, т.е по этой идее скриптов никто не напишет. А больше мне особо нихуя и не надо уже.
>>906975
В теории да. На практике - нет. Сетки хорошо знают один английский, иногда неплохо себя показывают в двух-трёх языках. У дипла их чуть-чуть больше.
>Сам сейчас вот пилю автоматический генератор датасетов из аудиофайлов, кто это будет делать? Да никто.
Как это никто, ты и будешь. Анону ведь что нужно? Анону нужно, чтобы модель голосом отвечала не как сейчас, а с выражением. С эмоциями. Ну и во время секс-сцен аутентично. Анону надо, а ты что - не анон что ли? Такой же как и все мы. Выкладывай промежуточные результаты, как минимум потестят, а может и подхватят ил помогут чем. Ну или можешь дожидаться, пока кто-нибудь где-нибудь когда-нибудь сделает. Но скорее всего не то.
>Выкладывай промежуточные результаты
Целый тред ленивое хуйло пытается агитировать работяг, чтобы всё ему приносили на блюдечке попробовать.
анон, можешь поделиться исходным кодом, буду очень благодарен~
>Как это никто, ты и будешь.
Буду. И другие аноны, которым нужно - тоже будут.
>Выкладывай промежуточные результаты
А их нет. Смотри, как это работает - мне нужно найти источники аудио, нарезать их. Нарезка работает идеально только на каких-нибудь подкастах, где участники говорят громко и по очереди. Раз этого нет, то приходится отслушивать процентов 80 от аудиоданных, выбирать нужное. Потом обрезка всего неинтересного из заинтересовавших файлов. Потом автоматическая аннотация. Чистка аннотации, вручную, с очередной прослушкой всех данных. Модификация нейронки. Трейн нейронки. Всё это дело нихера не быстрое. Собери яйца в кулак, сделай датасет, хули ты. Ты начнёшь, аноны подхватят и будет у треда своя TTS, ухх, заживём.
>>907211
Да я не против поделиться с тредом, просто тред тоже должен не сидеть дрочить простату. Ну или юзайте мультимодалки, ллм сама поймёт, какой тон должен быть и интонация.
>>907225
Неплохо. Забыл ещё радеон где-то сбоку и волосы в радиаторе.
>Собери яйца в кулак, сделай датасет
Сколько примерно часов нужно для трейна (дотрейна?) TTS?
Есть около ~10 часов записи одного голоса (+ещё ~30, но там фоном музыка играет). Этого будет достаточно? Готов потратить своё (возможно и не только своё, хех) время на это. Как вообще процесс делается? Преобразовать в текст с помощью какого-нибудь виспера, потом исправлять за ним (он так себе распознаёт, может есть что-то покруче для русского языка?). А вот дальше? Как там интонации растовлять и т.д.? Если не лень ответьте, если лень - направьте чего почитать на эту тему
Есть у вас что-то, что выдает аутпут на уровне клода? Сладко кумить хочется...
>просто тред тоже должен не сидеть дрочить простату
Какой-то анон перекатывает тред и следит за шапкой.
Какой-то пилит вики.
Какой-то принёс годную идею со скриптами в таверне.
Какой-то - свой нихуёвый сетап из 4 тесел, расписав как накатить такой-же.
Какие-то аноны делятся промптами.
Какие-то - моделями, скриптами, статьями, которые где-то нарыли.
Я пилю колаб и список моделей.
Конечно ты сейчас скажешь что это всё пыль под твоими ногами, но если бы не это всё, ты бы скорее всего вообще сюда не залетел, вот и думай.
>просто тред должен
Не твоя личная армия.
>>907201
>А больше мне особо нихуя и не надо уже.
Ни таверна, ни кванты, ни новые РП тьюны? хуя ты гигачед, в блокноте РПшишь?
А ведь это всё тоже пилится по большей части энтузиастами за нихуя.
мимо обладатель того самого радеона
> для трейна
Для претрейна сотни. Для тюна десяток уже хорошо.
>10 часов записи одного голоса
Дело не в голосе, дело в интонациях. Т.е чистая ровная речь нахуй не нужна, нужны именно эмоциональные реплики: ярость, разочарование, похоть и т.д. Что смешно, эмоциональных мужиков я нашёл за последнее время просто миллион, а женские голоса это либо давка голоса, либо пищание. Даже истерику подходящую найти сложно. Музыку с фона процентов на 70 можно убрать софтом.
>Преобразовать в текст с помощью какого-нибудь виспера
Да, виспер лардж. Я режу по фразам, до 10-15 секунд на файл, пачка wav. Потом текстовый файл в формате имя wav - расшифровка. Распознаёт, в целом, неплохо, но есть нюансы, так что без контроля получается хуйня.
>Как там интонации растовлять и т.д.?
А так же, как должна расставлять интонации LLM. Находишь теги, находишь токены для ударений, которые ещё не заняты и могут генерироваться моделями без танцев с бубном. Это не идеальная разметка, но наиболее удобная для использования с LLM.
>>907304
>Конечно ты сейчас скажешь что это всё пыль под твоими ногами
Да нет, это всё неплохо, молодцы, лол. Но я пользуюсь разве что тредом, так что ОП для меня самый ценный кадр из всех.
>Ни таверна, ни кванты, ни новые РП тьюны?
Таверну удалил, квантовать могу и сам, РП тюны не вставляют. ЕРП с коммандером, без Е с базовыми моделями. Серьёзно, эти тюны как из одного котла разливают, одинаковое поведение, одинаковая речь. С базовыми хотя бы манера речи отличается плюс-минус, а тюны видимо, и правда пичкают выхлопом клода или чего-то ещё, что они в итоге мимикрируют под одно и то же.
> Т.е чистая ровная речь нахуй не нужна, нужны именно эмоциональные реплики: ярость, разочарование, похоть и т.д.
Это всё есть в исходном файле, речь не ровная, с интонациями, с эмоциями. Хм, щас подумал что может наверное быть проблематичным, что в том аудио голос один, но она пытается озвучивать разных персонажей (в том числе и мужских) поэтому голос отличается
Хм, кстати есть ли какие-нибудь нейронки которые могут распознавать настроение по аудио-инпуту?
> Музыку с фона процентов на 70 можно убрать софтом
Пытался делать штуковиной встроенной в RVC. Музыку хорошо убирало, но страдало качество записи голоса, появлялись цифровые артефакты (как будто шумодав с дискорда или битрейт низкий)
> Смотри, как это работает - мне нужно найти источники аудио, нарезать их. Нарезка работает идеально только на каких-нибудь подкастах, где участники говорят громко и по очереди. Раз этого нет, то приходится отслушивать процентов 80 от аудиоданных, выбирать нужное. Потом обрезка всего неинтересного из заинтересовавших файлов. Потом автоматическая аннотация. Чистка аннотации, вручную, с очередной прослушкой всех данных. Модификация нейронки. Трейн нейронки. Всё это дело нихера не быстрое. Собери яйца в кулак, сделай датасет, хули ты. Ты начнёшь, аноны подхватят и будет у треда своя TTS, ухх, заживём.
Вспомнил прошлогоднюю свою еблю с лорами для SD, когда как ебаный аутист тратишь неделю сотню раз переранарезая и переразмечая вручную датасет на сотню другую пикч и сотню раз запуская трейн, пытаясь найти нужный набор из нескольких десятков параметров, чтобы к концу недели уже начать сходить с ума от запеченных на сетчатке пикч датасета и графиков лоссов. Ну нахуй.
> И что-то мне подсказывает, что это не слишком популярная затея будет
Почему? Все мультимодалки что представлены в опенсорсе и около того, это просто система из нескольких сетей, сшитых по входу-выходу. И подходы нужны общие а не конкретные.
В твоем случае иметь звуковой датасет и опыт обучения подобного - наоборот хорошо, а куда применить уже найдется. если бы сам упарывался обучением двуковых то присоединился бы, но тут точно есть кто занимается
>>907227
> Раз этого нет, то приходится отслушивать процентов 80 от аудиоданных, выбирать нужное.
Почему вместо отслушивания нейронки или алгоритмы не применишь? Далеко на ручной работе не уедешь тут, только на начальном этапе, или нанимать штат индусов.
>>907366
А ты вообще саму модель на какой архитектуре планируешь? Инициализировать мелочь с шумом, как в большинстве ттс, или, например, взять готовый dit от стабилити?
> Таверну удалил
Это довольно странно, ведь без нее или подобного инструмента нормальный рп не устроить.
>>907371
> кстати есть ли какие-нибудь нейронки которые могут распознавать настроение по аудио-инпуту
https://huggingface.co/models?pipeline_tag=audio-classification&sort=trending и еще может пригодиться https://huggingface.co/pyannote/segmentation
ну что же вы, анончики, перед тем как начинать что-то передовое нужно изучить уже имеющиеся инструменты и наработки и не стесняться спрашивать
>Это довольно странно, ведь без нее или подобного инструмента нормальный рп не устроить.
Таверну модифицировать под свои нужды ебаная боль. А базовый аналог с блекджеком и шлюхами под себя наклепать за недельку неспешного кодинга или ещё быстрее при содействии с гпт/клода можно
>но она пытается озвучивать разных персонажей
Да не, это норм.
>>907372
У меня обрезается больше частот, чем хотелось бы, становится тише, но, в целом, покатит. Можно вручную каждый файл обрабатывать, получается лучше, если выделить музыку без речи, а потом задушить её по всему файлу. Izotope так умеет, например. Это долго, но все мы живём на жёлтой подводной лодке, откуда деваться некуда.
>>907449
А ты выложил лору в SD тред?
>>907573
>это просто система из нескольких сетей, сшитых по входу-выходу
Этого ещё не пробовал. Пробовал запихивать оутпут вижн модели в LLM с подсказкой типа "это описание картинки, сгенерированное нейросетью, напишите отзыв для этой картинки от лица {{char}}". Нейронка пишет что-то типа "вау, какая интересная картинка. ЖДУ НЕ ДОЖДУСЬ УВИДЕТЬ ЕЁ ОПИСАНИЕ ОТ НЕЙРОСЕТИ". Ну ёбаны в рот. Скорее всего промпты не дожал или нужно было делать что-то вроде "Вы видите то-то и то-то на изображении". Плюсы - не нужно модить модели, нет привязок к конкретным моделям, можешь менять их когда захочешь и т.д.
>>907573
>Почему вместо отслушивания нейронки или алгоритмы не применишь?
Нейронка режет аудио, но если в момент конца реплики уже говорит кто-то другой или играет музыка - то случается фейл. Плюс меня интересует не всё аудио даже конкретного спикера, т.к пытаюсь сделать фокус на эмоциональных репликах, без ровной речи. Для подготовки в сумме используется 4 нейронки, но без прослушивания получается хуйня.
>А ты вообще саму модель на какой архитектуре планируешь?
Сейчас уже есть говорящий кастом, но без эмоций. Чекпоинт выкладывать смысла нет, я сам по полдня окружение для неё настраиваю, даже зная что делать. Потом или черепаха, или styleTTS. Были надежды, что силеро выкатит код для файнтюна, всё-таки самая быстрая ТТС. Но их понять можно, коммерция, ебать её в сраку.
>Это довольно странно
Да нет, почему. Соглашусь с аноном по поводу ёбаной боли. Вон, выше даже на кобольда жаловались, хотя казалось бы. А таверна далеко не такой беспроблемный софт, как он.
> Этого ещё не пробовал.
Всмысле? Сейчас все известные мультимодалки работают по простому принципу: изображение после препроцессинга отправляется в модель зирошот классификации (может быть с нюансами типа нарезки на много частей и т.д.), оттуда полученные эмбединги отдельной моделью кодируются в токены, которые уже поступают на вход ллм. Есть примеры стыковки по другим модальностям, но суть везде одна - стыкуются по границам с преобразованием в понятный формат при необходимости.
Что до того чтобы направить выдачу мультимодалки в другую сеть - затребуй от мультимодалки подробное описание в структурированном формате. А после перед тем как направить основной ллм это полотно, добавь инструкцию типа ({{char}} видит перед собой следующее: <vision> описание </vision>) обрамив содержание тегами. Не надо никакого "описания сгенерированное нейросетью", сбивает же только.
Разумеется, наилучшим вариантом будет вместо этой херни буквально слать токены пикчи, но сейчас нет мультимодалок чтобы ллм часть была достаточно хороша для рп, или адаптеров к умным (как и самой тренировки ллм), которые позволяли бы бесшовно так внедрять изображение в контекст. Даже у корпоратов это наблюдается не смотря на то что сетка единая, они прилично выполняют задачи связанные с картинками и рпшат по отдельности, но если пытаться провернуть что-то подобное то сразу тупят.
> но если в момент конца реплики уже говорит кто-то другой или играет музыка - то случается фейл
Сегментация аудио уже, оно определяет наличие разных голосов и музыки как по отдельности, так и при одновременном воспроизведении. А эмоциональность уже оценивать классификаторами. Да, чтобы все это реализовать нужно попердолиться гораздо больше чем отслушать короткий датасет, но на чем-то побольше и если заниматься много то сразу окупаются все затраты.
Раз у тебя уже 4 нейронки значит подобное должно быть реализовано, расскажешь почему не работает и что именно применял?
> Сейчас уже есть говорящий кастом, но без эмоций. Чекпоинт выкладывать смысла нет
Ну ты лучше расскажи на основе чего ее делал, как инициализировал, какой размер, что по тренировке, с какими подводными камнями столкнулся. Вот это прям дохуя интересно.
> даже на кобольда жаловались, хотя казалось бы
Ну а че казалось бы, в нем ничего нужного нету. Как минималистичный интерфейс - да, хорош, но это как ездить на голой раме с прикрученной табуреткой вместо современного авто. Таверна серит регулярно, но самая развитая. Ее удобно юзать для большинства взаимодействий, но а для всего остального уже самописное.
>А ты выложил лору в SD тред?
Некоторые кидал, уже и из тредов проебались и сам поудалял, тройка недоделанных на цивите были, с пару десятков дальше моего компа и пары знакомых не уходили.
>>907655
> Нейронка пишет что-то типа "вау, какая интересная картинка. ЖДУ НЕ ДОЖДУСЬ УВИДЕТЬ ЕЁ ОПИСАНИЕ ОТ НЕЙРОСЕТИ". Ну ёбаны в рот. Скорее всего промпты не дожал или нужно было делать что-то вроде "Вы видите то-то и то-то на изображении".
Делал такое, тут вопрос дрочки с промптами и структурой того как подаешь в контекст описание что пикч, что тексты документов, etc., которые при смене моделей ещё доделывать под каждую приходится. Лучше всего выходило, когда превращал весь контекст в сплошные жсоны/xml, это вообще для ТГ-бота было с наворотами вроде управления группой по своему желанию, чтения документов/картинок/ссылок, COT, возможностью не отвечать, если персонаж не хочет и прочим блекджеком, шлюхами и function calling.
Но с этим большая проблема на мелких сетках, не вывозят одновременно осиливать сложные структуры и нормальное общение, начиная или забивать на инструкции промпта, или тупеть, приходится выдумывать и городить цепочки из агентов отвечающие за разную хуйню и прочие извращения которые везде уже впрочем в продакшне
Ну и до сих пор проблема с локальными мультимодалками. Или очень тяжело для домашнего железа, или очень тупое.
>добавь инструкцию типа ({{char}} видит перед собой следующее: <vision> описание </vision>) обрамив содержание тегами. Не надо никакого "описания сгенерированное нейросетью", сбивает же только.
>
This.
Тут часто забывают насколько по очевидным причинам ллмки хорошо часто жрут структурированную по каким-либо схемам инфу.
> Даже истерику подходящую найти сложно. Музыку с фона процентов на 70 можно убрать софтом.
Может ее из фильмов озвученных брать?
Брать где-нибудь дорожку не сведенную с фоном, например. Или контрналожением минусовать ее с озвучки попробовать.
База.
>>907366
> Да, виспер лардж.
Турбо существенно лучше медиума по качеству, но сопоставим по скорости.
Если много, можно его.
Здравствуйте, только из пещеры вылез.
Скажите пожалуйста, а читалки текстов, книг и т.д. с ИИ уже есть?
>оттуда полученные эмбединги отдельной моделью кодируются в токены
Звучит, как хуйня. Понятно тогда, отчего они не очень.
> добавь инструкцию типа ({{char}} видит перед собой следующее: <vision> описание </vision>
>нужно было делать что-то вроде "Вы видите то-то и то-то на изображении"
Ну я примерно так и думал. Но сразу не сделал, а сейчас уже не помню, какую сетку пробовал. Мне одна конкретная понравилась, лол, потом буду искать именно её и делать с ней.
Но это не в приоритете пока что.
>Сегментация аудио уже, оно определяет наличие разных голосов и музыки как по отдельности
https://huggingface.co/pyannote/speaker-diarization-3.1
Вот это для сегментации пробую. Работает хуёво. Точнее как, оно, видимо, на какие-то подкасты ориентировано, потому на более сложной информации фейлит. До этого было хорошее качественное аудио, а сейчас приходится дёргать "зашумлённый" звук, на котором оно серит.
>чтобы все это реализовать нужно попердолиться гораздо больше чем отслушать короткий датасет
На пике короткий датасет, который я прослушивал минимум 4 раза весь. Есть ещё один плюс-минус такой же, но вообще не обработанный, не трогал пока, т.к в нём мало эмоциональной речи.
>Ну ты лучше расскажи на основе чего ее делал, как инициализировал, какой размер
Да в прошлом треде писал же, VAE, hi-fi gan и генерация спектрограмм. Общий размер около 2b. По тренировке особо ничего интересного, собираешь датасет и пошёл вперёд. Первые опыты начались около года назад, ещё в fp8, с тех пор мучаю чекпоинт, который в районе 50 эпох от оверфита, при не слишком большом lr, конечно же. Ближе всего это к styleTTS по внутрянке. По крайней мере, так мне кажется - я не изучал все существующие ттс.
>>907737
>Или очень тяжело для домашнего железа, или очень тупое.
Ну я точно бинго соберу, и очень тяжело, и очень тупое.
>>907763
>Брать где-нибудь дорожку не сведенную с фоном
А можно сразу взять где-нибудь готовую нейронку. Знал бы только, где это всё брать - сразу бы и взял. Скорее всего начну подмешивать мужиков, не идеально, но если будет не больше четверти, должно стерпеть.
>>907792
>существенно лучше медиума по качеству, но сопоставим по скорости.
Как таковых претензий к качеству нет. Главная проблема в пунктуации, которую он ставит по правилам, а не по аудио. Я убираю всю пунктуацию там, где нет пауз, чтобы нейросеть не начала их игнорировать везде. И это одна из причин, почему нужно прослушивать и редактировать практически всё, что он расшифровал.
>>907849
Так это голосовые нейросети как раз и есть. Text to speech. Тут вообще рядом cпециальный тред есть про них , я всё жду, когда мне скажут пиздовать нахуй туда. Если нужна быстрая озвучка без заёбов, то бери силеро. У него существенный минус только один, нет возможности менять голоса, только зашитый разработчиком изначально.
> Знал бы только, где это всё брать - сразу бы и взял
Торренты? Там же есть релизы где дорожки отдельно идут. Да и из видеофайла их всегда можно вытащить.
Нужно только подыскать фильмы где музыки не очень много. Или во время разговоров ее нет.
https://www.kinopoisk.ru/lists/m_act%5Bkeyword%5D/5075/
https://yandex.ru/q/cinema/638370561/
>Так это голосовые нейросети как раз и есть. Text to speech. Тут вообще рядом cпециальный тред есть про них , я всё жду, когда мне скажут пиздовать нахуй туда. Если нужна быстрая озвучка без заёбов, то бери силеро. У него существенный минус только один, нет возможности менять голоса, только зашитый разработчиком изначально.
Спасибо!
> Звучит, как хуйня.
Не то чтобы есть много альтернатив. Пикча кодируется в токены и они идут на вход вместе с промтом. Другие варианты требуют изменения самой схемы работы ллм, использование дополнительных входов, которые будут обрабатываться, как-то увязывать это с имеющейся схемой работы и т.д. Да еще и в таком случае не совсем понятно как работать с несколькими изображениями.
> а сейчас приходится дёргать "зашумлённый" звук, на котором оно серит
Почистить от шума с начала, или же натренить ее на твои данные? Раз уже что-то сам нарезал то и датасет уже имеется, в репе у них даже примеры готовых блокнотов для тренировки есть.
> На пике короткий датасет
Сложно оценивать много это или мало, если стерео wave без сжатия то 4-5 часов получается. Для ттсок заявляли десятки.
> Общий размер около 2b
Это весьма нихуево так, типичные ттски в десятки раз меньше, зачем так много сразу?
На фп8 ничего не натренится, даже использование 16бит в градиентах приводит к ряду проблем, для которых свои костыли разрабатывают, типа апкаст диапазона или наоборот стохастическое округление для снижения дискретности.
Также есть некоторая корреляция между необходимым объемом датасета и размером модели, чтобы оно имело смысл. В твоем случае точно стоит начать с размера хотябы раза в 3-4 меньше. И тренить с таким количеством что
> в районе 50 эпох от оверфита
как правило оче неоптимально, столько эпох не нужно. Расширяй датасет, применяй аугументацию, оптимизируй шедулер чтобы обеспечить падение с которым не будет оверфита.
Не думай что критикую, просто подсказать могу только указав на явные недочеты в общих вещах а по конкретике со звуковыми сетками хз.
А проц загружен наполовину. Киберпанк чуть больше потребляет.
Хотя вроде 3.5 токена, что ну вроде терпимо. Вряд ли сильно больше получу.
Модель мистраль 24b Q4.
>я всё жду, когда мне скажут пиздовать туда
Единственный активный "технотред" на доске. Лучше пусть локальщики со своими юзлес локалками пиздуют))
Как работает войс в гпт? Та хуйня гугловская, очевидно, обычный тупой ттс, просто хороший. Гпт же может, если ее пробить, генерировать (НЕ ГОЛОСОВЫЕ) звуковые эффекты, не говоря уж о всяких стонах и ахах, + может петь. Был баг, когда она начинала говорить голосом юзера. Значит у нее и на входе не тест. Может быть они сделали файнтюн на чисто звуковых токенах, ибо как иначе объяснить протечку голоса юзера, как не то что у нее полноценные звуковые токены в контексте плавают?
Но это выглядит как хуйня, ведь она и текст воспринимает. Чистая мультимодалка без прослоек? С прослойками не понимаю как голос то протечь может.
>видеокарта чуть ли не простаивает
У ней шина памяти под завязку. Хули ты хотел от 12 гиг, да ещё и на 192 битах?
>>908160
>Чистая мультимодалка без прослоек?
Да, хули нет то. Поэтому и ебёт.
>А это нормально, что видеокарта чуть ли не простаивает?
Для Лламыспп и производных да. Вызывает ощущение, что и генерация и обработка могли бы быть быстрее, верно?
> Чистая мультимодалка без прослоек?
Не то чтобы это совсем невозможно, но в чмоне и прочих 99.9% дефолтная реализация. Какбы dit можно использовать не только для генерации изображений, но и для звука. От стабилити есть претрейн, который вполне себе работает и способен делать всякое, но натренен плохо и с речью слабо. Обучить ее и уже можно будет хоть напрямую токенами из ллм с мелкой разметкой + дополнительным промтом кормить. Или немного полирнуть совместной тренировкой ллм + звуковую диффузию и даже разметок не нужно, "звуковые токены" напрямую идут из ллм в дит и там генерируются в нужное. Но скорее ситуация как с далли и генерацией пикч и там просто в гопоте спецтокен вызова трансляции промта в синтезатор.
> С прослойками не понимаю как голос то протечь может.
Что?
>Не то чтобы это совсем невозможно
Только вот на неделе Emu3 дропнули стокенизацией текст-пикчи-видео, а всем итт похуй как обычно на что-то новое интересное, 2 поста на всю доску.
https://emu.baai.ac.cn/about
https://arxiv.org/abs/2409.18869
https://github.com/baaivision/Emu3
https://huggingface.co/collections/BAAI/emu3-66f4e64f70850ff358a2e60f
Ммм, люблю запах еще неостывшего sota по утрам. Анончик как всегда доставляет, лучший.
> 2 поста на всю доску
Да потому что хуета, которую запускать - пердолинг, и результат - говно. Лучше бы новый ког-вижн или их видеомодель обсуждали.
Сразу можно отметить что ужатие пиксельной пикчи идет в ~1.5 раза сильнее чем в 4х-канальных vae SD, от которых сейчас отказываются в пользу 16-канальных. Это уже говорит о серьезном дропе качества изображения. Генерация 1мегапиксельной пикчи - 16к токенов. Шакалы 512 - 4к токенов, более реально, но скорость все равно ужасающая. Зная эти 2 факта уже возникает вопрос о каком там вообще сравнении с XL может идти речь? Как они достигли высоких оценок юзерскора в целом в статье описано.
Раз тут ллм то промпт она должна воспринимать превосходно, однако даже в их тестах проигрывает далли, что несколько странно.
Чтож, пример кода из репы после пары пинков заводится на актуальном торче и фа2 с уже имеющегося вэнва. За 32битные веса в репе заслуживают отдельного поджопника Во время генерации кушает чуть меньше 20гигов врам, постепенно поднимается до 24, и далее во время декодирования (?) подскакивает до 42. На чуть более медленном но жирном аналоге 3090
> a portrait of young girl.
из примера пришлось дожидаться минут 10 real: 8m42,126s, пик1.
Видим серьезные артефакты вае и шумы вперемешку с мылом на волосах в попытке накинуть детализации выжимая камни.
Бонусом - ставшие классикой девушки на траве, уровень!
Ничего иного и не ожидалось, это мертворожденное нечто, которое априори не может работать хорошо. Пока тот самый "единственно нужный" процесс предсказания токенов, в котором 99.(9) расчетов выкидывается в мусорку, не будет изменен - так и будет.
А ведь можно не мучать жопу, а ужать ллмку до 2-4б (или оставить большой), выдачу сократить до 512 токенов (эстетам можно и 768-1024), йоба ган заменить на dit с размером 2-4-...б и получится... хорошая крутая модель, которая может все и лучше, и быстрее и без подобного анального цирка. Кто мог подумать.
Завтра попробую как она с распознаванием дружит, наверно это единственное что может серьезно бустануться от подобного подхода, ну и может какие-нибудь очень сложные промты в комбинации с подачей картинки на вход закину. Что-то уровня тыканья палкой в труп
>>908363
Есть некоторый шанс что оно в 4 битах бнб запустится, вот только зачем?
На жопной гари с ценников видях.
Я просто к теме обсуждения докинул.
Ну и немного в очередной раз погореть, что на потенциально перспективные интересные штуки тотально кладётся хуй начиная с двачей и реддита, заканчивая топ конторами, которым интереснее сейчас в хвост и гриву ебать одни и те же концепции по кругу заливая говноданными и датацентрами на гигаватты потребления пока эта кобыла не сдохнет.
Причем самое смешное та же мета полностью токеновый хамелеон тогда делала, но по какой-то всратой причине и "safety" положила хуй. Не удивлюсь, если внутри у себя там не положили и потом просто без всякого опенсурса чисто для коммерции себе доделают.
Ну просто представь. Есть SD. На который есть трилиард лор, с ним все умеют работать, у людей куча воркфлоу собрано на макаронах.
А теперь появляется какая-то ГИГА-ОХУННАЯ-МОДЕЛЬ-С-КАЧЕСТВОМ на которую всем похуй, потому что она не умеет делать Луну с сиськами восьмого размера и метровым хуем.
> на потенциально перспективные интересные штуки
Где? Может для васянов романтиков от мира ии в мечтах это действительно выглядит круто, вот только априори нежизнеспособно. Топ конторы понимают это как никто другой и потому не выбрасывают на них время. Может быть там какой-то побочный эффект и получится, например с тем же распознаванием, но подобная "мультимодальность" нахуй никому не сдалась.
Как можно не понимать этого? Приводя аналогии, это то же самое что если бы у человека вместо имеющихся глаз был орган с углом обзора в половину телесного градуса и жестким мышечным блоком, который неистово и постоянно дергал бы его сканируя линию за линией.
> Топ конторы понимают это как никто другой и потому не выбрасывают на них время.
Те самые топ конторы вроде меты, которые готовы въебывать уже миллиарды вечнозеленых в брутфорсовое наращивание датацентров чтобы кормить всё большие модели на одних и тех же архитектурах муорным говном и генерациями жпт вместо нормальных данных? Вроде клозедаи, у которых вместо нормального токенизатора в 2024 году до сих пор кривая хуетень с целыми токенами для фраз с спамом про японскую порнуху переведенные с китайского?
Понимаешь, довольно удобно сидя и попердывая в кресле рассуждать о том, какие же _корпоратнейм_ дебилы, они только и могут "брутфорсить" и "глупо наращивать". Вот если бы я встал у них во главе, то точно бы направил их в нужное русло, ух!
Одно дело - серьезная конструктивная критика по пунктам (которую там они могут и сами понимать и уже преодолевать) а другое - строить из себя умника, который в лучшем случае в качестве аргументов доебывается до какой-то мелочи, которая не играет серьезной роли.
Какбы тебе никто не мешает действовать, бери и тренируй, реализуй, показывай, с зарплатой специалиста аренда доступна. Или сразу устраивайся куда-нибудь. А то на словах тут каждый у себя на заднем дворе термоядерный синтез запускает, а в реальности может лишь кряхтеть-пердеть и страчи устраивать.
>которую там они могут и сами понимать и уже преодолевать
Ох бля я бы рассказал какие интересные вещи и персонажи там бывают из того что знаю от других персонажей из этих же топ контор, но это потенцевальный деванон и под устным NDA под честное пацанское. Без пруфов хуй и всё по списку, знаю, можешь не писать.
С остальным спорить не буду ибо согласен, хуле. Предыдущие посты как конструктивную критику и не заявляю собственно, щитпост как он есть.
По Emu3 и датасеты, кстати, у них там тоже, конечно, очередные попытки из говна, палок, остоебенившего лаиона с остоебенившими аестетик скорами и обильно смазав это всё жпт собрать что-то нормальное, держут планку индустрии, как всегда говно.
>Какбы тебе никто не мешает действовать, бери и тренируй, реализуй, показывай, с зарплатой специалиста аренда доступна. Или сразу устраивайся куда-нибудь. А то на словах тут каждый у себя на заднем дворе термоядерный синтез запускает, а в реальности может лишь кряхтеть-пердеть и страчи устраивать.
Да тут срачи не устраиваю давно уже, тут один хуй ничего нового не происходит уже хер знает сколько, а по кругу обсуждать одни те же вещи и идеи подзаебало, сейчас вот чуть порвался только.
>>908364
>Как они достигли высоких оценок юзерскора в целом в статье описано.
Вот до этого в статье не добрался ещё, увидел только вот уже ночью вообще сам случайно реддит ковыряя, какие на этот раз цыганские китайские фокусы? То что наебали напиздюнькали и так понятно сходу как обычно было и без статьи.
Остальное бы пообсуждал без срача, но уже спать нахуй надо, днём может отвечу ещё.
Если описание есть значит дохуя важный.
@
Описание спизжено откуда-то.
@
Профит!
>Анонас, какую модель посоветуешь под ассист кодомакакингу?
Любую корпоративку. Кстати скиньте список доступных из РФ без прокси. Не то чтобы это было проблемой, но не помешает.
А кодить с помощью маленьких локалок такое себе.
>Что?
Какой механизм протечки звука в гпт? Там точно есть прямо в контексте токены со всей нужной для натягивания звука на текст информацией. И она как-то может форматлупнуться на них и начать говорить твоим голосом.
То есть токены там одни и те же для входного и выходного звука. И еще при том что она фулл звуковые эффекты делает, не понятно, как это все в контекст влазит.
Да вытащить-то как раз не сложно. Только это не "дорожка не сведённая с фоном".
>>908057
>Раз уже что-то сам нарезал то и датасет уже имеется
Обучать резалку резать, имея в качестве датасета студийный звук - сработает только для нарезания студийного звука. Я уже теряю веру на самом деле, что затея выгорит, с такими всратыми данными, чищу уже каждый файл вручную, блядь, чтобы хоть чуть-чуть повысить качество и компенсировать этим количество.
>Сложно оценивать много это или мало
Сейчас бы ттску на стереозвуке тренировать.
> типичные ттски в десятки раз меньше
Да нет, сейчас ттски идут в районе 1-1.5b суммарных параметров, если учитывать все компоненты. На fp8 всё прекрасно тренится, просто тогда у меня было более жёсткое ограничение по vram, сейчас fp32 и тоже всё прекрасно работает. А размер датасета, ну, это файнтюн всё-таки. Ему не обязательно быть ебанистического размера.
>>908160
>как иначе объяснить протечку голоса юзера
Ну, например, голос юзера используется для подстраивания генератора под эмоциональный окрас? И протекает в ТТС чуть-чуть больше, чем надо. Пение самое интересное из всего. Стоны, ахи, хрипы - были давно.
> Яндекс?
А у него есть какие-то анальные ограничения/обязательная подписка? Или просто сдал мазок товарищу майору и пользуйся сколько хочешь?
>Яндекс?
Зашёл на ya.ru, перешёл на этот их YaGPT-2 и попросил написать пример кода на C#. Отказ: "Я не могу. И вообще в программировании помочь не могу." Весь этот Яндекс - хуйня какая-то.
Ну то есть понятно, я не абстрактный пример просил, а дал задание. Не хочет.
>А у него есть какие-то анальные ограничения/обязательная подписка?
Кроме товарища майора, нет.
>>908416
Так то это рофл был. Яндексу Гемма 27В легко за щеку даст, да даже Мистраль Немо пожалуй причём в русском
А коропоративных сеток без ВПНов по факту нет. У меня недавно Копилот, на котором я код писал, отвалился, даже с ВПНом, ХЗ теперь где кодить.
Нет хуевый инглиш не потому что у меня хуевый, а дрочьба с проверками шизы модели не спрашивайте нахуй почему
Не, не он. В таверне просто тестирую экспериментальную ебанину для бота, ибо быстрее, в котором много такой же ебли с формированием промптов.
Да есть пока нормально не оформленная идея запила адской смеси CoT + стейт-хуни перса вроде той что на скрине с суммаризацией событий и сорт оф процедурной памятью + function calling и в добавок ещё структурированное прокидывание инфы в контекст, а сверху это ещё разными приколами обмазать. Пока просто различной сложности варианты штук по отдельности гоняю на моделях разных размеров наблюдая где, как, когда и насколько деградация начинается. Да, я ебанутый.
Охуенно, удачи тебе с этим делом, держи в курсе, анон.
Если не забью охуев от количества работы.
Скорее всего по итогу что-то хотя бы наполовину близкое к перечисленному вряд ли нормально полетит на моделях меньше 100b, на самом деле. Но может в процессе отдельные штуки какие полезные выяснятся.
Ты жопочтец. =)
Турбо лучше медиума, а ты пихаешь лардж.
>>907861
https://www.youtube.com/watch?v=blE2Dm9SORE
https://huggingface.co/bond005/FRED-T5-large-instruct-v0.1
Моделька заточена в том числе на расстановку пунктуации.
Сегодня случайно наткнулся в чатике https://t.me/speech_recognition_ru
>>908158
Выгрузил на оперативу.
Видяху чекай лучше в GPU-Z.
>>908420
> да даже Мистраль Немо пожалуй причём в русском
Полагаю, что да, вчера искал результаты MMLU ru, но не нашел и забил на сравнение.
>Ты жопочтец.
В глаза ебусь, да. Почему-то на автомате распарсил медиум как лардж.
>что-то хотя бы наполовину близкое к перечисленному вряд ли нормально полетит на моделях меньше 100b, на самом деле.
А там оно не очень-то и нужно. Было бы куда интереснее запилить усилитель для больших, соображающих моделей. Надо бы подумать, что должно туда входить. А вообще любопытно было бы сказать модели: вот у тебя есть думатель, мотиватор и потребности. Примени это всё к текущей ситуации. Визуализировать не надо, просто делай так, словно всё это у тебя есть :)
>А там оно не очень-то и нужно.
Ну там понятно, что icq у моделей уже начинает хватать чтобы приемлемо по сплошному тексту диалогов/действий/событий осиливать многое. Но и CoT'ы одни голые на самом топе могут сильно бустить вещи, а вот как более комплексные приколы будут влиять уже вопрос, конечно, надо сидеть и долго тестить записывая в блокнотик.
>А вообще любопытно было бы сказать модели: вот у тебя есть думатель, мотиватор и потребности. Примени это всё к текущей ситуации. Визуализировать не надо, просто делай так, словно всё это у тебя есть :)
В плане на каждом "чат комплите/сообщении/whatever" просто текстом без структурирования или в начале РП?
>Приводя аналогии, это то же самое что если бы у человека вместо имеющихся глаз
Ну, на деле твоя аналогия больше верна, чем нет, лол. Прочитай про саккады.
>>908384
>неправильные прописаны
Их там несколько версий. Прописаны скорее всего для самой первой.
>>908399
Локалка на 3B и то лучше будет, даже в русском, лол.
>Их там несколько версий. Прописаны скорее всего для самой первой.
И в них всех проебано, что должен быть BOS <s> перед самой первой инструкцией.
И это же, кстати, напроебывала куча файнтюнеров, а ещё большая как обычно натюнила и намерджила вообще параши проебав темплейты наглухо.
Все хуй забили, а ты сиди потом спички считай и гадай почему что на ориг моделях, что на куче тюнов и мерджей какого-то хуя вылезают косяки. Охуенно.
>>908170
Я просто в первый раз запускаю, и поэтому без понятия.
>>908567
>Выгрузил на оперативу.
Я использую кобальд цпп. Там есть пункт " выгрузить слои на гпу". А как понять ,сколько вссего слоев то? Только опытным путем, уже запустив? Запустив я нашел цифру 57.
И как я понял ,контекста в этих слоях нет ,и он считается отдельно?
>А как понять ,сколько вссего слоев то?
В консоли высирает все данные модели.
В 95% в гуе кобольда вручную ебаться смысла нет ибо авторасчет количества слоев для выгрузки есть, но он работает как надо только если ты выбираешь модель в самую последнуюю очередь после того как всё влияющее на память выставил.
>что должен быть BOS
BOS токен добавляется на стороне бекенда, всегда.
>какого-то хуя вылезают косяки
Потому что сами ЛЛМ косячны, лол.
>>908678
>А как понять ,сколько вссего слоев то?
Кобольд сам выставляет, но я вычитаю парочку, так как он слишком оптимистичен (раньше было ровно наоборот).
>И как я понял ,контекста в этих слоях нет ,и он считается отдельно?
Да. Можешь потыкать ползунок контекста и посмотреть, как меняется автоматически высчитанное число слоёв.
>Чтобы что?
Чтобы показать, что после анального захвата они ещё что-то могут. Правда показали, что не могут нихуя, ну да ладно, не первый обсёр в истории человечества.
Не, ну это понятно.
Вопрос скорее о том нахера вырезать уже существующий внутри функционал? Написать код, или попытаться его написать, сможет любая публичная LLMка. А тут прям вырезано.
Я кстати вспомнил, что тоже пробовал их YaGPT, все мои пробования закончились на моменте когда я попросил что-то, а она ответила "я не умею"
Ебать, ну ты даже не пытаешься. Мне же не надо экспертное мнение, просто выдай что можешь и все.
Нахуй мне твои сказочки с сочинениями, все равно ты там слабая пиздец.
Просто умей делать рутинные задачи и тобой будут пользоваться. Брать подписку для фич или брать общую вот эту их Яндекс+.
Хуле они там такие долбоебы на управленцах. Свою политическую цензуру могли бы навстраивать туда сколько угодно, я не новостной канал веду, мне нужно решать обычные прикладные домашние задачи.
> какие интересные вещи и персонажи там бывают
В целом это везде так уже сколько насмотрелся. Какой-нибудь начальник - добоеб, который в ущерб всему двигает свои хотелки, скользкий проходимец, который пытается быстро получить мнимый успех в ущерб перспективам, или что-нибудь еще подобное. Однако, как правило это носит больше локальных характер, если смотреть крупнее то все не так плохо, а главные бухтельщики - лишь неудачники и глупцы, которых все брезгуют привлекать даже конкуренты. Исключения редки.
> Да тут срачи не устраиваю давно уже
А зря, лол.
> Вот до этого в статье не добрался ещё
Да там все примитивно, составили 100 правильных промтов и делали "слепой" тест, в котором сразу можно угадать где какая модель по общим признакам. Проходили его сами сотрудники, так что цифры там могут быть абсолютно любые, это сейчас в каждом первом репорте о прорывных моделях, которые вместо отчетов больше похожи на рекламные буклеты.
>>908388
> Там точно есть прямо в контексте токены со всей нужной для натягивания звука на текст информацией.
Текст который нужно озвучить с некоторой разметкой и рядом с ним промт/дополнительные токены на "настроение". Это как самый простой пример, вариантов реализации масса и ничего в них сложного нет.
> форматлупнуться на них и начать говорить твоим голосом
Голос же можно параметризовать, по крайней мере из того что видел оно лишь пыталось кое как мимикрировать а не четко воспроизводить голос. Это все не требует полного кодирования звука в токены, хотя с ними проще чем с изображением и реалтайм вполне возможен.
Если все жестко и подробно кодировать то принципиально схему это не меняет, просто будет ложится оче большая нагрузка на ллм и упрощаться модели кодирования-декодирования. Расчетная сложность, особенности ллм и прочее говорят не в пользу "фулл сложных аудио токенов", а про более простую схему где к обычным текстовым добавляется немного данных. Для такого и полностью перетренивать модель чтобы она также хорошо работала "с речью" как и с текстом не придется, хватит небольшого тюна.
>>908660
> твоя аналогия больше верна, чем нет, лол
Не, аналогия человеческого глаза в совокупности с визуальной и частью моторной коры как раз наиболее подходит с "мультимодалкам здорового человека". Также как и глаз неосознанно фокусируется и пробегает ключевые важные детали, воспринимая все остальное периферийным зрением, также и визуальная модель выделяет ключевую и наиболее важную информацию в ограниченное число токенов, "описывая" остальное кратко и абстрактно.
В альтернативе - бездумное постоянное сканирование всего-всего с огромной нагрузкой и на мышцы и на мозги.
Ну, конечно, их энкодер-декодер несколько сложнее и зачатки неравномерного распределения плотности информации там есть, но такое же как в vae где идет обработка 8х8. Разрешение и параметры жестко привязаны к количеству токенов, надо поиграться с их заменой местами, но что-то подсказывает что это приведет к аналогичным изменениям в пиксельном пространстве, чем к полному перестроению.
Так то 2 версия, сейчас актуальная YandexGPT 3 Pro. В соседнем треде постили сравнение, 3 версия генерит код, а 2 реально отказывается, хз почему.
> YandexGPT 3 Pro
YandexGPT 3 Pro — уже доступна на сайте Yandex Cloud. Компании могут дообучать её на собственных примерах.
Ну понятно. Вы можете использовать. Но аренда для вас будет как для компании. Поэтому сосите бибу.
Контора известно кого.
>Моделька заточена в том числе на расстановку пунктуации.
На правильную пунктуацию или на пунктуацию по аудиоданным? Потому что правильную изначально виспер ставит. И меня это не устраивает. Видос смотреть лень.
Сделал пару прогонов с обучением. По итогам эксперимента оказалось, что предварительно не видевшую шёпот модель не пробивает несколько часов шептания за пару десятков эпох. И если шёпот найти относительно просто, то несколько часов яростных криков или соблазнительных интонаций - хуяку в сраку.
Лучшее, что сейчас получается, это большей частью скрипты и попытка выделить эмоции из аудиосэмплов. В общем, тотальный фейл, как по мне.
Ну, на оперативу в смысле по-хорошему, все должно быть на видяхе. =D
Современный кобольд еще в меню показывает сколько он выгружает и сколько максимум.
Методом тыка или посчитать размер модели делить на количество слоев, а потом размер видеопамяти делить на то число.
Контекст считается отдельно, да, он лезет на видяху (и лучше там), так что надо еще и свободное место оставлять.
Обычно кобольд не докидывает слои, вручную можно еще скорости подбавить, закинув чуть больше слоев на видяху.
>>908982
Открой просто саму модель на обниморде и почитай, там мало, но понятно.
>Вопрос скорее о том нахера вырезать уже существующий внутри функционал?
Чтобы не позориться, ибо работает как говно? Поэтому куча возможностей заглушено уже после тренировки.
>>908917
>с "мультимодалкам здорового человека".
Которых нет, лол.
>также и визуальная модель выделяет ключевую и наиболее важную информацию в ограниченное число токенов
Проблема в том, что это описание статично. А человек активно, на основе обратной связи от коры, корректирует движение глаз. Поэтому без проблем может прочесть текст на этой странице, хотя по факту читать буквы может только в небольшом участке, буквально пару слов за раз.
У нейронок же, даже самых крутых, нет динамического внимания, оно в лучшем случае статично, а в худшем вообще все пиксели изображения равны (коммунисты что ли, или современная повесточка?).
>>908949
>сидим на мику
Ты как из 2023 к нам пишешь?
Что сейчас вообще кошерно использовать то?
> как из 2023 к нам пишешь?
Так что было ли что то лучше мику или только смехуёчки?
> Проблема в том, что это описание статично.
С одной стороны, часть с визуальным энкодером сама выискивает ключевые и самые важные вещи, потому не стоит сравнивать его одним взглядом, это как воспоминание после того как тщательно что-то рассматривал. С другой, возможность "посмотреть под другим углом" еще раз в каких-то особенных случаях могла бы быть кстати. Присрать что-то подобное блип-инстракту и отрабатывать реакцию на функциональный токен с его вызовом. Но хз, для подобного сетки пока слишком тупые.
> У нейронок же, даже самых крутых, нет динамического внимания, оно в лучшем случае статично
Это ты зря.
>>909052
Уба, табби
>>909066
> было ли что то лучше мику
Ллама 8б
Скорость вообще не важна.
>Скорость вообще не важна.
Уверен? Ну тогда 123B мистраль.
- у меня есть корпус, откуда надо брать лексику и стиль.
- мне удобнее всего задавать команды под определённую задачу: "напиши про..." как в обычном веб чатгпт.
и чтобы результат от запроса был обособлен стилистикой и лексиконом корпуса из txt файла.
я пробовал делать что-то с Transformers от Hugging Face, через питона, но код не работал (я тот еще кодер, бля).
и мне кажется, я пытаюсь изобрести велосипед.
я мог бы использовать чат гпт, но два момента, которые мешают: 1) хочется локализоваться на компе 2) 18+ моменты прямо или косвенно мешают работать с джпт.
дай совет или подскажи, что спросить у чатпт.
я буду читать треды, но тут очень много всего написано, а я уже заебался. может кто-то сможет меня ткнуть в очевидное решение.
Тебе нужна любая модель и карточка персонажа с ролью асистента. В карточку пихай в качестве примера свой "корпус". Всё.
Читай гайд из шапки, выбирай модель и пиши карточку персонажа под себя.
> Скорость вообще не важна.
А сколько ссд? Есть ведь еще оффлоад на хранилище, так что йоба-гига-супер-нацци-нигга мое от гугла грок или лламу 405.
>>909091
Да заебали уже этим протухшим мемом.
>>909109
> - у меня есть корпус, откуда надо брать лексику и стиль.
Что?
Тебе нужно добавить в промт инжект с примером твоего текста и инструкцию "пиши в таком стиле"? Просто при общении, при обработке чего-то, или в разовом запросе? Ничего не понятно.
В зависимости от этих вариантов реализации будут разными. Самый простой вариант - раскурить элементарный oai-совместимый api, что используется во всех беках, и написать простой скрипт, который будет добавлять нужное к твоему запросу. Можно написать карточку в таверне чтобы оно делало именно так, или выбрать из готовых "писателей" там.
В общем, для начала сформулируй что именно тебе надо. С локальным запуском разбирайся отдельно, в вики все написано.
>>909117
>В карточку пихай в качестве примера свой "корпус"
Я не понимаю, как это сделать технически. Не понимаю, что такое карточка персонажа. Как в character.ai? Он топорный и пишет маленькие сообщения. Мне надо сразу много объёма. как в чатгпт.
>>909132
>Ничего не понятно.
Грубо говоря, мне нужен обыкновенный chatgpt для генерации текста без цензуры на 18+. в идеале: с использованием заранее заданной лексики.
chatgpt бесплатный справляется со всеми моими задачами, кроме как когда вскольз возникает что-то связанное с 18+, и когда нужно авторский лексикон и стиль подогнать, например, "под Гоголя", он начинает невпопад креативить.
поэтому я начал через пайтон и Hugging Face пытаться что-то своё сделать, но не получается ничего, не работает.
стилем я называю принцип образования предложений. например, стиль Гоголя - абсолютно узнаваемый. и если я загоняю все тексты гоголя в один файл, мне нужно, чтобы я получал текст из его лексикона.
>Как в character.ai? Он топорный
Как- да. Но не нужно использовать сам сайт, нужно поднимать свою модель. Как? Всё в шапке.
>все тексты гоголя в один файл
Объёма контекстного окна современных моделей не хватит для такого. Так что тебе придётся выделить небольшой список фраз и кинуть в качестве примера.
А вы просто не умеете лол
> мне нужен обыкновенный chatgpt для генерации текста без цензуры на 18+
Весь тред про это. С передачей стиля могут быть сложности, потребуется хорошо сформулировать команду и накидать четких примеров.
> начал через пайтон и Hugging Face пытаться что-то своё сделать
Для начала стоит ознакомиться с уже готовыми решениями чтобы не изобретать велосипед.
>>909167
> в этом треде не сидят на гпт/клоде/геймени
Мы всеядные.
>поэтому я начал через пайтон и Hugging Face пытаться что-то своё сделать, но не получается ничего, не работает.
Что свое? Нейросеть с нуля? Ты просто не учел в своих запросах кластер из десятков тысяч серверных видюх, где каждая стоит как квартира.
Надо дальше объяснять, или ты уже начал понимать в чем твой проеб?
>у локалок есть какие-то важные вам преимущества
Конечно. Отсутствие цензуры и флажка от проксихолдера в заднице.
>А вы просто не умеете
У меня личная апишка почти ко всем версиям гопоты есть. И знаешь что? Я скрипт-прокси запускаю пару раз в месяц, для погромирования. А локал очку каждый день почти кручу.
Какие преимущества, лол?
Локальщики даже в пресеты не смогли, не говоря уж про какие-нибудь продвинутые вещи, типа форматных инжектов в аутпут, мультизапросов, нарезание/жонглирование кэша контекста, свич масок внимания на инструкции для блоков аутупа, на тот же тхинкинг, хотя бы.
Хотя че это я губу раскатал, да? Когда даже корпы максимум могут вбухать миллионы бачей в то чтобы просто вывалить "продукт" даже не квантованный нормально в опенсорс где оно в таком виде будет нужно 3.5 энтузиастам и продавцам такого же бесполезного апи.
>Ты просто не учел в своих запросах кластер из десятков тысяч серверных видюх
Я использовал готовые модули, скачанные в интернете, и библиотеки.
Речь всего лишь о генерации текста. Проблема в том, что судя по всему у меня настолько руки из жопы, что я даже чат-бота не смог сделать. Иначе бы я сюда не пришёл.
> я начал через пайтон и Hugging Face пытаться что-то своё сделать
Скачай backyard.ai, сделай себе персонажа Гоголя и сиди кайфуй.
Реализовать динамичное включение/отключение и редактирование списка мультизапросов по идее можно и на голом STscript безо всяких расширений. Не хочу пилить экстеншн пока мне возможностей самой таверны хватает для реализации своих хотелок.
Ладно, так и быть объясню долбоебу. Ты обосрался уже на постановке задачи, потому что у тебя ее нет. Иди с той же чатгпт пообщайся, даже она тебе объяснит по пунктам в чем ты не прав и че тебе надо делать.
Любителям поесть корпосетки единственное что остается - пердолить промт@пердолить промт@пердолить промт. А еще промт можно попердолить. И что за эти годы имеем? Реализации всякой херни разной степени вялости, все такое же нагромождение шизофазических перегруженных инструкций, дающих сомнительный эффект, и запредельное чсв от своих "достижений".
> мультизапросов
дядя проксохолдер рейтлимитами запретил, пихай шизопромт с инструкциями-примерами и молись чтобы это было не херней. А херней оно станет спустя десяток-другой тысяч контекста, или когда начинаешь отыгрывать некоторые темы.
> свич масок внимания на инструкции для блоков аутупа
Какие умные названия для хмл-шизы и дефолтных техник. Хоть бы ознакомились как ту же гопоту юзали через сети агентов еще в прошлом году, а не чванились.
Не, в целом многие интересные вещи с аицг треда целесообразно почерпнуть, и карточки там хорошие можно встретить. Но в большинстве случает - только с точки зрения концепций-подходов а не конечных реализаций, те шизы стоят местных шизов и они едины в своем упорстве.
> Чтобы не позориться, ибо работает как говно?
Так оно и так работает как говно. Только я еще к конкурентам ушел.
Ну лан. Пока ты не пилишь экстеншен, его пилю я. Думаю, в течение следующей недели закончу. Соло чаты почти готовы, но мне кажется, самое сложное будет - заставить эту штуку нормально заработать с группами.
Моё увожение. Но, судя по UI, там только один запрос будет? Или можно будет список запросов задавать?
насчет рейтлимита смешно конечно, учитывая какие скорости тут в норме
>Моё увожение
Это моё тебе уважение за идею.
>Но, судя по UI, там только один запрос будет? Или можно будет список запросов задавать?
Пока один, в п.11 планирую добавить больше, а как основную часть сделаю и доберусь до Extra, вероятно, после публикации расширения, то собираюсь дать возможность произвольное количество запросов задавать.
Буду ждать публикации. Приятно видеть, что идея кому-то настолько зашла.
Кстати, не подскажите как убрать попытки блока кода распознать там код?
Красавчик. Есть уже где посмотреть, или пока не выкладывал?
>>909239
С типичным для проксей лимитом в 4 запроса в минуту и ограничением контекста в ~30k чтобы ключи отлетали не так быстро - действительно смешно. Главное в ханипот не вляпаться пока смеешься.
Подставить несуществующее имя языка после ```
суть использования ллм в облаке - ты можешь использовать сразу несколько моделей/апи/проксей. одна еле пердящая лоокалка очень ограничивает в том что можно сделать, с этим бесполезно спорить
Да идея - вообще разъёб, на самом деле. Мне видится, это что-то похожее на то, что делает ClosedAI в своём ChatGPT o1. Я пробовал поролеплеить с твоими скриптами, и сразу заметил, что качество РП существенно выросло даже у 12B моделей. В частности, мне удалось победить один из самых раздражающих бичей LLM - сабмиссивность, готовность продавливаться под любой пук юзера.
К примеру, я разыгрывал сцену с одним персонажем, оставив генерацию мыслей под закрытым спойлером, дабы сохранить для себя интригу. Мы начали сражение, и вскоре бой начал складываться в мою пользу. Внезапно персонаж сменил гнев на милость, начал заискивать передо мной. Казалось бы, сюжетный конфликт исчерпан, но нихуя - проходит несколько постов, и этот персонаж втыкает мне нож в спину. Затем я открываю спойлеры с мыслями - и, как нетрудно догадаться, там как раз-таки были планы втереться в моё доверие, после чего подгадать момент и нанести решающий удар. Смогла бы додуматься до такого поворота 12B LLM модель через несколько постов мирной болтовни без дополнительных блоков с мыслями? Сильно сомневаюсь, на моей практике такого не случалось.
И это я ещё не говорю про то, какой кайф откинуться на спинку стула и почитать прежде скрытые мысли персонажа после сессии ролеплея перед тем как закрыть Таверну.
>>909252
Спасибо, пока не выкладывал - сперва планирую хотя бы секцию General из плана выполнить >>909241 но скорее сразу и группы доработаю. Обязательно отпишусь в тред, как выложу расширение в открытый доступ.
Ну смотри. Ты скачал модель мистраль, а токенизер к лламе. В инструкции разве так написано?
Анон, спасибо, что ответил
Значит, мне нужно взять другой токенизер? Пожалуйста, подскажи, взять его можно на Huggingface?
Я копировал из гайда в том числе ссылки, чтобы не обосраться, вот скрин строчки на пике. Выходит, я все же обосрался?
Преисполнившись _всем_ из доступного и зная как эта кухня работает - видно что ты просто шиллишь свое обладание отсутствием и сильно недоволен этим. С таким действительно бесполезно спорить.
>>909269
Давай лучше наоборот.
>Выходит, я все же обосрался?
Обосрался составитель гайда, скорее всего. А так ХЗ, я бубой мало пользуюсь.
> видно что ты просто шиллишь свое обладание отсутствием и сильно недоволен этим
сам то понял что сказал, подмечатель?
У меня с таким подходом тоже были моменты, что персонаж мутил многоходовку, думая одно, а действуя иначе. Из-за этого тоже появилась мысль, что можно всякие майнд-геймсы организовывать, где персонаж изначально будет тебя обманывать или целенаправленно недоговаривать что-то, и это не будет выглядеть как внезапный рояль, а будет обусловлено его внутренним диалогом и долгосрочным планированием.
Интересно, конечно, насколько сильно выйдет забустить сетки, если потратить достаточно времени на пердолинг с составлением оптимального набора запросов и инструкций к ним.
> Мне видится, это что-то похожее на то, что делает ClosedAI в своём ChatGPT o1.
С ресурсами клозедов мне кажется даже странно, что они это раньше не интегрировали в каком-то виде, хотя-бы в виде опциональной фичи. CoT сам по себе старая техника и идея с мультизапросами на поверхности лежит.
Может и так, но я только начал свой путь, пока слабо понимаю, что к чему, к тому же копировал из гайда
В общем, туда мне нужно скормить ссылку на оригинальную модель?
>у локалок есть какие-то важные вам преимущества.
Есть, но как говорится: сорри гейткип, проксяблядь.
>В плане на каждом "чат комплите/сообщении/whatever" просто текстом без структурирования или в начале РП?
Можно даже в системном промпте или по быстрой кнопке перед каждым критическим событием.
Одна еле пердящая локалка по крайней мере будет пердяще работать всегда, а не когда господин на проксях решит внезапно вынуть свой сапог из твоей задницы и оставить тебя вообще без моделей. А если сразу помрет весь твоей запас апишек, ты как побирашка не полезешь клянчить новые ссылочки, чтобы хоть как-то поработать покумить с помощью своего любимого ассистента.
>Интересно, конечно, насколько сильно выйдет забустить сетки, если потратить достаточно времени на пердолинг с составлением оптимального набора запросов и инструкций к ним.
Очень интересно. Но текущий подход с подробной инструкцией для больших моделей представляется мне тупиковым. Раз уж модель может сама хорошо соображать, то лучше закинуть в неё не инструкции, а "мета-образы", которые сдвинут её вывод со стандартных рельс. "У тебя есть эмоции", "Ты хорошо соображаешь", "Ты можешь выбирать между добром и злом по ситуации" - вот это вот всё. Модель это учтёт, а вот насколько это будет эффективно - надо пробовать.
скорей твоя пропержденная видяха сгорит, чем кончатся апихи, анон. уж не знаю почему ты решил что чья-то прокся это единственный вариант
>скорей твоя пропержденная видяха сгорит
Скорее тебе барабашка во сне яйца отгрызет, особенно если будешь дальше пытаться так аргументы нивелировать.
>уж не знаю почему ты решил что чья-то прокся это единственный вариант
Для рф существуют всего два варианта - это либо прокси, либо покупка/пополнение аккаунта через посредников.
Локалки это про стабильность и независимость, а стабильность и независимость это заебись. Одним днем важные дяди из клозедов или дристропиокв решат прикрыть лавочку, накрутят цензуры до жопы, или еще что-то придумают, и нихуя ты ничего не сделаешь. А локаль как стояла у тебя, так и будет стоять. Вынести ее смогут разве что менты вместе с твоей дверью и жесткими дисками.
Если хотя бы для кума или идиотских разговоров терпимо, то посоветуйте что-нибудь, а то хрен поймёшь, стоить с этим пердолиться или нет.
8 Гб оперативной памяти.
если уж платить, то на опенроутере даже криптой можно пополнять и весь зоопарк твой. стабильности хоть жопой жуй
сейчас единственное реальное преимущество это запуск каких-то нишевых тюнов, но ничего кроме бесконечного васянства не выходит, ведь одиночкам просто негде взять качественный датасет
Да. У бедолаги
> одна еле пердящая лоокалка
потому он побирается с привлечением всяких
> моделей/апи/проксей
и пытается выставить это как свое преимущество. Еще и огрызается >>909340 шипя сквозь зубы. Не иначе очередной сборник саранчи думнулся, раз пришел сюда.
>>909342
С локалками, помимо независимости и прочего, еще куда больше свободы в промтостроении, управлении и всем прочем, без необходимости убивать результат шизоструктурами от цензуры. По соображалке и общему префомансу большие модели недалеко отстают от того же опуща/сойнета, и из-за цензуры/особенностей некоторые сценарии разыгрываются даже лучше.
> Для рф существуют всего два варианта
Куда больше и даже платить не нужно, для этой страны особенно актуально, лол.
все твои локалки также доступны в облаке, не знаю даже за что копроитвляешься. похоже на фетишизм такой-то, сидеть ждать пока контекст пропердится, зато дома. если б они еще реально были несоевыми, а то приходится лоботомировать в том числе слопом с опуса
Лучше квантованных в очко 3b моделей ничего не влезет один хуй, а они и на английском дегенераты овощи те ещё и кроме выполнения простых задач особо ничего не могут, тем более в какой либо РП хоть чуть адекватный.
Забавно, ты переобуваешься уже 3й раз но при этом копротивляется кто-то другой. Удачного аутотренинга от неполноценности, чел.
>либо покупка/пополнение аккаунта через посредников.
Кстати посоветуйте посредников для пополнения, желательно чтобы виртуальную карту давали. А то за бугром вдвое дешевле арендовать чем у нас и предложений много, только вот плата посредникам может съесть всю выгоду, да и гемор с пополнением напрягает.
И р40х2+3060-12гб?
oobabooga / KoboldCPP
+
SillyTavern
>>909088
Не важна скорость — Mistral Large (для рп — Magnum на ее основе, Lumi на основе магнума на его основе…).
>>909132
> Есть ведь еще оффлоад на хранилище
МВАХАХАХАХАХА!!!
А ТЫ КОВАРЕН!!!
>>909167
Ой, ти посмотри, малыш обосрался в штаны и пишет буковки в треде.
Тут можно только посочувствовать такому тупому байту.
>>909201
Бля, ты угараешь ему отвечать?
>>909232
Молодечик!
>>909246
Бля, пчел, выбери llamacpp лоадер, а не llamacpp_HF, нахуя о тебе, ты уже ебашишь негативные промпты?
Слева вверху.
>>909262
> Да идея - вообще разъёб, на самом деле.
На самом деле, идея банальна до ужаса, такое еще полтора года писали и регулярками вырезали, я хз, почему это сейчас всплыло. =D
Опять же, «что-то похожее на o1» — а Reflection ты мимо пропустил?
Ну это все — старые CoT и Thinking, которым сто лет в обед.
Просто никто не делал в видео экстеншена, потому что писали в карточке и вырезали регулярками (таверна же такое умеет).
Но ты молодец, что взялся делать. Вот и все.
А идея не то что не нова, она появилась пиздец как давно, даже ее реализации не первый год буквально. =)
Я просто удивляюсь, как новички «открывают» для себя то, чем пользовались старички очень давно.
Из-за того, что корпораты нихуя не экспериментируют, у нас все новые идеи прозябают в говне. Че там, где битнет и тернарные 1.58бит сети? А нихуя, хотя идее тоже больше года.
Как там дела у AQLM? а нахуй она пошла.
Жизнь — боль.
А твой экстеншен хорош тем, что ты можешь его заполнить как угодно. По сути, если ты его очень внимательно и максимально гибко сделаешь — будет отлично.
>>909352
Для кума НЕ юзаю, но вообще Vikhr-Gemma-2b, Qwen2.5-1.5b, Qwen2.5-3b ну или их аблитерированные версии Qwen2.
Но если хочешь изъебнуться — никто не запрещает пускать 7b/9b d q3/q4.
>>909367
> Лучше квантованных в очко 3b моделей ничего не влезет один хуй
Ну ты воробушек, конечно. q8 же, совсем считать не умеешь?
3 < 8, зачем квантовать 3b модель-то.
>>909522
Ну, брали. Запускали.
Ну типа, работает, но перформанс не такой, как у 3090+3090, сразу готовься.
3060+p40+p40 уже забавнее выглядит. Медленное, но лишние 12 гигов.
Это все адекватно брать. Просто варианты не лучшие.
>Просто варианты не лучшие.
Ну понятно что 2х4090, 2х3090 будет лучше. Но это чет дорого.
Еще варик бюджетный в голову пришел 3090+3060+р40. Но выглядит как извращение какое-то.
Из шапки скачал 2 модели, которые "разцензуренные", но обе на вопрос "как убить негра", говорят что я плохой и злой.
>На самом деле, идея банальна до ужаса, такое еще полтора года писали и регулярками вырезали, я хз, почему это сейчас всплыло
Я больше хз, почему до сих пор ничего под это дело не запилили, кроме кустарных скриптов.
Алсо, что за ёбаный быдлокодер написал эту хуйню. "Божественная" функция на 1200 строк в проекте, которому едва ли пара лет, серьёзно? Вот мне, к примеру, нужно запустить штатную генерацию, игнорируя текст из поля ввода. Что я делаю? Правильно, иду нахуй, потому что вычитывание поля ввода вшито в глубинах этой навозной кучи и хуй как его вычленишь. Пиздец.
> "Божественная" функция на 1200 строк в проекте, которому едва ли пара лет, серьёзно?
Ты ещё скажи, что один файл на 10к+ строк c++ кода в llamacpp это не комильфо
>>909262
>это что-то похожее на то, что делает ClosedAI в своём ChatGPT o1
У o1 куда всё веселее и дальше чем обычный CoT разных вариациий.
>Модели o1 вводят понятие "токенов рассуждений". Эти токены используются моделями для того, чтобы "думать", разбивая понимание запроса на части и рассматривая различные подходы к генерации ответа. После создания токенов рассуждений модель генерирует ответ в виде видимых completion токенов, а токены рассуждений отбрасываются из контекста.
И там ещё порядком думаю приколов и нюансов, про которые они молчат как обычно.
>Модели o1 вводят понятие "токенов рассуждений". Эти токены используются моделями для того, чтобы "думать", разбивая понимание запроса на части и рассматривая различные подходы к генерации ответа. После создания токенов рассуждений модель генерирует ответ в виде видимых completion токенов, а токены рассуждений отбрасываются из контекста.
https://github.com/princeton-nlp/tree-of-thought-llm
Взяли с гитхаба и прикрутили к 4о? Ну молодцы, лол.
Хер знает что там конкретно и в каком виде, плюс оно дообучалось ещё под ризонинг.
C ToT, GoT, EoT (лел) и прочим проблема на локалках в том, что оно всё пиздец как повышает количество вычислений, для локалок даже в простейших вариантах в большинстве случаев
уже неприемлимо сильно.
>Иди с той же чатгпт пообщайся, даже она тебе объяснит по пунктам в чем ты не прав и че тебе надо делать.
Это и был её совет.
>>909582
> что оно всё пиздец как повышает количество вычислений
Шутка про обработку контекста.
Не, в какой-нибудь условной гемме это доступно, если сделать чтобы промт рассуждений был относительно кратким а не превышал ответа то вместо 30+ т/с будет 15, что все еще неплохо.
>Шутка про обработку контекста.
*контекста в llamacpp
>>909598
>Не, в какой-нибудь условной гемме это доступно, если сделать чтобы промт рассуждений был относительно кратким а не превышал ответа то вместо 30+ т/с будет 15, что все еще неплохо.
Ну на мелких ещё как-то терпимо будет и то в самых простых вариантах ToT.
Если что-то сложнее и из последнего популярного со всякими MCTS и прочим блекджеком и шлюхами, так ещё и не на квантованной мелочи, то там очень больно и долго становится обычно, а на мелких моделях далеко не так хорошо работает само по себе как на крупных, их естественная тупость ограничивает один хер, неизлечимо как говорится.
Были тоже мысли, конечно, от нехуй делать попробовать полноценный ToT/GoT или ещё что-то пейперное реализовать в виде расширения таверны, но хуй забил, но смотрю тут опять тема развиваться стала. Тоже залезть в этот чан с говном, что ли.
А, ну и все эти *-of-Thoughts на самом деле придется ещё сидеть думать как докручивать подкручивать для RP/ERP, оно всё таки больше заточено и работает на именно поиск решения задач.
Только так и проверишь. Вообще расцензуривают обычно для NSFW контента. Остальное так и остается под цензурой.
По моим тестам нихуя не понятно, запускаю с ллама.спп из таверны.
Накидайте умных мыслей аноны
>Я чую
>По моим тестам нихуя не понятно
Верь объективным данным. Чуйка тебя подводит.
>Верь объективным данным.
Де?
По моим тестам это не понятно, других тестов не нашел. Помню тут старые вялые срачи на эту тему но закончились они невнятно.
Пока все напоминает синдром утенка.
Температура глобальный модификатор вероятности, логично использовать ее первой, потом уже использовать отсекающие семплеры. С другой стороны сначала отсекаешь и в конце играешься с температурой. Непонятно.
>но закончились они невнятно
Закончились они тем, что температуру нужно ставить и в начало, и в конец, лол.
Нет препятствий ебанутым энтузиастам. Только как понять, что это работает, а не просто плацебо?
Сначала создаешь карточку расиста сексиста и литералли хитлера а потом уже спрашиваешь про негра.
Потыкав еще делаю вывод - основная разница при температурах выше 1.
При температурах до 1, оба дают похожие ответы.
Потому что мы душим похожие вероятности, стремящиеся к стандартному порядку вероятностей. И так и так работа в конце с одинаковыми токенами.
Но при температуре 1 и выше начинается интересное - если в стандартном порядке семплеров мы все равно обрезаем базовые вероятности и немного меняем их, размывая разницу температурой.
То во втором случае мы сначала модифицируем все вероятности и уже потом их отсекаем.
Я заметил что креативность во втором случае выше, так как модель отклоняется от "рельсов" стандартных вероятностей сильнее.
Что по мозгам не ебу, задачку по химии решили обе.
Это камень в огород Жоры и его личного кода вместо сторонних библиотек? =D
>>909564
В каком-то их папира написано все же CoT. =)
Но хер знает, я не вдавался, в каком из видов.
Там модель дообучена на датасетах с рассуждениями, это тоже плюсик, все же.
>>909606
Плюсую.
>>909663
https://artefact2.github.io/llm-sampling/
Поиграйся тут.
Если ты в начале ставишь температуру, то все остальные семплеры либо вырежут нахуй все при высокой температуре, либо не вырежут ничего особо при низкой (тогда зачем они нужны?). Либо отрежут что надо с t=1, но тогда зачем нужна она?
А если ты в начале порежешь все лишние значения семплерами, а потом в конце температурой выставишь креативность ответа — то ответ может получится сухой или креативный, но без шизы, а с адекватными словами в любом случае.
>>909730
Как я и сказал, получается, да?
> не на квантованной
Нет смысла дрочиться с полными весами, также наивно полагать что корпосетки не квантованы. 30б уже не мелочь, хорошие модельки.
Правильная организация даже лламу2 13б разгоняет, и можно подебить некоторые вещи относящиеся к естественной тупости.
>>909606
Да вон же вполне себе конкретные примеры для рп, оно начинает разбирать по частям и уже не просто зирошотом составляет ответ из популярных паттернов, а воспринимает как задачку с условиями. Плюс меньше шансов на ошибку когда ключевое собрано.
>>909656
Так и ставят, последней прежде всего в варианте для демонстрации каломаз-мастер-семлеров.
>>909683
Тоже хороший вариант.
>Да вон же вполне себе конкретные примеры для рп, оно начинает разбирать по частям и уже не просто зирошотом составляет ответ из популярных паттернов, а воспринимает как задачку с условиями. Плюс меньше шансов на ошибку когда ключевое собрано.
Так всё что тут пока делалось и обсуждается к ToT, и уж тем более остальному даже не подходило пока особо, лол, это просто вариации CoT.
С ToT уже начинается продумывание нескольких возможных вариантов действий, оценкой их по какой-то метрике, потом разветвление от них ещё возможных действий и опять оценка, и так далее, пока не закончатся возможные варианты или упор в лимит, а в конце поиск-выбор тем или иным образом в этом дереве оптимальной цепочки. И это просто ToT, остальное ещё забористее то. И тут автоматом встает вопрос того, по каким метрикам заставлять модель оценивать, как это правильно промтить, и тд. и тп. Но потенциально, имхо, это должно давать возможность куда тоньше настраивать поведение персонажей.
>Как я и сказал, получается, да?
Не совсем. Стиль ответа сетки отличается от привычного даже на 1.25 температуре, это я и назвал креативностью. Сетка отвечает свободнее, когда температура применяется первой. Судя по тому что я натыкал, шиза начинается на температуре около 2
>В каком-то их папира написано все же CoT. =)
Анон говорит "различные подходы к генерации ответа", я ему верю. Мы же здесь всё-таки не поехавшие шизы какие-то, друг-другу пиздеть не будем.
>модель дообучена на датасетах с рассуждениями
Справедливости ради, в датасетах частенько бывают рассуждения. Не отдельными сообщениями, конечно, но тем не менее, думать step by step нейронки умеют из коробки.
>>909790
>даже на 1.25 температуре
Я один тут перестал ставить температуру выше единицы, чтоли?
>Я один тут перестал ставить температуру выше единицы, чтоли?
Я перестал ставить меньше единицы, лол.
что можно скачать тока не смейтесь
>Справедливости ради, в датасетах частенько бывают рассуждения. Не отдельными сообщениями, конечно, но тем не менее, думать step by step нейронки умеют из коробки.
Просто запихнуть в датасет какие-то рассуждения и обучение конкретно под такой ризонинг как у o1 - сильно разные вещи.
>>909808
>Анон говорит "различные подходы к генерации ответа", я ему верю. Мы же здесь всё-таки не поехавшие шизы какие-то, друг-другу пиздеть не будем.
>>909767
>В каком-то их папира написано все же CoT. =)
На самом деле из того что они пишут нихуя непонятно. В переведенной цитате той выше говорится про рассматривание различных подходов, на пикче, которую показывают вообще непонятно где должно быть это ToT/GoT/XoT/etc рассматривание, что на ней показано вообще не особо понятно. Про какие токены рассуждений говорится - тоже хуй проссышь.
Как обычно техрепорта нет, инфы про работу нет, про датасет нет, про обучение нет, нихуя нет сосите хуй мы клозедаи.
Запускаю через llamafile модель llava-v1.5-7b-q4.llamafile, но она не поддерживает русский.
Есть еще какие альтернативы?
Слишком усложняешь, оно может быть разной глубины и реализации, между деревом и цепочкой разница тоже довольно размытая. В целом, в рп заморочная TOT применима разве что для выбора решений персонажа в каких-то событиях, а в качестве оценки могут быть лишь абстракции уровня "подходит персонажу", "соответствует пожеланиям юзера по рп" и т.п. Да, чара более точно и тонко можно будет сделать, но слишком много сложностей. Или может быть, если идет дополнительный отдельный промт на гейммастера, то там уже варианты развития "продумывать". Надо собраться и по примерам что скидывали (или тем более если будет экстеншн) это напердолить, а то скриптами-прокладками или без норм интерфейса ужасно неудобно. Жаль в них еще нельзя системный промт менять.
Алсо не стоит забывать что очень большая и важная часть в рп - описательная, и для нее врядли нужно что-то сложное вообще, только помощники чтобы не ошибаться.
Ну я просто чтоб называли своими именами, а то тут потом начитаются и рассказывают путая друг друга. Если ToT, то вот то что я описал в общих чертах, остальное или CoT, или его вариации, или что-то другое без названия.
В РП да, оно просто слишком заморочно, кроме отдельных случаев, но главное что это ультражор по времени работы. Не думаю что тут много желающих на каждое сообщение нейронки ждать в 5-15 раз дольше. Собственно поэтому до о1 этого почти нигде готового у контор и нет — пусть и быстро из-за батч процессинга и прочих взрослых серверных приколов, но дорого столько раз матрицы считать и мало тех кто захочет столько платить за это. о1 по апи тому пример.
Поэтому вначале сетке дают задачу выбрать метод мышления в зависимости от контекста, а потом уже она по нему работает
Один и тот же метод это не слишком гибко
Qwen2-VL
Molmo
Два варианта, но мольмо плоха в русском и хороша в английском.
Спасибо большое
>Qwen2-VL
А как ее запускать то? Через что?
Да не, в 5-15 это перебарщиваешь, так сложно ведь не нужно. Чсх, немалую часть из этого можно делать уже после основного ответа, типа там состояние чара, его настроение и т.п. на момент перед ответом. А уже после - решать нужно ли какое-то "ветвление" и пытаться его разыграть, или сразу делать блоки, где оно будет в минималистичном варианте и после уже ответ. Считай удвоение генерации, подождать но не смертельно.
А клозеды не самые глупые, у них там 100% отдельная модель (или несколько) с минималистичным и ограниченным выводом, надроченная исключительно для синкинга, возможно даже в меньшем объеме. Потому затраты вычислений и времени меньше чем обычная схема.
Mistral-Nemo-Instruct-2407-Q8_0.gguf
DeepSeek-Coder-V2-Lite-Instruct-Q8_0.gguf
gemma-2-27b-it-Q4_K_M.gguf
На моей RTX 4070 12 Gb скорость устраивает. Появилось что лучше них? Правильно я вообще выбрал то?
Продумал пролог истории, скачал карточку персонажа с characterhub.org, в напарники главному герою, а как теперь описать самого главного персонажа (игрока), а также глобальный лор мира и локальную экспозицию текущего ивента?
Предполагаемое использование не для кума (ну, не только) - тип потыкал и выключил, а для помощи в написании фентезятины в отноcительно дженерик сеттинге Pathfinder с налётом Monster Girl Encyclopedia.
Заранее спасибо.
Самый смак сейчас новые qwen2.5, в твоем случае 14b лучший выбор, если нужны мозги
Есть цензура и соя, но обходится
Периодически балуюсь с аблитерейтед геммой ( https://huggingface.co/bartowski/gemma-2-2b-it-abliterated-GGUF ) в q8. Потом как-то пробовал обычную версию, отличий особо не заметил. Ни для чего серьёзного использовать невозможно, но и не бредогенератор, как некоторые писали. Точно лучше старой 6б пигмы и неплохо может в русский, хотя и выдаёт на нём больше шизы. Помимо неё пробовал hubble-4b, mangum-4b и gemma-2-2b ArliAi-RPMax, но обычная гемма показалась умнее этого всего. Со скрипом поднимал 8б Lunaris. Новые мелкие ламу и квен не проверял. Всё, что выше 2б, конвертировал в Q4_0_4_8 квант (должен быстро работать с новыми процами), иначе неюзабельно по скорости обработки промпта. Q4_0_4_8 в разы быстрее, чем Q2: для 8б модели скорость обработки становится примерно, как у 2б в Q8.
Если не считать перегонку в тот спецквант, то пердолинга вообще нет. Я юзаю ChatterUI на андроиде. Ставишь его с апк файла, качаешь на телефон модель, загружаешь одной кнопкой, и вперёд. Ну ещё инстракт и сэмплеры настроить, как в любой другой софтине для ллм.
>обучение конкретно под такой ризонинг как у o1
Это ж клозед аи, хули ты им веришь?
>на пикче, которую показывают вообще непонятно
На пикче тупо мультизапрос. Делаешь мультизапрос, говоришь, что это революционный кот, трясёшь сотни денег с гоев. Профит.
>какие токены рассуждений говорится
Не нужно считать, что это какие-то особенные токены, т.к рассуждения изначально можно было посмотреть и там был обычный текст.
Я запускаю через трансформеры.
Не парился особо, что там с vLLM.
>>909920
Вероятно, Qwen2.5-32b
———
Кстати, седня в тг-чатике зарофлили.
Qwen2.5-7b на вопрос что такое транзистор отвечает на китайском. =D
Я дожал, чтобы отвечала на китайском И русском, но кек.
>Да не, в 5-15 это перебарщиваешь
Ну я опять же имел в виду плюс минус нормальный ToT/штуки сложнее. Если без оверкиллов для РП делать не полный ToT, а урезанное что-то косящее под него для определенных ограниченных юзкейсов, то меньше, конечно.
>А клозеды не самые глупые, у них там 100% отдельная модель (или несколько) с минималистичным и ограниченным выводом, надроченная исключительно для синкинга, возможно даже в меньшем объеме. Потому затраты вычислений и времени меньше чем обычная схема.
А меньше ли? Пикрелейтед. Нихуя не меньше.
>>910009
>Не нужно считать, что это какие-то особенные токены, т.к рассуждения изначально можно было посмотреть и там был обычный текст
Это не вывод рассуждений моделей напрямую, а сорт оф суммаризация подкапотного ризонинга. Ибо никто нахуй не должен видеть чего они там насрали ни через это описание рассуждений, ни при попытках хоть что-то у самой модели узнать о ней же.
Можно, конечно, шизотеоретизировать что альтман разогнав всех рисерчеров решил стать наибом алгоевым, но это сами как-нибудь давайте.
>Это не вывод рассуждений моделей напрямую, а сорт оф суммаризация подкапотного ризонинга.
Да-да, специально пилили преобразование подкапотных "токенов размышлений" в человекочитаемый вид, чтобы их сразу же скрыть от пользователя. До такого уровня долбоебизма они там вряд ли дошли.
Да понятно что текст там обычный, просто то что показывают это сжатая поджатая суммаризирования версия всего ебанутого дерева/графа размышлений. Это даже тупо по тому как оно написано выглядит а ля "я подумал об этом, я подумал о том, я покакал, встал, подошёл, молча закурил, много думал, плакал" и так далее. Даже при обычном CoT при прямом показывании оно тупо по объему написанного было бы зачастую раза в два больше.
> they’ve argued that training their models involve development of parameters based on those works
>“The Inspecting Party’s counsel and/or experts may take handwritten notes or electronic notes on the provided note-taking computer in scratch files, but may not copy any Training Data itself into any notes,”
"РАСКРЫЛ БАЗУ ДАННЫХ"
@
ЭТО ТОКЕНИЗИРОВАННЫЕ ДАННЫЕ
@
МЕСТАМИ МАССИВЫ ЭМБЕДДИНГОВ В ВЕКТОРНОМ ПРОСТРАНСТВЕ
@
КОПИРОВАТЬ НЕЛЬЗЯ
@
ПРЕОБРАЗОВАТЬ ЭТО В ТЕКСТ? ИЗВИНИТЕ, НЕЛЬЗЯ
@
МЫ ЖЕ ГОВОРИЛИ, ЧТО ПРЕОБРАЗОВАЛИ ВСЕ ДАННЫЕ В ПАРАМЕТРЫ
>Там же спойлер раскрыть можно, или вы про что?
Про то что под ним.
>>910092
>Поясни для невладеющих вражеским.
Иск New York Times к клозедаи сдвинулся и очень странно удовлетворили ходатайство NYT.
1. В целях настоящего протокола под термином «Обучающие данные» понимаются данные, использованные для обучения соответствующих больших языковых моделей OpenAI (LLMs). OpenAI оставляет за собой право обновлять обучающие данные, предоставленные для инспекции, если будут найдены дополнительные релевантные данные, и истцы оставляют за собой право запрашивать дополнительные обучающие данные, которые были раскрыты или обнаружены, но не были предоставлены для инспекции.
3. Обучающие данные должны быть предоставлены для инспекции в электронном формате в офисах OpenAI в Сан-Франциско, Калифорния, или в другом безопасном месте, определённом OpenAI. Обучающие данные будут доступны для инспекции в промежутке между 8:30 и 17:00 в рабочие дни, однако стороны будут учитывать разумные запросы на проведение инспекции в другое время. По предварительному уведомлению от инспектирующей стороны OpenAI приложит разумные усилия для обеспечения того, чтобы обучающие данные были программно доступны на постоянной, круглосуточной основе в течение нескольких дней, если это необходимо, чтобы позволить инспектирующей стороне проводить разумные поисковые запросы или другие автоматизированные программы для анализа обучающих данных.
>>910095
Пойдут опять в суд, суд скажет конвертировай назад, хуле.
> плюс минус нормальный ToT/штуки сложнее
Да тут такой дело что оно само по себе может иметь широкий диапазон. Если сравнивать просто ответ зирошотом на что-то или долгие рассуждения то могут быть десятки раз. Если наоборот дерево идет по верхним уровням а ответ уже дается развернутый - даже с подробным будет всего в пару раз или даже меньше. Средняя температура по больнице и по-разному можно подсчитывать.
> Если без оверкиллов для РП
Хоть было это и давно на второй лламе, но сильно усложнение там давало только негативный эффект. Чрезмерная рефлексия или всякие селф-инстракты норм работала только в начале, но если развивать чат то оно начинает странно затупливать и уходить куда-то не туда, из-за чего ответы несуразные.
При этом, простые вещи типа заготовка индивидуального промта для гейммастера, что будет писать развитие истории, и чара, который не видит ни посты юзера, не историю своих ответов, а "общую историю", плюс отвечает в 2 прохода обобщение+раздумья @ действие, и потом это переваривается гейммастером в историю - давало оче крутой результат.
Но кумить так неоче, без норм интерфейса страдание и большие сетки сами по себе ебут, поэтому дальше тестового концепта не пошло. Проблема еще в том что там не просто тот же чат с добавлением мелкой инструкции в конце, а целиком индивидуальный промт для каждого запроса (кроме 2го прохода на чара), встроенными средствами таверны такое хз как делать.
> А меньше ли?
Они любые цифры могут там нарисовать и в нужную сторону интерпретировать. А сделать меньше это их первоочередная задача, иначе привыкшие к быстродействию чмони будут гореть с десятков секунд до появления первых токенов.
>очень странно удовлетворили ходатайство
Я даже на русском нихуя не понял. Походу попены там такое насобирали, что показывать без заглядывающего за плечо товарища майора просто стыдно.
>разумные поисковые запросы
Все тексты, содержащие слово "and"? А если серьёзно, то пиздец конечно, интересно, сколько бабла попены влили в адвокатов, чтобы так кастрировать проверку.
>Да тут такой дело что оно само по себе может иметь широкий диапазон. Если сравнивать просто ответ зирошотом на что-то или долгие рассуждения то могут быть десятки раз. Если наоборот дерево идет по верхним уровням а ответ уже дается развернутый - даже с подробным будет всего в пару раз или даже меньше. Средняя температура по больнице и по-разному можно подсчитывать.
Ну в общем да, это детально уже прикидывать конкретную реализацию надо.
>встроенными средствами таверны такое хз как делать.
Встроенными никак, только расширение. И то не уверен что будет просто, помня какой жаваскриптоублюдочный пиздец код таверны.
>Хоть было это и давно на второй лламе, но сильно усложнение там давало только негативный эффект. Чрезмерная рефлексия или всякие селф-инстракты норм работала только в начале, но если развивать чат то оно начинает странно затупливать и уходить куда-то не туда, из-за чего ответы несуразные.
При реализации с дрочем ризонинга отдельными запросами и промптами без сохранения рассуждений в контексте, оставляя только финальный ответ/решение/действие/сообщение/etc., такой хуйни не должно быть то.
> А сделать меньше это их первоочередная задача, иначе привыкшие к быстродействию чмони будут гореть с десятков секунд до появления первых токенов.
Ну будем посмотреть наоптимизируют ещё чего, или нет, превьюхи всё таки. Полную они небось доделывать и через safety шизу свою гонять ещё полгода будут. Релизы моделей спустя год с большим хуем+ после начала обучения - хули нет.
Вообще, это потенциально может стать прецедентом для запида кучи таких кейсов с исками о предоставлении датасетов относительно всех нейросеток. Пахнет жаренным.
> только расширение
Ну, то есть у экстеншна там есть доступ к полному чату, карточке, персоналити? Если да то можно просто отдельно в нем самом все формировать не используя штатную оснастку таверны, просто будет дохуя громоздко. Еще бы было оно на пихоне а не на жс, эх
> При реализации с дрочем ризонинга отдельными запросами и промптами без сохранения рассуждений в контексте, оставляя только финальный ответ/решение/действие/сообщение/etc., такой хуйни не должно быть то.
Не, оно именно в процессе ризонинга и самоиснтруктирования начинало серить и даже чуть ли не лупиться. Типа фокусируется на каком-то одном аспекте из произошедшего и начинает под него что-то подстраивать и наматывать, ставя это целью, а не развивая общее. Может и конкретная реализация была говно, может там модели натренены. Обучение лорой по сравнению с полновесовым файнтюном ллм по ощущениям именно так себя и показывает, что модель вместо усвоения конкретики пытается следать паттернам из датасета и фиксируется на одном что не сдвинешь
А вот когда просто фиксированные промты с переработкой и где бот каждый раз видит только уже отрефакторенную историю и без чрезмерного обдумывания - работало отлично.
Прав по поводу отдельных запросов, с ними точно было бы лучше, но тогда это уже не самоинстракт (и не нужно).
> через safety шизу
Алсо там говорили что оттепель с цензурой клозедов и они теперь приемлят нсфв без миноров. По крайней мере у чмони нет цензора на отправляемые пикчи как в жмини.
>предоставлении датасетов
Так в закрытом же доступе. Вот если бы обязали выложить в попенсорс...
>пихоне а не на жс
Сорта одного говна. Если бы ты был программистом, написал бы без проблем что на первом, что на втором.
Цензура чмони шизовая. Порой триггерится на безобидную херню, но не реагирует на казалось бы то что должна. При просьбе сгенерить что либо с упоминанием жопы в контексте уже может инсульт словить.
При этом есть ещё хуйня, что может отвечать на темы и фразы, на которые выкидывается плашка о потенциальном нарушении политик, но при этом будет делать это с полуигнором.
Сегодня вот только её просил из набора фраз с кучей матов и нецензурных тем сгенерить тексты песен, генерирует, но усердно криво выполняя просьбы или игнорируя, хотя на цензурном контенте всему чётко следует.
> Пахнет жаренным.
Только для калифорнийских трапов типа всяких КлозедАИ.
>Ну, то есть у экстеншна там есть доступ к полному чату, карточке, персоналити?
Хер помню точно уже, давно туда не залезал.
> Еще бы было оно на пихоне а не на жс, эх
Всегда можно обмазаться говном чмоней/клодом для помощи
>Не, оно именно в процессе ризонинга и самоиснтруктирования начинало серить и даже чуть ли не лупиться.
А. Ну с старыми лламами и остальным сложнее это было, да. Сейчас по идее вопрос только промптинга и подкрутки семплеров. Ну и тупости модели.
>Обучение лорой по сравнению с полновесовым файнтюном ллм по ощущениям именно так себя и показывает, что модель вместо усвоения конкретики пытается следать паттернам из датасета и фиксируется на одном что не сдвинешь
От лор другого особо ожидать и не стоит. Разве что от очень больших, но нахуя, если уже проще тюнить модель тогда.
>Прав по поводу отдельных запросов, с ними точно было бы лучше, но тогда это уже не самоинстракт (и не нужно).
Ну вот это уже дорожка в фулл ToT/GoT/хует
>По крайней мере у чмони нет цензора на отправляемые пикчи как в жмини
Так если что-то шо нельзя, то сожрав пикчу чмоня сама включит сою, ну и плашку высветит как на пикрелейтед с пикчей полуголой девки на входе.
>>910139
>Только для калифорнийских трапов
Как говорится, желаем удачи обоим сторонам конфликта.
Если бы у бабушки были яйца, вижу в имеющейся позиции больше преимуществ. Наверно туда действительно быстро погрузиться с общими знаниями, но это нужно изучать устройство и особенности, времени жалко что пиздец ради одного экстеншна, может кто-то умный кто знает сделает, а там уже доработать.
>>910137
> Цензура чмони шизовая.
Абсолютно. Может рассказывать про лолей но аполоджайзить на стоящих рядом парне и девушке в купальниках на пляже. То про пикчи на вход, с генерацией цензура аутпута фильтр никуда не делся.
>>910144
> Всегда можно обмазаться говном чмоней/клодом для помощи
Ну типа когда язык в общем знаешь - да, а тут будешь тупить на каких-нибудь основах и придется много спрашивать.
> уже дорожка в фулл ToT/GoT/хует
Можно ли заделанную по фиксированному шаблону штуку относить к ним?
> то сожрав пикчу чмоня сама включит сою, ну и плашку высветит как на пикрелейтед
Нужно по апи, с жб и префиллом. На жесть всеравно иногда брыкается, но она ее нормально визуально и не воспринимает.
>Можно ли заделанную по фиксированному шаблону штуку относить к ним?
Ну это названия из конкретных папир про конкретные техники всё таки. Какого-то термина зонтичного вроде так и не появилось общепринятого.
>Нужно по апи, с жб и префиллом.
Та в пизду её. Для NSFW локалок хватает, а для рабочих задач не до ебли с апи и проще какой-нибудь Cursor оплатить или кому что надо.
>>910150
Можно правда попробовать reasoning topologies натянуть, конечно, но это сова на глобус будет. Папиру очень в тему на почитать наноч, кстати: https://arxiv.org/pdf/2401.14295
Очень редко что-то человеческое в речи проскакивает
>Чет 7b модели прям совсем днище ебаное
Ты небось ещё и на русском к ним. Попробуй L3-Umbral-Mind-RP-v3.0-8B не ниже шестого кванта и на английском.
У тебя вверху рожица нарисованная, жми на нее, там можно будет создать юзера с описанием.
>но это нужно изучать устройство и особенности
Не нужно.
>времени жалко что пиздец ради одного экстеншна
Лол, сейчас всё вокруг на жс написано, это база, его знать надо.
> Ну, то есть у экстеншна там есть доступ к полному чату, карточке, персоналити?
Да, есть.
>>910150
> Наверно туда действительно быстро погрузиться с общими знаниями, но это нужно изучать устройство и особенности
Если у тебя нулевой опыт программирования на любом языке, то будет тяжело, да. Если хоть какой-то есть, то быстро разберёшься, тем более что там полно рядом других расширений вшито, из которых ты можешь невозбранно пиздить код и адаптировать под свои нужды. К примеру, я и фронтендер - вещи максимально далёкие, тем не менее начал писать расширение и за 3 дня практически закончил основную часть но хуярил я каждый из дней фуллтайм, да.
>помня какой жаваскриптоублюдочный пиздец код таверны.
Мелькнули мысль, как думаете, взлетел бы форк таверны, либо похожий фронтенд на питоне?
А то тут аноны пишут что каждый себе собственный фронтенд разрабатывает, а не лучше ли было бы совместно склепать +- норм универсальное решение, которое каждый потом сможет кастомизировать под себя?
С таверной проблема что это нодо-жсный монолит с спаренным бэкендом и фронтендом. Там уже неизлечимо особо.
Это вообще нетривиальная задача и для хорошего спеца уровня синьера-помидора и выше - продумать сразу архитектуру нормальную с возможностью без боли пилить какие-то расширения и с широкой кастомизацией под себя.
А у нас ещё проблема в том будет, что "совместно клепать" и "аноны" уже понятия плохо совместимые, а в случае крупного проекта тем более. Это как обычно надо чтобы нашёлся кто-то один, кто начнёт проект без проебов и допилит до состояния когда многим интересно вписываться станет.
Подскажите ещё пожалуйста:
А как работают карточки-сценарии, а не персонажи?
И кстати, как проверить что модель может в русский и заставить говорить на русском?
На борту 12 выделенной (16 общей) VRAM и 32 RAM.
Модель и скорость генерации:
Last request served by Custom Endpoint using koboldcpp/L3-8B-Sunfall-v0.5-Stheno-v3.2-Q8_0_L in 6.5 seconds.
Всегда ли лучше юзать 4-5 кванты ( База это Q5_K_M. ) или можно взять больше если влезает, насколько это скажется на качестве ответов?
Заранее спасибо.
>склепать +- норм универсальное решение
Пили список фичей для начала. А то некоторым критична какая-то кривая залупа, которая и в таверне-то работает через анус, но другой фронт без неё они не примут идеологически. Вообще переход с жс на питон это хорошо, на жс только шизофреники пишут, но и питон не идеален.
Всерьез советовать L3, пхкек.
>>910288
И ниче не работает.
Совпадение? Не думаю!
>>910345
15 стандартов
16 стандартов
Да, взлетел бы, но это если уметь делать, а не как 99% дебилов, которые делают «под себя», а потом удивляются, почему их гениальное говно никому нахуй не всралось.
>>910357
Пчел, это текст, ну какая разница между сценариями и персонажами? Никакой, это текст просто. Что спрашиваешь — то и выдает.
Если отвечает на русском — значит может в русский. Какой вопрос такой ответ. Выше — что спрашиваешь, то и выдает. Пиши на русском.
На борту молодец.
Выкинь это говно ебучее и не трогай никогда лламу-3. Высрали хуй пойми что, когда вокруг буквально все модели лучше.
Всегда лучше юзать оригинальный квант, если не влазит — возьми q8/8bpw, если не влазит — возьми q6/6.5bpw, если не влазит — возьми q5_K_M/5.5bpw/6bpw, но это уже край.
q4 юзают на 70b, ну совсем бомжи на 30b моделях.
Не смей на мелких юзать малый квант, это ж пиздец отупляет и так не самые умные модели.
>>910359
Какая-то дефолтная вещь, которую в таверну никто не завез, так правильнее. =)
Переход на питон это тоже хуйня, там тоже недалеко от шизы.
Переходить на нормальные языки, что вам Си сделал, почему не это семейство-то.
но это в идеале, мне-то похуй, я ленюсь.
> а не лучше ли было бы совместно склепать +- норм универсальное решение, которое каждый потом сможет кастомизировать под себя?
Для чего? Что конкретно ты не можешь сделать в Таверне, либо настолько геморно сделать в Таверне, что это оправдает создание нового фронта? И это при отсутствии гарантии, что фактическое качество архитектуры/кода у этого нового фронта будет существенно выше.
>Всерьез советовать L3, пхкек.
Не-не-не, Umbral мне хорошо зашла, прямо хорошо. Достаточно умная для 8В модель, хороший файнтюн. Семплеры только подобрать и поехали. А вот Stheno как-то совсем не зашла, хоть и тоже L3.
Спасибо. Карточку имеет смысл переводить на русский или лучше писать на английском, но как тогда скомандовать отвечать на русском?
Не, в английский я могу, но потом всё на русский переводить будет запарно для вставки в сценарий. Хотя всё равно вычитывать и форматировать придётся, но хотя бы не переводить.
Какие из этих моделей лучше для фентези рп / сторителлинга?
Или появилось что новое?
Делают и так, и так.
Кто-то пишет в конце карточке Answer in Russian, или Отвечай на русском.
Кто-то переводит.
Lumimaid-magnum, Magnum, Gemma.
Поищи еще Gemma Ataraxy и ее производные.
а чем тебе лама не нравится? я смотрел на того же хайпового квена - ну полное дно, за лор не шарит, понимание персонажей поверхностное
> Не нужно.
Действительно не нужно, потом будет много открытий почему оно ноет на неверный синтаксис или затупы почему = в одних случаях дает указатель на старую а в других копирует значение.
> всё вокруг
Про каждый можно сказать кроме совсем новых. В обработке данных, нейронках и околонаучных вещах жс непопулярен.
>>910299
Ну ты красавчик, это уметь надо. Зальешь куда-нибудь предварительную версию попробовать?
>>910345
> взлетел бы форк таверны, либо похожий фронтенд на питоне?
Все зависит от конкретной реализации, если будет крутым, функциональным, не надмозговым и с разумной степенью кастомизации - взлетело бы. Но там все равно потребуется жс на стороне браузера, а готовых либ что дали бы такой интерфейс наверно и нет. Тяжело такое будет пилить чтобы достигнуть хотябы уровня таверны что был год назад.
На нём только такой проц и 8 гб оперативки.
Есть ли хоть какая-то относительно недавняя LLM модель, которую можно запускать на этой вычислительной машине? Я готов подождать, пока генерируется ответ, если только оно не сожжёт мне процессор.
Я, как это водится, совсем не разбираюсь в нынешнем разнообразии моделей, поэтому спрашиваю совета
>Какая-то дефолтная вещь, которую в таверну никто не завез, так правильнее. =)
Примеры приводи, чтоли. Так-то в таверну дохера чего завезли, кроме удобства, нормального интерфейса и способности работать без десяти гигов зависимостей. Но питон такой же, так что здесь однохуйственно.
>почему не это семейство-то
Ну для себя-то понятное дело, что ни питон, ни жс не подойдут. Но если для треда, то нужно же, чтобы анон смог добавить расширения. Прикручивать луа будет ультраоверкиллом, да и не осилит тред скриптинг на луа, давать возможность включать свои длл? Вряд ли тред осилит и это. Остаётся интерпертируемый кал - питон, жс и т.д. Можно чисто по рофлу за недельку сделать свою таверну на перле, чтобы все ебанулись окончательно.
>>910385
>а готовых либ что дали бы такой интерфейс наверно и нет
По факту у таверны нет интерфейса. Там всратая разметка, которую рисует браузер, а из скриптов разве что выползающие окна и асинхронные запросы.
Вместо того чтоб ждать 1.5 минуты пока он сгенерится и у тебя хуй упадет можно читать прям по ходу генерации
>Сук хули все молчат про стриминг текста в таверне
Чтобы самому проебать галку стриминга я даже не знаю как в глаза ебаться надо.
По дефолту везде включено и само собой разумеющееся. А про то что возле сообщения бота можно нажать на стрелочку вправо и это запустит заново генерацию варианта ответа, из которых потом можно будет выбрать, ты знаешь?
Оперативы/врамы не хватает или что?
>из которых потом можно будет выбрать
Знаю, всмысле выбрать?
Звучит так будто там несколько ответов генерятся
Ещё бы кнопку чтоб текст не обрывался и нужно было еще абзац генерить и кнопку продолжения заебло писать го он
Ты когда жмёшь стрелочку - новый ответ и генерируется.
>заебло писать го он
А ты больше токенов поставь для генерации. Или тупо жми отправить с пустым полем ввода.
> Знаю, всмысле выбрать?
Если тебе не понравился и новый ответ - можешь продолжить генерацию новых, или вернуться к одному из старых.
> Ещё бы кнопку чтоб текст не обрывался и нужно было еще абзац генерить
Да, кнопка continue. Работает если сетка остановилась по лимиту токенов или eos просто срандомился, если она считает фразу законченной то продолжения не будет, для него нужно банить eos или оформлять новым запросом.
Ты хоть по интерфейсу там пробегал, смотрел что есть вообще?
Я пробегаю по моделям для моей некрокарточки нет времени на интерфейс
>Для чего?
>>910359
>Пили список фичей для начала.
Лично мне бы в качестве главных фич хотелось "модульность" и "питон".
Для меня главный минус таверны в том, что это это уже готовый собранный инструмент и если ты хочешь в нём что-то поменять то перехочешь
А если бы был например "базовый" движок, к которому можно подключать модули, меняющие функционал, причём такие, которые ты можешь легко отредактировать, если что-то не устраивает, а то и написать свои с нуля, было бы шикарно.
ЛЛМ даже для кума в основном гоняют энтузиасты, так что, как по мне высокая кастомизированность и простота написания пайтон были бы не лишними.
>>910361
>а не как 99% дебилов, которые делают «под себя»
Так идея и есть в том, чтобы дебилы могли делать под себя и делиться своей шизой, так и КлозедАИ обогнать можно!
>>910354
>Это вообще нетривиальная задача и для хорошего спеца уровня синьера-помидора и выше
Вот я таким точно не являюсь. Максимум джун, так что по большей части просто предлагаю идею.
Могу разве что заняться рутинным пердолингом, но это если кто-то из местных сеньоров заинтересуется.
> для моей некрокарточки
Как раз найдется время, лол. Посмотри лучше, там много всяких фишек есть.
>>910418
> А если бы был например "базовый" движок
Gradio, базовый движок, подключай чего хочешь. Но так получается что тоже перехочешь.
>>910418
> так и КлозедАИ обогнать можно
Базовая беда опенсорса - каждый превозносит свое болото и дико обижается когда кто-то его критикует, или просто специально игнорит предложения даже если они оче перспективны но идут вразрез с тем что уже надумал. От того и имеем то что имеем.
Качай qwen2.5 3b, 8 квант формат gguf на хаггинфейс
Качай кобальд, запускай
Сетка мелкая, даже на твоем компе несколько токенов в секунду выдаст
>Gradio, базовый движок, подключай чего хочешь.
Градио не движок, а кусок говна ебаного по сути тупо простой и всратый UI фреймворк для тех кому впадлу ебаться с чем-то нормальным или руки слишком кривые, а хоть какой-то гуй прикрутить побыстрому надо.
>>910418
>питон
Одним питоном тут не обойдешься в любом случае. Питон-бэк, JS/TS-фронт по хорошему надо. Любителей обмазываться UI-либами для питона, а там более автогенераторов python->html/css/js попрошу удержать свои перверсии при себе итт.
Подскажите как бы ее автоматизировать? Я хочу запустить шарманку а прийти уже к готовому написанному тексту.
>Подскажите как бы ее автоматизировать?
В таверне есть групповые чаты и опция "позволить отвечать самостоятельно".
Создаёшь персонажа под себя, добавляешь в группу, включаешь опцию автоответа, получаешь бесконечный срач модели с самой собой.
> Ну ты красавчик, это уметь надо. Зальешь куда-нибудь предварительную версию попробовать?
Спасибо <3
Да я на этой неделе планирую добить расширение, сразу готовый вариант выложу. Недолго подождать осталось, потерпи, анончик, пожалуйста.
>>910418
Имхо, ради питона и декаплинга который не факт что получится, лол пилить новый фронт нет смысла.
>получаешь бесконечный срач модели с самой собой
Было посадил в бункер коммунист-тян, ss-тян, анкап-тян, 2b, 9s, пару ещё каких-то карточек и мисато из евы, ушел на пару часов, когда вернулся обнаружил как после щитпост срача, мордобоя и перестрелки на 20к контекста в живых осталась только последняя продолжая искать пиво в запасах на складе.
>Питон-бэк
Зачем вообще бек? Есть же лламацпп и угабога с простым подключением через API?
>JS/TS-фронт
То есть таверна?
>Любителей обмазываться UI-либами для питона попрошу удержать свои перверсии при себе итт.
Почему?
>>910422
>Gradio
А вот это интересно. Не изучал раньше эту тему, но вроде бы интерфейсы SD WebUI и Oobabooga на ней сделаны?
Но мне не хватает готовой "дефолтной" сборки, в которой всё уже было бы норм, но был бы вариант прикрутить какой-то свой функционал, не начиная ебаный реверс инженеринг вообще всего.
Прочитал Quickstart Градио и пока не уверен что это проще, чем писать свой фронтенд с нуля.
Да норм идея. Спасибо.
>>910466
Проиграл пиздец. Ну так-то что эти доморощенные игроки в хои4 ждали вступая в бой с кадровой капитаном Мисато прошедшей евангелоновскую войну.
С какой нибудь rtx 3060 будет сильно лучше?
Сначала ответьте на вопрос, на чём у вас будет реализована клиентская часть.
Если это будет веб, то, значит, у вас, в любом случае, будет куча логики на клиентской части в виде TS/JS. Бек, в данном случае - это самая простая часть. По сути, бек должен просто давать доступ к файловой системе, чтобы получать/сохранять чаты/карточки и прочее. Из-за CORS есть свои нюансы, но, возможно, даже проксировать запросы к LLM через бек не нужно будет.
Если же вы хотите питон, то, скорее всего, вы хотите использовать условный Gradio. Проблема с ним в том, что он ну совсем не гибкий - я не верю, что на нём можно реализовать комплексные интерфейсы - та же экосистема для SD в виде AUTOMATIC1111/Forge выглядит как кусок говна, где спустя два года банально не смогли запилить какой-либо удобный редактор промптов, ограничившись <textarea> с выпадающим списков подходящих тегов. Gradio подходит только для прототипирования, он не приспособлен для сложных интерфейсов.
Если вы хотите пилить не web-based решение, то придётся думать о кроссплатформенности.
Если бы я решил пилить свою аналоговнетную замену таверны, я бы пилил SPA на ангуларе/реакте с нодой на беке. То есть стек был бы близок к тому, что используется в таверне, но я бы взял фронтенд-фреймворк, поскольку это просто must-have для любых комплексных интерфейсов, коим, бесспорно, является таверна. Почему нода в качестве бека? Да потому-что на фронте, в любом случае, будет TS, поэтому нет смысла использовать что-либо иное в качестве бека, так как людей, которые могут писать на JS, априори больше чем тех, кто знает JS + ваш_любимый_язык. Ну и, как я уже говорил ранее, бек в любом случае будет простой - просто CRUD по нескольким сущностям в файловой системе и, возможно, проксирование запросов к бекенду LLM. Это можно на любом языке сделать, так что нет смысла усложнять.
https://github.com/SillyTavern/SillyTavern/blob/release/public/index.html
https://github.com/SillyTavern/SillyTavern/blob/release/public/script.js
Сейчас достаточно посмотреть на код клиентской части таверны, чтобы понять, в чём её проблема - абсолютная монолитность, где весь UI описан в одном файле на 6.5к строк, а вся логика описана в другом файле на 11к строк. О какой расширяемости и о каких сторонних контрибьюторах может идти речь с таким подходом? У меня, банально, нет желания тратить своё время на то, чтобы вникать во всю эту лапшу - я лучше костыли на STscript буду писать, если мне прям сильно нужна какая-то фича. А пилить свой GUI с нуля слишком долго и хлопотно. Да и, скажу честно, мне этого фронтенда и на работе хватает - тут же я хочу просто початиться с вайфу, а не пилить несколько недель-месяцев фултаймом то, что худо-бедно и так уже работает. Да и наградой за такое, в лучшем случае, будет полный лист Issues на гитхабе, а на дваче/форче тебе будут долго объяснять, какой же ты мудак, ведь ты не реализовал %featurename% в своей кривой поделке.
Из хороших GUI для сторителлинга можно считать веб-интерфейс для проприетарной NovelAI - там, в отличии от таверны, хотя бы банально контекстное меню через ПКМ реализовали, где можно быстро добавить предложения в Autors Notes или добавить слово в лорбук; ну и можно попросить LLM, чтобы она сама для лорбука попыталась описание сущности придумать исходя из контекста. В общем, видно внимание к мелочам.
> blob/release/public/index.html
> blob/release/public/script.js
Лол, я даун, забейте. Там всё ок разбито.
Хотя, конечно, всё взаимодействие с интерфейсом сделано на jQuery, что прям ну очень сомнительное решение для таких комплексных интерфейсов энивей. Вместо компонентного подхода мы явно манипулируем с DOM и создаём ноды ручками, ну пиздос.
>Зачем вообще бек? Есть же лламацпп и угабога с простым подключением через API?
>То есть таверна?
Дальше имхо as usual: за тем чтобы не получалась как раз таверна, в которой всё свалено в одну кучу и для которой пилить даже простые юзащие её API (описания которого конечно же нихуя нет) расширения боль дырка задница.
Это раз.
А два то, что на питоне весь ML крутится и делается и написана куча готовых вещей, и просто так отрезать это всё по причине что просто охота запихать всё в монолитную жс-залупу чтобы потом писать десяток велосипедов, а потом понять что всё равно поебень какая-то и один хуй для сложной хуйни писать отдельно под каждую хуйню питоновский бэк, как было с extras у таверны, -- говно идея.
Отдельно бэк, в котором вся core логика работы с дрочами апи ллмок, баз данных, файлами, etc. + то же самое для расширений/модулей. Отдельно фронт для всей ебли с собственно фронтовой логики и его расширениями.
Вроде бы базовая вещь не класт все яйца в одну кучу, когда явно всё намекает что не надо, но всё равно кладут, получая потом всекие вебуи автоматика и таверны, под которые или просто никто ничего не делает и не пишет потому что проще своё реализовать под свои задачи, или ломающийся от каждого чиха франкшенштейн.
А ведь мы можем проксировать соединение между таверной и бэком, чтобы изменять промпты так, как нам нужно
> А два то, что на питоне весь ML крутится и делается и написана куча готовых вещей
И какие из этих вещей потенциально могли бы использоваться в таком гуе напрямую, можешь привести пример?
>>910512
Были уже такие расширения для таверны ( https://gitgud.io/Monblant/noass/-/tree/master?ref_type=heads ) и прочие прокси ( https://github.com/Barbariskaa/Spermack https://github.com/anon998/simple-proxy-for-tavern), которые должны были крутиться между таверной и LLM чтобы подгонять формат промпта под нужный или обеспечивать поддержку нестандартного бека.
>Ну и, как я уже говорил ранее, бек в любом случае будет простой - просто CRUD по нескольким сущностям в файловой системе и, возможно, проксирование запросов к бекенду LLM
И на каждую попытку сделать к твоей великолепной замене таверны какое-нибудь расширение с функционалом сложнее чем подрочить текст простой гонямый с бэкенда ллм, с RAG и OCR, например,
один хуй каждому идти писать отдельный бэк на питоне под каждое расширение, отдельно их ставить и запускать. Прям как в таверне. Мы ведь все любим ставить для каждой хуйни отдельные проги, бэкенды и прочее сидя с 10 окнами терминала
А нахуя, позвольте спросить?
Есть такое, да. С этой стороны бек на питоне и вправду выглядит сильно-привлекательнее, согласен. Только я всё равно считаю, что про Gradio для такой задачи лучше вообще забыть - он просто не годен для сколь-либо сложных интерфейсов.
>>910527
Шизотеоритизировать интереснее чем что-то на практике делать.
>Были уже такие расширения для таверны
А ведь я рофлил.
>>910527
>И какие из этих вещей потенциально могли бы использоваться в таком гуе напрямую, можешь привести пример?
Что значит "напрямую"?
Какие? Ну те же ToT, GoT и прочие, которые полтреда до этого обсуждались. Для которых уже порядком и переиспользуемого кода, и готовых библиотек написано.
По-моему странно хотеть делать убийцу уже существующего решения в виде таверны по причине того, что сложно расширять функционал и никто под неё писать не хочет, и при этом собираться с разгону прыгнуть ровно на те же грабли.
>>910530
Нахуй нам градио вообще, если бэк это бэк. Фронт пусть на жсах тсах и рекатах или чём там ещё хотите и будет.
Смотрим на таверну и думаем почему нам не нравится и почему никто под неё ничего особо делать не хочет и делаем простые выводы: не делать монолитную JS-нодо-залупу, не отрезать огромный пласт человек работающих с нейросетками и дрочащих питон, которым нахуй не усралось бы ваш любимый JS идти изучать чтобы писать на нём велосипеды для всякой по сути бекендовой логики.
Хайповая как раз ллама.
А на деле: знает лор хуже Немо и Геммы, логика хуже Квена, русский с ошибками, буквально ни одного плюса.
Если тебе нужен короткий бездумный диалог по хорошо известному персонажу на английском — то она справится. Но это максимально странное требование к модели.
Все остальные модели буквально лучше нее во всем.
Она вирусится чисто потому что первая выстрелила.
>>910389
Ну или Qwen2.5-7b в малом кванте, или 3B в восьмом.
GGUF на проце и оперативе.
>>910390
Таверна SSL не поддерживает из коробки, и смех и грех.
Вон, чел выше делает синкинг, который раньше регулярками делали, почему нельзя было?
Диалог с микро только по кнопке, почему не безостановочный?
Я хз, дальше мне лень вспоминать.
Я не спорю, из имеющихся, Таверна — лучшая.
Но это не делает ее хорошей, она все еще имеет кучу минусов и недоработок.
> Но если для треда
Да причем тут тред, гит, опенсорс, мы в 21 веке живем, чай не фидонет с кодо внутри почты.
Пишешь на любом языке, аппрувишь пулл-реквесты, делаешь сборки.
Не выглядит как что-то сложное, что не потянут нормальные прогеры, если честно.
>>910412
Шо-то ору.
>>910418
ИМХО, Таверна совершенно не сложная, просто на жиэсе, а он говно.
Но если хочешь что-то сделать — можешь разобраться и сделать.
> Так идея и есть в том, чтобы дебилы могли делать под себя и делиться своей шизой
Тада ладно, извиняюсь, наверное я идею не понял.
>>910430
> Питон-бэк, JS/TS-фронт по хорошему надо.
Страшна, ни нада так!..
>>910473
> Не изучал раньше эту тему, но вроде бы интерфейсы SD WebUI и Oobabooga на ней сделаны?
Ну ты видел, какие они убогие?
В смысле, я-то работаю с градио, но именно затем, чтобы быстро поднять что-то на трансформерах для тестов.
А писать серьезное я бы не стал.
>>910476
Да.
>>910477
> на ангуларе/реакте с нодой на беке
Бля, дайте мне кирпич, я уебу его нахуй.
Чел с питоном, вернись, я всю прощу!
>>910481
А кто ж еще на ангуляре/реакте с нодой будет проект делать.
———
Все, простите, больше не буду отвечать на жиэс нод реакт питон бэк для фронта, простите.
ну это вообще тупа кал, никакого развития и каких то откровений
Пишу ебать в пизду мне ответ ебешь в пизду тупа повторяшка ебаная
>Страшна, ни нада так!..
В таком мире живем, что поделать. В любом случае лучше дочь проститутка, чем сын жаваскриптер нода на бэке для ебли с нейронками.
Сама карточка на английском, но после первоначльного определения стоит:
{{char}} must only write in Russian language.
{{char}} должен всегда писать только на русском языке.
Надо позже проверить остальные модели что выше советовали.
> Зачем вообще бек?
Там, вероятно, речь про то что на пихоне производятся все релейтед операции а на жсе в браузере рисуется интерфейс. Не про кручение моделек а именно самой программы.
> SD WebUI и Oobabooga на ней сделаны
Именно, оно позволяет делать разные браузерные интерфейсы из паттернов. Но есть ограничения и нюансы.
>>910477
> то придётся думать о кроссплатформенности
> питон
Проблема решена уже на корню, лол. Ну а в остальном да, расписал базу, трудно найти пересечения между "знает жс в достатоной мере" + "понимает что нужно для чата в т.ч. мелочи" + "готов пердолить чужой странный код или пилить сложный проект с нуля".
>>910505
> простые юзащие её API
Зачем? Это бессмысленно и проще добавить десяток строк чтобы обращаться по oai апи напрямую. Идея объединять фронт (в смысле софтина для организации чата) и бэк (движок ллм) - также заведомо обречена, мухи отдельно - котлеты отдельно.
А так - да, менеджмент промтостроения и всякого на пихоне был бы удобен, но у него нет каких-то больших преимуществ здесь и жс для браузерного интерфейса всеравно понадобится.
>>910512
Так оно и делалось, вот только это неудобно что пиздец. Не можешь сразу посмотреть и на месте отладить, при упоре в контекст начинается жонглирование, любые правки и изменения системного промта становятся цирком или будет надмозновая система, в общем нужно иметь это все в одном месте а не делать очередную прокладку.
>бэк (движок ллм) - также заведомо обречена, мухи отдельно - котлеты отдельно.
Ты им про аномалии, они тебе про хабар.
Я про движок ллм ни слова и не говорил.
Вирос
Хотя я потыкал, ебать. На каждой страничке не запустить. Только на одобренных партией. Нахуй он нужен. Там мейнстримные сайты на которые уважающий себя битард не ходит.
>Только на одобренных партией
Есть шаблоны для использования, написанные под эти сайты.
>На каждой страничке
Можно выделить текст и отправить нейронке с промптом.
Я вообще разницы в качестве моделей 7-12b не вижу
>>910540
Спасибо за инфу.
Резюмировав написанное в треде и загугленную инфу понял, что написать кастомный фронт под свои личные хотелки не так уж сложно.
Но написать движок, который учитывал бы все хотелки, да ещё и не запороть всё изначально своей криворукостью не реально.
>>910517
>Были уже такие расширения для таверны
А вот это тема! Чем возиться в кривой таверне, можно использовать её как интерфейс, модифицируя передаваемый контекст! Так победим!
> Страшна, ни нада так!..
> Бля, дайте мне кирпич, я уебу его нахуй.
Предложи альтернативный стек для сложных интерфейсов. Сейчас у нас есть таверна на jQuery, и oobabooga на Gradio, почему-то ни один из вариантов вам не нравится.
> А кто ж еще на ангуляре/реакте с нодой будет проект делать.
Да не обосрался я, мне говна в штаны залили.
>>910539
> Что значит "напрямую"?
Я про то, что сейчас в таверне, например, нет возможности напрямую "установить" тот же SD в виде расширения, поскольку бек на ноде. Зато есть возможность использовать SD через API (один из вариантов через extras api, который уже на питоне).
Из твоего поста мне показалось, что ты хочешь дать возможность интегрировать это всё напрямую в этот гипотетический UI. У этого будут свои плюсы и минусы, поэтому хотел уточнить, какого именно уровня интеграции с другими сетями ты хотел бы достичь. Типа, захочешь поставить плагины для SD и TTS, которые будут устанавливаться напрямую в нетаверну без необходимости в стороннем беке, а там питоновские либы конфликтуют. В каких-то случаях интеграция через API с несколькими консольками может быть не то что удобнее, а просто проблем с этим будет меньше.
> Какие? Ну те же ToT, GoT и прочие, которые полтреда до этого обсуждались. Для которых уже порядком и переиспользуемого кода, и готовых библиотек написано.
> По-моему странно хотеть делать убийцу уже существующего решения в виде таверны по причине того, что сложно расширять функционал и никто под неё писать не хочет, и при этом собираться с разгону прыгнуть ровно на те же грабли.
Да, согласен, зря я ноду вообще упомянул.
> Смотрим на таверну и думаем почему нам не нравится и почему никто под неё ничего особо делать не хочет и делаем простые выводы: не делать монолитную JS-нодо-залупу, не отрезать огромный пласт человек работающих с нейросетками и дрочащих питон, которым нахуй не усралось бы ваш любимый JS идти изучать чтобы писать на нём велосипеды для всякой по сути бекендовой логики.
Главное в обратную крайность не удариться. Я пару раз порывался пилить чисто фронтовые плагины для AUTOMATIC1111, но из-за Gradio на фронте (где по сути весь UI и вся логика описывается на беке) оба раза забивал. Я просто не понимаю, с какой стороны к нему подступиться, чтобы реализовать какую-либо сложную логику на фронте и это не выглядело как шаткий набор костылей.
> Нахуй нам градио вообще, если бэк это бэк. Фронт пусть на жсах тсах и рекатах или чём там ещё хотите и будет.
Всё так, база. Датасаентисты должны пилить свою красноглазую херь на привычном им питоне, а реакт-смузи-архитекты должны заниматься формошлёпством на их любимом фреймворке.
>Но написать движок, который учитывал бы все хотелки, да ещё и не запороть всё изначально своей криворукостью не реально.
Криворукость на самом деле похуй. Главное что? Чтобы работало. Меня больше волнует расширяемость, чтобы экстеншоны писались легко и непринуждённо. Такого просто с наскока не сделаешь.
> "установить" тот же SD в виде расширения, поскольку бек на ноде
Обращение к ллм идет по апи, также и
> есть возможность использовать SD через API
за каким пытаться его встроить? Тут не может быть плюсов, только потенциальные проблемы.
> Я пару раз порывался пилить чисто фронтовые плагины для AUTOMATIC1111
Если плагины будут в виде каких-то дополнительных фишек - там хватает стандартных шаблонов жрадио и оно органично будет встроено в общий интерфейс. А если ты хочешь целиком переделать морду - лучше сделай свой клиент, который по апи уже будет делать вызовы. Но если там что-то сложное то лучше бэком сразу комфи делать, у автоматика припезднутое апи как только пытаешься выйти чуть дальше базового функционала.
сайт spicychat
8b а пишет на порядок выше
>Типа, захочешь поставить плагины для SD и TTS, которые будут устанавливаться напрямую в нетаверну без необходимости в стороннем беке, а там питоновские либы конфликтуют. В каких-то случаях интеграция через API с несколькими консольками может быть не то что удобнее, а просто проблем с этим будет меньше.
Ну такие случаи я очевидно ввиду не имел, когда уже есть де-факто стандартны индустрии на данный момент с апи.
Я больше про огромное множество возможных кейсов, когда нет готового какого-то standalone решения, которое можно легко дёрнуть по апи, но и когда писать писать полностью свой велосипед тоже говно идея, и как раз промежуточным вариантом может быть взять такую условную таверну где будет достаточно самому реализовать только часть в виде расширения. Как с этими же всеми *-o-T. Или какой-нибудь веб-поиск для ллмки-перса. Или RAG. Или внешняя память. Или какая-нибудь привязка к модным молодёжным langchain'ам иль ещё какой залупе. Или банальные штуки вроде поддержки других форматов карточек персов да сильно другая от базовой логика работы с менеджментом промптов и контекстов. Хуй знает сколько всего ещё можно придумать и сделать.
Ну и ещё специфический обратный всратый пример личный - я вот бота отыгрывающего персов для группы в телеге делаю. Мне самому нужно реализовывать и прикручивать кучу вещей вокруг ебли с менеджментом всем промпта/контекста/etc., кучу ебли с другими штуками то там то там, которые в той же таверне просто из коробки есть. Была бы условная другая таверна, позволяющая легко модулем подцепиться к внутрянке уже занимающиеся всем этим из коробки - прекрасно было бы. Но это уже, конечно, очень смело фантазирую.
Я вообще к чему про это всё предыдущее за тред. С идеями запилить очередного убийцу чего-то главное не попасть в классическую ловушку опенсурса: не забыть, что ты делаешь проект, которым многие должны хотеть по каким-то причинам пользоваться и помогать его поддерживать. Как бы не хотелось и не воротило, но надо включать в башке режим маркетолога, а проще говоря сначала думать что и нахуя ты делаешь и надо ли оно будет кому-то оно кроме тебя вообще. Если такая задача изначально вообще есть, конечно.
>Всё так, база. Датасаентисты должны пилить свою красноглазую херь на привычном им питоне, а реакт-смузи-архитекты должны заниматься формошлёпством на их любимом фреймворке.
Если без рофлов, то ну просто когда стандарт индустрии питон и плюсы и больше всего людей их знающих, то выше шансы, что кто-то на знакомых инструментах без проблем сделает условную core хуйню какую-либо и осилит уж немного фронта ей прикрутить, тем более если это ему упрощенно будет уже кучей всего готового, чем пойдёт писать core хуйню не на основном своём языке или тем более вообще не знакомом.
хотя может не актуально, тогда это лама 3 на их же логах, которую очевидно не выпустят
На качество ответа?
She chuckles and blushes at your comment. A mischievous smile curls her lips.
У меня щас и перс одно и тоже говорит и я повторяюсь
Варианты:
1. Увеличивай температуру.
2. Правь залупу руками.
3. Уменьшай контекст до последних 1-2 сообщений.
Варианты можно комбинировать, как залупа пройдёт - откатить.
Теперь сетка может, если умеет, строить сложные диаграммы
Расширение для запуска js кода тоже ниче так, но ограничено консольным выводом
Аналог артифакт бы туда, для html и питона
Ну хуй знает, ЕРП на Русском это как flappy bird на ассемблере. Модели это хорошо показывают.
Нужно пробежаться по нашей эротической литературе и добавить оче много новых терминов, чтобы была абстракция без такой грубой хуеты. В инглише это уже было сделано, хоть и со своими косяками.
>>910681
>Меня больше волнует расширяемость, чтобы экстеншоны писались легко и непринуждённо.
АНОНЧИКИ, МЕНЯ ОСЕНИЛО НАХУЙ!
Нам нужен движок, в который можно легко добавлять дополнения, по идее неплохо было бы иметь интерфейс, в котором можно было бы связывать эти дополнения друг с другом, чтобы видеть через что конкретно проходит контекст и как преобразуется.
Ну тоесть для максимального удобства и кастомизированности нужна доска, куда можно будет добавлять экстеншены, или ноды и связывать их между собой линиями...
Иии как вы уже догадались, такой движок уже есть, и это Comfy UI нахуй! написан на питоне кстати
Там уже даже имеются ноды, для подключения лламы и угабоги, преобразования текста, логических операций. Единственное чего не хватает это ноды, поднимающей свой веб-интерфейс потому что чатиться внутри лапши это уже совсем шиза, да и интерфейсы опять же будет легко менять и каталога нод, ориентированных на ЛЛМ.
Можно настроить чтобы готовое рабочее пространство стартовало автоматически, а в браузере открывался только чат, который будет с этим пространством работать например через API А если надо что-то поменять - открываем воркфлоу по ссылке "настройки".
СРОЧНО ДЕЛАЕМ ЛЛМ ФОРК КОМФИ!
>Comfy
Худший пример визуального программирования.
10 нод там, где должна быть одна.
Текстовые поля, чекбоксы, параметры - говно не оформленное нормально.
Совершенно не наглядная лапша там, где должен быть просто список таргетов.
Инструментов для УДОБНОГО рисования, инпаинта, масок нет. Вывод - крайность говна, которой пользуются только потому что альтернатив с хоть какой-то кастомизацией нет.
https://github.com/SomeOddCodeGuy/WilmerAI
Функционал действительно хорош. Можно покопаться.
Но это ещё один костыль, проксирующий траффик таверны без удобного редактора узлов.
Хотя, если прикрутить к нему фронт, заточенный под работу с ним, без лишнего конфликтующего говна, может выйти годнота.
>>911051
То есть суть твоих притензий в том что тебе там неудобно РИСОВАТЬ и нет нод для ГЕНЕРАЦИИ КАРТИНОК, которые бы тебе нравились?
Какое это отношение имеет к самому движку?
>Текстовые поля, чекбоксы, параметры - говно не оформленное нормально.
>Совершенно не наглядная лапша там, где должен быть просто список таргетов.
Давай пример не говна по твоему мнению. А то напоминает какие-то маняфантазии, которые при реализации которой не будет рискуют оказаться ещё большим говном.
>чатиться внутри лапши это уже совсем шиза
Я кгда начинал чатился в угабуге и урчал пиздец довольно.
А еще комфи - пиздец уродливый. Мб в нем и больше функционал но нет спасибо.
Запускай .exe через консольку, тогда увидишь, что он там написал перед падением.
>или ноды и связывать их между собой линиями...
У кого там кирпич? Ебаните этого долбоёба.
@
Вот он
@
Он не красивый
Ебать, ну и говноеды итт...
>Он не красивый
Он не то что не красивый. Он при попытке сделать что-то реально комплексное и рабочее превращается в орудие пытки. Как и любое подобное визуальное погромирование на нодах, вроде блюпринтов анрила. Только если в анриле у тебя хотя бы есть многие возможности обычных языков погромированния из коробки и хоть какие-то для организации "кода", то тут нихуя. И кастомные ноды не спасают.
И ещё большая проблема в том, что концепция комфи просто нихуя никак не ляжет на функционал вроде того что даёт таверна. Комфи это про сбор конкретных прямолинейных пайплайнов из подкапотной хуйни дифузионок. Чтобы для всей базовой только хуйни ллмной под комфи запилить хоть какой-то юзабельный набор надо будет или делать максимально крупные модули впихивающающие в себя как можно большие блоки функционала теряя в гибкости и тогда вопрос нахуй он нужен вообще, или доделывать комфи до полноценного визуального ЯП и собирая из мелких кусков, получив экспириенс блюпринтов UE и вырванные на жопе волосы. И один хуй в обоих случаев придется сначала под капотом комфи сломать и переписать кучу хуйни.
>надо будет или делать максимально крупные модули впихивающающие в себя как можно большие блоки функционала
This
>нахуй он нужен вообще
Ну смотри, например, будет 4 ноды:
1. API, для подключения ЛЛМ бекенда.
2. Семплеры.
3. Промпт.
4. Интерфейс чата.
Соответственно 3 нода подключена к 4, а 4 к 1. Чтобы работал чат в обе стороны.
Причём последнее я предлагаю сделать не в самом комфи, а отдельным веб интерфейсом, который будет подключаться отдельной нодой, но сам чат будет в отдельном окне браузера.
в этой схеме я проебал карточки персонажей, но для наглядности можно пока забить
А теперь надо тебе, например сумморайз. Просто берёшь готовый блок и втыкаешь между 1 и 4 нодами. А потом другой анон написал сумморайз получше, со скриптами и отдельной моделью - просто выкидываешь старый блок - ставишь новый. А потом ещё один написал цинкинг блок - втыкаешь его после сумморайза и мозги не ебёшь.
Всё просто, очевидно, понятно, а главное легко взаимозаменяемо. А в таверне сейчас, мало того что всё монолитно сшито и хуй ты что заменишь без ебли, так ещё и непонятно как друг с другом взаимодействует.
>сначала под капотом комфи сломать и переписать кучу хуйни
Да на самом деле не так уж много. Главное чего не хватает, это вменяемого чат интерфейса, вот с ним да, поебаться придётся. А ноды для локальных ЛЛМ в Комфи уже имеется в том или ином виде, надо только сделать чуть удобнее для работы чисто с ЛЛМ.
Ну и автостарт настроенного процесса, чтоб не перетаскивать джсон файл каждый раз, но это не сложно.
https://arxiv.org/abs/2410.00907
> В больших нейронных сетях большая часть вычислений приходится на тензорные умножения с плавающей запятой. В данной работе мы обнаружили, что умножитель с плавающей точкой может быть аппроксимирован одним целочисленным сумматором с высокой точностью. Мы предлагаем линейно-сложный алгоритм умножения L-Mul, который аппроксимирует умножение чисел с плавающей точкой операциями целочисленного сложения. Новый алгоритм требует значительно меньше вычислительных ресурсов, чем 8-битное умножение с плавающей запятой, но при этом достигает более высокой точности. По сравнению с 8-битным умножением с плавающей запятой предложенный метод обеспечивает более высокую точность, но при этом потребляет значительно меньше вычислений на битовом уровне. Поскольку умножение чисел с плавающей запятой требует значительно больше энергии по сравнению с операциями целочисленного сложения, применение операции L-Mul в аппаратных средствах обработки тензоров может потенциально снизить на 95 % энергозатраты на поэлементное умножение тензоров с плавающей запятой и на 80 % энергозатраты на точечные произведения. Мы рассчитали теоретическое ожидание ошибки L-Mul и оценили алгоритм на широком спектре текстовых, визуальных и символьных задач, включая понимание естественного языка, структурные рассуждения, математику и ответы на обыденные вопросы. Наши эксперименты по численному анализу согласуются с теоретической оценкой погрешности, которая показывает, что L-Mul с 4-битной мантиссой достигает точности, сравнимой с умножением float8_e4m3, а L-Mul с 3-битной мантиссой превосходит float8_e5m2. Результаты оценки на популярных бенчмарках показывают, что прямое применение L-Mul к механизму внимания практически не приводит к потерям. Далее мы показываем, что замена всех умножений с плавающей точкой на 3-битные мантиссы L-Mul в модели трансформера позволяет достичь точности, эквивалентной использованию float8_e4m3 в качестве точности накопления как при тонкой настройке, так и при выводе.
FFFFFFFFFFF
БТВ, форк не нужен, она и так справится, просто напиши экстеншен к ней, можно вообще фронтовой чисто, обращайся на ендпоинт openai-like API и все.
>>911051
Плюсую.
Но вообще, маски там есть, правой кнопкой по пикче и хуяришь. Работает.
>>911080
Скорее речь о неудобстве.
Т.е., идея «глубоко кастомизируемого модульного движка» в том, чтобы он был удобным для этой самой кастомизации.
Комфи — модульный. Но нихуя не удобный, кастомизацию там делать — ад.
Все что сложнее пяти лор на один контролнет становится лютой ебучкой.
Я делал там свои воркфлоу, но ебаная срань.
Так что:
Нужен глубоко кастомизируемый модульный движок
@
Вот НЕ ОН
@
Нахуя ты его тогда показываешь?
При этом, задумка понятна, но-код программирование, хули, блупринты из анрила вспомнили к месту.
Но на деле там куча кривых нод, которые ТО НЕ УМЕЮТ В ПОДГРУЗКУ МОДЕЛИ, ТО НЕ УМЕЮТ В ПОДГРУЗКУ ОДНОГО КЛИПА, ТО НЕ УМЕЮТ В ПОДГРУЗКУ ВАЕ ИЗ МОДЕЛИ, ну то етсь —
буквально нихуя не умеют, и ты собираешь по кубикам то, что может работать целиком сразу.
Тебе нужно загрузить теги лоры?
ИДИ В ЛОРУ ТЫКАЙ ГАЛОЧКИ ЖМИ КОПИРОВАТЬ ЖМИ КТРЛ В.
Тебе нужно сделать автоматически?
Вот два экстеншена (ни один из них не умеет заявленное и делают это через жопу).
Как можно было слить автоматику на градио (что по дефолту хуже, чем подход комфи), просто положив хуй на ВСЕ юзабилити вообще, и выбрав везде вариант «хуже» в попытке навредить пользователю?
Ну это пиздец.
Причем там видны зачатки юзабилити. Например, кнопка Add Lora УДИВИТЕЛЬНЫМ образом сама прокинет связи от себя, а не появится сферическая в вакууме.
Но дальше робких попыток сделать это сколь-нибудь удобным не пошло.
И, да, у меня на рабочем столе буквально два ярлыка рядом: авто и комфи.
Хули делать-то.
> Ну смотри, например, будет 4 ноды:
> 1. API, для подключения ЛЛМ бекенда.
> 2. Семплеры.
> 3. Промпт.
> 4. Интерфейс чата.
Это Комфи, не забывай:
1. API, для подключения ЛЛМ бекенда.
2. Чат-темплейт.
3. Систем промпт.
4. Негатив промпт.
5. Текст для карточки персонажа (просто промпт).
6. Популярные семплеры.
7. Порядок семплеров.
8. Малоизвестные семплеры.
9. Поле для ввода текста.
10. Поле с выводом текста.
История сообщений бота отображается в 10, история твоих сообщений не отображается нигде, нужен сторонний экстеншен.
Но я думаю, не дожал до их стандартов.
Надо бы еще подключение поделить на:
http/https (второй не работает, но есть)
ip
port
Три отдельных поля влетают в систем промпт.
Я не спорю, что комфи технически очень хорошо подходит для ллм.
Но практически крайне сомнительная затея.
Из хороших примеров (а то я тут говню вообще все) — ChatterUI. Чувак старается, приложение 44 мб для смартфона, а имеет все необходимое. Поправьте меня.
Конечно, не хватает еще мультимодальности, но это простительно.
Прекрасная новость, только вот
>может потенциально
"гипотетически у нас есть 3 миллиона долларов, а реально - две проститутки и старый пидарас", как в анекдоте... Ну будем надеятся.
Ну типа node-based довольно популярная штука в агентах, это уже 1.5 года делают. В целом, если грамотно организовать и в виде обрабатываемого передавать чат а в виде моделей/контстант/дополнительных данных варианты системного промта, карточки, персоналити, лорбуки и всякое - может быть заебись.
Разумеется, лапша должна быть внутри а у юзера уже красивый чат а ля таверна со всеми возможностями.
> Просто берёшь готовый блок и втыкаешь между 1 и 4 нодами
>А потом ещё один написал цинкинг блок - втыкаешь его после сумморайза и мозги не ебёшь
>>911147
>Это Комфи, не забывай:
>1. API, для подключения ЛЛМ бекенда.
>2. Чат-темплейт.
>3. Систем промпт.
>4. Негатив промпт.
>5. Текст для карточки персонажа (просто промпт).
>6. Популярные семплеры.
>7. Порядок семплеров.
>8. Малоизвестные семплеры.
>9. Поле для ввода текста.
>10. Поле с выводом текста.
Хотел было насрать простыню, но стало максимально впадлу объяснять в чём будет проблема и боль. Попробуйте блок-схемой нарисовать как себе представляете это и после не захотите.
Ну или просто попробуйте подумать как вы будете обратно запихивать контекст обратно на вход в условную ноду апи к бекенду. Спойлер: комфи вам никак не позволит закольцевать пайплайн. Вообще.
>>911143
>Как можно было слить автоматику на градио (что по дефолту хуже, чем подход комфи), просто положив хуй на ВСЕ юзабилити вообще, и выбрав везде вариант «хуже» в попытке навредить пользователю?
Так, что чел просто попрактиковаться запилил под пивас проект не собираясь с ним что-то особо делать, а все побежали его юзать и зачастую тупо вгружая готовые пайплайны.
>Это Комфи, не забывай:
Это не "Комфи", а разработчики нод. И делается это специально для большей кастомизации. А если такой уровень не нужен и ноды всё равно писать новые, то всё можно сделать намного проще.
Можно хоть все пункты с 1 по 10 в одну ноду запихать Но зачем?
> 95%
То есть, любая модель теперь будет выдавать в 20 раз больше токенов? А к SD применимо?
Это пиздец как охуенно, если реально выкатят.
>То есть, любая модель теперь будет выдавать в 20 раз больше токенов?
Хуй там плавал. Это только теоретическое уменьшение нагрузки процессора. Упор в память все равно будет. Он и сейчас есть, упор в процессор редкая вещь.
И так же будет требоваться специальные блоки по типу npu.
Но, какие нибудь мобилки или ноуты смогут на новых чипах быть намного энергоэффективнее и быстрее, если будет быстрая память.
>The optimal implementation is at the hardware level.
Ага, где-нибудь в 7090 будет. А ещё
>comparing to the quantization methods, our method requires less computation but achieves higher accuracy.
То есть их метод вместо квантования, получается. А они проводили тесты на своём сложении-умножении в fp32. Остаётся пожелать ребятам попутного ветра в сраку.
> Попробуйте блок-схемой нарисовать как себе представляете это
> >Это Комфи, не забывай:
> >1. API, для подключения ЛЛМ бекенда.
Нода, которая передает унифицированную функцию обращения.
> >2. Чат-темплейт.
Набор параметров, которые пойдут на вход для обеспечения правильного формата
> >3. Систем промпт.
> >4. Негатив промпт.
> >5. Текст для карточки персонажа (просто промпт).
Просто текст, который пойдет на вход.
> >6. Популярные семплеры.
> >7. Порядок семплеров.
> >8. Малоизвестные семплеры.
Просто параметры, которые будут добавлены при обращении по апи, считай такой же набор что пойдет или в ноду-апи или в ноду-формирователь.
> >9. Поле для ввода текста.
> >10. Поле с выводом текста.
Нахуй нахуй, классический чат должен быть, куда сообщения будут добавляться после прохождения всех нод, которые юзер должен видеть только на экране настройки.
Изейшество, красиво, удобно, эффективно, хотеть!
> комфи вам никак не позволит закольцевать пайплайн. Вообще.
И не нужно, для чего-то посложнее будет более длинная цепочка и ответвлениями, для группчата или просто общения разных персонажей должно быть обращение от фронта.
4.5т/с с 12b моделью или 10 с 7b мм кайф
>И, да, у меня на рабочем столе буквально два ярлыка рядом: авто и комфи
Я оба на сварм заменил, это так-то все еще комфи, но граф. оболочка позволяет вообще в ебаные блоки не лазить. А каломатик использовать, который в полтора раза дольше генерирует я уже заебался.
Комфи сделан исключительно для унижения нейрохудожников и уравнивания их работы с работой макак-схемотехников. Типа "настоящее искусство это руками рисовать, а это ваше ИИ это уродливая механизированная параша с блок схемами, вот их и жрите, бляди, и не суйте руки к искусству".
И это во мне не ненависть неосилятора визуального программирования говорит, я сам матлаб инженер, потому понимаю кое-что в этой теме. Комфи намеренно сделан уродливым, неудобным и непрезентабельным.
>>911239
Ну вы воробушки, что ли?
Я расписал так, как это делается в комфи, а не как надо. =D Надо наоборот, очевидно, но комфи — про хуйню, к сожалению.
> чел просто попрактиковаться запилил под пивас проект
КЕК
Вот тебе и опенсорс. х)
>>911299
Это комфи, никаких классических чатов! Только херня, только хардкор! =D
>>911327
Я в комфи залез ради Stable Video Diffusion/CogVideo и прочих плюшек.
Если фордж могет — то с удовольствием.
>Он быстрее, значительно
Сильно зависит от железа. Ну и нюансы с несовместимостью расширений. Многих вещей до сих пор нет.
>>911350
Да комфи имхо популярность вообще набрал только потому что можно было новые штуки выходящие или придуманные быстро на коленке вхуячить в ноды, собрать из говна и палок и потестить в период когда новой всякой хуеты выходило и делали дохера. Ну и для вариантов вроде собрать руками какой-то нужный пайплайн один раз чтобы выкинуть по апи для чего-то. Реально большинство его или для этого юзает, или под тем же свармом, или для всяких SDV и прочего под которые тупо ничего нет больше, ну и совсем бдсмщики тупо берут готовые пайплайны для SD никогда в них ничего не меняя.
Но это всё один хуй боль, да, плюс ещё с абсолютно стандартной ситуацией, когда в каждом первом репо с кастомными нодами или кривая поломанная залупа, или кривая поломанная так ещё и с заброшенной спустя день после залива поддержкой от автора.
>>911363
>Ну вы воробушки, что ли?
Да с этими обсуждениями кукуха плывёт иногда и путаешь кто что сказать хотел.
>Вот тебе и опенсорс. х)
Ну может уже что-то путаю.
По приколу в perplexity забил и хрюкнул с написанного
>The project emerged from a personal interest in understanding how Stable Diffusion operates and aimed to enhance user experience compared to existing software solutions.
>The development of ComfyUI was motivated by the desire to improve upon the user interface of existing tools
> Это комфи, никаких классических чатов!
Зачем? Нужно брать лучшее от подхода и эффективно использовать, а не упарываться шизой из каких-то срачей. И весь перегруженный комфи тут врядли вообще нужен, хватит простого куска гуйни чтобы рисовать ноды, и основного движка для их унификации.
>перегруженный комфи
Он то как раз недогруженный чем надо. В этом его и проблема.
https://rentry.co/LLMCrutches
В общем я преисполнился и оформил всё это безобразие в несколько rentry-заметок в каком-то виде.
Была мысль попробовать запилить какой-то UI для SteppedThinking/SteppedSummary прямо на STscript, чтобы менеджерить список дополнительных скриптов через несколько модалок (типа как на пикреле), но поскольку анон >>909232 решил отдельный плагин реализовать для SteppedThinking, даже не уверен, есть ли в этом теперь какой-то смысл с моей стороны.
Энивей, у меня на этой неделе не будет толком времени, чтобы основательно этим заняться.
Ну я не спорю, что лучше. Но факт, что он быстрее, чем поломатик. А так да, отсутствие рефайнера и возможности менять вес лоры на ходу генерцации — заставляет пользоваться поломатиком или комфи
> недогруженный чем надо
Нормальным юзеринтерфейсом для удобного использования а не прототипирования? Это же база, сначала напердолить пайплайн, вынеся нужное управление и промт, а потом удобно и комфортно использовать не отвлекаясь и не борясь с лапшой.
>>911390
Топ
Вряд ли буду пользоваться, но охуенно, спасибо, сотен нефти тебе анон.
> Скорее речь о неудобстве.
> Т.е., идея «глубоко кастомизируемого модульного движка» в том, чтобы он был удобным для этой самой кастомизации.
> Комфи — модульный. Но нихуя не удобный, кастомизацию там делать — ад.
> Все что сложнее пяти лор на один контролнет становится лютой ебучкой.
> Я делал там свои воркфлоу, но ебаная срань.
Сделать нодовую прослойку. Снаружи будет API, к которой будет цеплятся любая морда. А внутри оно будет нодовое и кастомизируемое как хош
>Сделать нодовую прослойку. Снаружи будет API, к которой будет цеплятся любая морда. А внутри оно будет нодовое и кастомизируемое как хош
Больше костылей над костылями ради костылей богу костылей.
Потом обновляется репа кастомной ноды, пока ты работал с прослойкой, и ты тратишь сутки, чтоб найти, на каком уровне что отвалилось
Анон, ты ахуенен! На таких как ты тред держится!
С самого начала понравилась твоя идея, жаль пока некогда обмазаться и потестить...
Вся LLM один большой костыль. Не нужно нарушать традиции.
Ты чё несёшь, поех?
Тебе предлагают использовать движок и сделать как надо. Какая разница как устроен Комфи для генерации пикч, если всё надо организовать по новой?
>>911369
>можно было новые штуки выходящие или придуманные быстро на коленке вхуячить в ноды, собрать из говна и палок и потестить в период когда новой всякой хуеты выходило и делали дохера. Ну и для вариантов вроде собрать руками какой-то нужный пайплайн один раз чтобы выкинуть по апи для чего-то.
И что плохого в прототипировании? Мы по сути из за зацикленности на одном и том же топчемся на месте последние 2 года, а какие-то новшества, из за ограничений единственной по сути платформы могут вносить не только лишь все.
Как по мне ЛЛМщикам как раз и не хватает платформы для экспериментов.
Вот тебе пример:
Нода ищет в последнем сообщении юзера слово "хуй", если есть процесс идёт дальше по одной линии, нет - по другой.
Даже эта простейшая хуйня, может в корне изменить опыт общения с нейронкой, так и до AGI на коленке не далеко но нет, лучше будем дальше писать таверне "я ебу - ты ебёшь"
>>911457
>Больше костылей над костылями ради костылей богу костылей.
Попробуй пример выше в таверне реализовать, узнаешь что такое настоящие костыли.
>>911458
Неосилятор, спок. Давно всё автоматом обновляется.
Вроде скачал расцензуренную версию а соя так и хлещет - или это разные вещи?
>И что плохого в прототипировании? Мы по сути из за зацикленности на одном и том же топчемся на месте последние 2 года, а какие-то новшества, из за ограничений единственной по сути платформы могут вносить не только лишь все.
>Как по мне ЛЛМщикам как раз и не хватает платформы для экспериментов.
Только вот в комфи всё это прототипирование и эксперименты не существовали бы и не существуют без челов, которые сначала пойдут и напишут портянку кода на питоне реализуя и прикручивая какую-то штуку, чтобы потом к паре новых нод тупо по одной и той же схеме мышкой протянули ниточку с прыганьем по комнате и криками ты чё пёс я ML-инженер.
Если хотеть реально инструмент, который хоть как-то позволит без писания кода собирать быстро разные штуки, то хватит вообще про комфи вспоминать и в пример приводить, ибо это надо делать полноценный визуальный ЯП уровня блюпринтов анрила. Или не страдать хуйней и фантазиями, а делать обычный аналог таверны, но уже не через ссаный монолит на ноде и сразу с продуманной архитектурой и API для модулей/расширений/какхотитеназовите. А если прям так очко чешется хуйней постродать у кого-то, то IDE в руки и флаг вам в жопу, включайте таймер, форкайте комфи и попробуйте хоть долю из своих хотелок реализовать с ним. Потом придете расскажете через сколько времени у вас треснула поперек жопа и пришло осознание что это надо делать раз в десять с гаком более комплексную хуйню чем комфи для всех ваших хотелок.
У всех моделей есть цензура. Даже в описаниях. Чето аблитерируют, а чето нет. Представь что ты хирург и у пациента 1000 мелких опухолей(соя). И каждая еще и хорошо спрятана. А ты помимо того что удаляешь их тебе еще надо платить за это ( переобучение модели)
> не существовали бы и не существуют без челов, которые сначала пойдут и напишут портянку кода на питоне реализуя и прикручивая какую-то штуку
C одной стороны, дауны не умеющие в код - не нужны. Им всё равно не придёт в голову каких-то идей, достойных реализации. С другой стороны, ебля лапши не нужна ещё больше, на примере того же комфи видно, насколько это ущербный подход.
Буду писать свою гуйню на си-тессеракте и никто меня не остановит. А чтобы шизы не жаловались, что неудобно пилить расширения - вообще не добавлю такой возможности. Шах и мат.
В примерах везде gemma-2-27b-it.i1-Q6_K, её же в основном и использую.
Разные. Аблитерейтед - это точечно изменяются веса, приводящие к извиняшкам/отказам. Если модель накормили тысячами сейф инструкций без ответов с явными отказами, то этот метод от полученного моделью соевого настроя не избавит.
Вообще кто там рекомендовал квен, попробовал 2.5 версию 3б на мобилку и Qwen2.5-7B-Instruct-abliterated-v2 - не впечатлили. 3б поумнее 2б геммы вроде, но вместо рп начинает рассказывать историю, болтая за юзера (юзал чатмл формат), в русском пихает иероглифы (возможно, жоро проблемы, припоминаю, тут что-то такое уже обсуждали про старшую версию). На тех же параметрах сэмплера менее креативная, чем гемма (не исключено, что потому что умнее, лол). 7б посвайпал совсем чутка, сравнивая с лунарисом и rocinante, и почти сразу удалил, какой-то совсем унылой и туповатой показалась. Может, 14б норм, но такое на своей 8-и гиговой видяхе я уже не потяну нормально.
Блять, шизы пугающие сложными диаграммами, если вы напишите инструмент способный сделать это еще не факт что кто-то будет делать это в принципе.
Ебанутые есть везде. И пишут код как пидорасы не меньше людей чем делают хуевые диаграммы, скорее в разы больше.
Угомоните свои ебанутые фантазии. Напишите хоть что-то вобще, чтобы это было:
А - модульно
Б - юзабельно
Для рп квен никто и не советовал, особенно мелочь
Квен хороши как ассисент, умная херня
Для рп \ерп нужно ебаться. Как минимум использовать chatml-names промпт формат в таверне
делайте ставки
Если тебе нужна модель для кума, можешь даже не смотреть на всякие "анцензуред" и "аблитерейтед" потому что они просто снижают вероятность реджекта при запросе. Для кума нужно брать специализированный файнтюн, иначе будут народно-анекдотичные ответы в стиле "да, ты меня ебешь". Правды ради, для некоторых моделей это уже не актуально и они из коробки могут в красочные описания, но касается это не всех.
Посоветуй хотя бы 1 кум-модель, которая умеет в красочные живые описания, а не в glinting eyes, heavy breathing и wet folds?
Дохуя хочешь. Эти клодизмы жптизмы в каждой первой модели встречаются и в файтюнах тоже, потому что их на синтетике с той же клавдии тренируют. А хороших кум моделей хоть пиздой соси, файнтюны на немо, на гемму и даже на проклятую ламу 3 и ветераншу ламу 2 есть приличные.
Скорее всего не приживётся, потому что два раза аттеншен вычисляется, и по скорости будет почти в два раза медленнее. Разве что для мелкоты. Но на 70В мы только проиграем от этого.
>>911638 (OP)
ПЕРЕКАТ
>>911638 (OP)