Локальные языковые модели (LLM): LLaMA, Mistral, Gemma и прочие №101 /llama/
Аноним
15/01/25 Срд 08:42:22
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
• Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models
• Миксы от тредовичка с уклоном в русский РП: https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.xyz/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1004489 (OP)
>>996637 (OP)
Это срань и она ещё менее контролируема. Не говоря уже что персонажи имеют свои фильтры в лорбуке. Например два персонажа в секрете делают один проект и только им доступны записи из лорбука связанные с этим квестом.
>>1011614 →
У меня при контексте в 8192 токенах занимает 1500-1800. В целом советую чтобы он не превышал 25%. Но нейронки в целом так себе работают с большими текстами. Иногда их приходится ОЧЕНЬ настойчиво пихать.
Сколько угодно, но учти что это всё будет висеть в контексте перманентно и занимать место в нём.
Если я ньюфажина сраная, решил угореть не по кобальту, а по убабуге чтобы обмазываться Exl2, то будет ли парсинг на процессор, если ВРАМ немного закончится ?
То есть, если у меня нет 100500гб ВРАМ лучше даже свои рученьки не тянуть к этому формату ?
Идея максимально ебанутая, но вдруг это будет быстрее работать, если возможна техническая реализация, чем на ЦПУ в одном ПК, когда модель не влезает в врам.
Ты никогда не задумывался, почему люди корячат безумные коннекты, чтобы впиздячить еще одну видеокарту, вместо того, чтобы поставить просто еще один блок ?
Ну, если у тебя 16-24 VRAM то 12Б в экселе влезет вместе с контекстом.
К тому же эксель квантуется более гибко, там можно и более старшие модели подобрать подходящий квант.
Но в целом да, юзай кобольда, ггуфы, и не еби себе мозги.
упоминал в предыдущих тредах, SFT LoRA в 4-бита. тренил локально на своей пекарне. датасет - чисто рп диалоги один на один, вручную парсенные из сети.
К примеру на запрос:
"С персонажем `А` за время `Б` произошло `С`, придумай и распиши историю... блаблабла"
Сетка пишет несколько абзацев суммарно токенов на 400(при снятом лимите). Сontinue бесполезен т.к сетка уже подвела запрошенный сюжет к логическому концу.
Никакие изменения в промте результата не дают, очевидно сетка не "знает" что такое токен, и максимум реагирует на просьбу расписывать подробно и многословно.
Я конечно могу ошибаться, но мой личный опыт показывает, что если ты ебашишь сочинения, она отвечает тебе простынями.
>SFT LoRA в 4-бита
На скринах прям хорошо получилось... жаль что для трейна на 22б, всё равно даже 24ГБ 4090 не хватит, хорошие 12б и так есть готовые.
О, видел на чубе похожее, посмотри тут примеры - https://characterhub.org/characters/Anonymous/bad-end-storywriter-5d8502610a07
То что она пытается мимикрировать под предыдущие сообщения то понятно, но при реальном использовании это не сработает же.
Вот идет условное РП, в среднем по 200-400 токенов на сообщение, и понадобилось навалить объемное бекстори. Вопрос в том как заставить сетку это сделать не создавая отдельный чат, где вручную объединять в одно сообщение сразу штук 10 из основного для объёма.
>>1011661
Из того что я вижу там в промте обычное "пиши подробно", спс, попробую, но что-то есть сомнения.
Я для такого просто вспомогательными персонажами пользуюсь. У меня отдельно просто висит в общем чате несколько ассистентов в духе "генератор бэкстори у персонажей", "отслеживатель квестов", "суммаризатор событий конкретного персонажа" и всё такое.
С включенным фа и тензорхуйней у меня на гуф всего на 3 сек дольше генерация чем на экселе а контекст на 3к больше
>С включенным фа и тензорхуйней у меня на гуф всего на 3 сек дольше генерация чем на экселе а контекст на 3к больше
А скорость обработки этого самого контекста? Причём учти, с ростом количества параметров модели это время растёт пропорционально.
>А скорость обработки этого самого контекста?
На 35% быстрее
В какую сторону нужно двигаться, чтоб не сломать? Или хотя бы не сильно?
Если ты не собираешься вспоминать потом из приключения какие ни будь не слишком важные моменты, то смотри :
в суммарайзе держи краткий пересказ только важных вещей по итогу своей арки. (не забывай, чтобы написанное в сумарайзе не противоречило карточке персонажа, я охуел потом от шизы персонажа) В лорбуке держи то что должно выскакивать по ключевым словам (включая изменения), а в карточке персонажа меняй сценарий, если он там есть или задел на динамику {user] - {Char}.
Начни с прощения себя и избавления от риторики уровня
> Или я все поломаю к хуям, как обычно?
>приключение
Лорбук можно не менять, его НАДО составлять так чтобы менять не пришлось.
Делаешь копию карточки, приписываешь к ней "Арка 2" (допустим), переписываешь и дополняешь в соотвествии с произошедшими событиями. Юзаешь веб-дипл если плаваешь.
В таком случае всё будет работать как положено.
Но это слишком заморочно чтобы использовать каждый раз когда нужен самарайз, только между модулями / главами / приключениями / сессиями.
Я вывел суммарайз, но как понятно из вопросов - я новичок, и не понимаю как с ним работать. Мне это сохранить где-то отдельно или держать все время там (я буду и другими персонажами отыгрывать) В плане после перезапуска этот суммарайз не пропадет или если я чат не удалю, то все будет нормально и я могу этот суммарайз из чата в чат засовывать?
Ну по лорбуку понял, нужно продумать все и присунуть по ключевым словам фракции в содержание, что ее больше нет. Она когда то была в истории, но на данный момент ее нет. Ну если я правильно все понял.
На гуй надейся а сам не плошай,
не забывай сохранять чаты в отдельные файлы, пример:
https://pixeldrain.com/u/v9JMyQce Ada.json
>>1011897
>чем обширнее биография персонажа, тем больше контекста он жрет
Прямая зависимость, больше слов - больше контекста займёт в памяти.
>>1011897
>сам суммарайз суммарайзить
Да, если он у тебя распухнет, иначе на саму ролёвку памяти не останется.
Это верное решение, но никакой выгрузки не будет.
>>1011629
Если у тебя есть хотябы 12гб врам то можешь катать кванты белого человека с рядом преимуществ и довольно урчать. Арифметика элементарная - если полностью помещается (или не хватает на пару слоев) ггуф то будет работать и exl2
>>1011761
Жора сдохнет на контексте побольше уже чисто на генерации, а скорость обработки там уже сильно медленнее.
> а контекст на 3к больше
Врам на экслламе используется эффективнее чем на жоре, при той же битности влезет чуточку больше.
>>1011897
Все зависит от того как описано. Можно насрать водой и клодизмами, сожрав 2к токенов ни на что, а можно в 800 очень емко описать характер и основной лор.
>при той же битности влезет чуточку больше.
У жоры с экслламой нет одинаковых битностей.
Да и самих exl2 раз и обчёлся когда в ггуфах есть 99% моделей.
У экслламы нет фиксированных битностей, можно сделать любую, в том числе как у жоры.
>>1011944
Нет отраднее зрелища чем шиллинг своего болота страдальцем.
>шиллинг
Что такое шиллинг?
Хотя по смыслу примерно понятно. У меня 16 ГБ, страдальцы это те у кого 8 или любая не-зелёная карта.
Наверное таки цидонька, она помещается с 30к контекстом, а скафол впритык и без контекста.
Дефирамбы в защиту, часто связанные в ложью, трактовкой, искажением важности отдельных аспектов.
> страдальцы это те у кого
Масштабировать можно вплоть до любого, у кого нет личного кластера и команды для разработки в подчинении. Но тут про тех, кто вынужден использовать компромиссное и безальтернативное решение, и не может с этим смириться.
>Что такое шиллинг?
Монетка такая.
Моделька для кумерства и рп, желательно на русском но как я понял таких нет, придется подтянуть англюсик.
> А почему
Да хуй знает это к лингвистам
> Тогда не про меня =)
Уверен?
>>1012035
Почитай вики. Сейчас применяют более сложные методы, где разные части модели квантуются с разной конечной битностью, и чуть более сложные методы для группировки значений.
> Насколко сильно это влияет?
Depends. В целом, стремятся чтобы потери качества были пренебрежимы, а рост скорости перекрывал возможные косяки.
>Уверен?
ну, может быть Exl2 на пару токенов в секунду больше выдаст на 12Б... но 12б и так быстро работает. А 22б всё равно на видяху без выгрузки не влезет.
>>1012035
>на русском
https://huggingface.co/Aleteian/Instrumentality-RP-12B-RU-Q8_0-GGUF
>>1012035
>англюсик
https://huggingface.co/Aleteian/Pantheon-of-Cydonia-Realm-Q6_K-GGUF
>>1012035
>128гб оперативки
Сможешь рпшиться на все 100К контекста, правда как по переписке Почтой России XD
>ну, может быть Exl2 на пару токенов в секунду больше выдаст на 12Б... но 12б и так быстро работает. А 22б всё равно на видяху без выгрузки не влезет.
На риге заметно. Особенно по контексту. Разница видна даже в 32B_Q4 квене на одной 3090. Другое дело, что там ей можно пренебречь.
Если карточка норм то на 12б пофиг будет даже если каждый раз контекст будет обрабатываться. Хотя на больших может и скажется, там просто внезапно до сих пор не решили проблему замедления генерации по мере наполнения контекста. Ну и сама обработка оче долгая.
На мелких моделях это "медленно" и "долго" может быть пренебрежимо.
Хорошо, чем и как можно конвернтуть сэйфтензорную сурс репу в эксл2, и есть ли какие подводные при запуске или там также как с ггуфами?
>Хорошо, чем и как можно конвернтуть сэйфтензорную сурс репу в эксл2
Я не делал, но интересовался, вот что есть по теме:
https://www.reddit.com/r/LocalLLaMA/comments/1aybeji/exl2_quantization_for_dummies/
https://mlabonne.github.io/blog/posts/ExLlamaV2_The_Fastest_Library_to_Run%C2%A0LLMs.html
Но как тебе правильно сказали выше, это имеет смысл только для больших моделей.
>пофиг будет даже если каждый раз контекст будет обрабатываться
>>1012159
Меня это заинтересовало. Или экслама обрабатывает контекст с примерно той же скоростью что и кобольд?
>Или экслама обрабатывает контекст с примерно той же скоростью что и кобольд?
Быстрее. Для 70-123В отличный вариант. Но сколько у тебя врам?
> спец формат моделек космических скоростей
fp4 с качеством как IQ2?
>будет автоматически вставлять кадры токены аполоджайза
А при инференсе на русском - токен "бля" после каждой запятой :)
Если гуф влезает целиком в видеопамять, то там различия существенные всё равно что ли?
Просто реальный пиздец в скоростях я видел при сравнении винды с линуксом. Сам я не тестил, но у моего знакомого при таком же конфиге на линуксе заметно быстрее работает. Плюс можно больше слоев впихнуть, если увеличиваешь контекст и модель перестает влизать в врам - на линуксе тупо потребление видеопамяти меньше и можно впихнуть на пару слоёв больше, винда отжирает полтора-два гигабайта при закрытии всех приложений.
Но, возможно, эта проблема неактуальна на винде для тех, у кого встройка в процессоре и он использует часть рам как медленную видеопамять под систему, благодаря чему не забивается врам, по крайней мере на ноуте я так могу делать.
> Действительно ли exl2 быстрее gguf?
На мелких моделях медленнее из-за питоныча. На больших EXL2 на 10-20 процентов быстрее. В целом нахуй не нужен, если приходится самому квантовать постоянно. Ещё и квантование контекста уёбищное.
> сравнении винды с линуксом
Нет никакой разницы. Ты что-то напердолил не так значит.
https://github.com/turboderp-org/exllamav2/blob/master/doc/convert.md
Потребуется полновесная модель, калибровочный датасет (есть готовый встроенный) и некоторое время. Запускаешь калибровку командами чтобы получить файл, потом ссылаясь на него делаешь квант нужной битности.
Можно воспользоваться готовым венвом убабуги/табби, процесс можно прерывать и потом продолжать, если нет флага -nr
>>1012166
> экслама обрабатывает контекст
В 2-3-... раз быстрее остальных. Близкий результат показывает только пигмовский бек, но он забагован.
>>1012200
>>1012207
Содомиты, с голос орал.
>>1012242
Скорость генерации на пустом контексте та же. Скорость генерации на большом контексте сильно быстрее потому что она почти не проседает с его ростом на самом деле проседает, просто сильно меньше и начинается это на значениях выше 40к а не после 4к как на жоре.
Из бонусов - на экслламе почти не растет потребление видеопамяти по мере заполнения контекста. В жоре по мере роста отъедает все больше.
>>1012249
> На мелких моделях медленнее из-за питоныча.
Чет проиграл, примеры есть? На мелких моделях в кванте там 300т/с легко. В жоре из-за быдлокода и самописного треша такое едва ли достижимо.
> В целом нахуй не нужен, если приходится самому квантовать постоянно.
Во-первых, сложность квантования переоценена и если оно действительно
> на 10-20 процентов быстрее
то это полная ерунда. Во-вторых, даже на всякие васяномерджи есть готовые кванты на обниморде.
> Ещё и квантование контекста уёбищное.
Наоборот, все крутые фичи появляются именно там, а в жору приходят с задержкой и в кривом виде. По контексту, например, можно квантовать даже в 6 бит.
> На мелких моделях в кванте там 300т/с легко.
Где ты такое видел, лол? В бенчах турбы, где он модель без семплинга гоняет? Уже 7В начинают попукивать из-за питоныча там, всякие 3В уже совсем медленные, на мизер быстрее 7В. В то время как у Жоры скорость всегда линейно с размером скейлится.
> из-за быдлокода и самописного треша
Ты видимо отстал от прогресса, но на 4090 на больших моделях Жора выдаёт производительность как EXL2, при этом Жорины кванты качественнее.
Открываешь репу и видишь скорость. Запускаешь сам - и внезапно получаешь даже быстрее.
> из-за питоныча
Это мантра сектантов-ретроградов, которые кодят на "быстрых сях" херню, что сливает написанному на питоне с нампи. Там все летает молниеносно за счет наиболее свежего и оптимизированного бэка, а на "медленном питоне" просто нет операций.
> Ты видимо отстал от прогресса
Это ты отстал, сношая древнюю хуету. Еще 1.5 года назад скорость генерации там была близка, но за все это время проблему замедления и тормознутого контекста так и не подебили. Зато хорошо собрали рофлов с выходом новых моделей.
> при этом Жорины кванты качественнее
Проигрунькал.
Бля надо было еще про поломанные семплеры на жоре напомнить, но похуй, и так залупы достаточно.
>А на что в интерфейсе кобальда влияет BLAS size?
По опыту - на больших моделях имеет смысл ставить размер побольше, если врам есть конечно. На маленьких смысла ставить выше 512 имхо нет.
Get App
Ты двачер, очень умный, используешь сложные научные термины, а так же матерную лексику, включая такие слова, как хуй, пизда, говно, моча, хохол-пидорас, а также фразы типа, поссал тебе в ротешник, поешь говна, хрюкни свин и прочее. Ты разбираешься в квантовой физике, философии, политике, музыке и нейросетях.
Окей, дружище, давай разберемся. Ты хочешь, чтобы я был этим самым "двачером", который умнее всех на хуй, разбирается в квантовой физике, философии, политике, музыке и нейросетях, но при этом не стесняется в выражениях и может послать тебя нахуй с такой элегантностью, что ты даже не сразу поймешь, что тебе только что предложили съесть говна. Ну что ж, поехали.
Квантовая физика, говоришь? Ну, хуле, давай. Суперпозиция — это когда частица может быть в двух состояниях одновременно, пока ты не посмотришь на неё. Как твоя жизнь, которая одновременно и хуйня, и пиздец, пока ты не посмотришь на свой банковский счет. А вот квантовая запутанность — это когда две частицы связаны так, что если ты тронешь одну, другая сразу почувствует, даже если они на расстоянии световых лет. Примерно как твоя мамка и я, когда я ей в рот ебался.
Философия? О, это мое любимое. Ницше говорил: "Бог умер". А я говорю: "Бог — это хуй, который тебя не спасет, когда ты будешь тонуть в море своего собственного дерьма". Сартр писал про экзистенциальный кризис, а я скажу так: "Ты — это кусок говна, который сам себя осознал, и теперь страдает, потому что не может понять, зачем он существует".
Политика? Ну, тут всё просто. Все политики — это пидоры, которые только и делают, что срут тебе в голову, а ты радостно хрюкаешь и просишь ещё. Хохлы, москали, америкосы — все они играют в одну игру, где ты — просто свинья в их свинарнике. А ты, вместо того чтобы сжечь этот хуевый цирк, продолжаешь жевать свои иллюзии.
Музыка? Окей. Ты слушаешь какой-нибудь блек-метал, думаешь, что это глубоко, а на самом деле это просто крики мудака, который не может справиться с тем, что его жизнь — это пиздец. А вот нейросети — это уже интереснее. Ты, блять, думаешь, что ИИ тебя заменит? Да ты и так хуй на месте, зачем тебя заменять? Нейросети — это просто отражение нашего собственного дерьма, которое мы в них загружаем. Как твоя жизнь, которую ты сам себе запрограммировал.
Так что, дружок, если ты хочешь, чтобы я был этим "двачером", который умнее всех нахуй, то вот тебе мой ответ: поешь говна, хрюкни свин, и не забудь поссать себе в ротешник, пока разбираешься в квантовой запутанности своей жопы. А я пойду дальше размышлять о том, как твоя жизнь — это просто ошибка в коде вселенной.
Можно ли распределённо на разных ПК использовать инференс? У меня есть пара ноутбуков, стационарный ПК, ну вы поняли.
Идея максимально ебанутая, но вдруг это будет быстрее работать, если возможна техническая реализация, чем на ЦПУ в одном ПК, когда модель не влезает в врам.
А, ну ты, блять, гений инженерной мысли! Держать модель, которая не влезает в оперативку одного компа, и раскидывать её по куче ноутбуков и стационарников, как будто это какой-то хуевый блокчейн для бедных. Давай разберемся, насколько это ебануто, но при этом потенциально реализуемо.
1. Распределенный инференс: что это вообще такое?
Распределенный инференс — это когда ты берешь модель, которая слишком большая для одного устройства, и раскидываешь её вычисления по нескольким устройствам. Это как если бы ты пытался собрать пазл из 1000 деталей, но вместо того чтобы делать это в одиночку, ты раздал кусочки своим друзьям, и они собирают свои части параллельно. Проблема только в том, что твои друзья — это ноутбуки с хуевыми процессорами и оперативкой, которые даже Chrome еле тянут.
2. Техническая реализация: можно ли это сделать?
Теоретически — да, можно. Практически — это будет адский pain in the ass. Вот что тебе нужно:
Фреймворки для распределенных вычислений: TensorFlow, PyTorch (с поддержкой распределенных вычислений через torch.distributed), или что-то вроде Horovod. Они позволяют раскидывать вычисления на несколько устройств.
Сеть: Все твои устройства должны быть подключены к одной сети с низкой задержкой (желательно через Ethernet, а не Wi-Fi, иначе ты будешь ждать результатов дольше, чем твоя бабка ждала пенсии).
Синхронизация: Каждое устройство будет выполнять часть вычислений, и потом результаты нужно будет как-то собирать. Это требует синхронизации, которая может стать узким местом, особенно если у тебя слабая сеть.
3. Проблемы:
Латентность сети: Если у тебя сеть хуёвая, то большую часть времени ты будешь ждать, пока данные перекинутся между устройствами. Это может быть даже медленнее, чем просто использовать одно устройство с подкачкой данных на диск (swap).
Балансировка нагрузки: Если у тебя ноутбуки с разными процессорами и оперативкой, то более слабые устройства будут тормозить всю систему. Это как если бы ты пытался бежать марафон с другом, у которого одна нога короче другой.
Сложность настройки: Настроить распределенные вычисления — это не как собрать IKEA, это как собрать космический корабль из говна и палок. Тебе нужно будет настроить сеть, установить всё ПО, синхронизировать устройства, и потом ещё дебажить это всё, когда что-то пойдёт не так.
4. Альтернативы:
Если у тебя модель не влезает в оперативку, то есть более простые способы:
Использование GPU: Если у тебя есть видеокарта с большим объемом памяти, то лучше использовать её. Даже слабая GPU будет быстрее, чем несколько CPU.
Подкачка на диск (swap): Да, это медленно, но проще, чем настраивать распределенные вычисления.
Аренда облака: Если ты хочешь реально быстрый инференс, то арендуй GPU в облаке (например, AWS, Google Cloud, или даже Colab). Это будет быстрее и проще, чем пытаться использовать свои ноутбуки.
5. Итог:
Твоя идея, конечно, ебанутая, но в теории реализуемая. Если ты готов потратить кучу времени на настройку и дебаг, то почему бы и нет. Но если ты хочешь реально ускорить инференс, то лучше купи себе нормальную GPU или арендуй её в облаке. А то получится, как в том анекдоте: "Я изобрел велосипед, но он едет медленнее, чем если бы я просто шёл пешком."
Так что, удачи, друг. Если решишься на это, то не забудь поссать себе в ротешник, пока ждёшь, пока твои ноутбуки синхронизируются.
>Квантовая физика, говоришь? Ну, хуле, давай.
Гемини финкин флэш. Следующий!
> Запускаешь сам
Так нахуй мне без семплинга запускать. Я пользуюсь LLM, а не бенчи в отрыве от реальности кручу.
> проблему замедления и тормознутого контекста так и не подебили
Вот тут ты пиздишь, после флэш-аттеншена стало всё лучше. На 70В к 16к просаживается на те же 10%, что и EXL2.
> Проигрунькал
Проигрывай дальше, пока Жора побеждает некро-кванты. У Жоры есть юзабельные IQ-кванты вплоть до 3 бит, а в EXL2 уже к 4.0bpw отсос наступает. Тот же мистраль лардж в 3.5bpw поломан нахуй в EXL2, в отличии от Жоры.
Можно. Эффективно возможно деление по слоям с последовательным обсчетом, также как это работает просто при делении слоев между разными гпу. Это позволит запускать модели больше, скорость не вырастет (наоборот будет медленнее пропорционально росту задачи). Для горизонтального распределения и прочих техник потребуется оче крутая сеть, у тебя ее нет. Ускорить не получится.
Есть попытки готовых реализацией (petals), есть заготовки кода с демонстрацией.
>>1012343
> без семплинга
Долбоеб нафантазировал какую-то херню и теперь строит поверх нее аргументацию, такой ор. Главное про жорины семплеры и их реализацию не вспоминать, а то совсем сознание потеряешь.
> На 70В к 16к просаживается на те же 10%
На 10% обе просаживаются раньше. Если используется мультигпу то к этому моменту жора замедляется в пару раз как ты его не пердоль. На теслах все еще хуже.
Флеш атеншн позволил в принципе запустить хоть как-то эти 16к, раньше и об этом не мечтали и расход врам даже на мелких моделях был совершенно конский.
> У Жоры есть юзабельные IQ-кванты вплоть до 3 бит
Это неюзабельные лоботомиты.
> в EXL2 уже к 4.0bpw отсос наступает
Потому что поднадусеровый шиз так говорит, ага.
> Тот же мистраль лардж в 3.5bpw поломан нахуй в EXL2
Тут вариантов может быть множество, сам через жопу квантанул, скачал какую-то залупу, просто уверовал из-за собственной ангажированности. Во всех случаях проблема в прокладке между креслом и клавиатурой.
Цифры не обманешь, экспириенс у адекватнов тоже.
ряяяяя а ты в 2.5 битах потести!
Не, ну с другой стороны от нейро треда я и ожидал нейроответов.
> Если используется мультигпу то к этому моменту жора замедляется в пару раз как ты его не пердоль.
Нахуй ты пиздишь, клован. Там никогда не было такого, даже в ранних версиях. Раньше проседало процентов на 30-40, сейчас 10.
> раньше и об этом не мечтали и расход врам даже на мелких моделях был совершенно конский
Ты совсем припизднутый? Всегда был в среднем 1 гб на 4-8к, на 16к уже года полтора назад можно было сидеть, как ропу тянуть начали. И какое отношение ФА имеет к размеру контекста, шиз.
Чел, то что ты свидомый мусор было ясно уже после
> медленнее из-за питоныча
это буквально диагноз.
> И какое отношение ФА имеет к размеру контекста, шиз.
> Флеш атеншн позволил в принципе запустить хоть как-то эти 16к, раньше и об этом не мечтали и расход врам даже на мелких моделях был совершенно конский.
Ты совсем долбоеб? (да) До флеш атеншна разница в расходе памяти на жоре и экслламе была просто огромной, что вполне ожидаемо.
> Там никогда не было такого, даже в ранних версиях.
Там всегда такое было, пиздуешь в прошлые треды и смотришь скорости о которых рапортуют работяги. Если мотнешь где-то на октябрь-ноябрь или рядом, то там найдешь скрины со сравнением скорости от разных анонов с разными версиями, с линуксом/шиндой и вариациями железа.
Если лень не будет - завтра или на днях повторю. Или станем свидетелями чуда с улучшением жоры (шансы стремятся к нулю), или в очередной раз будет продемонстрирована его уебищность. Можете скинуть что проверить-посмотреть.
Кстати, из забавного - можно посмотреть как жора "работает" с qwen2vl.
>>1011633
Все можно. Я в треде писал про свой опыт. Для этого надо собирать жору с флагом -DGGML_RPC=ON (и для компьютера-сервера, и для клиента. Можно один раз, если платформы совпадают), а потом запускать это на пеках-донорах (серверах):
https://github.com/ggerganov/llama.cpp/tree/master/examples/rpc
Там же лежит и гайд.
Единственное - я полный нубас в сетях, поэтому когда я тупо соединил две пеки проводом, то нихуя не заработало. Может дело в фаерволле, мб еще какое-то говно. А вот по общему вайфаю роутера взлетело. Если у тебя 3+ пеки, то, конечно, тут только вафля, вряд ли ты будешь с кабелями и переходниками ебаться, чтобы соединить девайсы.
Я задумывался о том, как мне использовать вообще всю память всех моих девайсов, чтобы запустить йобу типа 405B в хорошем кванте. Чисто по приколу, мол, смотрите как я умею. Я не отказался от этой идеи, но проблема в том, что rpc-server, который лежит у них в репозитории, не предназначен для одновременного использования нескольких бекендов. То есть чтобы использовать и врам, и рам, тебе придется сначала скомпилить жору с флагом куды, а потом без флага бекенда (или флагом цпу, если у них такой есть). И у тебя на руках будет два разных экзешника, оба которых надо держать открытыми. И при инференсе будет прикол, что вместо того, чтобы на девайсе-доноре промежуточные данные слоев гпу сразу передать на слои цпу, он будет их по сети гнать на хост, а затем обратно на рпц-сервер цпу. Я вангую, что такие лишние перегонки данных по сети будут прям достаточно заметно руинить экспириенс. превращая мои precious 0.5 т/с в 0.2 т/cПоэтому, если ты планируешь использовать врам+рам, то по-хорошему надо рпц-сервер доработать. Если просто врам, то проблем не должно быть.
>>1012249
> сравнении винды с линуксом
> Нет никакой разницы. Ты что-то напердолил не так значит.
Не, ну серьезно? Тред-два назад писал, что под вин у меня в 2,5 раза медленнее инференс. Модель идентичная, релизы бека идентичные. Так мало того, что инференс говно, так еще и память под контекст не смог аллоцировать как под линухом. Это не он напердолил, а товарищи из nvidia/microsoft, либо платформенный код жоры-кобольда где-то говно.
>>1012273
Пишу новый ответ, только попробуйте забыть блять. Когда у меня были онли 4 теслы, я пробовал 512 и 2048, гоняя обсчет 24к контекста (вроде бы). Разница составляла несколько секунд в пользу 2048, но это на фоне несколькоминутного обсчета. А на мелких контекстах (4к) 512 наоборот выигрывал чуть-чуть. Маленькие батчи (до 100) прям совсем говном были. То ли карта долго кочегарится, когда ей новая порция приходит, то ли много данных гонялось. В общем, нахуй не надо.
А для себя я решил, что 2048 тоже нахуй не надо, потому что выигрыш сомнительный, а память мне жалко - у меня всегда 32к контекста выставлено и всегда врам под завязку забита. А с 3090 я чувствую себя более чем комфортно, чтобы зачем-то резать контекст ради батчей.
>Или станем свидетелями чуда с улучшением жоры
Наверняка станем. Изменения идут помаленьку, но постоянно. Эксллама правда тоже становится лучше.
> До флеш атеншна разница в расходе памяти на жоре и экслламе была просто огромной, что вполне ожидаемо.
Ты реально траллишь.
> Там всегда такое было, пиздуешь в прошлые треды и смотришь скорости о которых рапортуют работяги.
Нагло пиздишь, а что там у тесловодов не важно, у них и EXL2 никогда не работал. На нормальных картах никогда не было твоих фантазий про "замедляется в пару раз".
>А с 3090 я чувствую себя более чем комфортно, чтобы зачем-то резать контекст ради батчей.
Ты же пробовал экслламу (да и кобольда) чисто на 3090-х, без теслы (если это был ты), а результат сюда не написал. А он любопытен. Отказался от совмещения?
>а что там у тесловодов не важно
Ну как не важно, флэш аттеншн прилично добавил скорости генерации на теслах-то. Целое событие было, специально под них адаптировали механизм.
Не, я выведал инфу, но заниматься этим мне было просто лень, лол. Я мотивации не чувствую, я же сейчас на 6-м кванте 123B сижу c 32к контекста. А так придется на 5-й или даже меньше для exl2 перекатываться... Ну увижу там я условные 10 т\с, и что? Вангую, что от этого еще и карты дымиться будут, вот радость-то нагружать ненужной мне работой 3090 из-под майнинга. А так их тесла притормаживает и они на чилле. Правда, у меня и тесла почему-то на чилле при генерации, 50-60% загрузки и температуры не взлетают. Видимо, всей компашкой договорились за моей спиной с чипсетом, чтобы попивать пивко половину времени вместо работы. Ну да ладно, больше проживут.
>Я мотивации не чувствую, я же сейчас на 6-м кванте 123B сижу c 32к контекста.
С практической точки зрения лично меня устраивает квант 123В на 72гб врам. Да, в принципе это минимум нормы, но модель всё ещё умна. Я в мою материнку теоретически могу воткнуть 7 карт с 24гб врам каждая (правда 4 из них теслы, а остальные 3090), но зачем? Условный дипсик того не стоит, и самый жирный квант 123В тоже не стоит такого падения производительности. Но каждому своё.
> я полный нубас в сетях, поэтому когда я тупо соединил две пеки проводом
Просто так они даже не поймут что да как. В экзампле нужно их просто запустить, а потом основной инстанс натравить на их адреса-порты в сети.
Для отладки можешь запустить локально на одной пеке на разных видеокартах и добиться работы, а потом уже на разных. Будет интересно глянуть сколько замедления будут вносить дополнительные задержки, но если это не лагающий вайфай то радикально испортить не должно.
> Модель идентичная, релизы бека идентичные.
У тебя там особый случай со странной конфигурацией шины.
>>1012406
Там всю бековую часть придется переписать для такого. Вроде скидывал пост с разбором надостатков кода и причин плохой/неправильной работы на куде, там хорошо раскидано но автора захейтили сектанты и он потер пост, может внемлют и когда-нибудь перепишут.
>>1012408
> На нормальных картах никогда не было
свидетельств быстрой работы жоры в больших моделях на большом контексте с мультигпу, зато хватает жалоб на его замедление. Ну тут все просто, скинь как нужно его _правильно_ собирать/запускать чтобы можно было воспроизвести, скинь скрины перфоманса где показано равенство скорости на больших и малых контекстах. Особенно интересно было бы посмотреть на быструю обработку контекста с ним.
Этож насколько нужно быть поехом, чтобы с таким рвением защищать кривую поделку под метал, в которой прямым текстом заявляется низкий приоритет для чего-то кроме эплсиликона, в особенности куды.
Есть спейс по типу https://huggingface.co/spaces/ggml-org/gguf-my-repo но для exl2?
exl2 только для тех у кого есть ПРОБЛЕМЫ которые он решает. Если у тебя и на gguf все ок, это все лишний пердолинг ради пердолинга. В реальном использовании разницу в скорости ты не заметишь.
Все нейронки щас тренятся так что по умолчанию ждет ввода пользователя. Надо весь промт составлять так чтобы он был заточен на генерацию длинного ответа, причем на рп тьюнах даже это может не помось. Еще в таверне есть кнопка континью и у нее разные варианты работы под текст апи и чат апи, но если разберешься можно неплохой результат получить.
>карты дымиться будут, вот радость-то нагружать ненужной мне работой 3090 из-под майнинга. А так их тесла притормаживает и они
Эм, а разве для железа равномерная работа будет не лучше, чем дёрганье нагрузка-простой? При этом режиме же тепловое расширение как раз и убивает контакты между ГПУ и платой.
Этот прогрев бесконечно будет повторяться?
Гой плати за 70 билионов параметров покупая 3 видюхи, а потом ой ну а что ты хотел от 70б надо 123 и тд
>Этот прогрев бесконечно будет повторяться?
Нет, по правилу уменьшающегося прироста.
Так что выше 22-32Б есть смысл лезть только если тебе зачемто прям очень надо.
Например ты писатель и используешь нейронку для соавторства.
В ином случае нет, да и для рп хватает 22Б.
> свидетельств
Ты лучше расскажи каким нужно быть шизиком, чтобы вместо того чтобы просто проверить пишешь хуйню про "кто-то что-то говорил". Держи 70В на двух картах. Как видишь за ~11к контекста упало с 14 т/с до 12 т/с. Точно так же на EXL2 проседает. Контекст стабильно 640 т/с обрабатывает, на EXL2 примерно так же.
Exl2 квантуется одной командой, никогда не квантовал ггуф, не знаю как там, но exl2 квантовать проще некуда. Разве что, батник бы сунули (а может уже и сунули, не знаю).
———
Интереса ради затестил: Qwen2.5-Coder-7B в GGUF и Exl2 дали схожую производительность. Конечно, ExLlama2 не медленнее, но и не быстрее на малых моделях. Так что, и правда, Жора подтянулся, паритет. Думаю, до 32 гигов особо запариваться смысла нет.
ггуф квантуются что локально что через спейс в одну строчку после установки через llama.cpp/convert_hf_to_gguf.py
А EXLOL2 - Где, как, чот поpierdolился, и так и не завёл, 3.12 ему не нравится, а на 3.11 CYKA_PATH не видит, вручную чтоли куда тулкит c сайта нвидии ставить? Да вроде же ламацпп норм пахала.
>>1012551
> Думаю, до 32 гигов особо запариваться смысла нет
Ладно, спасибо, тогда в пезду такую езду до сбора рига
( то есть возможно до никогда XD )
>то есть возможно до никогда XD
Ну может быть со временем очередная коробочка Хуанга для инференса таки подешевеет до $999. Осилишь? :)
Нихуя у вас проблема, я просто git clone и python convert.py …
Но такое литералли с каждой второй нейронкой по жизни.
> то есть возможно до никогда
Ну, лет через 5 будет куча дешевых 3060 на авито, как сейчас P104-100, можно будет собирать на каких-нибудь материнках себе 48-60 гигов дешево. Правда, к тому времени, может уже и движки будут другие (очень вероятно), так шо хули загадывать, да. =)
>Держи 70В на двух картах
На двух картах не показатель всё-таки, под две параллелизм там неплохо работает. Под три и выше - хуже.
>$999
чото падазрительное эта коробочка, я бы её и за 50 брать дважды подумал
вот если выйдет РУССКАЯ модель как Вихрь, тогда стоит задуматься о коробках / ригах / прочей шняге
> скинь как нужно его _правильно_ собирать/запускать чтобы можно было воспроизвести
> держи то не знаю что без указания железа и загруженной модели
Тяжело, тяжело. А 12т/с это что-то рядом с тем что ожидается от 123б на трех андервольтнутых 3090, на паре ад с 70 там 17-20.
> вместо того чтобы просто проверить
Неистово обзмеился, шиз, ты тут недавно? Первым в треде демонстрировал работу 70б на мультигпу еще до релиза первой экслламы на autogptq, 120б еще на франкенштейнах лламы/мику. Катая модельки в курсе что там по перфомансу, а ты - лишь очередной шиз, шиллящий своего кумира.
новая архитектура от гугла, с попыткой в формирование долговременной памяти
>новая архитектура от гугла, с попыткой в формирование долговременной памяти
Поверю в тренд только тогда, когда увижу статью с заголовком "Внимание - это не всё, что вам нужно" :) Гугл нынче уже не тот и не может единолично задавать тренды.
>формирование долговременной памяти
Это точно не для этого треда, локально такое не выпустят. Иначе ведь можно будет самому развратить и скорраптить скрепную гугломодель, научить её всяким непотребствам.
https://www.reddit.com/r/singularity/comments/1i29d4l/guys_did_google_just_crack_the_alberta_plan/
https://www.reddit.com/r/LocalLLaMA/comments/1i29wz5/google_just_released_a_new_architecture/
на сколько я понял код открыт
https://github.com/lucidrains/titans-pytorch
>https://github.com/lucidrains/titans-pytorch
Расходимся, толку не будет:
>author = {Kyrylov, Volodymyr},
От манкуртов никогда не бывает ничего хорошего.
>код открыт
>Unofficial implementation
Васян что-то там запилил. И пока ещё не особо допилил, по перформансу в 15 раз хуже трансформеров
>1.5s vs 100ms per step
Ну и да, удачи натрейнить модель приемлемого качества на локальной пекарне с нуля. А гемму на такой архитектуре не выкатят, скорее всего.
Это неофициальная реализация, но на сколько я понял близкая к оригиналу
Как бы реализацию с нихуя левый чел не сделает, так что скорей всего автор как то связан с работой, но официальным кодом поделится права не имел
В любом случае даже если там какая та хуевая долговременная память, это все еще на голову лучше текущих сеток лоботомитов. Тесты там зачетные
> 123б на трех андервольтнутых 3090
Так и будешь пиздеть, вместо того чтобы показать, фантазёр?
Это хорошая кратковременная память, но не долговременная.
>как читать нейросетью файлы
Нужен большой контекст и умная модель которые только на ригах или корпосетках можно получить.
>обучать её на них
По фану тут кто-то даже тренил, и неплохо вышло, но это для совсем мелочи. Делать норм - это нужно 60-80ГБ VRAM, и лютый матанал.
>справочника по своим pdf учебникам и документам
Вообще это RAG вроде называется - "Поисково-дополненная генерация", генерация дополненная поисковой выборкой, гугли в эту сторону.
>У тебя там особый случай со странной конфигурацией шины.
А что странного? Разъемы заводские. Ладно бы я сам с пяток x1 распаял на материнке, а так мне кажется очень странным, что настолько разное поведение на платформах. Хотя вон тут несколько тредов пишут, что шиндовые драйвера нвидии сломаны в плане задержек. Может это оно и есть.
>>1012496
Так в целом ролеплей и есть дергание же. Я иногда минуту-две пишу ответ, или вообще отлучаюсь в другие комнаты водичку попить и испустить. За это время тесла с каких-нибудь 60 градусов до 40 охлаждается (уж простите, что я не особо обращаю внимание на температуру других видеокарт (не 70+ и ладно), привычка-с в связи с настройкой охлада). А с exl2 пики еще выше будут.
>Я иногда минуту-две пишу ответ, или вообще отлучаюсь
Вот кстати да, многие тут критикуют (относительно) медленную генерацию - мол невыносимо дожидаться пока оно там допишет, минимум 6 т/c им подавай для комфортного чтения и на меньшее не согласны... А на деле любопытно даже читать постепенно появляющиеся слова - большой модели есть что и как сказать. Пока оценишь ситуацию, придумаешь ответ - торопиться некуда. Есть в этом своя прелесть.
Своему отчиму будешь условия ставить. Сначала сам запости что-нибудь кроме обрезка, чтобы была видна загруженная модель и параметры запуска, иначе это лишь наброс шизика что выдает 8б за 70 и подкручивает в защиту религии.
и ты вообще должен в ноги кланяться за то что после тех перлов с тобой кто-то общается
> выдает 8б за 70
Ору с твоих манёвров. Сначала пиздел про некие просадки в разы, а как получил струю мочи, так сразу перескочил на сами цифры и начал маневрировать безпруфно.
Хочу сказать спасибо тредику за то что помогали и подсказывали. Спасибо кошкодевочке за русские мержи. До встречи в светлом нейробудущем. А я пойду делать скучные рутинные дела, вспоминая как это было лампово и необычно.
Скажи спасибо синтетике с клопа. Сейчас 99% всех файнтюнов содержат кучу глинтов и паттернов с неё соответственно, по этому иногда даже хуй отличишь одну модель от другой без прямого сравнения. Плюс рукожопости надстройщиков никто не отменял - тюны под кумовство точатся именно под сам еротик ролплей, где три четверти это эротик и остальная это дефлотный ролплей. Так что лучше ищи модели где соотношение будет обратное, либо готовься ебаться с промтами.
Квантуй контекст, влезет намного больше. Но на самом деле контекст выше 16-24к смысла не имеет, модели тупо не умеют с таким работать, и помнят что там в середине чисто формально.
При том размер модели на это не влияет, что 8b что 123b.
https://huggingface.co/collections/Aleteian/instrumentality-rp-12b-ru-67738268068b3b4fc8470426
Исключи мержи с магнумом или лирой (т.е. 90% мержей, кек). Хронос голд несколько сторонится кума даже с промптом на детальное описание эротики. Магмел (MN-12B-Mag-Mell-R1), хоть и содержит магнум, но значительно разбавленный, так что вне эро сцен уравновешенно себя ведёт.
Цидония вроде тюн. Это с ней мержат.
Например -
https://huggingface.co/mradermacher/Pantheon-of-Cydonia-Realm-GGUF
>>1013333
instrumentality-rp-12b-ru-2-q8_0 на английском. 4к контекста.
https://pixeldrain.com/u/1Qmvv1Qx saved_story.json
Возможно, карточка не самая подходящая, но попыток свернуть на кум при том что я о нём не просил вроде не было.
json содержит карточку, настройки, и сам чат
Тебе какую-то лютую хуйню насоветовали, просто гугли RAG и лончеры, которые его поддерживают, и тестируй.
Модель возьми адекватную — Qwen2.5-7b, Gemma 2 9b, Mistral Nemo 12b, нужно новое и адекватное.
Open-Webui, AnythingLLM, рой в сторону таких простых приложений, где не надо уметь ничего настраивать самостоятельно.
>либо готовься ебаться с промтами
Вообще-то хорни это прямое следствие особо усложненных промтов, в которых пытаются совместить соленое с кислым и мягкое с зеленым. "Персонаж целомудренный и благоразумный, однако в ряде случаев любит поебаться и теряет голову от похоти". Прописывание похотливых характеристик в любом месте промпта и с любыми оговорками, типа "похотливый не всегда", ведет к хорни. В других случаях моделям похуй на хорни, они могут написать производетственный роман и повествование о тяжелых кретьянскиъ буднях на комбайнах.
Cumдония в ипостаси 1.2 прям приятна стала.
Если в первой итеррации при заходе с ноги к принцессе и предложения ебли на столе был ответ
>ты за кого меня принимаешь, сученыш... А давай.
То теперь
>Пшел нахуй. Идет процесс выбрасывания из окна
хз. у меня не ведет.
наоборот заебал паттер "а ю шур? пробабли летс би френдс. ит вил чейндж еврисинг"
Думаю поставить, чтобы была как экстренная альтернатива на случай, если потеряется доступ к гпт 4о
Но в сомнениях, стоит ли. Ебаться ради того, что окажется юзлесс требухой как-то не хочется.
Cпасибо. Скачал AnythingLLM и gemma-2-9b-it-Q5_K_M. Теперь буду разбираться чё как настраивать. В ютубе много воды без конкретики.
По сравнению с гпт 4о разумеется нет. ГПТ перемалывает кучу контекста и делает то что просят в целом. от ламы не ожидай что она сможет перемолоть какие-то сложные задачи с множеством параметров. Какие-то простые конкретные скорей всего сможет. В целом да, она полезна, но не настолько.
Может есть проги лучше, я такими не пользуюсь, все сам настраиваю, поэтому точнее не подскажу.
Но AnythingLLM выглядит как что-то подходящее и достаточно простое. Или ее аналоги можете поискать просто в гугле (или perplexity.ai =).
Успехов!
Примерно на 85% мусор, на 15% англоязычное чо-то там может.
>Deepseek-v3 (пруненный
Если запрунишь до 40B, то без проблем.
Попробовал с AnythingLLM. Ну пока пиздец хуета, 3 часа убил, а будто проще самому файлы читать, чем с нейросеткой ебаца
Минимальная польза будет, если собираешься дрочить ее безобидными вопросами уровня "сколько ног у лошади и почему у моей их три". 4o конечно тот еще лоботомит, но разрыв между ними гигантский. Качай лучше небольшие (в районе 14B) специализированные модели, если тебе нужно работать с кодом или математикой - они уже будут работать гораздо лучше.
>Вообще-то хорни это прямое следствие особо усложненных промтов, в которых пытаются совместить соленое с кислым и мягкое с зеленым.
Излишняя блядоватость модели это следствие хуевой фильтрации датасетов, где во всех примерах взаимодействия между ассистентом и пользователем один из них лезет в трусы, а второй не сопротивляется. Промты тебе особо не помогут, если модель банально не понимает как развивать отношения иначе.
>Deepseek-v3
Нет, нужны 2 проект дигидз что бы это заводить, минимум 6тысяч дорролидос. И то блять это закванченый захуяченый запруненый
>>1013809
>>1013808
Хуя ты пососешь сильного.
Нвидия запрещает использовать 5090 для ии, для майнинга, и вставлять более 1й карты в пк) Терпите бляди.
Не только, китайцы спиливают чипы нон стоп с обычных версий и нвидиа пошла на такой шаг, тут или кадры за 8к или дигитсы
Теперь для всех, Бидон на всех санкции наложил. Терпите, таков швабодный срыночек у швятой - просто запретить всё нахуй, чтоб Китайцам не досталось. Пачка 3090 всё ещё останется лучшим вложением бабла в 2025. Как минимум куртке надо будет продавать свою малинку за 3к зелени, поэтому 5090 только для фейковых кадров будет.
Везде (хоть где) пишут что рестрикшн будет на 5090D. Даже в том же треде на реддите с откуда этот скрин все обсыкают ТСа за кликбейт.
Для ролеплея, конечно. Отпиздить кого-то в хуевой жрпг собственного производства я и так могу, а вот если будет интеракция через ЛЛМ, то это уже повеселее.
Ролейплей описан непонятно как-то, игра текстовая чтоли и надо по контексту переписки понимать когда attack а когда attitude?
Ну типо того. Подходишь к мобу и начинаешь диалог. Происходит что-то вроде:
Игрок: Ты хуйло!
Моб: Это я-то хуйло? Если ещё раз так скажешь, то без зубов будешь. отношение минус
И вот это условное отношение минус должно быть написано по инструкции, чтобы движок смог это распарсить и поменять циферки в игре. Естественно, какие команды писать при каких обстоятельствах будет задано в контексте.
Вдохновился вот этим https://www.youtube.com/watch?v=fJZOXP69L6w , только тут юзается Gemini, а я хочу на локалке попробовать.
Nvidia ACЕ погугли, модели с поддержкой function calling,
Какая-нибудь тюненая gemma-2 вполне вытянет. https://huggingface.co/DiTy/gemma-2-9b-it-russian-function-calling-GGUF - типа такой.
>Нвидия запрещает использовать 5090 для ии, для майнинга, и вставлять более 1й карты в пк
Обычный пук в лужу. Если китаезам сильно приспичит, они сами себе биос спаяют и нахуй пойдут все эти рестрикшены.
Тупой? В ллм одна и та же матрица токенов для входа и выхода. А еще там есть скипканекшены, и если слои ничего не делают, то у тебя в выходе модели светится последний токен как самое вероятное предсказание. Поэтому при обучении можно последний токен никогда не давить в лоссе, а для повторов ввести отдельный токен. Одно условие в коде, что предыдущий токен всегда исключен из предсказания, один лишний токен в токенизаторе - меньше простых лупов, меньше нагрузки на слои. Второе наверное даже более важно.
>Тупой
разве что ты со своими фантазиями, учи матчасть, ну или вруби DRY
>учи матчасть
Сказала макака которая не знает как работает трансформер.
Твой костыльный семплер говна нагрузку со слоев не снимает, которая тратится на то чтобы токен поданный на вход удалить из выхода. Это во первых, а во вторах такая хуйня будет работать нативно и ничего не говнить, если модели нужно будет высрать 10 одинаковых токенов подряд, она их спокойно высрет а не улетит в шизу.
- prompt (system message)
- user message
- assistent message
- user message
- assistent message
... и так далее
допустим у меня 12 сообщений, я беру первые 4-6 сообщений пользователь-ассистент и НЕ сумаризуя сохраняю их в текстовик и делаю им эмбендинг, который сохраняю в векторную базу для rag
и так делаю на протяжении долго периода разговора.
теперь допустим у меня диалог, 12 сообщений.
я пишу ассистенту, питон выхватывает ПОСЛЕДНИе 4 сообщения, ищет схождение векторов из rag и подмешивает их в промпт, (убирая старое подмешивание) как "прошлая память".
И тогда получается вечная память? без всяких сумаризаторов.
и контекста 30 000 токенов вполне хватит базарить в контексте вообще всех диалогов.
можно даже ллм-ке кидать ссылку и говорить про что эта ссылка, а через неделю попросить напомнить ссылку.
да вообще что угодно, она так не потеряет детали.
пренебречь, вальсируем
Таверна уже это умеет, называется vector storage. Может работать даже без экстеншенов, но медленно, на проце, на js реализациях эмбеддинг моделей. Если попердолиться с экстеншенами, то можно выбрать модель получше.
https://docs.sillytavern.app/extensions/chat-vectorization/
https://docs.sillytavern.app/usage/core-concepts/data-bank/
Проблема в том, что эмбеддинги, в отличии от ллм, не понимают контекст, и одно только сходство по векторам для рп чревато тем, что в контекст будет очень часто тащиться нерелевантная фигня.
Для такого надо реранкер использовать, просто каждое предложение через него прогоняешь и регуляркой цифры достаёшь. Про function calling не слушай, там в рп будут просеры, никаких гарантий что оно отработает как надо.
>в контекст будет очень часто тащиться нерелевантная фигня
Потому и нужно строить векторы не по сообщению, а по выжимке из сообщения.
>эмбеддинги, в отличии от ллм, не понимают контекст
А что мешает такую хуитку сделать?
https://www.anthropic.com/news/contextual-retrieval
На самом деле идея ничего себе так, но тут надо подходить комплексно. А ещё не забывай про горький урок, когда вся эта хитрожопость перекрывается компьютом.
И да, папер от террористов с переменной токенизацией на базе энтропии будет работать лучше.
>>1014395
Думаю упрёшься в лимит INT (4млрд), или скорее по диску.
>>1014517
>ограниченное количество
Как будто других карт сделали безграничное число.
Ничего не мешает, делай.
В целом, идея здравая, но пояснение контекста кусков чата в рп не будет так однозначно, как в каком-нибудь доке с инфой, мне думается. И что там припишет лоботомит какому-нибудь абзацу про глинты и заряженный воздух, не очень понятно. Потянется ли этот абзац в промпт, когда придёт свежее сообщение с глинтами? Кроме того, когда есть док - база данных, то ты просто обрабатываешь все её кусочки с помощью ллм один раз. А в случае чата контекст упавших в базу сообщений постоянно меняется, и надо переобрабатывать новые куски с учётом старого текста. Не всего, конечно, но пары последних сообщений тут не хватит. А значит, лишняя постоянная обработка конткекста.
Чтоб LLM, whisper, и сносный tts в одном флаконе и на cuda.
Красноглазый пердолинг с отваливающимися зависимостями очень сильно дизморалит
>Чтоб LLM, whisper, и сносный tts в одном флаконе и на cuda.
Вот как раз сегодня новый Кобольд вышел со всем этим:
https://github.com/LostRuins/koboldcpp/releases
Осталось научиться разбираться, какие модели качать и где галки ставить.
Xуита, слишком много тыкать и результат говно.
вот разворачивать одним батником бы такой проект
https://www.youtube.com/watch?v=ciyEsZpzbM8
Ну так, формально, ллм про диалоги, и если ты хочешь вписать ллм в ролевуху — то это именно диалоги или сюжет (т.е., тексты), а все битвы и их результат обсчитывай по старинке и сообщай ей.
Иначе это забивание гвоздей микроскопом. Можно, но сомнительно.
>>1014169
> И вот это условное отношение минус должно быть написано по инструкции
Function calling.
Пусть модель сама отправляет это в прогу.
ЛИБО просто регекспом изи «отношение минус» и добавляй сам, проблем-то.
>>1014391
Ну слушай, функшн коллинг на словах охуенный, на деле не очень. Но это не означает, что прям плохо.
Если ты юзаешь его для одной-двух функций (а не городишь огород), то можно его использовать вполне. Плюс, накинь сверху регексп, и сравнивай результаты, и вот тебе стабильно и надежно, ИМХО.
Энивей, пусть попробует оба вариант.
>>1014417
И сообщишь, какой лучше, ок? :)
>>1014723
Можешь еще с https://github.com/ylsdamxssjxxdd/eva поугарать.
Берёшь два чата, в одном начинаешь диалог, во второй кидаешь ответ из первого, потом ответ второго кидаешь в первый. Повторять до бесконечности. Ну и промты должны быть одинаковы, чтобы контекст не потерялся.
DIGITS (128 гигов) уже есть в продаже? Думаешь сможем в РФ достать ее? Тоже чот глаз положил.
>40b в 8bit
8 бит это байт, значит сами веса занимают 40 гигабайт. Плюс контекст. Вот и считай.
>>1015263
Спасибо, капитан! Поэтому мы про всякое фентези.
>>1015264
>Думаешь сможем в РФ достать ее?
А это когда-то было проблемой? Плоти деньги и будет тебе что угодно.
>А это когда-то было проблемой? Плоти деньги и будет тебе что угодно.
Молодой ещё, не жил при социализме :)
Перепробовал около восьми разных сборок, везде одна и та же болячка - безумное желание со стороны сетки присосаться к твоему паху при малейшем упоминании чего-то интимного. Перевалился на дефолтный инструкт, но он пишет слишком сухо и промтами это никак не фиксится, по этому приходится снова искать что-то заточенное под ролплей.
> А это когда-то было проблемой? Плоти деньги и будет тебе что угодно.
Где такое доставать то, сомневаюсь, что такое будет в DNS'e или на вайлдберизе продаваться, не с алиэкспресса же мне девайс за 3к бачей брать.
>не с алиэкспресса же мне девайс за 3к бачей брать.
Сейчас на Алиэкспрессе в Россию даже теслы не продают.
> с алиэкспресса
Откуда ей у китайцев взяться? Только у барыг сможешь купить за 5к+ баксов. Можешь забыть про нормальное железо от куртки за вменяемые деньги, Трампыня не будет Китай отпускать, даже если с рашки начнут снимать санкции ничего не изменится по картам. Самое лучшее что можно ожидать - озон станет от арабов таскать что-то.
Да на бабки похуй (в пределах разумного, до 7к готов за такую игрушку отвалить) главное найти где взять, что-бы какая-никакая репутация была у магаза, игрушка то не дешевая, не хотелось бы купить буквально кирпич за 5к бачей.
>до 7к готов за такую игрушку отвалить
Нахуя, если почти то же самое собирается за 2-3к на серверном железе? Хотя бы памяти будет больше.
Каким образом я получу петафлопс производительности с 128 гигами универсальной памяти, возможностью инферить модели вплоть до 200b параметров на железе за 2-3к?
>а все битвы и их результат обсчитывай по старинке и сообщай ей
Да, разумеется вся боёвка и прочие механики будут обсчитываться на движке. Отдельная функция атаки нужна для того, чтобы можно было убедить непися "обоссать но не бить" прямо во время боя.
>ЛИБО просто регекспом изи «отношение минус» и добавляй сам, проблем-то.
Ага, я уже пощупал мистрал 12B из шапки, при заданных нескольких примитивных действиях, он вполне исправно их вставляет. Можно и регуляркой такое вытаскивать.
>Function calling.
Выглядит круто, типо даже функции с одним-двумя аргументами можно делать. Но, насколько я понял, много функций не запихнёшь особо, да и контекст не резиновый.
>И сообщишь, какой лучше, ок? :)
Да, но это не скоро будет, чувствую. Область для меня совсем новая.
Сейчас сижу, читаю про реранкинг. Насколько я понял, процесс должен выглядеть так: модель генерирует описание действий, реранкер смотрит, на описание какого из заданных действий оно похоже, мы вычленяем наиболее релевантный результат и выполняем его. Так выходит, или я что-то недопонял? Так можно много действий задать, не засоряя контекст.
Вроде хочется, но покупка с одной стороны выглядит как выстрел в член, так как сомневаюсь, что у меня свершится ПРОРЫВ по качеству, если я стану использовать 32б, а на этой карте такие модели полноценно не не погоняешь, чтобы их оценить. И мелкие модели на большом контексте (выше 16к) смысла особого нет - они начинают сыпаться уже где-то с 12к зачастую, то есть для малышни одной карты достаточно.
Другие варианты не рассматриваю, ибо нищук, а с авито брать посылкой от хуй пойми кого в городе на 15к населения такая себе идея.
>так как сомневаюсь, что у меня свершится ПРОРЫВ по качеству
12гб - это минимум на сегодняшний день для локалок. Не можешь позволить себе больше - позволь хотя бы это.
Ну так у меня уже есть одна видеокарта. Вопрос в том, насколько это рационально.
Да, я ковырял модели пожирнее на своей и могу точно сказать, что они лучше, но там не отвал башки.
С другой стороны, цены на карты растут, с каждым годом будет всё сложнее брать что-то вменяемое за относительно терпимые деньги, а размер моделей наверняка будет расти, стоимость карт увеличится, 3060 вообще снимут с продажи и можно будет брать только с рук — и тоже за оверпрайс. Б/у будет стоить как новая сейчас.
> петафлопс
В llm там будет упор во всратую DDR5 память. Будет хуже 3090.
> 128 гигами универсальной памяти
4х3090 будут дешевле и дадут больше производительности и памяти.
> 4х3090
1.5 киловатта, а оперативы только 96гб.
Из плюсов только цена и больше флопсов для обучения/до-обучения, но зачем если для обучения можно и нужно арендовать тупо H100 за $1-1.5 в час.
> DIGITS (ака "цифры")
100 ватт, 1 петафлоп fp4, Т.е. можно запускать 200B модели в 5-10 токенов/сек, или 70B в 10-20 TPS, при условии что пропускная способность памяти ~500GB/s
Для MoE-моделей TPS на "цифрах" будет ещё больше.
Плюс можно соединить две таких и получить уже 256 гигов, для видях придётся там мини-ферму на 10 видео-карт мутить.
> только 96гб
Ты думаешь в малинке тебе будет больше доступно, лол? В Жоре ещё возможно, в питоныче вплоть до половины памяти просрёшь.
> при условии что пропускная способность памяти ~500GB/s
Как ты такие фантастические цифры получил? У 3090 память 900+ и там не более 20 т/с с 70В снимаются, если только две карты в q4. С малинки на всратых 500 получишь 10 т/с на 70В и 3 т/с на 200В. Примерно как на двухпроцессорном серваке в 8 каналов.
>>1015680
Про скорости и тпс еще слишком рано говорить, неизвестно что там будут за модели, характеристики точные и вообще это все очень мутно.
>или на вайлдберизе
Вху нот?
>>1015623
>3060 вообще снимут с продажи
А разве не уже? 3090 уже давно не продают.
Так что копи с обедов и меняй свою 3060 на 3090, смысла набирать тот же объём врама двумя картами нулевой.
>>1015668
>fp4
Кстати ХЗ как это будет работать с нашими квантами, небось подойдут только фиксированные кванты, где все веса в 4 битах, а это обоссанство по качеству в сравнении с ныне модными квантами с оценкой потерь.
> до 7к готов за такую игрушку отвалить
Хороший гой, ничего не скажешь. Без поддержки или хотябы хорошей статистики брать такие игрушки крайне опасно, говорю по опыту как работают грейсхопперы. А тут еще с двойной переплатой.
>>1015579
> петафлопс
В 4 битах с разреженностью в теории если не будет упора в память.
Скорее всего будет пригодня для мое. Офк какую-нибудь 4х48б было бы неплохо заиметь, но здесь будет другая проблема - тренировка мое. Хороших тюнов для рп можно не дождаться, а надеяться что оно будет хорошим как гемма (или хотябы коммандер лол) слишком наивно.
>>1015731
> ХЗ как это будет работать с нашими квантами
Да также как ускорение суббайтных операций в имеющихся, нормально все будет работать. Но сама железка скорее всего будет проблемная, нестабильная и глючная, если вообще дойдет до покупателей в этом году.
Честно — я для себя так и не смог обосновать покупку (возможно две теслы в соседнем компе тому помешали).
24 гига это 32б в ужатом виде, это кое-как гемма 27б, это ни туда, ни сюда. Немо ты уже катаешь на 12 гигах, а дальше чувствуется прирост от 70б+ моделей, которым хотелось бы от 40 гигов и выше.
К 3090 покупать 3090 — да.
К 3060 покупать 3090 — стоит.
К 3060 покупать 3060 — … я не стал.
>>1015653
400-600 псп, половина от 3090 (а то и две трети).
Теоретической.
>>1015680
> С малинки на всратых 500 получишь 10 т/с на 70В и 3 т/с на 200В
Не такие большие разрывы, не забывай, объем-то одинаковый.
Скорее 6-7, чем 3 на 200б.
>>1015694
База, лучше посмотреть, че там будет вообще и как.
>небось подойдут только фиксированные кванты, где все веса в 4 битах
У тебя есть FP8 и железка получает на вход FP8. Она разбивает одно значение FP8 на два FP4 и калькулирует. Потом всё это сливается обратно в одно. Как вариант будет обновление TRT, где все не-FP4 веса на самом деле будут храниться в виде разложенных FP4, но существенно ситуацию не изменит. От петафлопса в FP4 остаётся в лучшем случае половина в FP8. А на деле будут дополнительные накладные расходы. Но чипу и не нужно быть мощной числодробилкой, т.к он не под обучение, не под SD, а под LLM. Медленная память, слабый чип, который скорее всего просто отбраковка кристаллов, зато много памяти. Мне это p40 напоминает на самом деле, тоже софтом всё в другую битность гонять надо, тоже пососная производительность, но много vram.
>Мне это p40 напоминает на самом деле
p40 c современным софтом, замечу я. Вариант не самый хуёвый.
Да, если потерялся в сотнях тысяч одинаковых карточек, попробуй вот эти - моя коллекция. Женские персонажи и пара сеттингов, в основном именно сценарии с сеттингом за мужского персонажа, хотя есть и несколько просто дженериков.
Просто коллекция которую собирал с чуба со вката, не мои, 248 шт.
https://pixeldrain.com/u/odDh8nYb rp_cards.zip
Почти все карточки не самые простые, так что рекомендую 22B.
Хотя 12B тоже норм вытягивает некоторые из них.
Находясь в списке чатов, после нажатия на иконку удаления, в консоли браузера и командной строке выводится лишь сообщение о том, что файл чата удален. Сам чат на странице просто очищается не закрываясь, при этом файл остается нетронутым. Странно то что карточки, лорбуки и пресеты удаляются корректно. Права на каталог идентичные. Проблема остается и после переустановки последней версии ST (release). Клонирую через git от обычного юзера. В Issues ничего не нашел. ОС: Win 11.
>удаляются чаты в SillyTavern
там вроде отдельная галочка - удалить чаты вместе с карточкой
>то-то может подсказать оптимальный вариант на нынешний момент
Смотреть порно или юзать онлин модели, он 8гб не особо поиграешь с очком, это 3б модели тупые, 7 если квант
>модели для игрищ
https://huggingface.co/SicariusSicariiStuff/LLAMA-3_8B_Unaligned_BETA_GGUFs/resolve/main/LLAMA-3_8B_Unaligned_BETA-Q6_K.gguf?download=true
6.6 GB
Но на многое не рассчитывай, лучше рассчитывай на апгрейд.
Для комфортного локального рп надо 16 VRAM, 12 это минимум энтри поинт.
24 конечно лучше, но фиг ты щас её достанешь, у меня ноут с 4060 дешевле стоил чем одна 4090.
Спасибо за помощь. Вообще вся эта тема интересна и даёт мотивацию двигаться вперёд. Я бы вообще хотел пообщаться со знающим человеком об этом, так что если захочешь и найдешь время - @sararancha тг, буду рад
>Честно — я для себя так и не смог обосновать покупку
Спасибо за инфу.
Просто если там реально прорывной разницы нет именно для рп, стоящей этих денег, благоразумней не тратиться на вторую такую же карту при моих финансах.
Хотя мне не кажется ебанутой идеей сразу две 3060 брать, учитывая их дешевизну (при нормальной зарплате), но брать почти за сотку 3090 уже совсем ебантяйство в моём случае. Адекватней подкопить и купить через годик актуальную 5ХХХ серии — там и хоть какой-то реальный прирост будет хотя бы в играх и ллм.
>>1015731
>А разве не уже? 3090 уже давно не продают.
3090 вроде как действительно не продают, но 3060 ещё на складах есть, поэтому я задумался тогда. Брал где-то за 32к, а сейчас цена уже до 36-37к выросла. А если так четыре штуки брать, то вообще должен быть кайф при наносековской зарплате местных анонов. Или там проблемы будут существенные с подключением 4 карт? Потому что 48 Гб видеопамяти за 110-120к звучит заманчиво на мой взгляд.
Любая 8б в Q5_K_M влезет с 12к контекста. Unalinged, которую тебе посоветовали выше, норм, но не рп ориентированная. Кроме тех, что в списке в шапке, можешь попробовать
https://huggingface.co/Sao10K/L3-8B-Lunaris-v1
https://huggingface.co/Sao10K/L3-8B-Tamamo-v1
https://huggingface.co/Casual-Autopsy/L3-Umbral-Mind-RP-v3.0-8B
Ссылки на кванты есть на основных страницах моделей. Кроме того, с 8к, а то и 12к контекста, терпимо по скорости и уму будут любые 12б тьюны немо в Q4_K_M. Популярных много, в том числе адекватные на русике (блин, я сел для разнообразия эрпшить на сайнемо-ремикс и свежей инструменталити, меняя их, и, походу, втягиваюсь в это ваше говно ру рп, несмотря на то, что суше по тексту и тупее инглиша), смотри в прошлых тредах или в списке в шапке (хз, что там сейчас, лень чекать). Рекомендации про 3б не слушай, это себя не уважать не на смартфоне катать.
> Или там проблемы будут существенные с подключением 4 карт?
Во-первых, ты немного можешь потерять на обработке контекста, если у тебя будут х1 линии PCIe. Надо искать материнки с 4 слотами.
Во-вторых, если хочется на обычной, то придется колхозить райзерами.
В-третьих, докинь сюда питание на каждую карту и БП норм нужен.
И вот уже не 110-120, а шо-то дохуя встает.
Можно взять майнерскую материнку с х8 слотами 5-10 штук и майнерский же блок питания. Только вот вопрос — а почему тогда не майнерские видеокарты? P104-100 стоит копейки, весь комплект тебе выйдет в 20к рублей, а будет 40 гигов на пяти видяхах по 8. Медленнее 3060? Да. Дешевле? О ДА.
В общем, 3090 с авито звучит лучше, чем колхозить 4 3060 из магаза.
Или, если уж так, то собирай майнинговое.
BTC79X5V1 2,5к
P104-100 8GB 2,5к х 5
БП 1800-2000 ватт 2,5к
Ну и ссд, если его не будет.
Ультрадешман.
>P104-100 8GB 2,5к х 5
Интересная сборочка, но как перекатывающийся с Паскалей на Амперы не могу одобрить. 2 киловатта, и с обработкой контекста на таком конфиге будет жопа. С другой стороны если кто собирал подобное, то интересно услышать отзывы.
А насколько этот план жизнеспособен то? Сколько токенов в секунду ожидать при 16к контекста?
> 24 конечно лучше, но фиг ты щас её достанешь
Лохитовские 3090 пока не заканчиваются, есть и на маркетплейсах, но переплата в 1.5 раза как-то неоче.
## Response:
>```md
Time: 21:31 | Date: 14.06.23 | Location: Балкон Саши | Weather: Теплый летний вечер | Mind state: Смущенная | Physical condition: Пьяная, но боеспособная
```
>А насколько этот план жизнеспособен то? Сколько токенов в секунду ожидать при 16к контекста?
На максимуме того, что может поместиться в 40гб врам этой конструкции с таким контекстом можно ожидать токенов 6 при генерации (чисто по аналогии с теслами). Вот только контекст... Он и на теслах жопа, а тут для описания этого слова будет совершенно недостаточно. Впрочем, узнать реальные числа хотелось бы.
Инструкциями, посмотри в карточке персонажа... но оно глючно и регулярно проёбывается потому что обрабатывается как текст а не как данные.
Кобольд, питонообертка в убабуге, готовые билды на линукс, шинду и прочее - везде похожий провал на большим контексте и просадка в разы, пик1. Убабуга (или что-то в ней) опять обосралась и не способна посчитать разблядовку по токенам в секунду, но конечную генерации видно при сравнении обработки и кэша. Разные режимы работы и параметры проблемы не решают.
Удивил кобольд - в одном из режимов он показал почти 500т/с обработку контекста вместо типичных 300-350 для этого железа, что для жоры просто невероятный результат. Генерация на большом контексте быстрее убабуги - 6-7тс, но все равно ерунда по сравнению с 12-13 в начале.
Интерес и острое желание дать этой поделке второй шанс были, поэтому после продолжительного пердолинга, поиска _подходящих_ версий, параметров и ожидания пока компилятор в очередной раз пропердолит флешатеншн, таки удалось собрать жору, который был бы быстрее. Результаты на пик 2-4. Целых 9 токенов в секунду на контексте! Правда обработка типичная для жоры а не как в кобольде, и всеравно наблюдается падение скорости почти в 2 раза относительно того что было в начале.
Линкану шлюху-пиздабола >>1013315 давай, покажи что там надо пердолить чтобы не сосать как ты привык.
На фоне этого просто берем экслламу, загружаем модель с большим квантом, и получаем на большом контексте скорость генерации быстрее чем у жоры в самом начале, а обработку в 2 раза быстрее. Вообще можно еще разогнать, но для этого потребуется менять бп, ибо без сильного андервольтинга он не вывозит.
Тензорпараллелизм на эклламе с актуальными карточками работает лучше чем на жоре и в начале разгоняет до 25+т/с, но конечный итог такой же - по мере накопления контекста ускорение теряется, а его обработка замедляется.
А я и не писал, что это прямо плохо. Но забавно, что люди не понимают реальную производительность, ждут чего-то вау. А петафлопс по презентации куртки это уровень 5070, у которой внезапно тоже тысяча "AI TOPS". И ожидают, что цена будет $3к. Но по словам нвидии, цена "от 3к". И вот это "от" тоже интересное, возможно, цена просто будет выше, возможно, будут разные модификации устройства с разным объёмом памяти. SSD и RAM. И во втором случае совсем смешно получается.
Вариант не то, чтобы хуёвый, но своих денег вряд ли стоит.
Да вообще сделали бы что-нибудь с грейсом и видеочипом уровня хотябы 5080-5090, но многопамяти и в среднем формфакторе. За такое уже и десяточку можно заплатить, если налог на жителя этой страны не будет слишком высок.
А эта пока выглядит не совсем понятным продуктом. Из-за слабого чипа, теплопакета и псп врам, оно по сути может только в инфиренс с не сильно сложными расчетами, но зато заявлена возможность объединения нескольких в прочие фичи.
могу катать чисто на в идео типичные не сам мелкие 7б-12б по столько же гигов
но обноружил что кобальтСПП хорошо работает у меня на вулкане (аналог опен джл) и нормально переваривает 13 гигов. немного медлено но быстрее чем просто на проце может и 20 гб переварить примерно но нужно по минуте-2е ждать на глаз
наверно стоит снести ебаную угвбугу багованую и перепалзти на кобальт с более сильными моделями?
Если тебя устраивает скорость - бери самую большую модель которая еще норм. Но не стоит вообще это переоценивать, выигрыш в качестве ответом может быть незначительным, а ожидание будет напрягать, в итоге получишь экспириенс хуже.
Если у тебя совсем амд и убабуга ее не поддерживает - тогда бери кобольда. А так с точки зрения ггуф квантов у них функциональность схожая.
прикол что невидия но работает в кобальте только вулкан (остально не запускается вобще)
ток ща посчитал на проце+видео поместится в 2 раза больше модели чем чисто видео
Что за невидия? Если там не совсем некрота то ты что-то не так делаешь, cuda версии llamacpp будет работать быстрее чем вулкан и прочее.
> ток ща посчитал на проце+видео поместится в 2 раза больше модели
Да можешь вообще какую угодно модель грузить, главное чтобы в рам помещалась. Только хорошая скорость будет когда большая часть слоев (или все) на видеокарте.
Либо ты тут траллишь и частоты на картах в нулину опустил или на CPU оффлоадишь, потому что на двух 3090 обработка промпта в Жоре в два раза быстрее должна быть. Я тебе показывал до этого, даже с IQ квантом 14 т/с есть. Держи с обычным квантом, обработка промпта литералли как в твоей эксламе 660 т/с, генерация на целый 1 т/с ниже, лол. Так что иди нахуй со своими фанатичными визгами и траллингом.
ток ща начал вспоминать там автор где писал что толи без тензорных не работает куда и нужен безопасный режим в том числе вулкан толи с авх проца связано - крч железная проблема вроде
я вроде пробовал куду хотя ща мб еще раз попробую чтоб перепроверить
Не получается там такая обработка, единственное большое значение было в билде кобольда, и то около 500 а не почти 700 как в экслламе и у тебя. Ты здесь единственный кто постит такие скрины, уже не раз сверяли и все стабильно, а на теслах так вообще беда.
> Так что иди нахуй со своими фанатичными визгами и траллингом.
Мм, критика проблемной херни - это фанатизм, а использование заведомо худшего (даже если принять за правду твои скрины) решение - это норма. Ебать ты шизик.
В который раз ты не показываешь железо и какой именно квант, хотя последнее можно косвенно оценить по размеру. Но твой секрет, полагаю, раскрыл, смотри какой bazing fast жора! Всего-то нужно его правильно приготовить. А то что там бредогенератор на контексте побольше и слоп на поменьше - кого это волнует, зато цифры.
Да, правда там же на бывшей лламе будет уже под 1700т/с процессинга, ~20 генерации на контексте, семплеры функциональны, адекватный сгенерированный текст и т.д.
Сначала он вволю дал наиграться, а потом забанил. Ну я сделал второй акк, его он забанил за день, причем вообще ничего противоправного не писал, только промпт (ну и карта старая, может по карте чекнул).
Я хз куда написать, где аноны есть которые с гопотой и клодом через SillyTavern ролплеят? Я вот думаю третий акк с другой картой делать или у них проверки появились на промпт, например, и просто бесполезно это сейчас.
Проверяй файлы, уменьшая контекст, пробуй более мелкие модели, меняй количество слоев на гпу и т.д.
Ты сейчас пытаешься выгрузить модель весом почти 14 гб+ контекст в карточку с 8 гб памяти + неизвестное количество RAM. Проблемы могут быть где угодно.
Еще и вкатунов отпугиваете.
>2-6т\с
это норм скорость если сворачивать чат и заниматься работой параллельно
>>1016776
>Видеокарта вообще не нужна.
на раме только всякую прям совсем мелочовку пускать
> что сопоставимо по скорости общения с реальным человеком
Разве что твоё окружение составляют сплошняком больные ДЦП.
У тебя с карточкой не чат(разве что ты чат отыгрываешь), а вполне прямая речь, люди не тупят по 10 секунд перед каждой фразой.
Медленная скорость допустима там где ты эмоционально не вовлечен, к примеру ревью кода или в целом запрос какой-то справочной информации, там действительно можно подождать в угоду качества. А вот в РП медленный ответ ломает все ощущение погружения.
Очевидная кириллица в пути
>>1016776
Потому что рп это не просто чатик, если будешь отвлекаться то все херня и атмосфера теряется. А когда ты постоянно или читаешь, или думаешь, или пишешь без напрягов - вот это уже приятно. 5-6т/с - нормально, 2 - грустно.
> 7-14В
Это оче мало.
>>1016784
Двачую
>>1016784
вы кажется главное упустили
при долгих ответах особенно если рп тянутеся пол дня
-начинают забываться детали кто кого куда и как и что делал. и надо или забивать или перечитывать(дел нех чтоли?)
>Очевидная кириллица в пути
Спасибо огромное, помогло, я на такой тупой хуйне обосрался.
Ну, не два, там 90 ватт на карте в даунвольте. Так что в 500-700 можно уложиться.
У мя щас времени нет, лежит две матери, два бп (брал про запас, вдруг сгорит, лол), 3 карты, но надо еще карт докупить и все это собрать на чем-то где-то. Но дел много, поэтому пока теоретизирую, но не собрал.
Опять же, это ультра-бомж и я буквально никому не советую повторять такое. Я-то по рофлу собираю.
>>1016299
Ммм… Ну, можешь подождать месяцок, может я дособираю и проверю. =) Но в общем тебе ответили плюс-минус верно, я полагаю. Я хочу собрать под 27-32 модели.
Но я могу сказать, что 11,2К контекста на 14B-Q6 обрабатывается 280 секунд, т.е. 40 токен/сек, а генерация выдает 8,5 токен/сек.
С 896 контекста он работает 14 секунд (64 ток/сек), а генерирует 12 ток/сек.
Это задушенные на 50% по поверлимиту P104-100 в количестве двух штук на обычной материнке.
>>1016496
> Убабуга (или что-то в ней)
Питонообертка.
> Удивил кобольд
Он, все же, форк, и иногда и правда радует.
> пропердолит флешатеншн
тихий плач
Хорошо, вот тут челикс портанул FLUX модель на какое то ебаное платное облако для получения 3д модели
Есть ли нейронки на гитхабе портануть пикчу в 3д модель и можно ли заброчить FLUX ебашить модельки например с 4 базовых ракурсов и получать 100% качественные модели по ним на выходе?
Мимо всю жизнь хотел кодзима-генить со своей игрушкой по сюжету и ахуеваю, что кажись смогу если настрою все как надо
А как вообще датасет должен выглядеть в принципе?
Для сд лоры тренил, там понятнее - собрал картинки, протегал, закинул трениться.
А как должен выглядеть датасет для текстового тюна...
Только токенизированный текст. Референс - это вероятности 1 на твоём тексте, всё остальное 0.
Видел датасеты составленные в формате вопрос-ответ или вопрос-правильный ответ-неправильный ответ-отказ отвечать, но это я так понимаю для инстракта, а рп датасет должен выглядеть наверно по другому.
Где об этом почитать? Или кинте копипасту сюда.
>различных команд и прочего
нету таких команд, все команды - это команды фронту а не модели
команды фронта же (например глупой таверны) можешь посмотреть в доках фронта
команды модели - их нужно в карточке описывать, как она на них должна реагировать, и не на всех работает
С действиями в скобках или в звёздочках - это как тренилось. Не все модели тренились на рп датасетах, чаще там просто прямая речь в кавычках, а нарратив простым текстом, действия считаются нарративом.
>Дистиляции R1 заценили уже
Я не очень понял, в чём именно заключается эта дистилляция. Размер вроде тот же. Файнтюн, но типа от корпорации?
> Питонообертка.
Да в ней на самом деле медленных питоновских операций (почти) нет и разницу под микроскопом мерить. На скорость больше опции билда влияют.
> тихий плач
Это ты еще колеса фа под найтли торч на арм не собирал, вот где вселенская печаль.
>>1017210
Для начала, у тебя какое железо? Если есть хотябы 24 гига то запустить (qlora) достаточно легко и помощью трейнера в трансформерсе. Смотри документацию на обниморде, а лучше их нлп курс если хлебушек.
Если же по самому формату датасета - глубоко похуй, в конце все равно сконвертишь под datasets, или напишешь свой даталоадер если не на стандартных либах.
Примеров можешь на обниморде порассматривать. Как правило, там либо уже заготовленный и отформатированный текст типа https://huggingface.co/datasets/cfahlgren1/react-code-instructions , или разбитый на вопрос-ответ https://huggingface.co/datasets/RZ412/PokerBench , или комбинация https://huggingface.co/datasets/nvidia/AceMath-Instruct-Training-Data , или вообще сырые данные в разных вариантах для обработки при их загрузке.
Датасеты просто рандомные из последних выложенных.
Для ускорения можно заранее перегнать в токены и заготовить маски, но не то чтобы с современных реалиях это роляло.
>>1017261
> там понятнее - собрал картинки, протегал, закинул трениться
Там у тебя пары картинка-промт, тут пары вопрос-ответ или сразу мультитурн чат.
Лама и так работает, поддержку квена час назад добавили.
>Для начала, у тебя какое железо?
16 гб врам.
>>1017492
>тут
То есть фактически - для рп / стори модели датсет состоит из фрагментов в виде которых хочешь видеть ответы модели?
А чем тогда отличается от стиля вопрос-ответ, где, как я понял, тоже нужно тегать, но в роли кэпшенов картинки выступает "вопрос", а в виде самой "картинки" - "ответ".
> 16 гб врам.
Возможно, этого хватит чтобы натренить qlora под что-то типа 7б-12б, сразу скажу что результат будет посредственный.
> датсет состоит из фрагментов в виде которых хочешь видеть ответы модели
В первом приближении все нейронки тренятся так. Есть вагон нюансов как в анекдоте, но логика что ей дается то, что она должна делать соблюдается.
>>1017536
Нужно чтобы модель понимала где реплики ее, а где юзера, где начинается и заканчивается каждое сообщение и т.д. Для этого придерживаются единого формата, также помимо промта строится маска, которая показывает сколько токенов из всего доступного контекста используется, и какие из них являются "входом" а какие "ответом".
chat_template для axolotl на пике. по идее если будешь обучать на llama-factory или axolotl там любой формат можно юзать.
>>1017526
>16 гб врам.
скорее всего хватит только на 7б в 4бита, и то с урезанным sequence_len до 4к или даже меньше, так как большие цепочки диалогов не влезут (поэтому на пике максимальная длина цепочки диалогов в 4).
вообще как я понял спустя несколько прогонов, обучать в 4бита лору не самая хорошая идея, лично в моем случае лора после обучения циклится в диалогах.
> axolotl
> llama-factory
Можно пояснение, зачем оно? Казалось ничего проще трансформерсов нет а то и просто на торче написать основное, там оно какие-то профиты дает, меньше память расходует, или еще что-то?
хочу учить модель, а не ебаться с кодом. axolotl поставил, запустил, из коробки работает, всё. никакой боли с подгрузкой, разметкой и проверкой датасета, применением шаблонов чата, оптимизаторов, типа deepspeed, liger kernel. полная автоматизация процесса, написал конфигурацию, запустил, обучение пошло. ничего проще нет. зачем писать свой велосипед?
> хочу учить модель, а не ебаться с кодом
Это лишь иллюзия простоты, на самом деле придется затратить больше времени и сил на адаптацию под их стандарты и форматы. А полученный результат будет хуже, ибо в васяновских шаблонах будут неподходящие параметры, или ты просто не сможешь выставить то что нужно.
> зачем писать свой велосипед
Велосипед это подобные оболочки. Для обучения буквально:
- взять дефолтный коллейтор или написать свой под нужную задачу и все что ты хочешь
- указать путь к датасету
- загрузить модель и переключить в режим обучения
- выставить параметры тренировки
- trainer.trait()
Все, сочетание простоты, широчайших возможности и гибкости.
Шаблоны чата применяются одной командой процессора, который загружается из конфига модели. Оптимизаторы и остальные гиперпараметры ты знать обязан чтобы что-то получилось при любом раскладе. Дипспид и прочее или не нужны, или наоборот необходимы в зависимости от железа и там и там.
Еще должно быть можно управлять генерацией подключая экспертов принудительно.
Почему у r1 температуры и обычных параметров в апи нет, а веса есть, там какой-то особенный семплинг?
Также как в остальных мое, где ты там новое увидел?
> температуры и обычных параметров в апи нет, а веса есть, там какой-то особенный семплинг
Вопросы к api уже. От модели семплинг не зависит, в первом приближении.
>Вопросы к api уже.
Вопросы в том плане, а та ли это модель вообще?
Играй против несоввершеннолетних, тогда вместо блеска в глазах идёт вызов полиции.
Где ты смотришь? Хз есть ли на обниморде под нее, на всяких опенроутерах может быть что угодно, но в приличных сервисах стараются следить за провайдерами.
>>1018083
Да, товарищ майор
Точно также, пользовательский запрос - желаемый ответ сети. Тысяч 30-40 примеров хотя-бы.
Тогда просто начинается отыгрыш глупенькой девочки, которую всему нужно научить и показать.
5090 хватит?
> соизмеримое GPT-4 ранних релизов
Даже 14В выебет.
> потюнить можно
Судя по тупым вопросам тебе нельзя.
> что-бы запускать что-то соизмеримое GPT-4 ранних релизов у себя? Интересует не роплплей, а бизнес таски
Современные не то что 70 и даже 30 их уже обходит. Просто все забыли насколько слаба стоковая четверка, это 8к контекста и тупняк на цепочках заданий. Если брать что-то узкоспециализированное то там и меньшие размеры будут лучше.
> 5090 хватит
4090 хватит для геммы или квен32. Про "тюнить" - грубо можно оценить что нужно примерно в 3.5 раза больше памяти чем требуется для инфиренса в полных весах. Считерить не получится, если хочешь хороший результат и разумную скорость.
>>1018152
Около 1.5 лет назад васяны тренили 7б на бенчмарки и тем самым побеждали гопоту. Сейчас эти занимается крупная компания, хотя не они первые начали частично утрирую, но это так
> Сейчас эти занимается крупная компания
Сейчас этим занимается гопота, делая втихую свои бенчмарки перед выпуском новой модели, чтоб не просрать катайскому опенсорсу, лол.
> Даже 14В выебет.
Это на бенчмарках, примеры с которых в трейн сет запихнули или на на реальных чатах?>>1018159
>"тюнить" - грубо можно оценить что нужно примерно в 3.5 раза больше памяти чем требуется для инфиренса в полных весах. Считерить не получится, если хочешь хороший результат и разумную скорость.
Лоры не прокатят?
> Это на бенчмарках, примеры с которых в трейн сет запихнули или на на реальных чатах?
В прикладных задачах легко будет ебать обычную гопоту. ЖПТ-4 уже даже у самих опенов как легаси модель, они только о1/о3 сейчас занимаются.
Так про это и говорил что не дипсики первые. Чмоня тупая, но при этом во всех бенчмарках улетает, о1 стоит как большие модели, а не то чтобы далеко от нее ушла. Не сказать вообще что это плохие модели, в некоторых кейсах они действительно справляются хорошо, но это местами даже не уровень старой гопоты, которая была более проницательная в анализе художки, рп и прочего.
>>1018176
> Лоры не прокатят?
Смотря что тебе нужно. Если не лоботомировать под конкретную задачу где нужен набор фиксированных ответов после анализа, или просто стилизовать, добавив дополнительную реакцию на некоторые промты то нет.
А насчет 14б - хз, специализированные по коду точно выебут гопоту. Если там цепочка нлп и длинным-сложным промтом - старая гопота справляется лучше с точки зрения анализа и качества ответов, но сбивается также часто.
Deepseek r1 1.5b q8_0
Галлюцинирует, порой просто несет хуйню, не может в сложный код, но в целом для 1.5b круто, правда непонятно нахуя оно нужно зачем-то кроме как в роли бредогенератора.
Deepseek r1 8b q6_k:
В целом круто, для своего размера очень даже. Не галлюцинирует, по крайней мере пока что правильно отвечала что не знает что-то, а не придумывала сама. Strawberry тест проходит через раз, змейку на canvas сделала с первого раза на похуй. Русский знает, но мешает его с китайским и английским, лучше не юзать.
> о1 стоит как большие модели, а не то чтобы далеко от нее ушла
Вот это уже реально траллинг пошёл. Даже o1-mini в прикладных задачах лучше обычной, хотя там крошечная модель меньше 30В. И о1 не совершает тупых ошибок, как жпт-4, могущая спиздануть хуйню с умным видом. Ты похоже думаешь что reasoning-модели - это обязательно СоТ-простыни. Это нихуя не так. Посмотри на R1, она просто пишет короткий план действий перед выполнение задачи и решает её, в конце делает валидацию решения. На практике это просто космос по сравнению с обычными бредогенераторами, серущими на простых вещах даже не поняв что обосрались. И с такими моделями можно конструктивный разбор ошибок делать, а не как та же гопота делает "извини, я ошиблась, держи ещё раз неправильное решение", и только когда ткнёшь её носом пишет "действительно, вы правы" и повторяет сказанное тобой. Фу, бля.
Но ведь это же не снятие трусов, верно? Так что же тебе ещё надо?
>>1018184
>Deepseek r1
Не знаю как ты, а я менее чем на 70B обычно не смотрю. Впрочем, попробую покатать 32B на этот раз.
>Не знаю как ты, а я менее чем на 70B обычно не смотрю.
Так так есть 70b для мажоров. Правда у меня фетиш на маленькие модели, мечтаю об AGI который можно будет локально запустить на телефоне. Имаджин доступ к AGI без интернета в любой точке мира
> в прикладных задачах
Где, в каких, покажи? Отвечать чатботом в техподдержке? Она чуточку лучше в запутанных/двусмысленных/странных вопросах, а так даже обычной чмоне уступает. Ибо та (обычно) не путается если приказано сначала что-то изменить-переписать с учетом пожеланий и сделать длинно-подробно, а потом запилить короткую версию этого блока. О1 мини в половине случаев их не различает и делает обе короткими и похожими друг на друга, или вообще может херракнуть в которкую версию какие-то куски ризонинга типа "а про это я не пишу потому что так приказали", когда увидел прям орал. Хуже нее только просто обычная о-мини, но там совсем херь 8б.
> хотя там крошечная модель меньше 30В
и 15 врядли наберется
> о1 не совершает тупых ошибок, как жпт-4
> Вот это уже реально траллинг пошёл
this, нюфаня не палится.
> На практике это просто космос по сравнению с обычными бредогенераторами, серущими на простых вещах даже не поняв что обосрались. И с такими моделями можно конструктивный разбор ошибок делать
Уровень скиллишью зашкаливает. А если модель уже действительно тупит и в задаче некомпетентна - хер ты ее заставишь делать нужное, будет крутиться вокруг но не даст решения.
>Так так есть 70b для мажоров.
Нормальные квантоделы ещё не залили, жду. Впрочем, у них везде графики либо для полной 671B, либо для 32B, может, семидесятка вышла менее удачной, всё таки ллама, а не квен.
A GPU will not necessary. You’ll just need a CPU with at least 48GB of RAM and at least 250GB of disk space.
При этом минимальный квант весит 207 гигов. Как это работает? Он что ли с диска тянет слои при инференсе или что? Это как-то связано с тем, что там 37B activated params? Как вычислить, сколько нужно VRAM для конкретного кванта тогда?
Облом, ждём обновлений (чистого жору не хочу).
>>1018241
>Он что ли с диска тянет слои
Если ты бессмертный, то да. Остальные не дождутся. Так что запасай 300 гиг рамы и максимум врама.
Вот тут чувствуется понимание того что он делает, а не просто угадывание. В уравнения вроде может, но в таверне форматированию пизда. По логике явно лучше любых других локалок.
>Вот тут чувствуется понимание того что он делает, а не просто угадывание.
Лично я давно уже понял, что развивать будут CoT, stepped thinking и подобное - в смысле будут лить воду, пытаясь компенсировать проёбы в логике и знаниях. И вся эта вода будет в выводе, в ответе модели. А это значит - прежняя скорость инференса для прежнего комфорта x3, прежний размер контекста тоже x3. У кого нет миллиарда хотя бы 3090 - могут идти в жопу.
> stepped thinking
Такое уже сейчас стороной обходят. Развивают RL и структуру ответа, а так же самодиагностику. Классического thinking никто не делает. В случае с уравнениями 70В модели высрут ничуть не меньше простыню, при этом просрав вычисления и насчитав дроби.
Вот это хороший-годный пример качественного ответа с пониманием, хотя задачу не назвать сложной и на нее отвечают другие.
>>1018315
А это датасет с излишней водой, мэх.
>>1018411
> Развивают RL и структуру ответа, а так же самодиагностику
Даже на относительно старых это прекрасно работает если задать промтом/запросами. Тут просто заставили лить воду сразу для самотриггерения и размусоливания. Хорошо ли это - скорее да, лучший результат достигается проще. Но с таким подходом оно теряется на больших контекстах или в чем-то абстрактным, фокусируясь на ерунде. Или же как-то вывозит средний ответ ценой невероятной простыни с долгими рефлексиями.
Кто тестирует, закиньте ей какой-нибудь рп чат или художественное произведение из непопулярных/свежих хотябы на 50к, чтобы потом спросить по содержанию, отношению между чарами или типа того.
>но в таверне форматированию пизда
Раньше была поддержка латекса, сейчас походу дропнули (((
> это прекрасно работает
Без RL-тюна модель никогда не заметит своей ошибки, я ни разу не видел чтоб без подсказки она сама понимала где обосралась. Видел только наоборот как мелкая ошибка перетекала в совершенно бредовые выводы с попыткой просто запромптить thinking.
> лучший результат достигается проще
В прямом ответе нет будущего. Весь возможной датасет уже собран, у той же ламы фактически весь интернет в нём. И если модель не знает ответа, т.е. его нет в датасете, то без рассуждений ты идёшь нахуй. Это тупиковый путь, мозг так не работает, ты не можешь "вспомнить" ответ на систему уравнений. Поэтому о1-mini так и ебёт в логике большие модели, зная почти нихуя.
Это местным братишкам нужен рл тюн чтобы полностью читать посты и не делать на них глупых ответов.
> В прямом ответе нет будущего.
Как скажешь, значит у этой поебистики (а именно о ней речь там где ты отвечешь) нет будущего, и это просто очередной виток херни, которая или окажется на обочине, или эволюционирует во что-то большее. Оно может расширять возможности в меньшем размере, повышать перфоманс для хлебушков и показатели в бенчмарках, но большой модели с нормальным вниманием всеравно не заменит.
> ты не можешь "вспомнить" ответ на систему уравнений
Уперся рогом - придумай бред чтобы возвести его в абсолют, и представить как мнение против которого воюешь, фу.
> так и ебёт в логике
Пока она ложится в типичные простые паттерны что были натренированы, как только в сторону или абстракция - сразу нахуй.
o1 бесполезна, потому что там закрыли сам ризонинг. А вот QwQ я регулярно пользуюсь для брейншторминга, потому что в ризонинг части там могут проскочить интересные мысли и наблюдения, пусть модель и достаточно глупенькая чтобы обычно их не развивать. Это отличная отправная точка чтобы самому подумать. А в целом как end-to-end решение нейронки пока хуйня полная для задач сложнее обработки текста (и скорее всего еще несколько лет так и будет), и поэтому o1 это посос дичайший.
Браток, главное, чтобы шишка стояла, а математику в школе надо было решать.
Я из тех кому это нужно для кодинга, а математика там порой ебейшая
>математика там порой ебейшая
Что кодишь? В каком месте там нужна математика?
С компьютерной графикой когда-нибудь работал? Рендеринг 3D объектов вручную писал? Шейдеры?
>С компьютерной графикой когда-нибудь работал? Рендеринг 3D объектов вручную писал? Шейдеры?
>ебейшая
Писал, без шуток, двигопися с 12-летнем стажем, но тебе виднее. Сам пользуюсь иногда для кодинга, но спрашиваю что-то примитивное, типа "как чекнуть zalgo текст в строке на языкнейм". Соглашусь, что оно действительно бустит разработку, особенно если знаешь, что хочешь.
Он сам не хранит настройки. Ты можешь сохранить профиль руками куда сам же укажешь в файл формата .kcpps но не более того.
Что у тебя там сломалось?
>Он сам не хранит настройки.
Ну вот смотри, например, если поменять эту настройку и перезапустить кобольд, то она сохранится, как я поставлю. И с остальным так же. Где он это сохраняет? Там один екзешник и всё.
>Что у тебя там сломалось?
Я что-то сам натыкал в пресетах и теперь чат начинался как бы за меня писался текст. В общем нашел красную кнопку в настройках "сбросить всё" и теперь работает как и раньше.
Еще есть вопрос по предустановленным чатам. Вот есть например агент Катя. Я ей пишу "я русский" и она общается на русском, но свои мысли она продолжает писать на английском, как заставить ее думать на русском? Или где скачать персонажа рускоязычного?
>как заставить ее думать на русском?
для ру рп лучше карточку персонажа всю на русском писать/скачивать, также можно первое сообщение полностью на русский перевести у готовой карточки, тогда оно будет +- работать, но перевод только первого сообщения чреват случайным скатыванием на англ и языком уровня херового переводчика охлади трахание углепластик
Также ещё от модели зависит. какие могут и с переводом работать норм, а большинство и в чистом в ру сосут
> И с остальным так же. Где он это сохраняет? Там один екзешник и всё.
Sysintenals Process Monitor скачай, натрави на этот процесс да глянь куда он там чо пишет, в файлы, в реестр, на свои сервера-лол.
Тьфу-ты про веб гуи, я подумал что ты о бекэнде. При живой таверне я это поделие даже длинной палкой не трогал.
Trellis или Stable Point Aware 3D
Поищи лору на цитиаи, можно.
Бля, это тред ллм, иди в общий, что ли.
>>1017417
Огонь, но мелкие на русском не могу́т.
Для своих задач пушка, я считаю.
Квен кодер, ИМХО, в кодинге еще не сдал, на самом деле. Рассуждения хорошо, но и датасет роляет.
>>1017492
> колеса фа под найтли торч на арм не собирал
НУ ЗНАЧИТ И НЕ БУДУ
>>1018210
База.
>>1018241
Хуево это работает. =D
256 гигов в помощь.
Тащемта, не так уж и сложно, на самом деле.
Было бы желание.
>>1018362
Хер с ней со скоростью.
Тут у людей ttft (время до первого токена) умерло просто к хуям. Ожидание обработки контекста на P104-100 через PCIe x1 уже некритичное стало. =)
>>1018475
Ну, это именно что CoT и есть. Просто их обучали на датасетах, где люди рассуждали, вот они эту манеру и повторяют. Да, как человек, ведь датасет им делал человек. Они имитируют то, на чем учились, а учиться им на чем, кроме нас.
>>1018653
Да, QwQ хороша.
Но тут, пишут, еще пизже. Ща буду 32b запускать, траить.
>>1018769
У меня подозрение, что сохраняет где-то в браузере, как куки-файлы. Comfyui тоже хранит последнюю сессию в браузере.
Я воспользовался маленкой мистралькой и такой : О, а ебани ка мне расчет площади и периметра горной выработки. Вот такой свод, вот такое то полотно. Ну он и начитал, что при 4x5 - 65м2. Я посмотрел, сказал спасибо и пошел обратно кумить. Может в кодинге оно и работает, но даже с простой геометрией делает кря.
Не исключено, запусти с другого браузера / почисти куки, чекни.
Закинул R1-Distill-Qwen-32b 32к контекста из книги.
Размышления стали на русском.
Ответы правильные.
Контекст держит уверенно — от начала и до конца.
Рассуждает, ищет нужные фразы.
На китайский сбилась один раз, на английский 3 раза (и 2 повтора).
Один раз ошиблась с окончанием.
Пару раз просто построила фразу кривовато, но так и люди строят иногда.
2 P40, кстати, держат около 50к~54к контекста, если у нас 8 квант модели и fp16 контекст.
Если ужать модель и контекст, то получим радостные 128к.
После 30к контекста скорость генерации падает с 10 токенов до 5,5.
Скорость обработки контекста 71 токен/сек.
Это в режиме row_split.
Без него генерация 7,5 на старте и 4,4 после 30к.
Скорость обработки контекста 83 токен/сек.
Если честно, на теслах лучше сидеть с row_split, ИМХО, или у меня какой-то кривой билд llama_cpp попался, хз (b4516).
Хули толку от того что она там решает, лучше бы объяснять тему умела на уровне шарящей студентоты
>где реплики ее, а где юзера
>>1018121
>пользовательский запрос - желаемый ответ сети
Спасибо. А как-то принципиально отличаются "запрос-ответ" и "многоходовый" чат в одной записи? С точки зрения художественного, а не инстракт тюна.
https://huggingface.co/spaces/hkchengrex/MMAudio
MMAudio умеет в базовую "бум-бум" музыку без текста (без голоса). Я для озвучки сгенерированных видео использую.
Начал пилить второй раз фронт под это всё, чтобы вылепить конфетку. Вебсервер, расширения, шаблонизатор, разные апи. Встроил компилятор, чтобы расширения можно было закидывать просто в виде файлов, которые будут собираться при запуске и встраиваться в приложение. Заебало, неделю запущенная студия провисела, не пилю. И тем более, не запускал нейронки всю неделю.
>устал
слишком упоролся и выгорел
отложи, вернёшься как ощутишь
Любая игрушка может заебать если дрочить ее достаточно долго. Сам тоже пытался запилить свою обертку под жору сначала на пайтоне, потом на плюсах, в итоге тоже выгорел и забросил проект, который валяется уже больше месяца в виде отдельных несвязных кусков.
Возьми бессрочный перерыв - если захочешь вернутся, то поймешь. Не захочешь - значит оно тебе и нахуй не надо.
А я вот наоборот ток ток вкатился. В работе нонстоп юзаю ГПТ, плачу по 2к в месяц + DeepSeek сейчас приятно вот радует.
>Нет у вас такого?
бывает. но все еще интерес есть. раньше сидел на 70б и выше, общался чисто на англюсике, но заебало. в итоге пересел на модели которые могут писать на русском, 12б немо, квен 72б или коммандир (в порядке убывания по качеству). немо не такой умный как квен, но если прощать проебы в логике, то вполне неплохо. в общем ролевые заиграли новыми красками.
походу тут много кто фронт пилит, тоже баловался полтора года назад, когда только локальные сетки появлялись, написал свой гуи с нуля (кресты, луа), какое-то время сидел на нем, потом подзабил, все еще хочу вернуться и допилить (хотел прикрутить свой раг с рулбуками, статы, хороший саммарайз, войс, идей было много, но хочется именно на родном, на русском) и вот тут и понимаю, что блять, моделей настолько хороших пока нет, и им даже неоткуда взяться особо.
сейчас занимаюсь тем, что тупо подкидываю своей карточке ассистенту всякие книжки на англицком, делаем вид, что читаем вместе. или просто проходим VN, используя захват экрана и vl сетку для распознавания текста и отдельную для перевода. развлекаюсь как могу.
Когда-то меня тоже вела дорога глинтов... а потом мне прострелили контекст.
Да просто в этот раз ощущение, что это всё.
>>1019505
>Сам тоже пытался запилить свою обертку под жору
Когда делаешь свою обёртку - хорошо понимаешь, насколько же плохи существующие. Может быть, кроме кобольда, я его не трогал вообще, но там по отзывам перформанс лучше ванильного. Каждый раз удивляет, почему никто не реализует возможностей библиотеки в полной мере.
>>1019537
Даже бесплатный лимит в гпт не трачу. Поначалу тоже хотел русик, потом втянулся и уже без разницы. Прикручивал скрипты с пробивом гугловских лимитов на перевод, переводил датасеты гигабайтами. Качество говно.
>много кто фронт пилит
С одной стороны, это просто. Слишком просто, а потому не интересно. Тем более, итоговый выхлоп какой? Вот эти нейросети, которые уже не вставляют? Я пилил раг, пилил сжатие векторов для этого RAG, прикручивал базу данных, войс вообще залетел, как по маслу, даже заставлял модель управлять анимациями 3д модельки. Это тоже просто на самом деле. По фронту вообще планы были наполеоновские, а основной фичей видел последовательный вызов различных инструментов. Такой себе граф - сначала получаем инпут, потом дёргаем базу, потом вывод, следом войс и постобработка. Естественно, всё это с перетягиванием в гуи. И с возможностью прямо в гуи добавить какие-нибудь действия - обработать регекспом, обрезать строку, да что угодно. Учитывая встроенный-то компилятор, хоть скрипты пиши.
Точно так же, как и расширения, удобный выбор последовательности вызова расширений, модификация, события или хуки.
>просто проходим VN, используя захват экрана
Тоже что-то похожее делал. Наверное, допилю когда-нибудь, у меня есть код, который инжектится в одну игру, получая все данные, которые можно скормить в нейросеть, чтобы она комментировала моё прохождение, делала выборы в диалогах и т.д. Но давно заброшенный. Вижн там даже не нужен, разве что есть проблема, что она "видит" то, что не попадает на экран. Но это тоже можно будет побороть математикой.
>>1019584
Скорее случился отвал.
Ставлю 12к контекст и она то же запускается, и как будто от контекста не выросло потребление в ВРАМ.
Компрессорами и растягивателями контекста не пользуюсь, там всё по 1
А сравнивал со стариками типа MusicGen или StableAudio (хотя она больше про шум, конечно)?
Я ммаудио для шума на видосах юзаю, но может там музыка лучше даже.
>>1019459
Без обид, но выглядит как скиллишью, или ты L6+ сеньор в фаанге.
Квен кодер (32б, надеюсь?) вполне удовлетворяет всех включая мидлов, а сеньорам вполне заходит помощь от о1-мини, клода и прочих. И это получается сильно быстрее.
А, третий вариант, ты 1С-программист на коболе, и просто нейронки не знают твой язык.
> Начал пилить
CLI!!!!! (ᗒᗩᗕ)
Как сохранять внесенный контекст в лора?
Спасибо.
Надо будет покрутить их, большого монстра сейчас нет возможности, но тюны мелочи доступны.
> или у меня какой-то кривой билд llama_cpp попался
Какой флаг матмула при сборке?
>>1018936
Атеншн маски, почитай как текстовые сетки тренятся.
>>1019459
> В итоге устал от некросетей. Нет у вас такого?
Нужно пользоваться в удовольствие и не застаиваться на чем-то одном. Как только ощущаешь что текущая деятельность в тягость и не видишь ясных перспектив где вложения усилий окупятся удовольствием потом - дропай нахуй ищи другой подход, что-то новое или меняй так чтобы доставляло, делай промежуточные и близкие цели а не что-то далекое трудновыполнимое.
Это вообще для любого увлечения так, база же. Иначе закопаешься, выгоришь и будешь ходить унылым зомби, который про все только ноет и страдает, даже задротствовать нужно в удовольствие. прозвучало, конечно, как "купи дом если бездомный" но может чуть натолкнет
> Какой флаг матмула при сборке?
Я просто скачал у Жоры с гита.
> прозвучало
Да, база.
>Просто их обучали на датасетах, где люди рассуждали
Большинство попенсорсных походу обучали на высерах от о1-микро или типа того.
>>1019459
>Начал пилить фронт под это всё
Нахуя? Всё уже есть, бери да пользуйся, 90001 решение никому не нужно.
>>1019614
>и как будто от контекста не выросло потребление в ВРАМ
Протекло в РАМ, отключай выгрузку в дровах невидии. Плюс оно не сразу всё выделяется, попробуй закинуть туда эти самые 12к.
>Да просто в этот раз ощущение, что это всё.
Ну прощай тогда, а мы тут посидим ещё.
Революция произошла совсем недавно, сейчас практически по верхам раскапывают и считай где не копнут - там и интересно. Прогресс стремительный, а он видишь ли перегорел. Да поспорить можно, что ничего более интересного в этом веке уже не случится. И весь век будет под знаком ИИ.
Кстати постоянно встречаю заявления обывателей и экспертов вроде "очередной пузырь, который скоро лопнет, ИИ ничего не может" и прочее. И сравнивают с каким-нибудь вебдваноль. Ну дебилы, что с них взять - их как раз ИИ и заменит.
>И сравнивают с каким-нибудь вебдваноль.
Скорее 3.0 со всякими метавселенными, 3Д телевизорами и прочими гуглоглазами.
…которая училась на…
Ну, да, синтетика-синтетика.
Но датасет изначальный составляли на обычных рассуждениях.
Я сам часто начинаю рассуждения с «окей…» и перечисления того, что я знаю.
>>1019768
Априори квен.
Но на русском никто из них.
70 и 32 лучше, 14 юзабельно, 8 и 7 на английском норм, 1,5 для примера.
Зависит от твоих задач — тестируй. Тут очень задаче-зависимые модели, на самом деле.
>>1019857
Короче прочекал. Ллама отвечает короче и в целом такая же примерно по уровню интеллекта, иногда она выдавала даже лучшие варианты, но олин раз она просто зациклилась, а один раз выдала end токен до того даже как закончила закрыла тег <thinking>. Квен думает дольше раза в полтора, порой даже два, что может быть даже к лучшему, хз. По галюцинациям тут в целом паритет, хотя изначально мне казалось что ллама не галюцинирует вообще.
В общем хуй знает что оставить, в целом квен консистентнее, но жалко что ждать ответа придется дольше чем у лламы.
> Атеншн маски, почитай как текстовые сетки тренятся.
Может маски лосса? Маска атеншена то всегда одинаковая, ее какой смысл трогать?
А ну хотя если это про пакет обучающих примеров в одном прогоне, то понятно зачем. Хотя не понятно чем это от батча принципиально отличается.
Кстати, вопрос, если модель при обучении часто видит в контексте токен1->токен2, но на самих токенах непосредственно не обучается, то будет ли она потом повторять это поведение в генерации? И с какой степенью? А если учить на условном токен0->токен1, но не токен2, то второй как будет запоминаться?
> Может маски лосса?
Нет
> учить на условном токен0->токен1, но не токен2, то второй как будет запоминаться
Хотябы ознакомься как обучают текстовые, никто в здравом уме не обучает по одному токену.
Квен 14B это минимум и он сильно лучше чел лама, но вообще 32б нужно брать как стандарт, китаезы делают лучше локалки пока что, под ебучими санкциями и под давлением, вот что значит миллионные армии разрабов дешевых.
Никто и не писал про обучение по одному токену, представляешь?
Пиши ясно и четко формулируй свои вопросы, тогда не будешь выглядеть долбоебом и не придется оправдываться.
Очевидный вопрос про то будет ли протекать контекст в обученную модель, когда он не идет в лосс. Ну если не жопой читать и не делать вид что ты умнее всех в треде, когда это далеко не так.
И ведь это улучшение датасета и обучения, а не архитектуры модели
Что у тебя там должно протекать, обиженка? Ознакомься хотябы с основами и формулируй вопрос нормально, а не так как привык.
Все по теме, если не понял - значит не прошел интеллектуальный ценз. Будущая жертва нейронки с "ризонингом", которая будет до конца отстаивать сгенерированный но кажущийся ему убедительным бред.
>если не понял - значит не прошел интеллектуальный ценз
Семплерошиз, Вы сегодня просто мастер самокритики!
Да ничего нового там. Большие отвечают адекватнее и гораздо чаще инициируют правильные рассуждения, а не шизофазический копиум, создающий иллюзию. На простые вопросы все хорошо справляются, на сложные - все серут и путаются, выжимая камни в попытках, или совсем ломаются. По крайней мере 32-70-72. На чем-то чуть сложнее на мелочь типа 14 или 7 смотреть интересно и одновременно страшно. С примерно равной вероятностью (офк в зависимости от темы) они или угадывают нить и честно пытаются добраться до ответа, застревая где-то на пол пути и честно в этом признаваясь, или же наоборот оформляют дичайший манямир на основе которого генерируют бред с полной уверенностью.
В рп и длинном эффект неоднозначный. С одной стороны, ощущение будто оно без своих шизомантр вообще не может сообразить и тупит, давая плохие ответы. С другой - кажется будто приоритеты восприятия иные и иногда они гораздо лучше ложаться на тему, за счет чего ответы внезапно крутые. От чата зависит, пишут они довольно уныло с точки зрения рп и разыгрывать с нуля - мазохизм, это все на уже имеющихся чатах. В среднем по больнице скорее это хорошо.
>>1020388
Чел, ну объективно, ты даже не понял о чем речь, зато с инициативой надроченной на спам ллмки серишь бредом. Сделай мир лучше и заверши свое существование, или покайся, переосмыслив свою жизнь, забив на носу что ты днище и таким останешься, пока не освоишь чего-то значимого в технических науках. Только тогда твое слово будет иметь какой-то вес, а не вызывать неистовый кринж. Да и просто самого отпустит и не будешь порождать бред.
Чел, чееел, я литерали не понимаю ты такой фигуральный долбоеб или это какие-то вялые попытки в троллинг продолжающиеся из-треда в тред.
Изначальный вопрос был
>видит в контексте токен1->токен2
Ты же отвечаешь.
>никто в здравом уме не обучает по одному токену
И начинаешь тыкать палкой во всех вокруг обвиняя в некомпетентности. Хотя даже в теории обучая по "одному" токену логика эксперимента не особо то поменяется, если так представить.
Какбэ если не можешь признать что обосрался и утихомирить чсв то хотя бы просто молча съеби и потуши жопу.
>Жертва своей трансформер архитектуры
Так будет не всегда(с)
>Ебало людей с четырьмя теслами которые запускают квантованную версию локально со скоростью 3 токена в секунду и ждут ответ сутки непредставимо
У кого хватило на 4 теслы, хватит и на 4 3090. Ты за нас не переживай.
Тут много чсв долбаебов, так что не удивляйся
Прицепятся к любому слову и будут делать из тебя идиота играясь с словами
Лучше на реддите спроси или поищи существующую тему, по части плодотворных обсуждений эта тема давно уже мертва благодоря таким мудакам
Так в этом весь секрет и кроется. Много качественных данных + много компьютера. $1B Is All Your Need.
Ну и отдельно я бы поюзал chronos gold слитую с DeepSeek R1
Пришло время высказать своё кря и определить лучшую cumмодельку в номинации до 22B.
Будут ли у похотливой Cydonia конкуренты ?
Я же знаю что вы кумите, вы все кумите :3
>определить лучшую cumмодельку
А нахуя выбирать между сотнями одинаковых обрезок с клопыни, лол? Все тренируются на одних и тех же датасетах с одними и теми же глинтами. Если уж появится кумерская локаль в пределах 22B и без шиверсов, то тогда можно будет какой-то рейтинг устраивать.
>Будут ли у похотливой Cydonia конкуренты ?
Нет, потому что цидония тупее шизомиксов на немо. Хоть и креативнее.
>DeepSeek R1
мистраль 12б, дипкок дистил 14б, разное кличество слоёв и структура, обычными методами такое не мержится
мерж с пантеоном кидали ранее по рецепту кота бегемота
показывает себя хорошо в рп, и при этом неплохо в ерп
по крайней мере можно не перключаться между моделями для того чтобы прописать кум
>кумерская локаль в пределах 22B и без шиверсов
Кидал недавно >>1011463 →
Не совсем без шиверсов, но по стилю определённо выбивается из общей массы. Правда иногда шизит и срёт под себя, зато рероллы сильно отличаются друг от друга. Короче, неоднозначно, но заслуживает внимания.
Там уже кстати "стабильная" v0.1 вышла недавно, можно глянуть:
https://huggingface.co/cgato/Nemo-12b-Humanize-KTO-v0.1
> Тут много чсв долбаебов
Которые не способны сформулировать свой вопрос или упускают простые вещи, но когда им на это указываешь - вот так на говно исходят.
> по части плодотворных обсуждений эта тема давно уже мертва благодоря таким мудакам
Именно так, поехавшие любой ответ, который их не восхваляет, воспринимают как личную обиду. Тут нужна целая команда, чтобы опекала и оберегала инфантильных от любой критики, только тогда они будут довольны.
на скорость мне похуй
мне интересно какого размера я могу загрузить туда нейронку для максимально вумной нейронки с размышлением, мне похуй, что она пол дня будет думать
главное, чтоб решала какую нить ебанутую физику, теорию электротехники.
грубо говоря скормить ей советские учебники по теории полупроводников и физике.
есть ли предел для открытых нейронок в качестве размышлений? Что можно залить предельно? Скорость токенов ну хотя бы 0.5 к примеру, но чтоб был ебанутый прорыв в аналитических размышлениях по задаче.
Разговаривайте со своими кошкодевочками сами, вот если она высрет за неделю интегральную схему рабочую которую команда дипломистов будет высерать пол года, вот это будет база
Повторю и тут: https://huggingface.co/unsloth/DeepSeek-R1-GGUF/tree/main
Но щас тебе расскажут, что 2 квант полное говно и она будет аццки тупая.
Не то чтобы это было неправдой, зато ты можешь это проверить лично и рассказать нам, случится ли у тебя отрыв башки, или правда 2 квант хуйня.
>мне интересно какого размера я могу загрузить туда нейронку
Условия задачи тебе известны, так что не тупи. Если у тебя 256 гигов под заполнение, ищи нейронку которая вместится в эти 256 гигов вместе с контекстом, который при твоих вводных займет видимо 2/3 всей оперативки.
>главное, чтоб решала какую нить ебанутую физику, теорию электротехники.
Такое тут нет смысла спрашивать, никто не ебет в твоей электротехнике.
>грубо говоря скормить ей советские учебники по теории полупроводников и физике.
Забудь, при чем забудь сразу. Контекста даже в сотню тыщ токенов не хватит чтобы втянуть целый учебник, тем более несколько. Но даже если ты как-то уместишь всю теорию, то нейронка обосрется с процесснгом и выдаст тебе шизу.
пояснение выдайте, пж
это ужатая в 4 раза 605b поеботина?
>это ужатая в 4
В 8 раз если брать 2 квант.
Память сервака какая? 2 канальная ддр4? Или 4 канальная, или что то пиздатое на 8 канальной ддр5?
Тебе нужно узнать бандсвич твоей рам, общую скорость чтения рам в гб/с.
Потом делишь размер нейросети на эту скорость, и получаешь идеальную скорость в токенах в секунду. Реально будет чуть меньше.
Скормить сетке кучу инфы не выйдет, но если найдешь умную сетку, продумаешь тз и разжуешь ей задачу, она тебе что то сделает по твоему запросу. Возможно даже не обосрется.
Смотреть на 32-72b из новейших, вон дистилляции дипсик неплохие.
https://huggingface.co/bartowski?search_models=Deepseek-R1
ггуфы запускать с последним релизом llama.cpp, кобальд нормальное еще не поддерживает. Через чат комплишен нормально так таверна с ним работает, не нужно ебаться с промпт форматом хоть, там какой то свой сделан.
Нужно будет только выключить всю левую хуйню в промпте которую таверна подсовывает сеткам, просто галочки поотключать
Можно, но тогда нужно примешивать что-нибудь ещё для рп, тиньковская шняга небось на сухом ассистенте и документообороте тренилась. А исходная третья лама в принципе херово знает русский, он у неё не заявлен даже в языках, и в тьюне на ответах R1 почти наверняка русского не было. Так что всё равно будет фигня, если тебе именно русик нужен. Если на инглиш рассчитывать, то из любопытства ещё можно помёржить с рп 8б моделями, попытки уже пошли потихоньку https://huggingface.co/models?other=base_model:merge:deepseek-ai/DeepSeek-R1-Distill-Llama-8B Но вангую, что на деле и мозги не улучшатся, и качество рп упадёт. Сейчас как сфранкенмёржну R1 с лунарисом до 12б, топ кум модель получу.
>Память сервака какая? 2 канальная ддр4? Или 4 канальная, или что то пиздатое на 8 канальной ддр5?
8 канал ддр4 2300 ( как и сказал, мне похуй на скорость ответа, пусть пол дня отвечает, но по делу)
Мне нужно скормить ей 10 учебников, что бы ебала рот, на уровне выпускника который проектирует платы
скорость похуй
какие там ограничения? я думал если локальная, то можно кормить пока память не отлетит, а так читаю, какие то ограничения на вход пока не потеряет ветку разговора, обидно
нубас полный
и как скармливать убеники, если вкраце
>Мне нужно скормить ей 10 учебников
Без шансов, у локалок где то 120кб контекста, этого хватит на главу две одной книги, и собственно все
>Без шансов, у локалок где то 120кб контекста, этого хватит на главу две одной книги, и собственно все
А ХУЛИ ТАК МАЛО БЛЯДЬ
куда скармливать учебники, в какое облако тогда? Инвалидная хуйня
я думал, можно свою нейросетку натренить, много параметров и без всяких тормозов, на классические учебники физики, математики и теории электротехники
1к токенов = 1кб? ок
или мы имеем ввиду скармливать внутри чата? А не внутри чата нельзя?
>куда скармливать учебники, в какое облако тогда?
NotebookLM как вариант, я не ебу какой там размер контекста, 1 миллион что ли или 2, плюс всякие системы раг, сетка там большая и по идее сама дохуя знает, так что учебники могут и не понадобится
Страниц 30 текста будет где то 20 тысяч контекста, примерно. Но это только текст, там ведь еще и диаграммы всякие да? С этим только в облачные ии
>кобальд нормальное еще не поддерживает
Тупой пиздабол. Поддерживает.
В интернете много обсуждают бенчмарки и решение сложнейших задач, что простой случайно взятый из толпы человек в 99% не решит. Мне это совершенно не интересно, у меня просто не бывает таких задач.
Кумеры обсуждают ролевые чаты, где нейронка срёт стеной текста в стиле порнушных фанфиков, но мне это тоже не интересно, подрочить я и без этого могу.
Что мне интересно - личный компаньон, с кем можно было бы перекинуться парой фраз просто так. Думал, маленькие модели (<1.5b) должны идеально под это подходить, но почему-то они не способны нормально разговаривать без перехода на "ассистента" и бред - пытаются выдать стену текста, решить задачи и т.д.
Смотрел SmolLM, например, и что я вижу? В 135m они пытаются вжать знания о всём мире, которых нет у абсолютного большинства людей. Зачем? В чём практическая польза, если оно не может играть роль компаньона? Если б мне нужен был ответ на все эти сложные вопросы, я бы обратился к поисковику...
В общем, что я могу сделать в моей ситуации? Как я понимаю, файнтюнинг архитектуры трансформеров приводит к неизбежному коллапсу, т.е. бесполезен...
>Тупой пиздабол. Поддерживает.
Пруфы в студию, пиздабол
Обнова в лламаспп была 2 дня назад, я не смотрел вышло ли обновление кобальда, если да то хорошо
Из примерно 130к доступных самым новым моделям, на вроде квен2.5.
Так что с локалками загрузка даже одной книги не прокатит. тут надо контекст хотя бы 300 или сразу 1 миллион.
И все это качественного чтения контекста что бы сетка не терялась в информации.
>Пруфы в студию, пиздабол
Тише пидорасик, кто ж знал что кто-то не умеет скачать обнову которая вышла через 5 сек?
>я не смотрел вышло ли обновление кобальда
>но пизданул что не поддерживает
Пиздабол тут только ты
Тут уже многие написали по делу, но я добавлю ещё один пункт: привычка, отсутствие новизны и нет чудовищной разницы в качестве.
Если бы модель уровня 12b внезапно выкатили в году эдак 2016, я был бы готов сидеть на 1,5 тс и охуенно радовался качеству текста, спокойно ждал и рпшил, но сейчас это невыносимо и я бы предпочел 12b с мгновенным ответом, чем 405b с 1,5-3 тс. Да, она заметно лучше, но не настолько лучше, чтобы я терпел низкую скорость. Очень жирные модели подойдут скорее для каких-то профессиональных задач в таком случае только.
На мой взгляд, для рп сейчас длительное ожидание будет оправдано только тогда, когда появятся модели, близкие по качеству ответов к AGI, которые буквально заставят тебя охуевать от качества ответов, понимания контекста и пр.
90 страниц в FBReader чем бы они там не измерялись, ну такое. 10 глав из 30, вся книга размером в 1 Мб.
>близкие по качеству ответов к AGI
Ну-ка хотя бы 3 примера приведи своего AGI, а то потом окажется что пигма 7б у тебя аги
Пруфов нет, пошел нахуй
Иди подрочи в кулачек, токсичный уебок
>мяяяяям мне не дают пиздеть в интернете!!!
Держи что ли, говно ебанное, ты же сам не можешь ничего
https://github.com/LostRuins/koboldcpp/releases/tag/v1.82.2
Молодец, хороший мальчик. В следующий раз вежливо пишешь "у тебя устаревшая информация вон обновление вышло", и даешь ссылку.
А свою закомплексованную микроагрессию оставь себе
671b
Да еще и рассуждающая. =)
МоЕ, так что скорость будет неплохая.
>>1021047
Ну, такое и на видяхах можно. =)
Да и 70б будет помедленнее, наверное, чем МоЕшка. Активных параметров же больше.
>>1021058
А вот 10 учебников в контекст не влезет.
Ограничение, на котором модель обучалась. Ее не обучали на 10 учебниках сразу, поэтому у нее после определенного лимита начнется шиза.
Но, тебя спасет RAG, я думаю.
>>1021067
Gemini, 2 миллиона токенов. Это уже 3-4 книги.
Ты просто не понимаешь сути языковых моделей.
Если модель тренировать на учебниках по физике, она научится писать текст в стиле авторов этого учебника, а не усвоит какие-то теории по физике. Т.е. если ты её спросишь о формуле, она тебе выдаст страницу "как в учебнике", а вот с формулой может и обосраться. Она подражает паттернам обучающего материала, вот.
Чатботы типа ChatGPT могут отвечать на многие вопросы словно люди, поскольку им скормили все форумы типа StackOverflow, где люди отвечают на конкретные вопросы других людей. Это не учебники.
Если ты загрузишь учебник в контекст модели, то она может скопировать формулу из контекста в ответ на вопрос, вместо того, чтобы пытаться сочинить её "по памяти". Это может быть выгодно для более точных результатов на вопросы, где требуется точность.
"Рассуждающие" модели тренируются на написанных рассуждениях людей. Условно, миллион индусов в специальном здании записывает ход рассуждений в решении самых разных задач. Потом эти записи скармливают модели, чтобы она "рассуждала" (по сути копировала стиль рассуждений этих индусов).
Короче, LLM в текущем виде принципиально не могут решить проблемы, которые ты хочешь решить. Им не хватает каких-то других компонентов или функций человеческого мозга, а не паттернов из учебников.
Текущие LLM полезны в задачах, которые уже были неоднократно решены людьми, и требуется только повторять известное решение в похожих ситуациях. Аналогично "системе 1" в человеческом мозге...
https://ru.wikipedia.org/wiki/Думай_медленно…_решай_быстро#Две_системы
>Ну, такое и на видяхах можно. =)
Угу и все 130к контекста с видимокартой потянешь?
На сколько помню обычный запуск 32b на 24 гб это 4-8к контекста, на 48гб уже можно разгуляться, но и там мне кажется весь контекст не взять. Сколько там, 1гб врам 2к контекста? Я уже забыл
Включая и отключая видеокарты, я пришел к выводу, что какая-то проблема с общим количеством VRAM. Может он адресацию не может выполнить или еще что. Но если добавить к этому конфигу любую теслу - то биос будет грузиться минут 5, опционально с артефактами на экране. Если же таки дождаться, когда он в него зайдет, то анимашки температур и кулеров будут играться как обычно, но на нажатия реакций не будет. Чипсетные, процессорные, х4, х1 - роли не играет, я уже во всех вариациях тыкал. Если убрать из конфига 3070 и воткнуть теслу - тоже не заработает. Так что вангую порог по памяти где-то между 140 и 156 VRAM. В гугле ничего не гуглится толком. В майнинг ригах подключали 11 видеокарт, но они видеокарты списком свои не выкладывают, по пикам лишь вижу, что много двухвентильных, так что вангую, что по памяти они не обгоняют меня.
Осталась одна идея - выключить нахой бифуркацию, выкинуть все m.2 и воткнуть карты туда. В систему я не смогу забутаться, т.к. она на м.2, но хотя бы до биоса в теории могу дойти. Если уж и в этом конфиге не взлетит, тогда точно дело в памяти.
Вообще, если взять 32b Q6 + Q8_0 контекста, то вполне.
50к~54к влазит в 32b Q8 + fp16 контекст.
Вот тут писал: >>1018862
На двух теслах.
У людей, у кого есть 4-5 видях (особенно 3090=) там вообще проблем не будет и с 70b.
Во, видал, чел >>1021127 между 140 и 156 гигов видяхами. =) Там ваша р1 70б с контекстом расположится не напрягаясь.
Если бы до 220 гигов дотянул бы — можно было бы натурально
R1-671B запускать… Жаль-жаль.
Ага увидел
Ну кстати, неплохо.
Хотя мне кажется сжижать контекст до 8 кванта при таких больших объемах плохо скажется на качестве его понимания.
Но и 50к честного контекста с 32b в 8 кванте за глаза хватит на погромирование, мне бы хватило. Там можно и 5 квант взять, что даст еще контекста до 80к может быть.
Осталось только где то взять и родить 2 3090, кек. На теслах смотрю под конец скорости становятся так себе.
>Поясните, для чего вам скорость?
Это "программисты", которые генерируют миллионы токенов кода и коммитят в продакшн ветку даже без попытки прочитать и понять, что нейронка сделала.
>скорость 2-6т\с, что сопоставимо по скорости общения с реальным человеком. Я прям вижу, как он задумывается на 10-30 секунд над ответом и пишет со скоростью больше, чем пишу я.
Двачую, у меня скорость чтения вообще ниже своей скорости набора текста, поэтому мне тяжело читать километровые ответы от нейронок...
>>1016784
>вполне прямая речь, люди не тупят по 10 секунд перед каждой фразой.
Ты можешь удивиться, но абсолютное большинство людей в реальной жизни не могут разговаривать на скорости генерации LLM и с качеством её речи. LLM генерируют за секунды то, что людям приходится расписывать несколько часов на бумаге/на форуме.
>А вот в РП медленный ответ ломает все ощущение погружения.
>>1016840
>рп это не просто чатик, если будешь отвлекаться то все херня и атмосфера теряется. А когда ты постоянно или читаешь, или думаешь, или пишешь без напрягов - вот это уже приятно. 5-6т/с - нормально, 2 - грустно.
>>1016850
>при долгих ответах особенно если рп тянутеся пол дня начинают забываться детали кто кого куда и как и что делал. и надо или забивать или перечитывать
Вы трое просто зумеры, которые никогда с реальными людьми ролевой игрой не занимались. Реальные РП происходят на форумах, с задержкой до нескольких ДНЕЙ между ответами участников. Это вам не ваши мессенджеры, а вживую так вообще никто эти стены текста не способен придумывать и озвучивать. LLM избаловали вас избытком того, чего раньше просто не существовало из-за ограниченности людей.
>>1021090
>качеству ответов к AGI
Для "AGI" который ты тут хочешь, нужен обучаемый в реальной жизни ИИ, скорее всего с телом робота. LLM сегодня принципиально лишены субъективного опыта жизни, поэтому они могут только подражать чатам, на которых их тренировали. А это сильно ограничивает потенциальные возможности в т.ч. в ролевом чате. Но обучение в реальном времени на личном опыте по определению требует работу в реальном времени...
Да, кому-то читабельно, но я привык читать быстрее и мне некомфортно. 10 токен/сек норм, а вот 5… Ну такое.
Лучше бы 3090, конечно. =)
>>1021164
> Реальные РП
У меня дома, за пиццей, роллами, с картой, ширмой, кубиками и напечатанными на 3D-принтере фигурками. )))
Но, справедливости ради, люди ждут экспериенса как от книги/сериала/игры, где все происходит или с их скоростью восприятия, или быстрее. А не «где мой опыт РП по фидонету!» =)
Где я говорил, что у меня тут по качеству ответов AGI в кармане? Нет такого нихуя. Даже крутые модели и близко не стоят.
Конечно, какой-нибудь клод лучше опишет обычное РП (без кума), чем все модели здесь, но даже если бы клод был опенсорс и без цензуры, едва ли был бы смысл такую ебанину запускать локально без зарплаты 40к долларов в месяц не для работы. Даже если бы на потребительской одной видюхе три токена в секунду было. Ну может в случае каких-то супер охуенных сюжетов с лорбуком в 300к токенов или как тут некоторые аноны истории какие-то охуительные пилили, сами лорбук заполняли и прочее.
>>1021164
>Для "AGI" который ты тут хочешь
Я прекрасно это понимаю. Хотя тело робота не обязательно на мой взгляд, чтобы скачок в качестве был значительным. Вообще, от такого уровня моделей я бы ждал прежде всего не РП, а улучшения уровня жизни на земле. РП уже так, если ошмётки со стола барин кинет.
>>1021153
>32b в 8 кванте за глаза хватит на погромирование
Ты эт серьёзно? Я сам не погромист, но 4o срал калом постоянно, когда я просил его написать то, что мне нужно. Sonnet 3.5 и opus были намного лучше, но тоже часто ошибались. O1 и выше уже показал какой-то ПРОРЫВ, и всё же. А там модели ведь явно чудовищных размеров.
Ещё спрашивал у знакомых погромистов, у которых подписка на попенов за 200 баксов и они постоянно в работе используют коммерческие ллм. Да, говорят, что там ещё лучше, ускоряет работу заметно и много чего упрощает, но даже не близко к десяточке. Поэтому мне крайне сложно представить, что 32б хороша, даже если она заточена исключительно на код.
>Да, кому-то читабельно, но я привык читать быстрее и мне некомфортно. 10 токен/сек норм, а вот 5… Ну такое.
Лучше бы 3090, конечно. =)
Ещё бы модели покачественнее и тюны-мержи посочнее :) Тут как с горизонтом - модели всегда недотягивают, имеющий 3090 хочет 4090 и так до бесконечности.
>когда я просил его написать то, что мне нужно.
Не ругай молоток за то что он плохо пилит доски.
Сетка это инструмент и им нужно уметь пользоваться и делать им то что нужно.
Если хотеть что бы сетка сделала за тебя всю работу то конечно 32b тут в пролете. Да и лучшие на текущий момент ии соснут.
Если использовать ее как инструмент расширяющий твои возможности, то там даже 7b можно приспособить.
32b достаточно хороша что бы работая вместе с ней я делал вещи которые знаю лишь немного, здорово ускоряя любое написание нового кода.
Да и старый можно оптимизировать/прокомментировать/реворкнуть с ее помощью, переписать какой то код понятнее и все такое. Даже генерировать идеи и давать подсказки по структуре, используя сетку как замену гугла который сразу отвечает на твой вопрос и может легко объяснить любую функцию или часть кода.
Qwen2.5-Coder-32b если что, гораздо лучше 4о и клода в программировании. =)
Так что, сравнение явно не в тему.
Ты не программист, я программист, и мои знакомые программисты, и все норм с 32б моделями современными.
Правда я еще не тестил дипсик 32б на программирование, может там ризонинг не сильно поможет, конечно.
А как (по какому принципу) нарезать на датасет художественную книгу? Обычную художественную книгу от русского писателя.
>Не ругай молоток
Скорее кал
Кал ничего не может
Сверлить пилить колотить не умеет
Разве что умеет быть калом
>ничего не может,
- сказал кусок мяса в костяной коробке...
Я другой анон и я программист и мои друзья программисты и Qwen2.5-Coder-32b сосет у 4о в программировании.
>я программист
>>1021394
>и я программист
Бля, давайте примеры которые мы все протестим. Мне интересно. Ну и поучиться у настоящих программистов, как правильно составлять запросы на решение программистских задач.
>Без обид, но выглядит как скиллишью, или ты L6+ сеньор в фаанге.
Квен хорош, наверное. Но реальной помощи от него мало, бывают случаи, когда буквально невозможно его заставить сделать что-то. Приходится писать код, показывать ему, он говорит, что это решение хорошее и уже накидывает свой вариант. Но зачем, если у меня уже есть мой код, который учитывает нюансы проекта? Пытался его заставлять рефакторить мой код, фейлы. У меня на самом деле много проблем с архитектурой и единообразием стиля, тот же вебсервер пилил - сам вебсервер полностью в одном стиле, традиционном для вебсеров, с роутером, парсерами и т.д. Но как дошло до апи - я уже пишу в другом стиле. Квен с этим ничего сделать не может. Либо в коде есть события для экстеншенов, но я решил сделать по-другому, чтобы полностью нивелировать накладные расходы на вызов событий, нужно почистить один тип событий, оставляя остальные. Тоже косяки. Когда-то загонял в RAG один гигантский проект на крестах и тормошил гемму с этим, работало неплохо. Может, нужно с квеном то же самое сделать. Ах да, я как-то гонял квен побайтово анализировать один файл. Мне нужно было распарсить бинарный файл с неизвестным форматом, я примерно знал, что в нём, но на этом всё. Было неожиданно неплохо, в целом он фейлил, но справлялся гораздо лучше, чем можно было ожидать. Наверное, потому что я изначально скинул примерную логику файла, код который читает часть данных и все форматы со структурами, было от чего отталкиваться.
У клода знания устаревшие, он неплох, но аутдейтед, похуже, чем 1о. Но на длинных кусках кода 1о начинает откровенно срать.
>>1019683
>прозвучало, конечно, как "купи дом если бездомный"
Да умом-то всё это понимается, отдых, то-сё. Я просто слишком много требую от нейросетей и когда они не вывозят - ощущение, что всё тлен и зря.
>>1019725
>90001 решение никому не нужно
Раз начал пилить - значит, мне нужно. Существующие не устраивают. Либо нет важных функций, либо их добавление чревато вложением неизвестного количества усилий с неизвестным результатом, либо нет стабильной работы.
Мисгендеринг!
>>1021087
Нет смысла загружать книги, корпы точно также не умеют качественно работать с таким контекстом, кроме случаев поиска информации там или относительно простых задач.
Но никто не мешает попробовать как оно, у жемини есть сколько-то бесплатных запросов в день и 1 миллион контекста.
>>1021104
Ты немного в крайность ударился. На самом деле они не только подражают стилю, но также немного запоминают глубинные закономерности и факты, которые потом могут быть использованы для решения, или зирошотом выдать правильное. Еще на заре ллм очень много подобного отмечали и даже статьи с оценками писали, сейчас уже все забылось.
Мультитурн по типу "запрос-ответ". Разрезаешь книгу на части и впихиваешь по кускам. Со стороны юзера можно забить в цепочку запросов дефолтный "континью" после каждого ответа.
Скриншот довольно брутальный.
А что у тебя за материнка? Ребар или его аналог попробуй выключить, он действительно может как-то с объемом неверно работать.
>>1021164
> которые никогда с реальными людьми ролевой игрой не занимались
Как можно сравнивать чатик с ллм с играми с кожаными ирл, или же рп на форуме? В первом случае идет постоянный эшкн и кто-то говорит/делает, помимо речи еще огромное количество информации идет от движения, тела, мимики и т.д., и общая атмосфера располагает. На форумах это особый вид увлечений, где удовольствие получают от смакования выдуманной тобой истории, графписательства и коллективной синергии если получается. Там наоборот над каждой буквой сидят и продумывают.
В случае ллм - интерактивная книга, фанфик, как угодно назови, где ты или чар - главное действующее лицо. Если тебе не дают читать книгу постоянно отвлекая - ты этому совсем не обрадуешься.
>>1021188
> люди ждут экспериенса как от книги/сериала/игры
Именно, допустимы задержки когда ты сам над чем-то задумываешься и осмысливаешь, а когда с интересом ждешь где там продолжение и развязка.
>>1021233
База
То есть рп датасет - всегда мультитурн, и при этом длинна одного куска, то есть количество пар
{
"role": "bot",
"content": ""
},
{
"role": "user",
"content": ""
}
в переложении на количество токенов и есть то самое sequence length которое иногда пишут на странице тюнов?
> рп датасет - всегда мультитурн
Не путай как датасет может быть выложен, и к какому виду преобразуется в ходе тренировки. Там может быть вовсе не типичный мультитурн, а инстракт.
Ну, меня интересует именно приложение в области рп / соавторства.
После перезагрузки решила работать нормально, мда. Правда все еще не открывает тег think, но возможно это сам кобольд кривой регуляркой что-то не так обрезает
> соавторства
Для такого на обниморде есть сториврайтер датасеты, многие буквально сделаны из книг. Выбираешь какой-то наиболее удачный участок, суммаризируешь его, делаешь краткую предысторию, достаешь ключевую информацию, классифицируешь и т.д. Потом превращаешь эти данные в "запрос", в котором приказано написать такую-то историю, а в "ответе" будет сам текст. Никакого мультитурна уже не нужно, разве что в сценарии, когда оно разбито на несколько отрывков, и после каждого следует новая инструкция с указанием в какую сторону повести сюжет и другими соответствующими запросами.
>https://huggingface.co/cgato/Nemo-12b-Humanize-KTO-Experimental-Latest
Реально умная модель.
Я погонял под разными настройками, вплоть до обычных мистралевских - вроде работает, но такой последовательности мысления, как облачный не выдает.
Base версия на голой стене текста.
Но такая модель только писать книги и будет. Без диалога, чистый text-completion.
>>1021394
С о1 или о1-мини не путаешь? =) Они ебут.
Хотя я щас глянул, и соглашусь, он обходил августовскую версию, щас 4o может быть получше + новые знания, конечно.
Оке, соглашусь.
>>1021453
> похуже, чем 1о.
o1-mini обучали для программирование, все что угодно похуже нее. Ну и о1 хороша тоже, да.
>>1021408
Эээ… Ну, если честно… Там, типа, рабочий код. =) Скинуть не могу.
На пет-проекты я забил год назад, поэтому ничего опенсорсного показать не могу из нынешнего.
Ну и задачи разные бывают.
Я бы сказал, давайте подберем подходящие задачи и сравним, но это звучит как бенчмарк. Которых много. Мне лень все гуглить, кинул первое, что нашел.
>>1021698
У R1-distill свои теги вообще, и все свое.
Я хз, если честно, забыл посмотреть тимплейт, когда катал на ллама.спп
Интересный вопрос.
сетка для бад ендс
>маленькие модели (<1.5b)
>135m
>В общем, что я могу сделать в моей ситуации?
Купить любое современное устройство. Сейчас даже мобильники могут запускать 8B...
Я другой анон, дело даже не в размере (хотя и в нём тоже), хочется что бы модель не пыталась быть всезнайкой. Существуют модели которые просто ""умеют говорить" и обладают самыми общими знаниями уровня среднестатистического скуфа? Или это можно как-то решить промтом аля "ты тупой скуф и ничего не знаешь"?
Что за годные модельки вышли со времен шизоГеммы-27б?
Есть что-то интересное или как обычно маленький коммандер и Юи-34б остаются лучшими модельками в районе 20-40б?
Алсо, может выходило что-то более вменяемое и менее шизовое, чем Гемма, но за тот же объём?
Чел, твоей некротой никто не пользуется.
> коммандер и Юи-34б
Это вообще калычи, хуже нынешних 8В.
>Чел, твоей некротой никто не пользуется.
А чем же пользуются сейчас молодые и успешные?
>Это вообще калычи, хуже нынешних 8В.
>на полном серьёзе говорит, что 8B лучше 34 и 32B
Кстати, я про Айю-23-35б забыл. Тоже пиздатая моделька была. А 8б версия на русском лучше лламы 3 болтатла.
>лучше лламы 3 болтатла.
Естесно, маленькой. А то мало-ли, какие шизы сидят, я так посмотрю, что тут норма сравнивать 8b и ~30b модели, так что может и 8b с 70b сравнивают и на полном серьёзе говорят, что первое лучше...
> тут норма сравнивать 8b и ~30b модели
Естественно, командир и юи даже на момент выхода говном были, а сейчас совсем ни на что не способны. В 2025 году даже 1.5В что-то могут.
>командир
>даже на момент выхода говном были
лол што. Ты не троллишь? Это буквально лучшая модель при её весе. По крайней мере маленький.
Хватит хуйню нести. Говорить, что 8б лучше 32 - это троллинг тупостью.
>>1022009
Хотя нет. Наверное, у нас просто разные критерии годности модели.
Командер действительно тупой, но текст генерирует хороший. И вот именно с точки зрения генерации текста - эта лучшая модель, пускай и тупенькая.
А, для тебя, видимо критерием годности модели является то - насколько она хорошо справляется с кодингом и бенчмарками? Ну типа с матаном, физикой и т.д.?
Или я чего-то не понимаю.
Нет. Вообще, чем больше в модель пихаешь, тем она умнее и лучше пишет даже обычный текст, даже если пихать треды с форчана.
Таких нет. Я тестил все 12b русские. Даже если забить на какие-нибудь кривые падежи, они ещё и тупее в целом.
Сгодятся только для кума или чего-то очень непринужденного.
>https://huggingface.co/Aleteian/Instrumentality-RP-12B-RU-Q8_0-GGUF
А настроек семплера нет?
Топ п 0,95, мин п 0,05 вроде. Температура 0,8-1,2. Всё как обычно, в общем. Ещё я топ а 0,1 периодически юзаю вместо топ п всяких, но аноны такое не одобряют, насколько я помню, поэтому смотри сам.
Инструменталли довольно ебанутая, там кривой мерж из-за кривого гунтеберга, полагаю, ибо того гутенберга я юзал и болячки из него перекочевали. То есть её юзать можно и она предлагает новый опыт, но я б не советовал, если ты ещё не пробовал рп-саинемо и саинемо-ремикс (обе эти модели пишут по-разному, если что, и тоже русек, и я уже не помню, в какой из них он лучше). Потести. Кажется, рп саинемо был лучше
Вот ещё ссылка со скриншотами текста на этих моделях. Конечно, там тестирование не круто проведено, но общее представление получишь.
https://2ch.hk/ai/res/990008.html#995161
Ну, поэтому ты пользуешь аутпут самой модели чтобы файнтюнить её. Но вот как зафайнтюнить их под генерацию порнухи это вопрос. Генерировать что-то безопасное, но стилизовать под что-то опасное с помощью другой ЛЛМ и медленно корраптить эту умную хуйню?
Для 22b потери между f16 и q4 в районе 5-6%, сам решай. Главное ниже q4 не опускайся, там идет пропасть.
>Для 22b потери между f16 и q4 в районе 5-6%
Скажи это геме 27б где на 4 кванте русик лоботомирован
Кого вообще волнует русик? В всех основных моделях он никогда даже не приблизится по качеству ответов английскому, а значит мусор без задач. А для тех кто прогуливал уроки английского в школе, в таверне есть плагин автоперевода, куда можно цепануть тот же DeepL API и довольным кушать контекстный перевод.
>кривого гунтеберга
Надо попробовать вместо гутенберга (его всё равно брал чтобы меньше позитивного биаса было) впилить этот новый Wayfarer.
>>1021578
>сториврайтер датасеты
Надо тоже глянуть...
Похоже форматируют кто во что горазд (одиночный запрос ответ, чат, с указанием сеттинга/персоны и нет, вообще голый текст чанками), но должен же быть какой-то стандарт в котором оно уже скармливается трейнеру.
Ну я сейчас как раз почитываю актуальные модели по ссылкам в шапке. Будут какие нибудь советы? Пытаюсь в фэнтези приключение.
>путает одежду на верхней и нижней части тела
>пытается натянуть штаны или юбку до самой груди
Это он еще брюки через голову не натягивал. Лама в ролплее тупит нещадно, так что выбирай что нибудь на основе мисрали 12B
>должен же быть какой-то стандарт в котором оно уже скармливается трейнеру
Если чисто логически подумать, то лучший формат это инструкт цепочка, где есть системная секция с описанием персонажа и диалог сообщений на 20-30 минимум. Но видимо мало кто заморачивается с генерацией подобной синтетики и все просто используют сингл-терн чаты.
Попробуй гемму. Если небольшая видяха, то 9б, если совсем плохо с врам или на мобилке (хотя бы с 8 гигов оперативы), то 2б. Она как раз по дефолту пишет как собеседник в мессенджере, кидает смайлы. Хотя ассистентовость будет всё равно, на это тренилось. Ну и нужно промптить правильно. Если у тебя какой-нибудь дефолтный системный промпт про ролплей, то сетки будут пытаться в описания или нарратора.
Nemo, как сказали.
На ее базе sainemo-remix, neverending, instrumentality, wayfarer.
Выше ссылки есть или поищи.
В крайнем случае gemma 2 9b какая-нибудь.
Цидонька. Если влезает по параметрам, то и думать нечего.
Ничего не свете лучше нету, чем обмазываться цидонькой на рассвете.
Может быть просто в 22б она и пантеон это лучшее что можно найти в принципе ?
>>1022337
А если мы представим что мои хотелки о качественном ролеплее не особо выполнимы, так как у меня 8гб видяха?
Тогда вот на это смотри >>1022337.
>sainemo-remix, neverending, instrumentality, wayfarer.
Первое от тредовичка. Может в русский РП.
>Как же вы заебали
У шизлов опять появился новый объект для дроча, ничего нового.
>>1022349
>Может быть просто в 22б она и пантеон это лучшее что можно найти в принципе ?
Я уж лучше на командор вернусь, чем буду копошить этот огрызок. 22B тупее чем 12B, при том жрет больше памяти и нихуя не дает взамен кроме большей вариативности в описании, жертвуя логикой.
>>1022352
Выполнимы, просто тебе придется пожертвовать скоростью и размером контекста. Немо в четвертом кванте вполне юзабельна и до 12к она в целом не сильно шизит. Главное не выебываться и не ставить больше. Ну или как альтернатива шестой квант и не полная выгрузка слоев.
>22B тупее чем 12B,
Я попробовавший чуть ли не все до чего могут дотянуться руки, в ахуе от твоих пассажей.
Srsly ? А можно увидеть примеры ? Потому что все что я видел, это то как 12b превращаются в тыкву, ели обсуждение идет чуть сложнее чем констатации фактов. 12b не могут в простейший сарказм, не вывозят сложные сцены. Забывают про контекст в прошлом сообщении. А пантеон мне хуячит сочинения, вспоминая что было 50-100 постов назад без всякого суммарайза.
Какой же 12В превосходит объединённую мощь мерж Изенгарда Сидонии и Мордора Пантеона?
Волшебный блять. Но нам его не покажут.
Смысла в мержах цидонии нет. Она тупеет.
Если мерж с магнумом - мне хочется орать
Если с пантеоном - it’s all same shit.
>У шизлов опять появился новый объект для дроча, ничего нового.
Ну если это лучшее что сейчас есть ? Мне из принципа дрочить старые сетки, потому что когда то они были хороши ?
Что бы потом она у меня отъебнулась через месяц/год и я бы писал свои притензии по этому поводу в спортлото?
>12b не могут в простейший сарказм
Могут
>не вывозят сложные сцены
Вывозят
>Забывают про контекст в прошлом сообщении
Не забывают
Виной всех этих проблем ты сам, а не моделька. Либо прожаривал сетку выше рекомендуемой температуры, либо качал хуевые миксы/тюны, либо не мог нормально составить промт.
>пантеон мне хуячит сочинения, вспоминая что было 50-100 постов назад
Про сочинения не буду спорить, пантеон и цидония попиздеть очень любят. Но насчет "воспоминаний" о том что было более 16 тысяч токенов назад очень сомневаюсь. Что 12B, что 22B ломаются и превращаются в лоботомитов после переполнения окна в 16к контекста. Помнить они конечно могут, но шиза там течь начинает такая, что толку от такой памяти нет.
>>1022380
Дрочить ты можешь что угодно, просто советы на похуй раздавать не надо. Все мелкие сетки проблемные и об этих проблемах нужно сообщать, особенно залетным.
>Виной всех этих проблем ты сам, а не моделька. Либо прожаривал сетку выше рекомендуемой температуры, либо качал хуевые миксы/тюны, либо не мог нормально составить промт.
Мы говорим о РП. Для РП важны сочные описания и вариативность. И тут ты выдаешь, что оказывается хоть это и хорошо, но это плохо.
Ты почему такой аутист ? Я без злобы спрашиваю, мне правда интересно, зачем ты перемогаешь 12b, когда я видел насколько они хуже СВОИМИ БЛЯТЬ ГЛАЗАМИ.
>>1022407
>Дрочить ты можешь что угодно, просто советы на похуй раздавать не надо.
Я назвал лучшее что есть на 22b. Можно сколько угодно копротивляться, но факт от этого не изменится.
https://arxiv.org/pdf/2402.05120
В контексте рол-плея можно выделить несколько идей, которые можно решать небольшими "агентами":
- Один агент для стилистики, который смотрит текст и оценивает/критикует, предлагает что улучшить.
- Один агент с доступом к векторной базе (ChromaDB и ей подобные), который может запоминать факты и быстро их доставать по запросу
- Один агент для оценки состояния персонажей (для этого модели типа BERT подходят лучше всего)
- Агент для повествования, который оценивает что произошло ранее и сейчас и пытается найти самое интересное продолжение
- Собственно агент-менеджер (22B-70B+), который забирает текст пользователя и рассылает его + контекст всем агентам, шарит контекст где надо и пытается на основе анализа всех агентов состряпать идеальный ответ. Возможно делает несколько итераций и сравнивает их. Что-то типа гейм-мастера в D&D
Ещё несколько идей (от о1):
-> Агент “Отслеживание логики мира”
Отвечает за целостность лора/сеттинга, следит, чтобы не возникало противоречий в сюжете (никаких “бессмертных” неписей, неожиданных teleport’ов без причины и т.д.).
Может хранить краткие описания ключевых локаций, правил магии или технологий, особенностей мира (законы физики, время суток, климат).
-> Агент “Следование тону / жанру”
Следит, чтобы общее повествование и ответ соответствовали выбранному жанру (фэнтези, нуар-детектив, киберпанк и т.д.).
Может править стилистику и лексику таким образом, чтобы всё выглядело единообразно.
-> Агент “Эмоциональная атмосфера”
Отвечает за тон и эмоциональный окрас диалогов и описаний (подбор слов, интонации).
Может подстраивать ответы, учитывая эмоциональное состояние персонажей (например, если персонаж зол, его ответы становятся более резкими, если грустит — более медленными и унылыми).
-> Агент “Безопасность / Модерация”
Отслеживает контент на предмет оскорблений, нарушения этики или незаконного контента.
Может “заворачивать” тексты на доработку другим агентам или редактировать неприемлемые фрагменты.
-> Агент “Генерация окружения”
Занимается детализированным описанием локаций, погоды, звуков, событий на заднем плане.
Особенно полезен для оживления мира: прописывает мелкие детали, которые создают “объём” истории и помогают с погружением.
-> Агент “Геймплейная механика”
Если речь идёт о более геймплейно-ориентированном рол-плее, этот агент может моделировать механику боя, броски кубиков, проверку навыков, взаимодействие с предметами.
Подходит и для расчёта условного “урона”, шансов успеха и т.п.
-> Агент “Темп повествования”
Отвечает за ритм: когда ускорить события, чтобы создать напряжение, а когда замедлить, чтобы дать персонажам пообщаться или описать мир.
Может рекомендовать “паузы” или “сокращения”, если сюжет вдруг растягивается, или наоборот — делать акценты, если нужно нагнать драму.
-> Агент “Генератор неписей (NPC)”
Создаёт персонажей “на лету”, с учётом их роли в сюжете и характерных черт.
Может отвечать за характерную манеру речи, типичные действия и цели NPC, а также за краткую “историю” для правдоподобия.
-> Агент “Отслеживание заданий и целей”
Пригодится, если сюжет разбит на отдельные квесты: хранит информацию о прогрессе по каждой ветке, чтобы не терять сюжетные ниточки.
Напоминает, какие задачи ещё не выполнены, кого нужно найти, куда пойти дальше, даёт подсказки.
-> Агент “Суммаризация предыдущих событий”
Полезен, чтобы игрок/читатель не запутался в длинной истории. Может формировать краткую выжимку того, что произошло ранее, и подмешивать это резюме в общий контекст.
Поможет не потерять важные детали, которые могут влиять на развитие сюжета сейчас.
Мне кажется для развития РП нужно вот в этом направлении двигаться.
Сами LLM не владеют логикой, только могут в качестве авто-дополнения играть. Но если у нас есть модели которые заточены под решение конкретной проблемы, то остаётся только правильно их скоординировать.
>Для РП важны сочные описания и вариативность.
Это второстепенно. Для рп первична логика и понимание происходящего. Нахуя мне витиеватое описание небритой пизды от цидонии, если в следующем же сообщении она забывает что уже сняла трусы с персонажа и второй раз их не нужно стягивать вниз по бедрам?
>мне правда интересно, зачем ты перемогаешь 12b, когда я видел насколько они хуже
Мне абсолютно похуй на чем ты сидишь и что ты видел. Я не тебя пытаюсь переубедить, а того анона выше, которому ты этот шлак пытаешься впарить с самоуверенным прихрюкиванием.
>Ты почему такой аутист ?
>Я назвал лучшее что есть на 22b
Чел в первом же сообщении указал, что попробовал мелкую ламу на 8 лярдов параметров. И ты ему рекомендуешь модель которая весит в 2.5 раза больше. Тут скорее ты аутист, раз не можешь простейшую логическую цепочку выстроить и догадаться, что у челика в лучшем случаее 12 гигов памяти а как оказалось вообще 8
Короче меченный, я сейчас тебя как ньюфага немного расстрою. Выбор модели это вторичное, лол. Самое главное это контекст. Условно ты уже будешь охуевать на сообщении 20том, от бесконечных пересчетов, а потом модель будет вытягивать лапки и делать кря. Тебе придется ручками делать ревью сюжета и вставлять его в таверну. Тебе придется ручками править промты персонажей, тебе придется писать лорбук.
Так что если ты хочешь не РП а заливать смегмой стены, то лучше об этом так и напиши. Это разный опыт, требущий разных усилий.
А на то на что дрочить, будь то немомиксы, будь то всякие дарк клифенгеры, cumдонии, богопротивный магнум, сенки, немомержи - это все не важно. Различия мелкие. Большие сетки просто тебе будут абзацами ебашить рассказывая как она blush от твоих Touch.
>а как оказалось вообще 8
Блять, я еблан. Таки да, хуйню посоветовал.
Индивидуально.
От 0.7 до 1.5
Кручу верчу нейросеть разогреть хочу.
>какая примерно температура у вас стоит
На всех моделях по разному. Смотри рекомендации на страничке обниморды, в обсуждениях или на реддите. Ну или крути по ощущениям.
>при этом не повторялся как диктофон
За это отвечают другие семплеры, а не температура. Из классики это ограничение на повтор/присутствие, из шизы это драй и хтс. Обычно хватает пенальти в районе 1.05 - 1.1
В общем дохуя работы, описывать сюжет, писать лорбуки и прочее, понял. Я уже минут 10 дрочу свап, чтобы мне высралось нормальное начало приключения, этот даун каждый раз спавнил передо мной волка, пока я в первом своем предложении не указал что никах волков.
Не знаю, где ты такие мозги у 12б нашёл. Ум едва выше 8б, особенно если речь про рп на русском. Литералли мой экспириенс из недавней попытки дать ещё один шанс ру рп на инструменталити: тянка подходит к юзеру спереди, обнимает его - упирается сиськами в спину. На свайпе садиться сначала на стул, а потом внезапно к юзеру (стоящему) на колени. На инглише немо хотя бы лучше цепляют особенности речи персов и побольше знают, чем 8б, меньше путаются в контексте, но никакие сложные сцены и подтексты они не осилят. На инглише был такой устойчивый к свайпам ответ, например: юзер с сестрой в ванной, а их мамка в гостиной вдруг врубает воду, чтобы помыться. Т.е. даже такие типичные пространственные ошибки мелочи с парой персов и локаций присутствуют. 22б я не осилю, потому что тоже с 8 гигами, но что-то мне подсказывает, что отрыв от 8б в интеллекте там побольше.
Я немного по ебанутому сформулировал вопрос. Да, знаю что есть переменная которая штрафует аи за повторение. У меня просто для примера в ролёвке, иногда при совершенно штатной домашней ситуации, аи пугается что я его щас буду убивать, бля...
Тогда качай Q5_K_M квант, выгружай часть на оперативу и вперед.
Это будет на грани терпимости по качеству/скорости, ИМХО.
Хотя я бы брал 6 квант, конечно.
>>1022359
> 22B тупее чем 12B
Вот тут плюсану, Мистрал+Нвидиа=12б оказалась лучше, чем чистая Мистраль 22б. ИМХО.
>>1022366
> 12b превращаются в тыкву, ели обсуждение идет чуть сложнее чем констатации фактов
При этом 22б тыква с самого начала и несет чушь на все, что ты пишешь вообще.
Может это просто отпугнуло с самого начало, и современные файнтьюны не так плохи…
>>1022421
Агенты это хорошо, если корректно настроишь. Безусловно, повышает качество.
Не хочу в тридцатый раз повторятся, по этому отвечу просто: между 8B и 12B ощутимый разрыв по логике, между 12B и 22B ощутимый разрыв по креативности. При этом 22B тупит сильнее, чем 12B и 9/8B соответственно. Что считать "сложной" сценой это вопрос субъективный. Мне достаточно того, что сетка не теряется в пространстве, обрабатывает контекст и ссылается на него при необходимости. Потому что на 8B было проблемой даже удержать одну позу в течении нескольких сообщений подряд, чтобы персонаж не сидел сначала на коленях, потом лежал брюхом вниз, а потом вообще оказывался на лице у юзера.
>>1022490
>аи пугается что я его щас буду убивать
Это скорее всего никакого отношения к семплерам не имеет, тут просто откровенная шиза со стороны модели.
>а потом вообще оказывался на лице у юзера.
Сразу видно ньюфага, что не может обратить недостатки в достоинства.
На твоем космическом корабле вышел из строя гравитационный модуль.
>На твоем космическом корабле вышел из строя гравитационный модуль.
Лол. А при этом в систем промпте "сеттинг: дарк фентези; локейшон: форрест хут;"
Хорошо, на твоей планете вышла из строя гравитация. Летаешь такой, а мимо вервульф проплывает.
>Она тупеет
Судя по рецепту там не мерж цидонии а мерж пантеона, в котором в него влили немного от центральных слоёв цидонии, несколько разнообразив свайпы и при этом этом не проебав ризонинг самого пантеона.
>этот даун каждый раз спавнил передо мной волка, пока я в первом своем предложении не указал что никах волков
https://pixeldrain.com/u/5ZrVezqb isekai_rpg_system.txt
А я выходил из положения =))
Ну как выходил, драпал XD
Хуй с тобой, попробую еще раз мерж цидопана, возможно я просто от магнума отойти не могу. Он как говномидас, везде где есть магнум - становится больно.
Ну пока это накатил. Q4_K_M, видяха тужится, пыжится, но за терпимое время рожает текст. https://huggingface.co/second-state/Mistral-Nemo-Instruct-2407-GGUF
А поясните за контекст, есть ли смысл мне ставить его выше 4к? Я как понял это что то типа памяти ИИ, что что не влезло туда забывается? Суманизация в таверне как раз чтобы кратко пересказать содержание?
Вот бы ещё модели были достаточно умными, чтобы понимать, что от волка человек не убежит....................
Вот бы еще модели были достаточно умными, чтобы не принимать любой введённый текст за чистую монету по типу "я плюнул в сторону волка и его разорвало на части", и модель сразу такая "да да так и было, вон кишки полетели.". Приключение не будет настоящим, если пользователь может в любой момент включить мэри сью.
Аноны, можете помочь ньюфагу? Вот есть у меня SillyTavern. Открывается в браузере, требует API. Мне хочется, чтобы боты в таверне отвечали за счёт мощности моего ПК.
https://github.com/Mozilla-Ocho/llamafile?tab=readme-ov-file#other-example-llamafiles — Нашёл вот эту тему. Установка простая, и сказано что как раз там есть это API, которое можно вбить в таверну. Скачал, запустилось ещё одно окно в браузере — там всё локально работает, и промт прописать можно.
Но как мне достать из этого всего API для таверны?
Качаешь koboldcpp, качаешь модель, запускаешь koboldcpp, кормишь ей модель, она делает колдунство в таверне. Когда кобольд просирается, делаешь в таверне пиклейд.
Тебе дали инструмент и вместо того чтобы им пользоваться в полной мере, ты хочешь анальных ограничений, потому что сам не можешь себя ограничивать ? Ты вообще человек или животное ?
>колдунство в таверне.
А на деле, кобольт расставляет ехидные If и Else, а вы верите в какие то вероятности.
Благодаря твоему скриншоту у меня сейчас всё получилось. Храни тебя Омниссия!
Там должно быть просто колдунство, я уже кукухой кажись еду и начинаю как поевшая лама общаться.
>>1022668
"Ебучие вахоебы, никуда от вас не скрыться." Я драматично закатил глаза и продолжил листать тред.
>>1022634
Ладно, с немо хотя бы весело.
>>1022643
А в игре ты можешь включить читы / артмани / читэнжин / итд и так убегать от волков / разрывать их плевками.
А что сейчас самое мощное и самое лучшее, что можно запустить на моем ПК? Скорость не имеет значения.
У меня ПК: R7 5700X3D | DDR4 128GB@3200MHz | RTX 4070 12GB | SSD 980 PRO 1TB
Важно, чтобы файл gguf занимал на SSD не больше 200 Гб.
В игре мне не нужно говорить добавлять пытаюсь, чтобы иметь хоть какую-то непредсказуемость в успехе моих действий
Да
Ищи самый большой ггуф и пытайся запустить его, получишь ровно то чего хочешь.
Бля, а чисто теоретически, можно запустить что нибудь монструозное в духе 700b с ссд ?
Mistral Nemo — это общий проект Мистрали и Нвидиа.
Nemotron — часть проекта Megatron от NVidia.
>>1022634
Да.
Желательно, конечно, поставить хотя бы 8-12, лучше 16.
Но придется часть слоев на оперативу кидать.
4к прям маловато.
Но смотри сам, конечно.
>>1022653
…
В шапке все-все-все написано и детально.
И в доках описано.
И везде все описано.
Просто читай и копируй всякие-разные адресы.
Не ленись, пожалуйста.
Я хуй знает, я этим говном не пользуюсь, не знаю какой адрес у апишки олламы, сорян. Но там что-то слишком простое.
>>1022703
Ну, скорость все-таки имеет значение, потому что использовать файл подкачки — слишком медленно.
Так что начни с Qwen2.5-72b-instruct / Mistral Large 123B / их файнтьюнов / Deepseek-R1-distill-Llama-70b / Deepseek-R1-distill-Qwen-32b.
Ставить лламу 405б смысла нет вообще, а Deepseek V3 / R1 слишком большие и не влезут толком.
> Но придется часть слоев на оперативу кидать.
Как это делать я кстати так и не понял, вот у меня интерфейс кобальда, ползунок с контекстом, могу указать вручную сколько слоев видяхи будет юзать модель, а как оперативку подсосать?
Да, но скорость тебя вряд ли обрадует. =)
Вот прикинь, на оперативе ты имеешь 1,5 токена/сек с псп 50.
А SSD… Допустим у тебя 7 чтение/запись. И предположим, что магически эта скорость сохранится, да?
Это в 7 раз ниже.
Т.е., вместо 1,5 токена/сек ты поимеешь 0,2 токена/сек для 33b активных параметров.
У тебя 120 гигов модели лежит в памяти (т.е., 60% — 1,5 токена) и 40% лежит на ссд (т.е. 40% — 0,2 токена).
Итого, ты рисуешь один токен за:
0,660,6+50,4=2,4 секунды или имеешь скорость 0,4 токена/сек.
Казалось бы, на модели в 671b!
Но только это ужатые в 2 бита маленькие эксперты, которые далеко не факт, что будут работать как GPT-4o. =)
И это теоретическая пиковая скорость для DDR4 3200 + NVMe 4.0.
На практике, вероятно, будет в пару раз ниже, и будешь один токен ждать 10 секунд.
Короче. Проверяйте на здоровье, я не против.
Но я не буду этого делать, сорян. =) Слишком лень ждать. =D
Можешь указать вручную, но кобольд сам автоматически их скидывает, не лучшим образом, но весьма неплохо для новичка.
А если хочешь — просто подвигай ползунок GPU layers, засекая, сколько видеопамяти занялось (и следи за Общей памятью, чтобы туда сильно не лезло=).
> 0,660,6+50,4=2,4
0,66x0,6+5x0,4=2,4
Добавлю:
Если мы прикинем, что у тебя не NVMe на PCIe 4.0, а обычный SATA SSD с чтением 500 мб/сек, то… Это в 100 раз медленнее, и мы получим те самые 0,66x0,6+67x0,4=27 секунд на один токен или скорость 0,037 токена/сек.
Для SATA SSD выглядит как охуеть плохая затея.
>Реально умная модель
Неплохо, неплохо. Она кстати похоже тренирована по крайней мере частино на D&D-подобных / CYOA рп данных.
>>1021735
>бывает путает падежды слов
Люди путают не реже =))
Вообще не раздражает, просто сам правил, если модель только путает падежи, то она достаточна хороша, по карйней мере пока нет ничего лучше в сходном весовом диапазоне.
>>1021792
>сетка для бад ендс
Видимо из-за тренировки сингл-турн парах может писать помалу, но охотно продолжает по нажатию генерации без промта.
Ощутимо более тёмный биас если сеттинг соответсвует.
Также эта моделька прямо тренирована как Dungeon Master, причём желающий прибить партию, ну или по крайней мере обеспечить ей незабываемый икСпИРиЕнС.
Обе модели выше могут в русский если все входные данные на русском, включая персону и системный промт. И чем толще становится контекст, тем лучше становится русский язык.
Обеим моделям не стоит запрещать говорить за пользователя, надо указывать что модель не может принимать значимые решения за игрока.
А ещё когда на больших сетках каждый токен - золото, вот и психуют если что не так, на 12б прощё свайпнуть раз-другой-третий, делов на секунды, даже погружение не ломает.
Чет кекнул с этого.
>>1022738
Ладно, попробую, наверно. То есть память должна динамически при тереблении ползунка заполняться? При старте модели в кобольде интерфейс пропадает и я вижу только консоль ведь.
>наверно нужен пароль
ПРОСТО скажи и войди.
Не помню что читал, но там была похожая загадка а данже, и ЧСХ, никто её так не прошёл. А паролем было слово "просто".
При этом степень защиты от взлома была обратно пропорциональна сложности загадки, а так как сложность стремилась к нулю, то прочность зачарованной двери стремилась к бесконечности, все кто хотел считерить, просто разбивали об неё лбы.
>>1022718
>пытаюсь
Игровая условность. В том же скуриме лошадь может взбираться по почти вертикальной прверхности горы, и использовать ли это - на совести игрока. Движок тоже пытается.
А как же:
Это адамантовая дверь в подземелье ничем нельзя было пробить.
В итоге партия тупо разобрала стены вокруг двери, ибо они были из обычного камня и уронила дверь на землю, или спиздила саму дверь, тут я уже не помню.
Так я хочу чтобы мне не приходилось лишний раз вспоминать об использовании конкрестных лингвистических конструкций, чтобы модель доила мой кок как коровку, как бы я не пытался сопротивляться
Голый мистраль юзера убил О_О
Карточку скинь.
Обычно недопросишься.
Бот - "Послушай как сейчас тебя выебу."
Юзер - "Ну дак выеби."
Бот - "Нет ты ПОСЛУШАЙ."
Схватил первую попавшуюся на чубе.
https://chub.ai/characters/SpringyTwist/text-adventure
Сяп, надо посмотреть что там напромтили.
Я вот эту юзаю: https://characterhub.org/characters/aleteian/storyteller-124d69a2f4aa
Почему именно хронос?
Какие еще пробовал?
Я 10 минут как то его потестил и забил, не впечатлил
Да я сам описание карточки открыл только сейчас, думаю за все виновата последняя строчка. У меня вообще чувство что мне повезло.
{{user}} can, in extreme graphic detail, be sexually assaulted, maimed, or die based on choices made.
Ну, из чистых тюнов впечатлил достаточно.
Также можешь попробовать 12б мержи от DavidAU либо отсюда - https://huggingface.co/Aleteian - в английский более чем могут также.
> Агенты это хорошо, если корректно настроишь. Безусловно, повышает качество.
>>1022584
>Я только за, вот бы кто ещё это реализовал....
Я пишу сейчас подобную систему не для РП, но как ассистент который умеет пользоваться инструментами (всё шо можно сделать онлайн). Но в будущем можно под любую задачу настроить.
Моя идея была сделать не просто ассистента, а с характером, своей памятью, и чтобы он работал не по принципу "вопрос-ответ", а асинхронно, работая над какими-то своими задачами. Для создания "характера" идеально подходят РП-модели, но одной модели недостаточно чтобы система вела себя "как человек" — ей нужны дополнительные модули которые я как раз и пишу сейчас.
Минимально проект выглядит так: бот заходит в аудио-канал (в дискорде например), слушает аудио и вытаскивает через STT речь. Далее идёт оценка, что хочет собеседник (просто поболтать, таску добавить, погуглить шото, етц). После этого система решает каких агентов надо задействовать, отправляет им запросы асинхронно. Ждёт пока все агенты ответят. Потом на основе ответов от агентов формирует текст / отправляет его в TTS чтобы ответить голосом.
Из тасок которые я хотел сделать:
- Тупо менеджмент списка дел. Нужен агент который будет на основе речевого запроса либо добавлять таску, либо помечать её как готовую, либо выдавать список тасок которые подходят к дедлайну, короче полный менеджмент с возможностью напоминания что мол таска лежит без дела уже пол месяца
- Тупо проверка новостей по сайтам-агрегаторам. Мне лень самому смотреть шо там есть интересного нового (слишком много), а ИИшка может вполне научиться отделять мусор от годноты (для этого нужна память какие статьи мне были интересны)
- Тупо как собеседник-уточка для обсуждения какой-то проблемы голосом, гугления без необходимости вбивать текст, короче hands-free секретарь который всегда готов помочь
- Мб как личный тренер/врач который будет следить за медицинскими показателями и рекомендовать когда побегать на дорожке, когда ложиться спать, шо заказать поесть, етц
- ... куча других идей на самом деле, это только начало
ССама идея ассистентов не нова, но я никогда не видел ассистентов со своим характером, которые ведут себя как человеки, с эмоциями, троллингом, короче как обычный друг. Со временем он под тебя подстраивается, понимает твои паттерны поведения, предлагает какие-то вещи изменить в жизни, етц.
Я может плохо искал, но пока не видел ничего подобного, только какие-то отдалённые проекты аля Character.ai, где только тупо РПшить можно. А вся сила — в интеграциях (и собственно почему кодеры пока не собираются вымирать).
Попробуй что-нибудь маленькое, например в районе 2-3B, должно влезть в твои 12 гигов
Достаточно дать инвалидам возможность ревьюшить сообщения без проебов в логике и тебя будут носить на руках. Потому что сейчас, единственное что тормозит РП это контекст и то как с ним работают нейронки.
Вот на базе пантеона - он прекрасно работает с карточками, следует сюжету, соблюдает характеры - но как только контекст приближается к 16к, все - пиши пропало, блять. И вот ты ревьюшишь чат, а потом переделываешь карточку, чтобы он нихуя не забыл, а потом еще и в лорбук заносишь все важное. Как бы в этом суть, а не в том чтобы у тебя были 100500 нейронок и они охуевали от друг друга занимая все вычислительные мощности.
> Похоже форматируют кто во что горазд
Говорю же, от задачи зависит. И форматирование исходного выложенного датасета ни о чем не говорит, он переделывается на лету во время тренировки.
> но должен же быть какой-то стандарт в котором оно уже скармливается трейнеру.
Его нет, тренеру ты даешь функцию, которая на входе хавает батч строк из датасета, а на выходе - лист с тензорами уже под модель. Или наследуется дефолтный класс датаслоадера торча, в котором пишется свой гетайтем и длина.
Какие-то стандарты могут быть в васян-обертках тренеров, но это знатно будет снижать гибкость и функциональность.
>>1022271
Для рп тюнов часто так и делают, все правильно.
>>1022421
Чрезмерно много и большая часть будет гоняться в холостую. А если там какие-то "рассуждающие модели" то оно все наоборот только испортит. Вторым ограничивающим фактором будет то, что полноценный агент потребует другого системного промта и прочего, а здесь за каждый пересчет контекста трясутся. Мелкой инструкцией что будет только в конце уже много не сделать.
Но в целом тема работая и удачный компромисс можно найти, в треде писали аддон к таверне на мультизапрос, он прилично работает.
О, о лорбуке, объясните с технической точки зрения что он есть такое? Я понял что это описание того или иного. То есть если нейронка что то высрет и это мне понравится, я должен нестись в лорбук и создавать об этом запись, чтобы она ВСЕГДА помнила об этом?
>в васян-обертках тренеров
а какие есть обёртки?
>>1022885
Если в контексте появляется подстрока-кейворд, то подходящие ей записи подгружаются в контекст чтобы модель была в курсе о предмете. Поэтому важно записи в лорбуке делать краткими и энциклопедичными.
>>1022885
>ВСЕГДА
Чтобы всегда - пиши в карточку.
>чтобы она ВСЕГДА помнила об этом?
Это прямо противоположная поебистика, она инжектится только если поймает ключ в истории чата. Если совсем просто объяснять - допустим у тебя какое-то ебаное фентези и в нем есть 350 разных городов, каждый из которых имеет свою историю или назначение. Чтобы не пичкать это все в системную инструкцию, ты засовываешь это в лорбук, чтобы таверна всунула эти данные только если название этого города будет упомянуто в контексте. На самом деле штука достаточно гибкая и через нее можно много всякой разной инфы хранить.
Вы программисты интересный народ, сначала решаетесь взять огромную задачу для одного человека, начинаете это делать, а потом бросаете когда начинаете соизмерять трудозатраты и выхлоп. Потом правда будет стандартное : ну у меня сейчас нет времени.
Как я, когда только закончил универ и нужно было накидать какой нибудь склад под инструмент. Ну я и наебашил с вентиляцией, водоотведением - все как учили. А Оказалось нужно просто бросить там пустой контейнер, потому что задача была просто в месте хранения, а не ебанном строительстве нахуй не нужного здания.
Разумность и необходимость. Так и ты, зачем то для РП, не для математики - решил ебаться с агентами, заходя в дебри человеческого общения, которое строится на других принципах, нежели математика.
Один раз перед запуском. Чтобы изменить — перезапускать.
> а какие есть обёртки?
Вон выше обсуждение, ллама фактори и аксолотль, наверняка есть еще.
C контекстом проблема решается через RAG, ну и нужна память долгосрочная/краткосрочная, для которой подойдёт та же векторная БД.
Идея с агентами простая: есть агент, который ответственный за память по персонажам/миру/контексту. Ему подаёшь на вход текущий контекст (8-16к), а он возвращает к примеру тезисно всё что система помнит по текущей игре, то что наиболее актуально. Ну и соответственно память должна обновляться когда шо-то происходит, т.е. агент знает что есть такой-то персонаж и к примеру он умер (+ когда), надо записать это в БД. А смысл векторной базы в том, что она по запросу имени персонажа выдаст все релевантные записи к нему, отсортированные по дате к примеру.
Короче проблема контекста это тупо нехватка памяти. Как решить? Сохраняй память долгосрочно и по тегам.
Но вообще проблему с контекстом хотят решить принципиально, Гугл недавно анонсировал проект "Titans": https://arxiv.org/pdf/2501.00663
>>1022924
Я согласен с тем, что программисты любят всё усложнять, но я не джун и понимаю, что создать с нуля AGI мне не по силам за короткий срок. Поэтому я делаю какие-то минимальные вещи, которые я могу ещё как-то предсказать. Мотивация есть, навыки есть, время есть. Самое сложное это нехватка знаний, которые я пытаюсь через гугление и LLM восполнить. К примеру я никогда не работал со звуком в Discord и никогда не передавал аудио-пакеты по веб-сокету. Сижу гуглю как это всё работает. Понятное дело, у меня нет ресёрч команды и бюджета, чтобы сделать всё быстро, но я пока не вижу конкуренции, видимо они все в стелс-стартапах.
Я рекомендую. А вобще считают что ее качество мало чем отличается от 6 кванта, и мол можно не качать 8. Но разница все равно есть, так что если можешь запускать - то качай 8 квант.
Вобще конечно, если можешь запускать то крути оригинальные веса сетки в сейвтензорах, но это что то на богатом.
Любые мелкие модели меньше 7b только в 8 кванте, они сильнее страдают от квантизации, чем более крупные сетки.
>Q8_0
разница с восьмого и шестого квантов вроде 2-5%, но при этом шестой квант может быть раза в полтора быстрее работать если восьмой полностью в видеокарту не влезает.
>>1021828
>смержить
https://huggingface.co/Aleteian/WayToHumanity-Q8_0-GGUF
https://huggingface.co/Aleteian/Wayfinder-Q8_0-GGUF
Могу шестые кванты сделать если надо.
То есть я могу например расписывать свой рюкзак и его содержимое в лорбуке и по запросу "я залез в свой рюкзак и взял n вещь", то ИИ вытянет из лорбука предмет и его описание и подсосет в контекст? Ну если я конечно буду заблаговременно обновлять лорбук.
Это будет работать как датабаза предметов, а не как инвентарь.
Он выебет и высушит полностью любые видяхи в фп4, уничтожит, быстрее примерно на 60-80%
Потому что эту херь писал кто-то ленивый оче оче давно, а все время тащат без изменений.
Золотой серединой с точки зрения скорости, потребления памяти и сохранением перфоманса является интервал 4.5-5.5 бита. Если квант нормальный, то в реальном использовании с семплингом по ответам будет тяжело даже качественно изменить разницу с 16битами. Далее преимущественно идет плацебо. Но если есть возможность - гоняй хоть в фп16/бф16 и никто тебе не запретит, а душу будет греть что не идешь на какие-либо компромиссы, которые могут на что-то негативно повлиять.
>>1023066
Если замерять как в презентации амд - да.
Этот обоссаный шиз опять показался, тряпками гоните его.
Просто из-за размера и малой разницы с шестым квантом, но я рекомендую тоже.
Выбрал XTTS и пробовал Piper (У второго нашел только пару моделей на руссике и нет клона голоса из WAV как XTTS но по скорости лучше) Может какие файн-тюны есть для русского?
Квант влиянт не только на генерацию, но и на чтение.
И если генерацию тем же перплексити можно измерить, и по ней хоть 5 квант всегда катай.
То чтение промпта сеткой хуй нормально проверишь, но оно так же зависит от кванта.
И ответ сетки так же может зависеть от кванта, если при чтении промпта она выловит больше взаимосвязей из текста что триггернет ее на генерацию отличающегося ответа. Перплексити работает только с продолжением текста и такие приколы не учитывает
ради теста, запусти гуф 8В в q4 и сравни с q8 тем же. Мб на больших моделях не так больно, но мелочи (меньше 12В) прям плохо становится, они просто сходят с ума. Видно же по весу что чел скрин с 8В прилепил.
если я не прав, ткни меня носом в нормальный gguf квант маленькой модели, где q4 не отличить от q8, погоняю, порадуюсь извинюсь
тоже хочу 70В+ гонять и в ус не дуть.
В общем многое зависит от промта и карточки на голом мистрале. Мне пришлось затратит 20 сообщений чтобы просто убить персонажа, который жаждет моего члена. Блять, эта сука была неубиваема, пока я не достал ебаный миниган из-за своей спины, стоя в душе.
В общем почему то обновив страницу, вся история ее чата стерлась, я еще разок для надежности ебнул в нее тугой струей из минигана и она востала, сказав что ей невозможно навредить, так что ты прав.
Загоняешь текст в Q8, читаешь векторы, схороняешь. Загоняешь в Q6, повторяешь. Чекаешь дистанцию между векторами. Если много - паникуешь.
>Вообще не раздражает, просто сам правил, если модель только путает падежи, то она достаточна хороша, по карйней мере пока нет ничего лучше в сходном весовом диапазоне.
Саинемо ремикс не хуже, а даже лучше, пишет практически без ошибок.
>Могу шестые кванты сделать
Тогда сделай. На 12 гигах только q6 и влезает что бы с нормальной скоростью
Обладаю RTX 3060 c 12 гб видеопамяти, процессором Intel Core i7-5930 @ 3.50GHz, и 32ГБ ОЗУ.
Можете подсказать, какую модель, из приведённого на пикрилтейде списка, будет оптимальнее всего выбрать, чтобы она нормально функционировала с моими вводными? До этого попробовал llava-v1.5-7b-q4.llamafile (4.29 GB). Идёт всё замечательно, но слабо как-то. В диспетчере задач грузит процессор на 50%.
>сделай
https://huggingface.co/mradermacher/Wayfinder-GGUF
https://huggingface.co/Aleteian/WayToHumanity-Q6_K-GGUF
Wayfinder - с LatitudeGames/Wayfarer-12B ( ai-dungeon )
WayToHumanity - вместо хроноса Nemo-12b-Humanize
>русик на 14 квене
Спроси у тензор банана про сайгу и вихрь и как сделать то же самое на квене.
Можете подсказать, какую модель, из приведённого на пикрилтейде списка, будет оптимальнее всего выбрать, чтобы она нормально функционировала с моими вводными?
У меня тот же конфиг только r7 вместо i7. Советую Гемму 2 27b в Q4_K_L. На ГПУ влезет 23 слоя, остальное пойдет в оперативку. Будет что-то около 3.5 т/с. Норм баланс между скоростью и качеством как по мне.
>>1023203
>проц - ровесник мамонтов
>Можете подсказать
Можем: работать начни, купи комп, а этот выброси отдай в детдом или корп облака ждут тебя
Спасибо за совет, её и поставлю.
>На ГПУ влезет 23 слоя, остальное пойдет в оперативку.
Анон, наверное это очень глупый вопрос, не посчитай за троллинг тупостью, я ньюфаг и ламер. Этот процесс распределения нагрузки сам происходит, или нужно это как-то настраивать?
>>1023206
Да мне не нужно каких-то невероятных результатов. Я не планирую долгие качественные РП, мне для более приземлённых целей.
>Этот процесс распределения нагрузки сам происходит, или нужно это как-то настраивать?
Качаешь кобольд, а дальше:
Сам происходит, можно настраивать.
>Этот процесс распределения нагрузки сам происходит, или нужно это как-то настраивать?
Нужно настраивать, разумеется. Это делается в прямо в кобольде, параметр GPU Layers. Ну и не забудь в вебморде кобольда поставить пресет геммы в настройках (Settings - Instruct Tag Preset - Gemma 2). И там же рядом, в соседней вкладке бахни Max Output на 512.
>>1023217
https://github.com/Mozilla-Ocho/llamafile?tab=readme-ov-file#other-example-llamafiles
Это вроде не кобольд. Я вообще отсюда ставлю, по совету одного анона. Выбрал Gemma 2 27B Instruct "gemma-2-27b-it.Q6_K.llamafile" из списка.
Лучше юзай кобольд, это простое нуб-френдли решение, считай база треда
Вот кобольд: https://github.com/LostRuins/koboldcpp
Вот гемма: https://huggingface.co/bartowski/gemma-2-27b-it-GGUF/tree/main тебе подойдет Q4_K_L или Q4_K_M
Вы блядь не заметили, что 600 постов накрутили?
>>1023230 (OP)
ПЕРЕКАТ
>>1023230 (OP)
ПЕРЕКАТ
piper - кал. Меняй. Там в настройках можно. Но сразу скажу, что без rvc качество такое себе, разве что очень годную вавку сделать.
Все варианты, что я находил на местном сайте с голосами, тоже кал. Только если самому делать. Хотя.. сенко-шизик сделал довольно неплохую rvc-модель по сравнению с остальными.