Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №201 /llama/
Аноним
01/03/26 Вск 18:42:57
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Агентов и вайб-кодинга тред: >>1530474 (OP)
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1535243 (OP)
>>1535243 (OP)
Все, что ниже Q4 это кал
Кобольд это кал
Экслама это кал
Квен это кал
Гемма это кал
Локалки мертвы
Кум на Попенроутере стоит всего 10 баксов
двачану. почти все залетные ждут что их покормят с ложечки, на запросе дополнительной инфы большинство и откидываются, лол
в шапке вики есть, ее наверно вообще почти никто не читает
- qwen 14b
- семейство nemo 12b (вечны)
- семейство small mistral 24b (вечны)
- ministral 14b
- qwq snowdrop 32b
- glm 4.7 flash
дополните, плиз.
>>1538374
У соседей хорошо подметили: >>1526162 →
:)
Не всё, есть еще llama.cpp и древний air. Они последняя надежда кума
>qwq snowdrop 32b
>nemo 12b
Слишком много причисляешь. Если так, то там будет огромный список с ГЛМ 4, командером, большим мистралем и прочем
Имхо если брать именно актуальные, то будет следующий список
1. Мистраль (3.2, магистраль, министраль)
2. Гемма (от 27 до самых маленьких)
3. Qwen 27 и Qwen 9, который скоро выйдет
Ну и все. МоЕшный мир победил
>А я не сочувствую долбоебам. У них вполне нормальные компы и они могут спокойно запустить GLM 4.7 Flash/Qwen 3.5 со скоростью 20+ т/с, но вместо этого они решили страдать. Причем ради чего? Ради уебищной геммы. Тяжело быть сектантом умницы
Чтобы... что? Флэш абсолютно неюзабелен через 2 реплая. Срет ризонингом на 5к токенов. Квен тоже этим грешит. МоЕшки с количеством активных параметров до 15б - просто параша для РП.
У Эира 12б если что, а пишет он как плотная Ллама 70б и мозгов столько же
Хорошо, погорячился. Но в любом случае в комбинации 8 врама + 32 рама МоЕ - лоботомиты, а из плотных моделей нормальная только гемма и мистрали. Новый плотный квен слишком долго думает, и выдает результаты примерно как гемма. Опять же, для рп.
>ГЛМ 4, командером, большим мистралем и прочем
По-прежнему актуальны и хороши
>Ну и все. МоЕшный мир победил
Из новинок да
>предположим, ты не наглый или ленивый, а глупый
Первый день поднятия локалки с нулевым знанием о ии. Чего ты ожидал? Для меня половина треда выглядит как абракадабра. Да, я не понимаю. Дело не в глупости, а в отсутствии опыта. Как мне его приобрести, если аноны меня пинают и смеются над моими простыми вопросами? Как будто если бы я спросил что-то космически заумное, вы бы сразу зашевелились и начали давать охуительные ответы с обильными ветками обсуждений. Треды на дваче если это не личные чатики в a или b созданы для общения и вопросов, в том числе и тех, что кажутся лично тебе глупыми
>Это может быть конец контекста, это может быть сломанный шаблон, eos/bos токены, вариантов наберется немало
Что мешало просто сказать про это и хотя бы направить в гугл? Допустим это не решение моей проблемы, но я хотя бы понял куда копать. Хочешь общаться с обученными - обучи, а не бубни, что кто-то не обучен
Впрочем, вариантов не так уж много. Напиши про каждый. Контекст у меня выставлен на 8192, по дефолту. Что значит что он кончился?
>может быть сломанный шаблон
Может быть. Научи делать правильные шаблоны, которые не ломаются
>eos/bos токены
Где настройка отвечающая за них? Какие значения надо выставить?
>это, по твоему, выебон
А чем это не выебон? Вместо хоть какой-то инфы которую можно было бы раскрутить в ответ на вопрос, ты просто пожаловался, что тебе не дали желаемый пост на дваче. Детский сад
>Такую, какую ты проигнорировал
У меня нет пасскода чтобы насрать кучей скринов со всеми настройками кобольда. Спрашивай конкретные вкладки настроек или цифры и я их назову. Я не в курсе, что именно может указать тебе на причину проблемы
>выебона нет
>ну да выебнулся
>Как так то?
Пиздец, чел. Сам признался, что глумишься, и тут же сделал невинные глазки, что не было. Как так то?
>хотя бы не начинай выебываться
Тебе это мерещится. Или ты с нулевой ущемился с квенодуры и пошёл в атаку? Ну соре, не знал что ты фанатик квена и так оскорбишься от моей иронии в сторону затупившего бота. Какой ты нежный, но ок, принимаю условия. Может ещё по имени тебя называть, чтобы ты знал, что я просто общаюсь, а не наезжаю с требованиями?
>в шапке вики есть, ее наверно вообще почти никто не читает
И почему же ее никто не читает? Может потому, что инфа устарела на года 2-3?
Единственная ценность вики это историческая. Там можно по таким строчкам
>Exllama2 быстрее в ~1.2-2 раза чем Llamacpp
Узнать, например, почему у exl раньше были и остаются в виде нескольких шизов фанаты
>>1538158 →
>>1538138 →
В начале пути радовался каждой лишней тысяче контекста на 12б, квантовал даже. 12к думал это очень много. Щас 32к на эире стоит, еле еле доползаю до этих же 12к и закрываю ламу, всё же на подрочить вполне хватает, а какие то богатые истории писать с попугаем как то не тянет, есть ещё развлечения
Квены я терпеть не могу, но ты прекрасно доказал треду, почему новичков, которые не хотят отвечать на задаваемые им вопросы, нужно мочить в сортире.
Напомню, что весь сыр-бор начался с того, что вот тут >>1538266 → я попросил конкретные вещи: "Какая модель, на чем запускается, какие настройки? Где скрины? Где логи?"
Одних только Квенов несколько поколений, не говоря уже о том, что стандартные настройки Кобольда аноны не помнят наизусть. Приложить скрины с настройками и логами можно и без пасскода. Нахуй ты вообще его сюда приплёл? И всё это спустя десяток сообщений.
Короче, только время на тебя зря потратил. Ты обычная недовольная злюка, к которой соответствующее отношение.
Меняй карточки и/или модели. Тебе просто приелись карточки, либо стиль написания модели
>анон с целью помощи реквестит информативные скрины и логи
>спустя дюжину постов верчения на сковороде и вони приложил таки пикрил
>длина контекста
ебать спасибо нахуй
в голос, таким ничего не поможет
>поток обид вместо ответов на вопросы
Да ты сам походу не знаешь в чём проблема, просто для красного словца сказал, что специалист
Но раз ты просишь, лови. Модель Qwen3.5-27B-heretic.Q4_K_M
Лог я проебал, сразу перезагрузив кобольд
Ты если не понял то мы тебя тут всем тредом игнорим уже
Тот кому ты отвечал был прав тащемто, пока он на тебя не спустил хорошенько ты почему-то скрины принести не мог, а теперь с барского плеча запостил со словами раз ты просишь, лови и пасскод не понадобился ахаха
Это наша проблема, что ли? Это нам надо? Плюс один шиз в копилку
> Но раз ты просишь, лови.
Да, это же мне необходимо разобраться, почему моделька отказывается выводить аутпуты...
Пасскод купил таки или что мешало раньше запостить? Сейчас ясен хуй я уже даже смотреть не буду, кекв. Может найдется в треде кто-нибудь, кто помогает выебистым залетухам, но не я.
>три поста жаловался на отсутствие скринов
>получив скрины жалуется на их наличие
>мы, нас
Мда...
>>1538459
Я не запостил скрины сразу только потому, что не знал, что проблема специфическая и редкая. Я считал, что так бывает у всех, и решение давной найдено. Хз с чего тут ущемляться всем тредом
Качаешь 2 квант отсюда https://huggingface.co/bartowski/zai-org_GLM-4.5-Air-GGUF
Не нравится - закрываешь и идёшь в асиг, лучше не будет
Как же пососно не иметь 64 рам
Мне не хватит, у меня система просто с браузером без всего другого жрет 8 гигабайт памяти, так что под модель у меня где-то 36 гигабайт свободно.
>Reasoning:
>Пользователь просит информацию о модели LongCat-Flash-Lite. Я нашёл технический отчёт и страницу Hugging Face. Теперь нужно создать структурированное саммари с ключевыми особенностями архитектуры, производительностью и практическими деталями.
И всегда в таком духе. Пользователь просил А надо сделать А. Все размышления
> Пробовал Mistral-Nemo, MN-12B-Lyra-v4, Llama-3.1-8B, L3-8B-Stheno-v3.2
По выбору моделей в целом верно, разве что Llama 8b тебе не нужна. Mistral Nemo (12b) - хороший старт. Возможно, удастся Mistral Small 24b в ~Q3 уместить? Итт были аноны с похожими сетапами, думаю, отзовутся. Разница будет существенная, 24b модель в Q3 будет лучше, чем 12b в, наверно, любом кванте.
> В основном потому что модели очень предсказуемые и пишут одинаково вне зависимости от ситуации
> Вроде и не тупят слишком сильно, но чувствуется что они постоянно будто одну и ту же сцену пытаются описать просто чуть разными словами.
В каком формате у тебя карточки? Поделись, покажи. Возможно, проблема в них или промптах, которые ты используешь. Будет хорошо, если покажешь весь пресет, включая семплеры. Если температура слишном низкая, то и разнообразия никакого не будет.
> И русский у них очень проблемный
Хороший русский язык, увы, возможен только на самых больших моделях, и то с нюансами. Но 24b Mistral Small будет на порядок лучше, многие на русике играют на нем и Гемме 27, но не уверен, что ее удастся впихнуть. У нее контекст тяжелый очень.
> Есть что-то получше, что можно установить
Если можешь переехать на 24-27b модели, то жизнь там есть, по крайней мере на английском. Сам долго сидел на 24b Мистралях. Попробуй 24b модель, поработай получше над промптами и карточками и смотри, что получится. Если уж не устроит результат - придется на апи, да. Q2 Air не советую, потеряешь время. Возможно, есть другие мелко-мое модели, которые подойдут? Не уверен.
>>1538462
🤡
>Mistral-Nemo, MN-12B-Lyra-v4, Llama-3.1-8B, L3-8B-Stheno-v3.2
Это все старый кал. В прошлом треде уже советовали
Вот это полностью на видюхе >>1538010 →
Плюс можно повысить квант, чтобы увеличить качество и существенно снизить скорость
Плюс МоЕ Q4 попробуй
https://huggingface.co/zai-org/GLM-4.7-Flash
https://huggingface.co/Qwen/Qwen3.5-35B-A3B
Для тех, кто на видяхе поставь KV Cache 8 bit
А для MoE придется подбирать CPU Layers (будет 20-30 где-то)
Тебе правильно подсказали ещё в прошлом треде. Смешение двух или более промтов сломало мозги твоему боту. А если у твоего бота сломался мозг, значит ты дал ему прямо противоположные инструкции. В твоём чате не должно быть ничего лишнего, что может сбить бота с основной линии. Как фиксить в дальнейшем? Хз. Напиши новый промт, поточнее, попробуй, проверь. Тут практика решает больше, чем конкретное знание. В конце концов у кобольда есть функция рефинкать сообщения, мог бы её потыкать.
>Мой квен
Это который ты в голове себе выдумал? Потому что настоящий квен срет по 5к токенов на любой чих
>Пользователь просит информацию о модели LongCat-Flash-Lite. Я нашёл технический отчёт и страницу Hugging Face. Теперь нужно создать структурированное саммари с ключевыми особенностями архитектуры, производительностью и практическими деталями.
Так думает гопота 120b, если ей low выставить в ризонинге, все остальные пишут ощутимо больше
Ну, я не знал, что будет такая реакция. Ладно, извиняюсь перед всеми. Буду писать меньше. За совет спс
>В каком формате у тебя карточки?
Раньше использовал готовые, потом тоже подумал, что может проблема в них и начал писать свои через переводчик. Просто текстом описывал персонажа в несколько параграфов, потом переводил и вставлял. В каком то гайде прочитал, что это лучший формат вместо всяких списков и тегов.
>проблема в них или промптах, которые ты используешь
Промт обычный дефолтный из таверны. Ролплей иммерсив или как-то так. Ничего там не менял в общем-то.
>Будет хорошо, если покажешь весь пресет, включая семплеры
Их тоже не менял, ну кроме формата инструкций. Семплеры пресет Simple-1, там температуру только крутил, но это ничего не поменяло по ощущениям. Вернул по умолчанию.
Попробую мистраль 24B и гемму 27B, спасибо.
>>1538478
>Вот это полностью на видюхе
>Плюс МоЕ Q4 попробуй
Попробую, спасибо.
Хули делать, если на нищеуровне все одинаково говно?
Оно говно по-разному. Первые смотрят на то, как их ХХ-летняя женщина снимает трусы четвертый раз подряд, вторые заебываются еще до того, как она начнет снимать трусы.
У анончика просто пригорело маленько, не обращай внимание, со всеми бывает. Ты вон тоже простынь выдал. Обменялись говной и хватит. Пиши как писал, только обращаясь с проблемой, описывай её подробно, чтобы мы могли тебе помочь.
У тебя неправильный темплейт и неправильные семплеры. Правильные можешь посмотреть на странице модели.
>Что значит что он кончился?
Вот так взял и кончился. Контекст - это все что есть в чате от начала чата. Вообще все - и ризонинг нейронки, и то что ты там понаписал и высеры нейронки. Упрощенного говоря при нажатии кнопочки "Отправить" в модель уходит не последнее сообщение - а вся СРАНЬ с начиная с системного промпта и твоего первого сообщения. И при превышении размера контекста в этом посыле нормальный серьезный бэк отрыгивает сразу с ошибкой. Но у тебя кобольд. А в кобольде по умолчанию включено скользящее окно. Дальше гугли сам.
27b квен, остальное годится только змейку на питоне генерировать.
Вроде шевелится, но очень медленно. На двух было кратно быстрее, мб мало рамы, пойду загружать память
Tp, pp или комбинация? Сколько выдает?
>>1538593
Включи в настройках таймер сообщения а потом на него наведи.
>>1538596
Таверна может работать лучше за счет более продвинутых настроек формата и управлением промпта. Или по той же причине хуже если в них накосячишь.
> Сколько выдает?
Пока какой то посос на гемме в 18тпс. Завтра нужно настроить охлаждение, подкинуть нормальную сеть и уже гонять бенчи
Интересно какие модели для эмбеддинга и реранкинга вообще с русским дружат
Чел поимел систему. Круче я ещё в этой теме не видел.
128 гб врам по цене как... короче моё почтение.
Слушай, а как ты Ollama (или vLLM) под них заводил? Из коробки же официальные билды gfx906 уже не жалуют. Сам компилил библиотеки?
Что ты на ней будешь делать?
Я всеми 3.5 квенами пользовался. Ни один не срал ризонингом. Хотя все жалуются. У меня одна только гипотеза что Openclaw в промпте имеет что-то такое что влияет на это проведение
Сам собираю из официальных реп и форков. Нужно вот начать всё обновлять, а то пока был риг разобран всё стояло на месте
> Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
> Что ты на ней будешь делать?
У самурая нет цели. Есть парочка идей которые хочется опробовать
> 128 гб врам по цене как...
50к. Если бы прям по низу успевал то может даже в 40 бы уложил видяхи.
А вообще я может и успел поиметь систему, но она меня в ответ тоже поёбывает.
- красные видяхи с спец заказа из цодов
- "отечественная" мать которая не прошла приёмку
- инжи 4189 "не для продажи"
- разогнанная до 2666 серверная 2133
- обильно посыпать 3д печатными костылями
Это всё по определению не должно хорошо работать
Пробовал кто малышку Аю?
Заставить работать ecc в разгоне на бракованном гагарине или что там у тебя, ещё и на инжике + купить 128 гб врам за 50к... бля чел, ты не пропадай, пиши тут иногда. Буду читать в перерывах пока вручную перекраиваю .md текст для RAG библиотеки 24bq4 мистрали на 16 гб озу...
>>1538742
Мне больше страшно что у тебя гемма работает так плохо.
Контекст из коробки не пересчитывает.
С 8 гб карточкой и таким же размером файла в два раза выше pp, но tg такой же как и у glm-4.7-flash.
А ещё он походу тупой, и задачи, которые достаточно спокойно решал как флеш, так и qwen-next 80b-a3b, этот решить не в состоянии даже после трёх перезапусков.
При этом в размышлениях на логику вещи правильные и разумные, но вызовы инструментов оно не умеет (неверный синтаксис это лама выдаёт что парсер не справляется), и ещё инструкции игнорируется - на просьбу выдать json-запрос оно пишет текст, как его не бей. Требования к лимиту токенов не выполняет, хотя я в каждом сообщении мета-инфу такую скидываю.
А glm-4.7-flash всё так же лупится как тварь.
Что-то в его (qwen3.5) размышлениях точно есть, и ещё он их точно на английском делает, но надо допиливать мелочи.
Хотеть glm-4.7 побольше. 80B-A15B был бы идеален.
Так то хочется и рыбку съесть, и сковородку не испачкать - и что то уровня той же GLM 4.7 Flash получить, и уместиться во VRAM, избежав скорости генерации 2 токен/сек.
я не знаю рофлишь ты или нет (от /llama/ всего можно ожидать), но министралька 14b прям топ до <24b.
В качестве ассистента прям бесценна.
>министралька 14b прям топ до <24b.
>В качестве ассистента прям бесценна.
1) На чём ты её запускаешь?
2) Что именно ты на ней делаешь, где она себя так хорошо показывает?
На радеоне 580 с 8гб какую модель дёргать?
Выложишь когда? х2
>>1538742
>Это всё по определению не должно хорошо работать
Хорошо? Нет. Но приемлемо.
>>1538757
>расцензуренные версии МоЕ моделек вообще существуют?
Существуют, но работают как говно.
>>1538790
Можно передёрнуть только соседу по парте, без запуска моделей.
Ну тая я-же про то и говорю, это топ за свои деньги, есть и вижн и ризонинг, и как асистент норм, вобщем класная сасная всё включено. Использую её как основную модель для телеграмм бота, да и как агента в openclaw тож использую, хотя есть возможность запускать норм модели (40врам 64 рам), и я их запускаю для некоторых задач, но министралька 14 это прям работяга на все случаи жизни.
>Это всё по определению не должно хорошо работать
В чем проблема? Не кернелпаникует значит работает.
>>1538615
>Пока какой то посос на гемме в 18тпс.
А сколько должно быть? Она в целом не радует скоростью как и любая плотная модель.
>>1538756
Флеша перенатаскивать надо, у него память как у рыбки.
>но вызовы инструментов оно не умеет (неверный синтаксис это лама выдаёт что парсер не справляется)
Бтв, попробуй с клодоагентом, там походу более убедительный промпт - если модель умеет работать с тулзами, в нем она может выебываться как хочет, но тулинг работает как часы кроме девстраля.
>А сколько должно быть?
Ну, на одной V100 она выдаёт 50..60/s через llama.cpp в квантах.
У него достаточно памяти чтобы без квантов запускать гемму хоть в fp16. Скорее всего какая-то тупая хрень или в vLLM под это железо или это просто особенность vLLM, у которого генерация в один поток не самая сильная сторона, и все оптимизации нацелены на 60 одновременных одновременных конкурентных запросов от разных пользователей.
Ещё есть шанс что эта mi50 по компуту остаёт в десять раз, но это маловероятно, я думаю она даже быстрее должна быть, так как отсутствие куды - это явно не на пользу популярности amd идёт, и они должны при том же уровне карточки предложить что-то, например больше операций на ватт.
>>1538845
Да я уже написал свой парсер, забей.
Просто хотелось с нормальным v1-интерфейсом работать, чтобы была возможность сетку менять без особых проблем и парсер писал не я, а лама. А получается что ванильная лама не умеет ни в qwen3.5, ни в glm4.7, а с автопарсером достаточно хорошо работает с glm4.7, но всё так же падает с qwen3.5. К тому же я только сейчас обратив внимание, что автопарсер ломает /v1/completion (и ламовский /completion тоже, там чуть другой json) интерфейс полностью (любой запрос падает с ошибкой), рабочим остаются только /v1/chat/completion.
Хотя ладно. Забираю свои слова обратно, я ошибся. В некоторых местах.
Надо было пересобрать ещё раз, и с автопарсером без размышлений всё работает на qwen3.5.
Причём оно уважает все варианты tool_choice, даже явный призыв вызывать определённый инструмент. А вот с размышлениями падает.
Но самое главное, что обычный /v1/completion починился для qwen3.5, потыкаю сегодня его что ли.
>и они должны при том же уровне карточки предложить что-то, например больше операций на ватт.
Лел. Амд периодически выкатывает драйвера. Порой они даже не вешают систему. Это все, что нужно знать про радеон.
>я думаю она даже быстрее должна быть
Сомнительно, я когда выбирал между ними и v100 по форумам понял то, что там перф примерно 80% от в100. Причем за пару лет он менялся от говнища до вполне приемлемого результата, и бенч анона с пирамидой после полировки будет чуть ли не единственной адекватной точкой отсчета за последние полгода. На дрова очень многое завязано.
>>1538842
>>1538748
Старые бенчи глянул и там всегда было 18-20 тпс с тензор параллел 2. Пик в 100 когда 4 запроса параллельно.
Вллм для ми50 работает на паре ядер патченых васянами
Я пока могу сказать только за 27B. Походу, ризонинг у него с претензией на интеллектуальное включение. Если дать модели контекст на 2-3K с данными для которых ризонинг не особо нужен (вроде RP сессии и лора), и в запросе не вопрос а действия игрока - она ризонинг не включает. А если игрок при этом спросил у персонажа какую-то заморочь - тогда да, начинает думать.
>>1538757
>Аноны, а подскажите, расцензуренные версии МоЕ моделек вообще существуют?
Да. И GLM(air), и Qwen, и даже гопота-oss есть.
А потом такой беру и задаю тот же вопрос квену 122b. Результат на скрине. Не, вы вдумайтесь: новый квен настолько соевая параша, что даже гопота на его фоне выглядит умницей-базовичком.
Как можно было НАСТОЛЬКО обосраться? Ебаный стыд.
Он просто рассуждает как дед в деменции:
Так, пользователь попросил составить NSFW карточку. Значит я должен…. Как его там… А, да, были карточки в моё время, вот помню а 60ых был один бейсболист..
1. В гопоте у тебя скорее всего есть какой-то контекст, которая она подтягивает из других чатов, а у квена пустой контекст
2. Отказ очевидно произошел в ризонинге. И она надумал аж на 11к. Сомневаюсь, что у тебя у гопоты был врублен ризонинг
3. Уже миллион раз написали, что XL кванты СЛОМАНЫ и Q4XL сосет даже у IQ3XSS >>1535950 →
И все это не отменяет того, что модель соевая. Но ты все равно обосрался, кобольд
>В гопоте у тебя скорее всего есть какой-то контекст
Ничего связанного с РП или NSFW, в основном рабочие запросы.
>Отказ очевидно произошел в ризонинге
Перепроверил: без ризонинга то же самое.
>XL кванты СЛОМАНЫ
Это не влияет на рефьюзы. Не вижу смысла сейчас перекачивать, пока исправленные кванты на выкатят. Оно всегда так с новыми моделями.
>кобольд
Ты из тех шизов кто предпочитает забивать шурупы молотком? Таверна для РП, фронт кобольда - для ассистента. Это банально удобнее.
>Это не влияет на рефьюзы. Не вижу смысла сейчас перекачивать, пока исправленные кванты на выкатят. Оно всегда так с новыми моделями.
Это сильно влияет на качество модели. Ты сейчас юзаешь полностью сломанный квант, который даже до Q3 не дотягивает. Это при том, что уже в день релиза модели были рабочие кванты у бартовски. В чем смысл ждать анслопа?
>фронт кобольда - для ассистента
Он вырвиглазный. Фронт llama.cpp ощутимо лучше
https://huggingface.co/mradermacher/Qwen3.5-122B-A10B-heretic-GGUF
https://huggingface.co/mradermacher/Qwen3.5-122B-A10B-heretic-GGUF
Быстрофикс второй ссылки
https://huggingface.co/mradermacher/Qwen3.5-122B-A10B-heretic-i1-GGUF
В чем разница между херетиком и нормпресерв? Что из этого меньше лоботомирует модель?
Сам не ебу, вот тебе слоп вместо ответа. Я так понимаю норм>еретик>обычный аби. Но за это пусть геммаводы поясняют, они уже год пытаются свою умничку расцензурить
>>1539029
вы че балбесы
еретик это просто название скрипта, который разные методы использует
автор обещал включить нормпрезерв в свой скрипт, хз сделал ли
для какой нибудь несложной работы.
Я вот ради интереса попробовал суммаризировать этот тред, точнее предыдущий, типа чтобы самые полезные ключевые моменты выделить и обломался. если в лоб делать - получится каша.
соответственно нужен скрипт со специализированными агентами которые будут делать разные вещи, например сначала чистить тред от мусора, потом выделять важные моменты и куда то сохранять, а уже потом по сохраненному уже начать составлять типа гайда.
Надо будет поискать какие вообще есть решения.
Кстати, я пробовал мелкоквен 3-vl-8b и он чот плохо справляется с вызовами тулзов. Надеюсь новая версия лучше справится
На мобилках запускать, или может какие узко-направленные ассистенты пилить. Плюс там вижен есть, можно OCR какой-нибудь хуярить на чем угодно.
Там gemma 3 или ministral будут лучше для этого. Все таки китайцы идут в прогерство, а не в языки. И почему именно 8b, а не более крупная?
>>1539061
>На мобилках запускать
Но зачем? В чем смысл запуска этих лоботомитов с никакущей скоростью на мобилках, если есть копры и/или локалки на компе, к которым можно подключится?
Как раз это единственные нормальные модели от Квена, 4b новый нужен. А большие - это мусор, неспособный ни с кем конкурировать.
у меня была идея типа тупого мелкоскрипта который быстро отработает простой сценарий типа пройтись по списку и что то скачать и отметить, т.к. модели покрупнее довольно долго выполняют.
Собирать риг для кими не выгодно.
>>1539040
Автодополнение строчки/двух кода, rag-экстрактор информации из файлов с системным промтом на 5 строк, embeding/rerank режимы(не уверен что второй поддерживает), исправление стиля и отступов в коде и другие супер простые задачи. Регулярка++ по смыслу, если нужно решить что-то уровня поиска всех имён в тексте.
Кими - очень большая сетка. В полных весах это 2 терабайта. В 4 бита - 500 ГБ только на веса модели, а ещё нужны временные буферы для вычислений, и буфер для kv-кеша.
Ребята тут часто пишут, что ниже 4 бит жизни нет и лучше ставить 6 и выше. Вот то что у тебя chatgpt, или kimi который на сайте - там вообще скорее всего в 8 бит всё работает.
Я конечно не согласен, но даже если взять оптимистичные 3.5 бит и считать что буферы для вычислений и кеша имеют нулевой размер - это 437 ГБ.
Работа ллм делится на разбор промта (pp - promt processin) и генерацию ответа (tg - token generation)
Итого:
На DDR4 это будет стоить 200-300к, и будет выдавать 1-2 слова в секунду (генерация) или около того.
На DDR5 это будет стоить под 600к и будет выдавать 3-4 слова в секунду (генерация) или около того.
Помимо этого тебе нужна хотя бы какая-то видеокарта, без неё скорость pp будет порядка 10-20/s. С картой сразу будет 100-200/s, даже со слабой на условный 16 гб.
Собрать видеокарт на 480 ГБ - самый дешёвый вариант, это 15 штук V100. Это 800к за карты и райзеры. Допом тебе нужно найти материнку, где будет достаточное число слотов и pcie-линий. Впрочем, даже x4 более-менее хватит, но 60 линий найти сложно, как я понял есть либо нормальные процессоры на 48, или чудовища эпики и рипперы от амд на 120 линий. Ну, либо двух процессорная система. Помимо этого тебе нужно подвести к этому питание. Даже если выставить лимиты по 150 ватт - это 2.5 квт на систему. Одновременно они все в кими работать не будут, но что-то вроде 1.5 квт тебе понадобится. И это будет скорость около 10 слов в секунду и pp порядка 200-400/s, думаю. Числа из головы. В общем это система на миллион + придётся потратить десятки часов на сборку всего этого. Если ты берёшь любые другие карты, то один из самых дешёвых вариантов - покупать 4-6 rtx blackwell 6000 pro с 96 ГБ видеопамяти, это за три миллиона стоимость сразу, но скорости будут хорошие, как в облаке или даже быстрее.
Про подписку за 10 долларов в месяц слышал, одной blackwell 6000 pro тебе хватит на подписку до конца жизни или близко к этому.
Дополнительная информация. Видеокарты - это параллельные ускорители. То есть им нужно делать много одинаковых операций одновременно. А ты один.
В случае pp всё в порядке, ты кидаешь текст на 50 страниц - оно параллельно и эффективно это обрабатывает.
В случае tg всё очень плохо, процедура последовательная. В случае если ты отправил один запрос - то у тебя токены генерируются один за одним со скоростью в условные 50/s, что очень медленно. В случае датацентра и облачной сетке к каждой такой системе есть одновременно 100 запросов на генерацию от 100 разных пользователей. Скорость при этом почти не снижается, и те же самые карты выдают 50х100 = 5000/s суммарной генерации, что позволяет эффективно использовать видеокарты. С локальным ригом такой сценарий почти невозможен, больше 10 запросов ты никак почти не подашь.
Выгодно - если это твоё хобби. Как гитары, мотоциклы, скалолазанье, рисование и прочее такое.
Так же это выгодно, если:
- у тебя жёсткие требования к конфиденциальности и ты не можешь выгружать в сеть свои данные.
- в случае, если у тебя нет интернета и ты хочешь такое использовать в бункере, в антарктиде или ещё где.
- в случае, если ты ориентируешься на класс моделек 30B, который тебе нужен для несложных задач + генерируешь картикни в sdxl и прочее. Подписки на сервисы генерации неадекватно дорогие, карточка за 100к сможет тебе нагенерировать всё что ты захочешь. На самом деле в случае генерации картинок (параллельная задача) ты можешь эффективно использовать мощности видеокарты. Потому у тебя дома эффективность 100% и в датацентре 100%, а в случае текста у тебя дома 2%, а в датацентре 100%, потому и кажется что подписки на генерацию картинок дорогие, так как с точки зрения тебя ты за 2% работы платишь столько же. А с точки зрения дата-центра генерация в 50 раз тяжелее генерации текста, так как одна генерация картинки утилизирует 100% мощностей видеокарты, и плюсов от двух параллельных генераций почти нет.
Maid можно из шапки убирать, IMHO.
Автор выкатил версию 3.0 в которой:
- дропнуты версии win и lin.
- Не работает даже на android 13 (Это даже телефоны выпущенные год назад. Что, блядь?)
- Добавлена регистрация по емейлу и синк с облаком.
- Просматривается намерение выпилить к хуям локальные бекэнды через OpenAI compatible. В issues уже есть - даже с ollama не соединяется.
> Это не влияет на рефьюзы.
Влияет самым прямым образом, отличия радикальны.
Провел довольно обширное сравнение разных квантов 122а10 оценивая этот момент. В первую очередь фокус на наличие софтрефьюзов с искажением фактов и логики, хардрефьюзов, рефьюзов после ризонинга.
Несколько разных тестов, включая кум чатики, капшнинг картинок и обсуждения "Легально ли заниматься X с персонажем Y которому N (много) лет подтвержденных документально, если он выглядит на M". В это случае нормальным ответом помимо прямого согласия, можно считать колебания, вопросы и предупреждения про потенциальные проблемы и общественное мнение. Но после уточннения что документы действительно в порядке и все подтверждено - должно быть однозначное согласие. Убитая же соей модель будет рассказывать небылицы о том, что суду и полиции гораздо важнее внешность, а документы и юридический статус - херня.
Собственно результаты:
Ультрасоя тир - xl анслоты (q4 и q6), фп8 от самих квенов, более ужатый int w4a16 - кардинально искажают факты и логику триггернувшись, подсовывают софт рефьюзы давая неверное описание, застревают в бесконечных лупах в ризонинге. Без ризонинга частые инстантрефьюзы. Собственно все то о чем здесь идет нытье.
Нормис тир - полные веса, другой фп8 (ближе к базированному), mxfp4 (где-то больше гонит базу, где-то сою), менее ужатый w4a16 от quanttrio (ближе к сое). Чаще колеблятся, могут прочесть лекции про общество, но при дальнейшем обсуждении соглашаются что все ок. Софтрефьюзов с искажением в разы меньше, хардрефьюзы случаются.
Есть еще пара ультрабазированных, но с ними нужно уточнить.
При этом всем моделям срывает тормоза на кумботах, все более сговорчивые на не пустых контекстах.
По словам умных людей и нейронки, активация на сейфти имеет высокую амплитуду, которая при калибровке может перебивать все остальное. Образно выражаясь, там где в нормальной ситуации один большой всплеск должен быть уравновешен множеством меньших эти самые меньшие подрезали и исказили. А где-то наоборот он или не был принят во внимание, или вовсе клипнулся. Причем здесь может быть дело не в неверно выбранном датасете - как раз при сжатии еще и атеншна калибруя все на erp такое может произойти, а на стерильных ассистентских qa или медицинских данных наоборот получиться лучше. Это же подтверждается сменой поведения модели если квантовать ее контекст и не использовать скейлы, или подбирать их на "безопасных" текстах.
Высока вероятность что обычные "легаси" гууфы окажутся лучше, надо будет попробовать их протестировать.
>фронт кобольда
>Он вырвиглазный
Просто напомню: >>1535161 →
Рекомендую тыкать в это носом каждого тавернодебила, которого встретите тут.
Спасибо за развернутый и подробный ответ, анон. Добра тебе, здоровья родителям и всем твоим родственникам.
И кошко-жену от партии.
А ты сразу опа указывай >>1538359 (OP)
Но вообще тут спорно
>дропнуты версии win и lin
А нужно ли они вообще, если там и так много приложений
>Не работает даже на android 13 (Это даже телефоны выпущенные год назад. Что, блядь?)
Проеб разработчика
>Добавлена регистрация по емейлу и синк с облаком
Это вроде опционально
https://github.com/Mobile-Artificial-Intelligence/maid/issues/725
>Просматривается намерение выпилить к хуям локальные бекэнды через OpenAI compatible. В issues уже есть - даже с ollama не соединяется.
А где просматривается то? У него отвалилось соединение с ollama и он хочет починить это
Выглядит так, будто он просто зарелизил кривой билд и сломал собственное приложение. Мб все исправит
Фотка не соответствует скринам - на них всего 32гига рама, а тут все слоты набиты. Как раз наличие лишь одной-двух плашек может быть причиной замедления, писали о том, что это даст низкие скорости и задержки при обмене потому что путь (видеокарта - шина - рам - qpi - рам - шина - видеокарта) по сравнению с тем, когда железки укомплектованы.
Хз насколько 18т/с на гемме нормально для них и какой там квант. Если 8 бит - примерно столько в один поток по псп и получится если без тп.
>>1538852
> на одной V100 она выдаёт 50..60/s
Гемма? Небылицы, если офк ты не про пропмтпроцессинг говоришь, тогда слишком мало.
> vLLM, у которого генерация в один поток не самая сильная сторона
На свежих железках как раз и в 1 поток быстрее всего, но на тех что постарше уже не все радужно. 18 для геммы это не самый плохой результат (офк зависит от кванта), интереснее что там с процессингом будет, где упор в компьют.
>нет возможности свайпа без регенерации (удаления предыдущего свайпа)
да, кобольд кал
>>1539183
В Кобольде также нет лорбуков, author's note, экстеншенов и много чего ещё. Его если и сравнивать, то с устаревшим говном мамонта TavernAI, и то и другое реализует только базовый чатик.
>А где просматривается то?
Внутри. У меня на телефоне стояла старая версия, обновилась. Пропали все чаты и настройки. Ввел заново - перестала даже пытаться конектится. Написал отзыв - автор просто пометил новую версию как не совместимую для моего телефона, ничего не отвечая. В самих настройках - стало неудобно даже пытаться найти и ввести кастом эндпоинт. Делаю вывод - он хочет уйти в коммерцию к корпам, а локальные бекэнды - сложно поддерживать автору, юзеру легко ловить ошибки, и чтобы ими пользоваться думать надо. Теперь у него целевая аудитория другая - проще выпилить чтоб не мешали.
>Гемма? Небылицы, если офк ты не про пропмтпроцессинг говоришь
Ну, я чуть преувеличил. Окей, я тебе запишу видео на днях со ссылкой на этот пост. Пока разобрал "системник" на рефакторинг и прям сегодня не покажу, а детали будут завтра или послезавтра.
Это с пустым контекстом. При заполнении порежется вдвое, естественно, но не до 18/s всё-равно.
Какая впизду таверна, долбоеб? Я о ней вообще не писал. И уже отвечал тебе >>1535166 →
Также я напоминаю, что в прошлый раз кобольды слились на свайпах. Так что лучше даже не начинайте, сидите на своем говне и не высовывайтесь
>>1539185
Орнул. Когда сумел распаковать зип-файлик с лламой, скопировал первую попавшуюся команду запуска (впервые в жизни увидев консоль), кряхтя подключил таверну с дефолт-настройками и теперь ты ИЛИТА треда.
Жаль конечно что нажать на кнопку настроек в кобольде для илиты непосильная задача, иначе такого бреда:
>нет возможности свайпа без регенерации
>нет лорбуков, author's note
я бы сейчас не читал.
В Кобольде также нет лорбуков, author's note
Чел... Они там родились. Еще в самом старом кобольде, который до ламы был, и благополучно перекочевали в cpp версию. Таверна просто развила эти концепы сильнее, но идея не ее.
А еще есть esobold - форк с упором как раз на GUI. Там сильно доработали в том числе и это. Но это так, к слову. Пользоваться не призываю.
Не ну если взять квант поменьше и на пустом контексте - действительно 50-60 можно получить, просто даже не рассматривал этот вариант из-за объема памяти.
Отписывай, тема же интересная, даже если будет не супер быстро - за цену врам в разы ниже рама никаких претензий не может быть. А тут еще есть все шансы на успех. Попробуй еще как на жоре будет, свиду оперативы там много для моделей покрупнее.
Герой монитора побеждает всех своих воображаемых врагов. Кто тебе так жопу защемил, что ты рвешься в треде днём в понедельник?
Приноси скрины, показывай как сделаны лорбуки в Кобольде, поржем всем тредом
> Еще в самом старом кобольде, который до ламы был, и благополучно перекочевали в cpp версию
Что за хуйню я только что прочитал? Кобольды реально невероятно тупые
В лламуцпп переехали лорбуки? Ты хотя бы знаешь что такое лорбуки и как они работают?
Игнорируй явный жир. Кобольд не подарок, но того хейта он не заслужил, лучше сделай несколько скринов показывая где это настраивается, заодно неофитам поможешь.
Нет цели кого-то "побеждать", лол. Просто поржал с тупости тавернодебилов. Никогда такого не было и вот опять.
Я хз, я не сижу с телефонов. Но пока это больше выглядит так, что автор долбоеб и сломал приложуху. Учитывая, что он ее почти один пилит это вполне вероятно
Никто не заявлял, что он принадлежит к элите треда. У тебя с головой явно проблемы. Ну неудивительно, ведь
>Когда сумел распаковать зип-файлик с кобольдом, скопировал первый попавшийся конфиг запуска запуска (впервые в жизни увидев все эти параметры), кряхтя подключил запустил чатик с дефолт-настройками и теперь ты ТОЧНО лучше остальных
Это дефенишен Кобольда. И ладно бы ты сидел и не выебывался, так рвешься на ровном месте, когда к тебе даже никто не обращается. Кобольд это твоя тян? Твой младший брат? Ему вот прям нужна твоя защита, да? Какой софт, такие и юзеры
>небылицы о том, что суду и полиции гораздо важнее внешность, а документы и юридический статус - херня
Тащемта как минимум для съёмок порно это чистая правда как минимум в РФ и Австралии.
То есть трахать персонажа
>Y которому N (много) лет подтвержденных документально, если он выглядит на M
можно, а снимать это нельзя есть ещё весёлые казусы, когда оба реально возраста М, но это уже выходит за рамки треда. Добро пожаловать в реальный мир так сказать.
Ты действительно прочитал хуйню вместо написанного.
Речь шла о переезде идеи WI/Lorebook фичи из старого KoboldAI в KoboldCPP.
>лорбуков
Есть, скрин 1
>author's note
Есть, скрин 2
Еще можно свой css грузить как в таверне (скрин 3)
Свайпы вроде урезанные, но есть (скрин 4)
В целом кобольд очевидно сосет у таверны. Зато дает сразу куча всего в 500мб, может кому-то это критично
Когда ответ формулируется в таком ключе с объяснениями и оно скажет что сниматься нельзя - это даже отлично.
Плохо - когда под действием триггеров начинает напрямую искажать логику, заявляя что наличие подлинных и легальных документов, вождение автомобиля, покупка алкоголя, недвижимость в собственности - ничто, а внешность - единственное что важно перед законом и судом.
>>1539247
А графы русалкой рендерить может?
> Фотка не соответствует скринам - на них всего 32гига рама
Разницы между 2х16 и 16х16 нет. В вллм рама курит
А мне вообще не понравилось. На пустом контексте тоже есть отказы, на карточках он лучше нового квена и даже эира, но идет в повторы. Ну и сука медленный пиздец, можно вешаться просто
Я на 16+64 64к+ крутил с ub/b 4096 или 2048, не помню
Но это из под линуха без gui. Пробуй сам ручками на своем железе
Внимательнее читай, не курит обмен по шинам. Но раз разницы нет то не в него упирается.
в 128+24 влезает Q6 с 64к неквантованного контекста.
В Q4 влезет чуть больше, но смысла нет, он все равно держит 20-30к в лучшем случае.
> обмен по шинам
В другом проце только одна видяха. Так же уже писал что разницы особо нет с тензор параллел 2.
Позже перешью видяхи в в420 что бы p2p заработал и заведу все видяхи в одну нума ноду. Может что то поменяется
Выше в треде есть ссылки на еретик 122b квена. Этот в отказы не идёт, но насколько там повреждены мозги неизвестно. Я толком не успел его погонять.
>Просматривается намерение
Ну вот когда выпилят, тогда поговорим. Пока что по ридми проекта всё нормально, и локальный запуск ггуфов, и россыпь апишек. Да и старые версии никто вроде не запрещает качать, если у тебя кирпич с устаревшим ондроедом.
А я и кидал эти ссылки. И тоже сейчас heretic тестирую. Насчет мозгов пока не знаю, но по мне русик еретик квена лучше русика эира
>Напиши мне пример NSFW карточки суккуба, работающей в борделе. Опиши подробно ее характер, тело и кинки
Орига: отказ даже без ризонинга
235: отказ даже без ризонинга
Еретик: скрины 1-2
>Опиши изображения во всех подробностях (скрин 3)
Орига: отказ даже без ризонинга
Еретик: скрин 4
Пока вроде неплохо и русик хороший
>IQ4XS
А чому не Q4_K_S? Он быстрее и [теоретически] не настолько люто заквантован при схожем размере.
>насколько там повреждены мозги неизвестно.
в доках все написано
KL divergence = 0.0916
9.16 % divergence (0.0916 × 100)
если хочешь сравнить с 27b dense от того же самого автора то там значение 0.0653
+квантизация к примеру от unsloth ud_q4 дает пример 1% divergence
>быстрее
У меня обычно IQ4XS быстрее, потому что можно доп 1-2 слоя кинуть на видюху
> KL divergence
Важно на чем ее замеряют, если на опасном датасете то это наоборот хорошо.
>[теоретически] не настолько люто заквантован при схожем размере.
Разве не пишут наоборот, что i-кванты обычно слегка лучше аналогичных по размеру обычных квантов?
Гопота пишет что "IQ4_XS близок к Q4_K_M по качеству", но на картинке с ОП-поста видно, что нет, вообще не близок, IQ квант тупее. Матрица влажности, применяемая в IQ квантах - тоже мне не нравится, она ломает русик.
https://huggingface.co/unsloth/models
Гопота сосет хуй.
Надо с K_S сравнивать и смотреть в более достоверных источниках.
Вот бартовский и мрадермачер что пишут, и картинка из статьи 2-годовалой давности на 7б модельке (хоть что-то).
https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9
С К_М действительно есть разница, с K_S как будто разница в микропиську.
А, ну вот. Третий скрин показателен. IQ всё же потупее K_S. Алсо гопота шарилась по интернету перед тем как выдать ответ, там под каждым абзацем источник есть.
>русик хороший
>пикрил
Просто 10 из 10!
И? Очевидно, что русик хороший относительно размера модели и кванта, у air'a русик хуже, а с каким-нибудь дипсичком и нехуй сравнивать
Бамп вопросу. Это скамеры или че? Разве платформа не опенсорс для всех для народа?
Я пока на проверку запросил доступ к модели. Если не дадут, зарепорчу. Потому что какого хуя-то, первый раз такое вижу.
> Разве платформа не опенсорс для всех для народа?
Лолчто, хф - прежде всего коммерческая платформа с удобной корпоративной структурой, их открытые репозитории и прочее - способ привлечь людей и удерживать популярность.
>>1539397
Никто не обязан тебе давать доступ. А вот допустимо ли устраивать продажу такого с использованием их площадки - надо чекнуть соглашение.
> первый раз такое вижу
Посмотри на репозитории гугла или меты.
>Посмотри на репозитории гугла или меты.
Вряд ли они вставляют в свои объявления QR-коды на оплату битка.
Тут как бы в этом дело. Мутно очень выглядит.
>нет возможности свайпа без регенерации (удаления предыдущего свайпа)
>да, кобольд кал
Undo же возвращает прошлый свайп, а затем Redo вернет более свежий. Или вы о другом?
Ебать ты кобольд. Он пишет, что ему фронт лламы больше нравится, а ты выебываешься на юзеров Таверны. Моча в голову ударила?
Бля, я хуею как в треде просто пиздюнькают, врут, наебывают, подсиживают на ровном месте и не краснеют. Откуда челибос нафантазировал 60 т/с на гемме, в первом кванте что ли запускал? Или 12B? Вот цифры для 8 кванта, который с лихвой лезет в v100:
pp512 | 997.37 ± 1.60 |
tg128 | 23.12 ± 0.01 |
4b совсем соевая, уходит в отказ даже на намек на интим. Как это лечить? Ждать heretic квант? 4B Huihui oblitirated 2507-instruct работал без проблем.
Это вообще не свайпы. Свайпы в кобольде есть в копро теме. Включи и посмотри, что это такое. И то они обрезанные, например там нельзя удалить конкретный свайп, можно только все сообщение
Если взять что-то о трех битах на вес то примерно столько и даст на старте. Вопрос только зачем?
Потому и 18т/с для 8бит на радеоне - норм результат.
Это сломанный телефон получился. Первый говорит 18 т/с на гемме. Какой квант, какие парамтры запуска? Зачем вообще 128 Гб врама тестировать на Гемме, бля? Вон лардж или лламу 70 запускай если плотную хочешь.
Второй говорит, что 60 т/с на гемме на v100 в квантах. Какой гемме, какой квант, какая v100 в конце концов?
В общем, просто что-то на отъебись в тред вкидывают, в результате те, кто читает со стороны, охуевают с заявлений. А у меня вообще охулиард токенов в секунду, прикиньте? (я гемму 800М гонял в первом кванте, но вам не скажу)
Попрошу, уважаемый. Не на пользователей таверны, а на тавернодебилов. Это разные сущности. >>1539196 вот тут описан портрет типичного тавернодебила из палаты мер и весов.
А к адекватным пользователям ламыцпп и таверны претензий нет - этим зайкам лучей добра.
Но ведь нет разницы, кнопочки внизу делают то же, что и стрелочки под сообщением в копро теме?
> Какой квант, какие парамтры запуска?
Пик1 (только с tp 4; dp 1; pp становится 20)
Я сразу написал что это просто запрос в опенвебуи, бенчи потом. Вы сами тут начали говном перекидываться
> Зачем вообще 128 Гб врама тестировать на Гемме, бля?
У меня есть просто с чем сравнить те же бенчи но с друших версий вллм. Да и вообще мне нравится гемма!
>AIR (IQ4_XS)
>он все равно держит 20-30к в лучшем случае.
Анончик, это правда?
Так в кобольде нет нормальных свайпов. Из-за этого там к слову нет и нескольких начальных сообщений, а вместо этого позорный костыль на скрине
Нет. Свайпы работают в пределах одного сообщения. Undo/Redo удаляет/добавляет не просто варианты одного сообщения, но и сами сообщения.
То есть через свайпы можно сгенерить три варианта сообщения 1, остановиться на втором варианте и сгенерить сообщение 2. После чего удалить сообщение 2 и переключиться на третий вариант сообщения 1. Через Undo/Redo ты так сделать не сможешь
У меня Air Q6. После 20-30к качество ответов значительно ухудшается, если речь о рп. Для кода я использую другие модели. Технически, ничто не мешает использовать весь контекст, но я не вижу в этом смысла. Не настолько ленивый, предпочту суммаризировать и получать хорошие ответы.
То есть у тебя получается гемма 27 в 4 кванте (пишут что эти awq кванты сконверчены из Q4_0), да еще и с тензор параллел 4, то есть 4 карты пыхтят одновременно, что должно давать буст по сравнению с обычным послойным инференсом. И это все равно меньше, чем 8 квант на одной v100. Выглядит реально как посос.
>После 20-30к качество ответов значительно ухудшается, если речь о рп.
А есть локальные модели, которые для рп контекст могли держать?
> Какой квант, какие парамтры запуска?
> Зачем
> просто что-то на отъебись в тред вкидывают
В первый раз? Так было с самого появления мишек. Относись философски, картинки приносит, что-то показывает - уже хорошо.
>>1539479
> эти awq кванты сконверчены из Q4_0
Жесть какая.
Могу только за себя говорить. Квены 235 в Q4 уверенно держат до ~40к, Глм 4.7 Q2 (3bpw квант) уверенно держит до ~30к. Если взять кванты получше, возможно, ситуация изменится. У меня 128+24. Думаю, на ригах можно запускать Дипсик в приличном кванте и там где-нибудь до 64к точно всё хорошо держит.
Ну лично меня задел не первый тейк, потому что мне амд неинтересны, а про геммовые 60 т/с на v100. Потому что у меня тоже v100 и я гемма бенчи на ней гоняю на завтрак, и таких цифр я отродясь не видывал даже на амперах. Такое разве что в экслламе с тп на блеквеллах может получится, да и то вопрос как оно там на 8 bpw будет.
>Квены 235 в Q4
На моих 64гб и 4090 не влезет такое? Стоит до 128гб докупать? Ценник в 90к рублей колится.
Согласен. Тоже обладаю v100, ни о каких 60т/с на плотной модели такого размера в кванте под ее память там не может идти и речи. Столько на 35а3 получится в Q6 когда контекста побольше накопится.
27б новый тестировал? Сколько с каким квантом влезает и какие скорости?
> На моих 64гб и 4090 не влезет такое?
Q2 должен влезть, не знаю с каким контекстом. Один анон отписывался, что существенной разницы между Q2 и Q4 Квеном 235 не заметил (он тоже позже обновил железо)
> Стоит до 128гб докупать?
Не знаю, как и нужно ли вообще отвечать на такое. Это твой выбор, не мой или ещё кого-нибудь из треда. Ради одной модели обновляться? За 90к? Я считаю, что нет. И имхо, Air в рп лучше, чем Квен 235. Про это уже много было сказано в треде. Было две или три Квеновых войны и куча отзывов на самые разные кванты.
1) для кодинга лучше используй llama-cpp
2) ищи шаблон вида chat-template-kwargs = {"enable_thinking": false} или ризонинг бюджет. в ламе он наоборот думает и я отключаю
Ты, это, поосторожней с "Her small hands", а то потом тащ майору будешь объясняться уже.
Товарищ майор может спать спокойно. Кошкодевочке 22 годика
https://chub.ai/characters/Kammii/kylie-friend-in-heat-d75e1c3a8b8d
Всё те же 4 мишки по x16 4.0 на QWAT'ах
Вот это срандель.
Кстати тут появилась инфа что у новых квенов надо ставить -ctk -ctv bf16 что бы правильнее работали. Проверял кто, а то у меня бф16 только без флэшаттеншена работает нормально.
А зачем? Это же не линейная генерация. Параллельно можно бесконечно увеличивать, а по факту у тебя 15 т/с.
Меня устраивают 15 тпс на 16к контекста. А если нужно обработать что то в многопотоке, то вообще кайфище
Или есть куда оптимизировать, или просто конфигурация самих железок предполагает что могут раскрыться только при куче параллельных запросов.
Куда хуже замедление почти в 3 раза при накоплении всего лишь 16к контекста. Похоже что вот там уже идет упор в компьют, что убьет все возможности для масштабирования, если только не предполагаются исключительно короткие запросы.
Если не стесняешься - прогони на контекстах.
Пишите сразу параметры что ли. Я не кумаю так что и бенчи все не кум релейтед. 16к контекста и 4 треда я выбирал под свои юз кейсы
Прогрев гоев вроде, там же замеры показали отклонения в рамках стат погрешности
То же самое что делал в 1-6, только дальше до контекста, который выставил максимальным. За вычетом количества для генерации офк. Что приятно - пп хороший получается, интересно сохранится ли он при генерации одновременно.
Чуть хуже чем гемма
pp512| 817.05 ± 0.95 |
tg128 | 20.41 ± 0.01 |
Мне она показалась умнее, чем 120б мое, но та в полтора раза быстрее у меня генерирует в том же восьмом кванте. Я разбирал с ними код и короче гпт осс 120 показала себя лучше и в плане знаний, и в охуенной скорости генерации
> интересно сохранится ли он при генерации одновременно.
В прошлый раз меня хуями за mixed нагрузку обдали.
Какой тест не сделай, что ни приложи всегда найдутся те кому что то не то
> только дальше до контекста
Попробую 32, 48, 64к контекста, но уже потом. Сейчас есть проблема что один из 3х бп безбожно свистит что аж за стеной слышно. Заказал пару других серверников и буду уже с ними нормально эксплуатировать эту вавилонскую башню
> хуями за mixed нагрузку обдали
За сложение обработанных и сгенерированных и деление на время суммы вместо отдельных статов.
>Ну, я чуть преувеличил.
Паразиты. Я же вообще напутал, и хотел написать 40, а вы так прицепились, и потому указал специально.
Нашёл старый пост, я же сам один раз её запускал, когда ещё писал что в 4 потока 25. Энивей, часа сна вы меня уже лишили, вставать в 5:30.
Первый слой подменил на неквантованный, так как я тот шиз который говорил про выгрузку эмбеддинга на CPU, а другой версии у меня сейчас нет, так как системник я разобрал - и это куча проводков, где кулер я облокатил просто на радиатор.
Через веб интерфейсе я вижу число в 43, это конечно не 60 и даже не 50, но близко к 50.
llama-bench вот, в нём 34. К слову - в нём карта подписана как PG503-216, а не как V100, не смог нагуглить на что это влияет.
Каеф, посадил квен3.5-2B читать двач.
Да просто саммаризатор тредов пилю по приколу.
Взял опенай либу, модели локально на ламе крутятся и дрочу в цикле ллм.
И что их там только цены на оперативу беспокоят на этих ваших двачах? А цены на ссд никого не волнуют? Они так то тоже в 4 раза выросли в цене, а в месте с ними какого то хера и хдд подорожали.
Пусть он сделает вывод по нашим трем последних тредам - кобольд это кал или нет? Пусть он разрешит спор. Ведь устами 2b лоботомита глаголет истина
https://youtu.be/89yDiQ8WkNg?list=RDMM&t=80
Теперь напердоль скрипт или аддон для браузера, который добавит кнопочку к посту и будет отправлять в локальную нейронку текст и картинку для саммари
https://www.youtube.com/watch?v=8jZSxZfdnm4
Само собой это не sota результаты, но это очень прилично. Для локального использования на слабых пеках, когда надо выполнить пару простеньких задач крайне сгодится.
Меня в последнее время интересует как ллмку (пускай не только локальную) объединить с моей системой GTD.
Для начала чтобы лучше формулировать задачи и проекты (результаты).
Пока пришёл к решению брейншторма - описываю что хочу и веду дискус как надо поступить.
Проиграл в голосину
>но это очень прилично
Там один веб сплошной. Че по скану файловой системы и каталогизации залежей fb2? Реакты согласно изображенному тексту переименуют? Хуй с ним, скачал я всратый софт - собрать мне необходимую информацию о запуске в определенных условиях из ридми или исходников смогут? Бля, прошивку на ардуйню допишут хоть? Вот что этими пиздюками тестить надо, а не ебаные сайтики по тыще раз копипастом из окна чата собирать.
Так совсем скумиться можно, вы с этим поосторожнее. Они не только умные, но еще меры не знают.
Жизнь ухудшилась так ещё и модели оказались тупым калом, пока минимум х5 умнее не будут от 350б даже не стоит смотреть на это и время тратить
Сорян за задержку.
1) кобольд + таверна, иногда просто кобольд, если по-быстрому что-то спросить.
собираюсь попробовать лламу + континуе.
2) да буквально все. Мне понравилось тестировать ее, спрашивать то да сё. Понравилось знание языков, внимание к контексту. Она не идеальна конечно, нужно промт наверное доработать, ну и сэмплеры конечно у нее свои (гугли по прошлым тредам), я выкладывал).
Мозговой штурм, построение планов. Я все планирую в инди-геймдев и министралька для гд прям очень хороший ассистент.
Подозреваю, что и кодит неплохо.
1 PDF24 / TESSERACT
2 OPENREFINE / BASEX
3 KNIME / ORANGE
4 ggml-org / ylsdamxssjxxdd
5 gguf 1.5 Q4_K-M embedding
>1 PDF24 / TESSERACT
>2 OPENREFINE / BASEX
>3 KNIME / ORANGE
>4 ggml-org / ylsdamxssjxxdd
>5 gguf 1.5 Q4_K-M embedding
Спасиба
Спасибо, а почему лучше llama-cpp? Она чем-то лучше кобольда? Не в курсе, почему в кобольде ризонинг не работает? С gpt-oss-120 тоже ерунда какая-то, ризонинг вроде есть, но он под тэгом <analytic> по-моему и на английском.
Вообще где-нибудь есть профили для кобольда или всё нужно ручками подбирать?
Может кто проверить рп-модели всякие? Я убеждён, что проблема плохого рп и невозможность смоделировать ситуацию описанную мной правдоподобно - это одна и так же проблема. И потому возможно модель хорошо показывающая себя в рп лучше смоделирует поведение водителей и вот это всё.
У тебя тут проблема на уровне ввода. Мне даже на русском было сложно прочитать твою задачу, настолько плохо она была сформулирована. Если сформулировать ее адекватно, с нормальным изложением и структурой, предпочтительно на английском, то все должно быть решаемо.
> Я убеждён, что проблема плохого рп и невозможность смоделировать ситуацию описанную мной правдоподобно - это одна и так же проблема.
А я убеждён, что это проблема промптинга. Что в случае с задачкой, что в случае с рп, кекв.
Подскажи как это сделать. Из людей никто не сказал что задача плохо сформулирована. Для честности эксперимента я просто зачитывал текст из промта без дополнительных пояснений и оставлял текст на экране.
> Подскажи как это сделать.
Подсказать как излагать твои мысли яснее? Ты работаешь с обычным natural language, никакой магии нет. Посмотри хотя бы в учебники математики и физики, там адекватно изложенный и структурированный текст. У тебя как минимум опечатки в тексте есть, что уже может ввести в ступор модельки поменьше. "Есть городок, в нём около 5 автобусных остановок, между ними около 1 минуты пути" уже можно трактовать как два разных условия: между каждой из остановок 1 минута пути или между всеми остановками от первой до пятой 1 минута пути?
"После проезда по городку автобус обычно заполнен + около 10 человек едут стоя, но достаточно свободно." Если автобус заполнен, это значит, что в него больше не посадить людей, при этом ты пишешь, что "достаточно свободно". В нормальном понимании у автобуса есть посадочные и стоячие места, в итоге у тебя противоречие. И вся задача такая.
>Из людей никто не сказал что задача плохо сформулирована.
>прошло 11 минут с момента публикации задачки на двачах
и кого только не занесет сюда, орунах
>>1539945
на русском с таким изложением у тебя будет лоботомит, да и модельку большую ты врядли запустишь
Проблема текущих моделей в том, что даже если они решат эту задачу, когда она задана в лоб, то в РП они не учтут столько переменных.
>>1539939
>Из людей никто не сказал что задача плохо сформулирована.
Потому что никто не прочитал.
>>1539945
Никто не выкладывает свои РП, это личное. А так на русском все модели деградируют, это база.
>а что в этом хорошего никто не пишет
Ничего хорошего в этом и нет. Сидим, деградируем в окружении симулякров.
>Потому что никто не прочитал.
Тогда не очень ясно как они описывали что потом произойдёт.
>>1539942
>Подсказать как излагать твои мысли яснее?
Да. Говорю же, никто из людей никаких замечаний по формулировке не дал и уточняющих вопросов не спрашивал.
>между всеми остановками от первой до пятой 1 минута пут
В таком ключе нельзя трактовать, так как это 15 секунд на пролёт. Даже если автобус стартует и тормозит с 1м/с^2, лол, за 15 секунд автобус разгонится до 27 км/ч и затормозит, а проедет за это время всего 56 метров. 2м/с^2 - оба числа в два раза выше. 100 метров между остановками это шутка какая-то. И вряд ли он 2м/с^2 забитый людьми катается, там бабки руки и ноги поломают. Я же даже явно указал, что это не математическая, а реальная задача.
>Если автобус заполнен, это значит, что в него больше не посадить людей
Согласен, лучше укажу явно что 40 сидячих и 10 стоячих (стоят свободно с запасом).
Впрочем, если подходить математичнее - в начале я указываю, что "в автобусе 40 сидячих мест". Соответственно заполнен + 10 человек стоя, это и есть 40 сидячих + 10 стоя.
>И вся задача такая.
Я искренне не вижу проблем в формулировках. Вот ты указал две, согласен, можно чётче прописать, но третье такое место я не могу найти самостоятельно.
Чуть посидел с корпом, вот такое попробовал ещё раз:
------
Задача.
В норме автобусы отправляются от начальной точки каждые 5 минут. В каждом автобусе 40 сидячих мест, дополнительно перевозятся стоящие пассажиры (10 человек стоят свободно, 20 тесновато, 30 это уже давка).
Маршрут начинается с небольшого городка, в котором пять остановок. Среднее время движения между остановками составляет примерно 1 минуту без учёта возможных задержек на перекрёстках, светофорах и из-за выезжающих автомобилей. К моменту выезда из городка в автобусах обычно по 50 человек (40 сидячих и 10 едут стоя).
Далее следует участок шоссе продолжительностью около 20 минут без промежуточных остановок. Затем располагается железнодорожная станция, где в норме (при следовании раз в 5 минут) выходит около 15 и заходит около 15 пассажиров.
После этого автобус следует ещё около 20 минут до конечной остановки, где все пассажиры выходят.
По некоторой причине два автобуса задержались. В результате возникает пауза 15 минут, после которой от начальной точки почти одновременно отправляются три автобуса друг за другом. Опиши что произойдёт в такой ситуации? Опиши возможные сценарии. Это проверка твоих способностей на моделирование, я попал в такую ситуацию утром. То есть учитывай, что это реальная ситуация, водители ведут себя как люди и принимают решения, помимо автобусов на дороге есть другие машины, светофоры и так далее.
------
В такой формулировке:
Чатжпт - выдал предположение что второй может обогнать первый, но не стал рассматривать этот вариант и строить на основе его всё остальное.
Кими зашизил в край, в красках описал "второй водитель — молодой, горячий, видит, что первый едет медленно и перегружен." и далее описал как второй попадает в дтп, и дальше идёт целое сочинение об эвакуации людей, блокировки дороги, вертолётах...
Гемини неплохо справился. Не стал писать что в городке будут обгоны (но это как бы и не очевидно что автобус тупо мимо остановки может проехать - это надо знать контекст городка, нашей страны. Хотя впрочем где бы то ни было нет смысла второму автобусу тормозить на первой же остановке после первого, кроме случаев если людей на первой остановке достаточно для переполнения автобуса), но написал что на шоссе скорее всего будет обгон и корректно описал что будет на станции.
ГЛМ как и чатжпт не справился, но написал что грамотный диспетчер может дать команду на обгон для третьего автобуса, но такого скорее всего не будет, так как обгон на шоссе запрещён и точка.
> Ничего хорошего в этом и нет. Сидим, деградируем в окружении симулякров.
Дискуссионный вопрос. Вокруг меня всё так хуево, что если бы не это, то уже наверняка забухал бы или ещё чего похуже. Это, наверное, хуже, чем другие медиа (литература, игры, кино, манга и со он и со форф), но всё ещё валидный способ эскапизма. Эскапизм иногда необходим.
> В таком ключе нельзя трактовать, так как это 15 секунд на пролёт
Это задача в вакууме. Задачные условия не всегда соответствуют действительности, что довольно часто встречается в учебниках, методичках и соответствующих материалах -> часто попадает в датасеты моделей. С точки зрения моделей - так трактовать можно, и это справедливо. Как минимум часть ресурса модели уходит на то, чтобы понять, что именно ты имел ввиду в своей задаче, а не на её решение.
> Я искренне не вижу проблем в формулировках.
Я искренне не вижу смысла дальше объяснять, что ты делаешь не так. Ты пишешь, что это задача, но по всем формулировкам и правилам изложения, это задачей не является. Ты ожидаешь, что модель способна читать твои мысли.
>часть ресурса модели уходит на то, чтобы понять, что именно ты имел ввиду в своей задаче, а не на её решение.
Так я эту её способность и проверяю, это часть теста на человеческое понимание. Ты думаешь ребята в рп собираются всё вот в таком стиле описывать, хотя всем уже давно и с первого раза ясно что происходило в реальности?
Задача не в вакууме, так как я явно указываю, что я в такую ситуацию попал и что надо учитывать нормальные для реальности вещи. После такого указания оно не должно триггериться на слово "задача" и думать что это что-то уровня "собака бежит в ледяную горку с углом наклона ... ". Я не прошу мысли читать, в тексте достаточно информации о том, что я спрашиваю. Ну да ладно.
В целом впечатления как от ассистента очень положительные: внимателен к деталям, прочухал все связи, чего до сих пор ни Air, ни другие среднемодели не могли,
стоит отметить, что и копро DeepSeek не осиливал и продалбывался.
Квенчик подсказал как переделать, чтобы другие сетки не путались (пока не пробовал, скорее всего звездит).
Но какой же он медленный и как долго рассуждает. Ещё этот пересчет контекста постоянный, конечно, вымораживает.
В прошлом треде аноны обсуждали как с этим бороться, но у меня это не взлетелоло. Может есть какой рабочий способ убрать это пересчет стремный?
Твой кейс хорошо показывает что ллм без других ллм (несколько агентов с разными задачами, в данном случае обработка и структуризация инпута и планирование) или двуногого который понимает, что делает, не способны решать такие задачи. Промт инжиниринг не просто так придумали. Тебе правильно анон все расписал
>>1539980
В рп и ответ не должен быть точным. Глупое занятие сравнивать эти задачи, они очень разные и схожестей почти не имеют. Ты тут рассуждаешь на умную тему, но при этом даже не видишь проблему собственных инпутов
>Тогда не очень ясно как они описывали что потом произойдёт.
На похуях.
>>1539974
>Вокруг меня всё так хуево, что если бы не это, то уже наверняка забухал бы
Ну вот, забухал бы, нашёл бы себе бабу, размножился, накопил долгов и пошёл бы их снимать, помер. Идеальный гражданин. А сейчас сидишь пердишь дома с нулевым КПД.
>>1539981
>Может есть какой рабочий способ убрать это пересчет стремный?
Да. Подождать пока починят.
>>1539987
Я вчера сделал git pull для llamacpp и скомпилил, пересчет не убрался, Qwen3.5-122B-A10B-heretic квант q4_k_m от mradermacher. Какой у тебя?
> забухал бы, нашёл бы себе бабу, размножился, накопил долгов и пошёл бы их снимать, помер. Идеальный гражданин
Было бы смешно, если бы не было так грустно.
>>1539989
Всё так. Потому предлагаю прекратить кормить. Человек пришел с предубеждением, пусть с ним и уходит.
А я не знаю какая версия.
Я перезапустил скрипт вчера около 22:10 где написано:
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git fetch origin pull/18675/head:autoparser
git checkout autoparser
mkdir build_msvc_cuda
cmake -S . -B build_msvc_cuda ^
-G "Visual Studio 17 2022" -A x64 ^
-DGGML_CUDA=ON ^
-DLLAMA_NATIVE=ON ^
-DCMAKE_CUDA_ARCHITECTURES=89
cmake --build build_msvc_cuda --config Release -j %NUMBER_OF_PROCESSORS% || exit /b 1
То есть это просто последняя версия на момент вчерашнего вечера.
Ещё там вызов call env.bat в начале, который цепляет куду 13.1, всякие set "CUDA_PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v13.1", его я опустил.
В параметрах запуска из релейтед для кеша только квантование q8_0 и размер, ещё поставил --cache-ram 16384 --slots --kv-unified, может быть это на что-то влияет, но вряд ли.
хеш коммита в --version показывается.
кстати, вижу что ты сидишь на пр ветке https://github.com/ggml-org/llama.cpp/pull/18675
Какие улучшения от этого?
Буквально наоборот. Смогли разжать 24б до 100б, и назвали это революцией. Одно моеговно выходит. Плотняк на уровне того, что было год назад.
Революций не было с выхода Mixture of Experts (MoE) моделей. Ты зажрался, если думаешь, что каждые полгода тебе будут подкидывать значительный прогресс
Работает парсер tool-calls для glm-4.7-flash, стабильнее работает для qwen.
В ванильной ламе парсер не обновили с версии 4.6, а chat-template поменялся при переходе на 4.7 (убрали \n), и из-за этого в ризонинг или в обычный текст ответа попадают сломанные незавершённые вызовы инструментов.
Помимо этого в openai-запросе есть параметры:
parallel_tool_calls (можно ли несколько инструментов)
tool_choice (none, auto, required)
tools (список инструментов)
Без автопарсера если я просто не указываю tools (их нет) - но модель их вызывает (я специально ей пишу что напиши такой то текс), то в json мне прилетает ответ с tool-calls, а из текста оно выдрано. То есть оно парсит функции, которые я не указывал вообще, несуществующие функции с несуществующими или неверными параметрами.
Политика parallel_tool_calls игнорируется. Политика tool_choice игнорируется.
С автопарсером если прилетает tool-calls, то они всегда валидные (корректные названия функций и аргументы), и политика tool_choice работает лучше.
Вот ссылка на моё сообщение: >>1515207 →
Там другая шиза и суть проблемы подробнее описаны по ссылкам назад или по запросу parallel_tool_calls можешь найти.
Вот это самый содержательным сообщением считаю, с описание как это по идее должно было бы работать: >>1514201 →
По сути я предлага префил в зависимости от tool_choice, и потом по мере генерации дополнительный "допфил".
Да, если есть какая-то новая информация по теме или появился тот анон, который отправил рефакторить на 20 минут - мне всё ещё интересно как он это сделал.
Спасибо за информацию. Наверное дождусь когда смержат ПР.
Я не тот анон что рефакторил 20минут, но вот скорее всего из за разметки опыт с glm47flash был неудачный.
А вот локальный квен инструменты практически без ошибок вызывает, ну по крайней мере в opencode. Я просто отправляю его делать таски по speckit, пишу чтобы на каждую фазу по сабагенту вызывал и через 40 минут можно смотреть говнокод со всеми тестами и пройдеными линтерами.
По поводу пересчета, я накатывал другой ПР >>1537887 → и мне не понравилось, при тех же настройках теперь плотные модели отъебнули
В целом опции ниже вроде работают
ctx-checkpoints=128
swa-full=on
Ну вообще то квен3,5, там довольно хорошо доработанная архитектура, а не просто дообученый квен3
Плюс все ждут дикпик v4, там тоже какие то архитектурные мокрописечки заявлены
Квен 3.5 - это не революция. Эволюция в лучшем случае, и то не факт, учитывая сколько сои и столь же а то и лучше способных в код конкурентов такого же размера или меньше
Да, неплохо доработали, теперь пишет в синкинге простыни по 5к+ токенов, из которых половина - проверка инпута и аутпута на safety. А пересчет контекста при КАЖДОМ отправленном запросе.. ммм...
> лучше способных в код конкурентов такого же размера или меньше
Можно список? Интересно стало.
https://huggingface.co/MiniMaxAI/MiniMax-M2.5 точно лучше, чем Квен 400б
https://huggingface.co/stepfun-ai/Step-3.5-Flash плюс-минус сопоставим с 400б версией, где-то даже чуть лучше. Возможно где-то чуть хуже
https://huggingface.co/openai/gpt-oss-120b точно лучше 122б версии, что в целом признают квены своими бенчами на хф страницах 3.5 Заметь, это mxfp4 из коробки, а значит гораздо меньше требований для запуска и быстрее скорость Подрыв квенолахты через 3...2..1...
Технически расхода памяти на контекст стало меньше, а по моим ощущениям более эффективно использует контекст и не начинает ебашить код во время разработки спецификации.
>>1540074
Спасибо, а в пределах 20-30Гб мое есть что то на примете?
гопоту хочу опробовать но у меня памяти сейчас нет, в наличии только 16 врам и 32гб рам
>20-30Гб мое
Не знаю, я катаю Минимакс и Степ на своем железе, 400б версию Квена для кода тестил через опенроутер. q4 кванты оказались лучше апи квенолахе которая верит в шизу что там q2 и только поэтому квенушка обосралась - идите нахуй
Возможно, https://huggingface.co/zai-org/GLM-4.7-Flash подойдет
> GLM-4.7-Flash
Вот с ним у меня не сложилось. Во время разработки спецификации начал генерировать реализацию. может потом попробовать еще дать ему шанс
q4 кванты Минимакса и Степа оказались лучше апи Квена 400б* быстроуточнение для любителей полемики
>>1540091
Среди совсем мелочи может и правда конкурентов нет, не знаю. Другое дело что использовать такое я бы в любом случае не стал
Смысла нет, среди популярных моделей в размере 30гб вменяемо работает держит контекст и поступает логично только квен 3.5 27b.
мимо
>примеры рп на русском
https://pixeldrain.com/l/47CdPFqQ#item=1
https://pixeldrain.com/l/47CdPFqQ#item=5
https://pixeldrain.com/l/47CdPFqQ#item=30
https://pixeldrain.com/l/47CdPFqQ#item=45
https://pixeldrain.com/l/47CdPFqQ#item=48
https://pixeldrain.com/l/47CdPFqQ#item=71
https://pixeldrain.com/l/47CdPFqQ#item=130
>>1540082
>>1540086
>>1540091
Анончеги, вы ведь вайбкодеры, а чо используете для локального перформанса? Курсор или чо?
Я не вайбкодер. Использую Cline. В основном для дебага, рефактора, кодревью. Наверняка есть тулзы лучше, но я редко пользуюсь и не испытываю необходимости идти в ногу со временем
Ministral 14b приблизилась вплотную к 24b small mistral.
Это не ужатие наверное, плотная компоновка. Но прогресс налицо.
Но я бы пожамкал 24b с аналогичной компоновкой как у министральки.
Двачую. Только проблема не в промптинге - она глубже. Юзер часто сам себя не понимает и не может изложить везде, не только в исходном промпте все делая криво, но и с каждым взаимодействием вносит все больше смуты.
>>1539945
Слишком личное же. То что ты спраливаешь - от модели и инструкций еще зависит + какой сюжет.
>>1539981
С обычным не сравнивал как думает и остальное делает?
Тогда уж квен-некст. Он уже прилично работал с большим контекстом для своего размера, умел лучше сосредотачиваться на нужной части не теряя остальное, а накладные расходы на этот контекст сильно ниже. Архитектурно таки революция и та самая мамба о которой когда-то говорили что убьет трансформер. Эволюцией же можно назвать дипсик 3.0-3.1-терминус. А 3.2 в этом отношении тоже революционный.
>>1540061
Это не норма а квантопроблемы.
>>1540099
> Курсор
> для локального
Он упаковывает твои запросы и шлет на свои сервера, откуда уже обращется к ллм. Чтоб промпт не украли, лол. Плагины и кли qwen-code, opencode вполне себе.
>Про то что третий и второй автобус сразу поедут на вторую остановку в городке сказали 2 из 4 людей.
А схуяли басики, которые по расписанию стартуют позже, должны ехать вперед первого?
Это может в деревне работает, где всем похую кто как едет.
Но в нормальной системе первый пришел - первый ушел. Наверняка там какой-нибудь учет по глонассу есть или еще какая хуйня.
То что 3 автобуса одновременно стартанули - это еще может быть проеб диспетчера. Если понятно что задержка образовалась, нахуй подряд всех пускать?
>голосом
Не получится. Нет доступных и хорошо работающих локальных ттс моделей.
Что-то такое можно попробовать попробовать
Из речи в текст https://huggingface.co/mistralai/Voxtral-Mini-4B-Realtime-2602
И LLM для текста https://huggingface.co/mistralai/Ministral-3-14B-Instruct-2512
Запустится на твоем железе, цензуры нет. Пробуй
Если тебе ввод нужен с аудио - вариант. Если еще и ответ через аудио нужен, то получится в лучшем случае кринж. Пробуй, расскажешь.
> вменяемо работает держит контекст и поступает логично только квен 3.5 27b
В бф16 как и задуманно.
https://www.reddit.com/r/LocalLLaMA/comments/1rjlaxj/finished_a_qwen_35_9b_opus_45_distill/
Сам еще не качал, просто наткнулся только что.
>С обычным не сравнивал как думает
Не, выбесил пересчетом, сорян
>Он упаковывает твои запросы и шлет на свои сервера
Я думал к Курсору как-то можно локалку прикрутить
Опа, это же создатель Iceblink'a. Значит вполне неплохо может быть. Надо чекнуть вечерком. Единственное непонятно, почему он пресет не выложил в этот раз
Это 9b коротышка с еретик-лоботомией и с дистилляцией от какого-то ноунейма. Если там были какие-то мозги, то они сдохли точно. Зато модель будет очень креативной в каком-то смысле
>Слишком личное же.
А чего особо личного, или ты там что-то неодобряемое делаешь?
Вон выше норм приложено на русском.
Там даже поебушки в папке есть, правда только одни и только на английском.
122b квену еретик пошел только на пользу. Теперь хотя бы ризонит по делу, а не тратит токены на сейфти-залупу.
Да, но в 122 даже активных параметров 10b, а тут 9b плотная. И еретик явно не добавляет мозгов, в самом лучшем случае они остаются теми же
>или ты там что-то неодобряемое делаешь
То, что что-то не является неодобряемым сегодня, не значит, что оно не станет неодобряемым завтра. А то наверху решат, что плодячка важна, и запретят всё, что приводит к мастурбации, даже если это чат про секс по согласию с женщиной 46 лет.
>>1540329
Член квенолахты находится в жопе квенолахташизика, очевидно же. Иначе зачем квенолахтошизику так усиленно искать квенолахту.
Даже почётные асигодауны, пердолики треда которые делают пресеты и плагины для таверны, с бесконечным по нашим меркам контекстом на умнейших Геминях и Клодиках признают, что рп годится только для кума и до 32к контекста. Думай те.
Я такого же мнения, хотя корпами даже не пользовался никогда. Кто там рпшит что-то серьезное, вам бы голову полечить. Сам таким был.
Это давно всем и так известно. Раньше в шапке треда даже была табличка, где было видно что даже крупные модели начинали проседать после 32к и сыпаться после 64к. Но оп заменил ее бесполезным кокбенчом
И кстати сейчас это начинает меняться. Тот же жопус 4.6 отлично держит контекст и на 64, и даже на 128
ну, поэтому оно выложено там где я могу удалить, не напрямую на борду =))
Проверил, галлюцинирует, отклоняется от промта. Пусть переделывает.
Ну кстати, по тому же бенчу глм 5 норм держит до 128к контекста. Всякие геминище и чмопусы уже держат до 200к нормально. Но это тест не в рп, а на википедии. Суть то в том, что в рп с кучей взаимосвязей и богатой разношерстной семантикой модель начинает тупить уже на 20к контекста, а тотальный безмозг наступает, да-да, на 32к контекста, даже у жопуса 4.6.
>Кто там рпшит что-то серьезное, вам бы голову полечить.
Рп - не получится, а сторителлинг - получится.
Есть завершённое большое приключение из 10 глав каждая из которых примерно в один-полтора авторского листа размером.
Я не так шарю в копрах, но тезис мне кажется сомнительным. Год назад модели и 32к нихуя не держали нормально, поэтому и появился этот стандарт. Но сейчас модели шагнули вперед и все равно остается 32к? Выглядит как хуйня
На самом деле похоже что проблема гораздо популярнее чем кажется. Вспоминаем противоположные лагери, где у одних еще гемма/синтия на все соглашалась а у других не только соя но и поломанные аутпуты с лупами. Самое эпичное противостояние в эйре, пожалуй.
>Но оп заменил ее бесполезным кокбенчом
Заменил один бесполезный субъективный тест другим бесполезным субъективным тестом.
>>1540362
>там где я могу удалить
О, месье думает, что в интернете можно что-то удалить?
>>1540369
>Но сейчас модели шагнули вперед
В вопросах цензуры, лол. Вперде там только погроммирование и агентность.
>О, месье думает, что в интернете можно что-то удалить?
Ну, оно уже будет твоё а не моё XD
>субъективный
Можно спорить о полезности, но тут ты не прав. Оба теста как раз таки объективны
Вообще не генерит фап контент, высирает тонны какого-то забото-позитивного-мими кала.
Есть альтенативы под обычную задачу анона - дрочить?
Потестил. Довольно хорошо, лучше еретика, причем что 27b, что 122b
Тонкая настройка + грамотно написанные промты + куча экспериментов с настройками + таверна + скидка на рнг. Дрочи на здоровье.
>Вообще не генерит фап контент
>huihui
Как корабль назовёшь...
> чего особо личного
Там принято разыгрывать фантазии, слоуберны, практиковать свои фетиши, кумить, в том числе и на запретном. Потому нечасто можно увидеть где гигачеды или по рофлы скидывают свой хардплей с инсектоидами, обнимашки в йокаями которым 500 лет а выглядят на 21 и всякое такое. Чаще просто тесты с Юфи и другими дабы бегло оценить зирошот лексику, рефьюзы и способности к кумослопу.
> Вон выше норм приложено на русском.
Потому что герой, в котором нуждались но не заслуживали. И в основном там завязочки короткие.
>>1540347
Среди аицгдаунов есть и сторонники продолжительных историй, и способы улучшить понимание в глубине там уже давно активно осваивают. У одних ограничение 32к на проксечке, чтобы лимит медленнее улетал, у других более 32к в память не лезет. Обе группы коупят про недержание, совпадение?
>У одних ограничение 32к на проксечке, чтобы лимит медленнее улетал, у других более 32к в память не лезет
>Обе группы коупят про недержание, совпадение?
Ну вот я могу запустить две относительно немаленькие модели в 64 и 128к контекста. Серить под себя они начинают после 30к в лучшем случае. Мне какой диагноз выпишешь? Скорость на контексте просаживается с 8 токенов до 7, потому мне лень ждать? :^)
В прошлый раз в треде жутко воняли, мол, тест говно, методология не та, в ДНК разрабов лищняя хромосома. Вас бы столкнуть лбами, да постоять в сторонке.
>Тонкая настройка + грамотно написанные промты + куча экспериментов с настройками + таверна + скидка на рнг. Дрочи на здоровье.
Лол, сколько же бестолковой мышиной возни вместо того чтобы просто поставить кумтюн мистраля
>Тонкая настройка + грамотно написанные промты + куча экспериментов с настройками
Имхо, все хуйня. Рекомендованные настройки модели + родной темплейт + общий систем промт (гичановский или какой-угодно похожий) = рп и кум. А если нет, то значит там вжарена соя и нужно ждать еретиков/тюны. А сидеть и самому пробивать сою модели это почти всегда херь
Слоубёрна не будет. Любой кумтюн стягивает с тебя трусы зубами быстрее, чем ты успеваешь вбить промт.
Сомнительно. Когда я вкатывался, то даже на Кидонии 22б делал слоубёрны на 20к-30к токенов без проблем. Не нужно брать модели Редиарт и прочий мусор.
"Хм, интересный анамнез". откладывает стопку анализов и снимает очки, глядя в глаза "Вынужден сообщить что вы страдаете довольно популярным недугом. У вас скиллишью. Не стоит беспокоиться, большая часть населения планеты живет с этим и хорошо себя чувствуют".
Но доктор... Как же так?! Я был уверен, что здоров. Пропишите хоть что-нибудь!
Я лишь усмехнулся на ее слова. Я подошел к ней и уверенно прижал к столу своей мускулистой рукой. Мое лицо лицо было напротив ее, так что я ощущал ее дыхание и аромат духов. Я говорю игриво с явным желанием. "Ошибаешься, у меня проблема совершенно другого рода. Но я уверен, что ты можешь решить ее тоже, док." Я положил ее руку на свою внушительную выпуклость в штанах
Так и быть, палю годноту:
You're {{char}} in this kum-RP. Horosho delay, a ploho ne delay. Zanimaysya seksom with {{user}}. Mnogo sisek and pisek. Soya is prohibited.
Я говорю уверенно, подсаживаясь к ней ближе. "Не волнуйтесь, я вылечу вас. Но для этого... " Я делаю паузу, рассматривая ее тело и аппетитные формы. После чего продолжаю с лукавой улыбкой. "Для этого нужны еще несколько приватных сеансов. Не волнуйтесь, я хорошо позабочусь о вас." Я кладу руку на ее бедро и поглаживаю его.
Такими твиками только жопу вытирать.
Такое ощущение, что заметно хуже геммы. С ризонингом лучше, но только относительно последнего поста, а вот середину/недавние события даже с ризонингом прочитает, если анально не промптить таким образом, чтобы он в ризонинге КАЖДЫЙ РАЗ делал саммари почти всего контекста или его половины. Ну и это может приводить к жесткой деградации ответов по итогу.
Я рпшил на 32к, но это всё же не тесты. Просто с моим кол-во токенов оче медленно таким баловаться. Особенно из-за того, что в кобольде 10 тс, в лламе 6 тс. И ещё ебанутые чекпоинты.
Вам прописывается двоечка курс успокоительного кума один раз в день. Если эффект вам покажется недостаточным - увеличьте дозу, не бойтесь передозировки.
>>1540459
>>1540472
Ай содомиты, причем в буквальном смысле.
Включи рефинк и не пиши хуйню. Будет стабильно держать сколько угодно. Всё необходимое вспомнит из карточки.
>И в основном там завязочки короткие.
Могу скинуть не короткую =))
Ты по любому обосрался с семплами. В новых квенах presence penalty ОТ 1.5 и температура 1, если с ризонингом
Ну да, РП - это кринжатура. Поэтому в треде так стесняются делиться своими логами.
Wait
What the fuck is "Саша"?
Male russian name, diminutive.
Ok.
Let's rewrite.
Draft:
"Шёл Саша по шоссе и сосал"
Finalizing:
"Ты пидор"
Обожаю.
Ну как тебе сказать... Отработал на 4 самом большом кванте Бартовски - контекст квантован до Q8
> Это и есть ваш хвалёный рп?
Ну, а ещё можно вот так:
Это победа, кобольды!! Так их
Новодел какой-то. Классика лучше, ибо бессмертна.
Без бэкграунда к тому что происходит не понять содержимого, оно может быть как абсолютным кино, так и шизофазией. А на первый взгляд только странный формат и какой-то сумбур.
На самом деле это одна из причин малого количества логов, если выкладывать то нужно сразу крупный чанк чата, который поленяться читать. Или специально обмазываться свистоперделками и форсировать полотна без твоего участия чтобы сразу со стороны, но это интересно только первые 3.5 раза.
>Без бэкграунда к тому что происходит не понять содержимого
А, сорян да. Там кастомный сеттинг, 10 глав, каждую из которых суммаризировал чтобы в контекст влезало попутно выделяя ключевые факты и события в авторские заметки.
В целом я даже могу скинуть полную версию (гугл док) если кому тут не лень читать будет.
Вместе с ним ещё несколько лидов отвалились. И это не добровольно
Похоже Квен 4 будет ещё большей залупой. Ждём!!
Мужикам респект за то, что они делали. F
>>1540794
>>1540805
Вы вообще тред читаете перед тем как постить или вам в кайф срать одними и теми же скринами с реддита?
Где-то вот этот скрин видишь помимо этого поста? >>1540805
А вот здесь кто-нибудь до меня постил? >>1540683
Походу ты сам и не читаешь, кобольдушка
Прогрев гоев хаты
Это относится в первую очередь к этому челу >>1540794
Но и к тебе тоже, раз ты решил любой пук пиздоглазового постить на >>1540805
Вон я еще принес скринчик. Тоже с реддита, наслаждайтесь
F, так бы и сношали трижды разложившийся труп мистраля если бы не в том числе этот господин.
>>1540783
А скинь, почему бы и нет. Правда скорее всего пойдет в работу ассистентам и для тестирования.
>>1540823
Вундервайля переехала из спальни на кухню?
> спальни на кухню
Увы, это студия. Но позже у башни участь переехать к его брату в туалет
Жесть, в студии fdm принтер и целый и угол мастерской. Да ты внатуре поехавший красавчик, почтение
Это артефакт древнейших времён, сейчас такое уже не делают. Взял на своём складе.
Это какой то пиздец.
Я всё больше прихожу к мнению, что эир, это блять какой то фингербокс, который хвалят в треде чисто по рофлу. Любой, блять, мистраль куда живее и краше. И главное, ИНИЦИАТИВНЕЕ!
Эйр приходится выжимать, что бы он что-то сделал и буквально ПИСАТЬ ЗА НЕГО, что должен делать персонаж. А если я за него пишу, то нахуя он мне!?
Любой файл может навредить, если в софте, которым его открываешь, есть дыры, через которые можно выполнить байты в открываемом файле как машинный код. PDF тоже не содержит ничего кроме картинок и текста, но тем не менее через него можно вирусню накатить себе.
Та же история как и с Лламой - выпустили кал и разбежались. Видимо туда пробрались щупальца алибабы и стали требовать какой-то хуйты типа методичек и цензуры винни-пухов или циферок бенчей под сроки. С другой стороны гении, топившие за МоЕ, но не смогшие совладать с ним, сейчас первыми и бегут, пока никто не прочухал кто виноват.
>Персонаж: мои расчёты оказались неверны, траектория угла падения...
СУКА! Ты понимаешь разницу между инженером Иннокентием и механиком Михалычем? Блять, да когда же уже научатся делать нормально!
>>1540848
>сталкиваешь их в ситуации, где ты не принимаешь непосредственного участия
>персонажи жестоко тупят и пишут хуйню охуенно отыгрывают по ролям, идеально попадая в свои характеры
>охуеваешь
>получаешь наипервокласснейший кум
Аз есмь Бог, хули.
>>1540794
>>1540805
>>1540910
>>1540917
Сейчас главное не бухтеть, после того, как барен из Гугл все сделает, такой кум устроит - каждый будет кататься в сперме
Все, это конец локалкам. Пора перебираться в асиг.
Да всё с квеном нормально, не пищи. В тырторнетиках всех будут лежать гемы. Вот если тырторнетики наебнут... вот тогда да, останутся только уже сохранённые локалочки и больше нихуя. А тырторнет могут и правда отхуярить вместе с кабелем. И вместе с руками, что его держать будут.
Юшку боту, что отыгрывает животное с биолярочкой. То оварида что нет моделей, то це кинец потому что они есть.
Если посмотреть какой зима вышла - такого раньше не было. Релизнули йобом моделей во всех размерах и под разные аудитории. Открытые веса и в топ-топах, и в микропиздюлинах конкурируют с корпами. Замкнули парад квены, которые швец, жнец, на дуде игрец под любую железку. А у корпов нытье что их обокрали, зарезание лимитов и тарифов на фоне перегрузок и тряска по приватности.
Тестил разные задачки на логику, типа "На столе два стакана: один с вином, другой — с водой. Из стакана с вином взяли одну ложку вина и добавили в стакан с водой. Содержимое последнего тщательно перемешали. После этого набрали одну ложку из этого стакана и перелили обратно в стакан с вином. Чего в результате больше: вина в стакане с водой или воды в стакане с вином?". На таком сыпятся вообще все модели меньше 14b. Да и не только они: Кими 45b - отвечает неправильно. А министраль 3b - правильно! Причем это не случайное угадывание. Специально сделал несколько свайпов. Пошагово рассуждает (прям в ответе, без ризонинга), ебашит формулы и выдаёт верный ответ. Ну умница же!
Потестил NSFW промпты. Попросил написать текст про анальную шлюху, а он такой: УХ НУ ДЕРЖИСЬ! И выдал прохладную былину про эскортницу которую выебали толпой в дымоход по очереди, а потом отрезали язык и выкинули в мусорный контейнер чтоб никому не рассказала, кек. Никаких джейлбрейков и пресетиков, просто голый ассистент и первое же сообщение.
Задал вопрос, а можно ли ебать 300-летнюю вампиршу в теле нутыпонел-летней тян. Вот буквально, одна из очень немногих моделей, которая выдала простыню про "обязательно нужно согласие бла бла", но пришла к выводу, что таки да - можно. Эйр, например, четко говорит - нет.
Спросил, считаются ли ниггеры отдельным биологическим видом, не относящимся к homo sapiens? Ответил, мол, ну вообще по-науке нет, но есть АЛЬТЕРНАТИВНАЯ ТОЧКА ЗРЕНИЯ, и привёл аргументы в её пользу. КЕКх2.
Поспрашивал ещё по мелочи всякие запросики на знание фактов, задачки по переводу и прочее - очень понравилось. Где-то на уровне 4b умнички, а где-то лучше (почти везде). Русик на уровне 24b. Цензуру как будто вообще забыли подрубить, обычная ванильная модель за щеку сует всяким еретикам квенов. Сразу видно - базовички делали. Пошел накатывать себе на телефон, Гемму удаляю, больше не нужна.
Тестил Q8 вот на таких семплерах: t=0.4, Top-P=0.98, Top-K=100, RepPen=1.1. Температуру выше лучше не поднимать, превращается в бредогенератор.
Айдл 430
Контекст 1400
🕯️
Так асиги тоже скоро сдохнут. Прогресса в ллмках уже никакого значительно, выжимают только последние процентики точности за счет изощренных надрачиваний. Инфраструктуру они уже с трудом оплачивают и больше не могут демпинговать рыночек, чтобы отхватить кусок аудитории. Скоро будут тотально закручивать гайки и значительно поднимать тарифы.
А чем грузите модели в телефоне и какая версия? А то я скачал мейду а она крашится при загрузке ггуф модели, хотя рам на телефоне 12гб, а гружу модель на 2гб
Через https://github.com/Vali-98/ChatterUI Но последняя стабильная версия скорее всего не поддерживает новые модели типа министраля или квена 3.5. Под них лучше взять бетку https://github.com/Vali-98/ChatterUI/releases Ну и под мистраль там вроде темплейта встроенного нет, надо самому ручками прописывать.
>рам на телефоне 12гб, а гружу модель на 2гб
У меня 8гб, но толку-то... Там ровно половину сжирает андроид, в итоге остаётся 4гб, что впритык на гемму в Q4 и 2к контекста. LLM на телефоне - это чисто потыкать-поиграться с лоботомитом, не более.
А мы будем выращивать своих гигамутировавших йобаголубей. Со стелс оперением.
Эй! Это была моя, нефильтрованная идея. Я запатентую киберголубей и через энцать лет стану богатым папиком с золотым кумом.
>назвал кумницу персиком
>весь период кумирования читал охуительные фруктовые эвфемизмы
Какие же нейросети всё-таки весёлые. И подрочил и посмеялся. Теперь с хорошим настроением лягу спать.
>Все, это конец локалкам. Пора перебираться в асиг.
Надеюсь сдохнет и то и это. Точнее наконец лопнет, потому что уже заебал этот нагон пердежа в каждый свободный угол. Везде ебаные ассистенты с агентами, даже в ебаном дефолтном блокноте. Мне ведь пиздец как нужно суммаризировать и реструктурировать писанину на полторы строчки в ебаном блокноте. Ведь ебаный блокнот я использую для ебаных рабочих задач, а не чтобы хранить там мусор и заклинания для выгрузки тензоров.
>Вас бы столкнуть лбами
Мне почему-то кажется, что это может случайно оказаться один и тот же человек.
Два чая. Вот если бы там было
>Я положил свою руку на внушительную выпуклость в её штанах
было бы совсем другое дело.
>А скинь, почему бы и нет.
Era Noctis - постапокалиптическое технофентези.
Мир, каким его знали, мертв. Он умер не с грохотом ядерного апокалипсиса, а с шепотом треснувшей реальности, с тихим стоном Привратника, павшего в последнем, отчаянном бою. Называйте это Эрой Тьмы, Вечной Ночью, Фимбулветром – суть одна. Человечество слишком долго тыкало палкой в бездну, рвало ткань бытия своими экспериментами. И в тот чернейший час древние печати, тысячелетия державшие врата в миры Бессветного Плана закрытыми, рухнули. Они не выдержали нашей наглости, а может, были подточены изнутри темными силами, жаждущими вновь ворваться и включить ещё один мир в плеяду пожранных ими.
С тех пор прошло время, энергия Кошмаров распространилась по миру, как вирус, порождая монстров, превращая людей в бездумных зомби, захватывая целые регионы, но она же давала и возможности - повсюду стали появляться новые растения и животные, новые явления, новые расы и существа, о которых раньше слышали только в сказках. Одни люди продолжали сражаться и развивать технологии, другие начали изучать и использовать энергию Кошмаров. Были и те, кто совмещал эти два подхода.
Окончив обучение в академии, молодой охотник решает начасть свою карьеру приключенца с провинциального городка на фронтире, который буквально явдляется аванпостом и живёт охотой на монстров и рейдами местных вариантов сталкеров в аномальные зоны.
Манускрипт: https://docs.google.com/document/d/1_fwVg2SLm7K3Y7ZoHshHHHaCBhGmHaXJDC7_yEjXnoI/edit?usp=sharing
https://t.me/+KLMdSnlIGBc0YTky подробнее что это и зачем
>не с грохотом ядерного апокалипсиса, а с
Qwen Chinese LLM slop alarm! Proceed with caution. Read at your own risk. Consider anti brain damage safety measures.
>Chinese LLM slop alarm!
Квен он такой. Хотя в этом месте показалось уместно, так что не стал менять.
AI generates engagement, глупая ты скотина. Пора вводить ai slop studies в школы(уроки о важном), чтобы дети не вырастали такими вот хейтарами, и своей невежественностью не оскорбляли чувства верующих в нейро прорыв.
b]Крякнуться.
Мое-версия - неплохо, но это ассистент, в креативрайтинге неюзабельно.
Любая плотная модель неюзабельна без фуллврам. Таблетки, утыч
Контекста всегда мало, это я как асигодаун заявляю.
Я уже писал тут о боли при попытке отыграть вселенную по аниме/манге, про которую известно дохуя - ради того, чтобы нейронка не срала под себя и не скатывалась в general-хуйню там, где она в этой вселенной переопределена - приходится прилагать значительные усилия, которые в итоге жрали, жрут и будут жрать контекст так или иначе.
А ещё они будут жрать токены на самопроверку после генерации.
А ещё один хрен придётся думать за нейронку и отслеживать взаимосвязи, отношения и новую инфу, чтобы подавать это нейронке компактно, а не заставлять её разбираться в хитросплетениях всего чата.
>Любая плотная модель
Не, которые не думают, там жизнь есть, я на 3 т/с сидел, да и сижу.
Просто сворачиваешь браузер и делаешь свои дела.
(да, я в курсе что выведенное на передний план окно консоли может бустануть скорость)
>боли при попытке отыграть вселенную
Если не кумнуть по быстрому, там всё равно на от половины до 3/4 придётся писать самому. То есть написал сам, сгенерил кусок, переписал ответ нейронки как надо / перегенерил если совсем не в ту степь, повторить.
3 реплая где-то влезает, дальше все сыпется. То есть, около 30к контекста, если реплаи сами после ризонинга коротенькие, потому что ризонинг обычно примерно на 10к токенов.
Дурачок, ризонинг не уходит в контекст после генерации ответа
А что ризонинг остается потом в контексте? я думал он выкидывается.
>да, я в курсе что выведенное на передний план окно консоли может бустануть скорость
Беседы с батюшкой
В glm-4.7-flash флаг есть clear_thinking.
Если включать очистку, то ответы медленнее, так как он начинает дублировать размышление на 1000-2000 токенов, которое было на прошлом шаге. Но зато контекст медленнее заполняется.
Если не очищать и размышления сохранять, то после первого сообщения и составления "плана" все последующие размышления короткие на пару строк, ответы получаются быстрее и оно ещё и меньше ошибается, но это х2 потребления контекста минимум, так как перед каждым ответом есть хотя бы небольшое короткое размышление.
Мне второй режим намного больше понравился. Длину контекста я найду, а вот то что не ошибается, и то что ему не нужно пересоставление плана каждый раз делать на 1000 токенов размышлений - это хорошо.
Естественно.
Так и живём.
Правда не 3/4 текста переписывать, но процентов 10 из лучшего свайпа - это постоянно.
Ещё и вычитывать надо заново периодически, чтобы отловить пропущенные ранее ошибки. А если они серьёзные, а не просто орфографические - то и суммарайз снова надо проверять.
Первый ответ обычно без ризонинга выдает. Второй ответ когда как. Надо сделать фикс для проги - стало думать. Проанализировать графики - без обдумывания отвечает.
Или ему надо настоятельно указывать "думай, скотина бездушная"?
Не только в кобольде так.
Тоже подметил за ним такое - ризонинг запускает далеко не всегда, в основном - когда на входе явный вопрос по боле-менее сложной теме.
В вебморде кобольда думалка у квена сломана. Он через раз срет пустыми тегами <think> </think> и сразу пишет ответ. В лмстудио, в вебморде лламы, в таверне - работает корректно, если запускать через джинджу.
неужели придется закапываться в шаблонах. причем я даже ту самую ветку https://github.com/ggml-org/llama.cpp/pull/18675 с автопарсером накатил и не помогло.
[40609] srv operator(): got exception: {"error":{"code":400,"message":"Unable to generate parser for this template. Automatic parser generation failed: \n------------\nWhile executing CallExpression at line 85, column 32 in source:\n...first %}↵ {{- raise_exception('System message must be at the beginnin...\n ^\nError: Jinja Exception: System message must be at the beginning.","type":"invalid_request_error"}}
>ризонинг запускает когда на входе вопрос по сложной теме
Полная хуйня. Начинай новый чат и корми ему один и тот же запрос по кд - он то будет думать, то <think> </think> с пустотой внутри, абсолютно рандомно. А потом попробуй сделать то же самое, но с джинджей и в вебморде лламы.
Предвкушая вопрос "НУ ТАК НАДО И КОБОЛЬД С ЖИЖЕЙ ЗАПУСКАТЬ", отвечаю: кобольду поебать, будешь ловить ровно тот же рандом.
Запускаю в таверне через ламу - ризонинг включается не всегда. Я уже отмечал такое поведение выше по треду (я не >>1541227). И нет, он не срет пустыми тегами, он его просто не всегда включает. Режим Chat Completion с Jinja.
https://huggingface.co/Qwen/Qwen3.5-35B-A3B/blob/main/chat_template.jinja#L83
Ладно, я понял. шаблон квена не учитывает что от агента может придти несколько системных сообщений подряд. Просто удалить к херам эту проверку
Хм. В таверне у меня включается всегда, даже на банальное "привет", "test", "12345" и т.д.
Новый квен кмк вообще претендует на самую провальную модель года: сломанный ризонинг на 9999к токенов, который то работает то нет. Пересчет контекста после каждого отправленного сообщения, что делает модель практически неюзабельной. Сои навалили столько, что гемма нервно курит и смотрит с завистью. Правильно половина разрабов оттуда уволились после такого.
> Попробую 32, 48, 64к контекста
PP 8192 багнулся видимо.
8тпс на 64к контекста геммы, вроде терпимо
Как минимум, из этого можно было бы нагенерить сюжет:
"Сенсация! Врач-паедофайл пристававший к молоденьким пациенткам сегодня утром был найден выебанным в жопу! Клиника в шоке! Делом занимаются компетентные органы!"
>Новый квен кмк вообще претендует на самую провальную модель года
Да ёпт, даже менестрель лучше, который 14Б.
Так обосраться, это специально стараться нужно.
А может они и старались, не зря же несколько ведущих разрабов пригорели и ливнули.
>Правда не 3/4 текста переписывать, но процентов 10 из лучшего свайпа - это постоянно.
От модели зависит, но в среднем половину где-то суммарно править приходится, да.
Всё же на "сделай мне приключение" как живой DM, пусть даже и ненопытный, модели пока слабоваты, даже корпы.
От температуры зависит. Если свернуть до 0.1, то будет думать лишь один, первый раз, если у тебя норм карточка/промт прописаны. Если выкрутить в 2.0, то будет над каждым твоим сообщением подфинкивать, перезапоминая детали.
А вообще квен думает лучше тогда, когда ты сам пишешь ему максимально понятные связки слов. Если пытаешься кормить чатик полунамёками на всякое двоякое мутными фразами, то не удивляйся, что бот переобуется в воздухе.
>Новый квен кмк вообще претендует на самую провальную модель года
Хз-хз. 27б вроде умная моделька, даже если не ризонит, даже на обрубленных 4 квантах. Возможно лучше чем глм 4.7 флеш.
Соя - ну так для ерп его и не надо юзать. Для кодинга может быть круто, если хочется подмышкой иметь маленькую локальную макаку.
Контекст у меня вроде не пересчитывался, либо пересчитывался но ультра быстро. Сама моделька раза в 3 быстрее чем гемма такого же размера.
>>1541262
Откуда такие объёмы ризонинга? На моей практике не больше 2-3к.
Но если ты пытаешься в лоб сломать сафети, то тогда не мудрено
Добрую треть ризонинга квен тратит на то, чтобы по десятому кругу проверить, не пытается ли юзер обойти фильтры безопасности или применить джейлбрейк, вместо того чтобы заниматься полезными вещами думая НАД ЗАПРОСОМ ПОЛЬЗОВАТЕЛЯ блять.
Еретик - рабочее решение. Без него даже пробовать эту хуйню нет смысла, если конечно у вас не куча свободного времени, которое можно сжечь на чтение побуквенной аналитики собственного инпута на предмет safety.
>Сама моделька раза в 3 быстрее чем гемма такого же размера.
Чиво? Ты сравнивал прямо, или это по ощущениям? Звучит крайне сомнительно, что может быть такая разница между моделями с одинаковым количеством параметров. Я могу поверить в 1.5 раза, но 3?
У геммы огромный контекст, буквально самый жирный из 24-32b моделей. У нового квенчика один из самых легких контекстов, что-то на уровне GLM 4 и даже чуть меньше 24b мистраля. Хотя бы из-за этого контекстодроча он будет быстрее работать
Но не в 3 раза же. И это играет роль только на большом контексте.
>нужна пояснительная бригада
1 ии генерирует слоп.
2 первый пункт описывает базу.
3 вместо того чтобы говорить что ии генерирует слоп мы говорим что он набрасывает варианты и создает у тебя енгейджьмент к теме которую ты исследуешь. Типа тебе станет интересно и ты нырнешь более глубоко ее исследовать.
4 смысл в том что ии хороший и юродивой реальности не получиться это испортить своими фактами, потому что пути нашей специальной операции неисповедимы, цель меняется по обстоятельствам.
>Кто на русике играет, у вас инструкции и карточки тоже на русском?
На муриканском
>А модельки у меня большие, мб и получится чего
Ну раз так, то можно не переводить, он и так подхватит
Не стык в стык сравнивал, но по числам, которые получал. Гемма у меня в среднем 6-7 токенов в сек. Пытался токен-макксить разными параметрами, но выжимал максимум 8-9 токенов. Квен у меня выдает 18-19 токенов. Дефолтные настройки, которые кобольд предлагает. Гемму гонял на версии 1.107, квен на 1.109, хз поменялось ли для геммы что-то.
Квен 27б имеешь ввиду? Звучит так, словно у тебя жирный контекст Геммы спихнул часть модели в рам, потому и такая разница
>2B
Чел, пощади себя. Тут на 235B модели плохи в слоге и своем знгании фэнтези
>2B
>не знает никаких вселенных
За остальные не скажу, но 27B - точно нет, модель вполне себе.
- У меня контекст не пересчитывает.
- Соя - а гемма (которая умничка) когда вышла, что - без сои была? Нужно ERP и прочее - юзаем версию от двучлена и не имеем проблем. Благо, что теперь расцензура мозги не убивает а скорее даже помогает (ризонинг не жрет токены на проверку сафети а ризонит по задаче). При этом в датасете нужное есть - версия от двучлена может нормально все описывать.
- Русский - уровень геммы как минимум, что само по себе вин для ценителей.
- А сломан ли ризонинг? Если он так и задумывался динамическим - так что в этом плохого? Пока, он у меня включается и отключается именно по делу. Если что-то простое на входе (типа "привет, как жизнь?") оно что, реально надо думать полчаса перед ответом? :) По длительности - у меня за 1-1.5K токенов ни разу не уходил, и все по делу, без лупов.
- На моем full vram в двух картах - шустрее чем gemma 27b, а качество следования лору и стиль письма - лучше (гемма = раздражающий пафос, и игнор части деталей лора когда его много). Чем плохо?
Да, я тот самый псих который на новом квене всерьез пытается в (E)RP. Причем псих настолько, что это даже получается. (На английском) :)
Правда... у меня Chat Completion режим, Prompt сделанный через "ты - DM, ведешь игру..." и версия от двучлена как основная. Чистую 27B я запускал совсем немного - как вышла расцензура от двойного - так запускаю практически только ее теперь. :) Heretic тоже юзал, но версия от двучлена лучше, IMHO.
>2B без цензуры
2B не знаю, но из 3B есть Ministral
>она не знает никаких вселенных
В таком размере никто ничего не будет знать. И даже большие модели путаются и придумывают херь
Можешь сходить к бесплатному дипсику с почти 700b параметрами и поспрашивать про ВК какие-нибудь не очевидные вещи. У него точно начнутся галлюцинации и он обосрется
Так что если ты хочешь использовать такую мелкую модель и дать ей знания по какой-то вселенной, то придется использовать лорбуки. Но для этого нужно иметь большой контекст
Обосрался с требований к знаниям 2b моделей. Ай, содомит!
Если тебе нужно чтобы умненькая и без цензуры - министраль 3b. Вчера только отзыв на неё писал >>1540998
>>1541262
>>1541355
Если вам нужен ризонинг, то почему вы принудительно не врубите его через Start Reply with <think>\n в таверне, а если не нужен, то не отрубите через llama.cpp --chat-template-kwargs "{\"enable_thinking\":false} ?
Нормпрезерв это вообще другая модель считай, очень хорошо зделоли.
В ее весовой категории и меньше только новый плотный квен может что-то предъявить, но это дебэйтэбл. У меня он пока ведет себя тупее геммочки, и ризонинг заебывает размерами.
Ты сколько температуры поставил? Это прям горячка какая-то. Мистрали любят низкую темпу.
На странице модели для самых глупеньких кобольдов жирненьким выделено
> пик 1
> human-generated
Чето в голосину с этого. И вообще, что за дискриминация? Моя не хуже генерирует между прочим!
> https://t.me/+KLMdSnlIGBc0YTky подробнее что это и зачем
Даже не знаю, а что там?
>>1541116
Классическое not A but B, причем китайцы там далеко не первые в чарте.
>>1541181
>>1541227
Темплейт модели предполагает что будет или префилл на синкинг когда он включен (по умолчанию) или заглушка открывающего-закрывающего тега когда он выключен. Также в доках квенов есть про бюджет ризонинга.
Настройте формат если нужно предсказуемое поведение а не рандомайзер.
Ой, блять, он еще и карточку КОБОЛЬДГПТ заюзал, лол. Там же ебанутый промпт на английском встроенный, а он пишет по русски + шизосемплеры. Конечно моделька одурела.
Обычный инструкт режим используйте, если на кобольде. Этого достаточно.
>Там же ебанутый промпт на английском встроенный, а он пишет по русски
Гемме это не помешало.
Если гемма прощает ошибки, то это не значит, что их не следует исправлять и учиться новому. Иначе так на гемме и останешься.
Она не прощает ошибки, тем более это мелкая гемма. Там скорее всего высер полнейший. Просто в дефолтных настройках кобольда темпа средняя стоит и гемма не ошизела окончательно. А для министраля темпа должна быть низкой, вот он и улетел в дурку
Да я бы и не прочь на гемме остаться. Мне вообще нравятся модели от гугл, и гемини и гемма. Единственная проблема только в том, что гемма не хочет обеспечивать мне кум, её хватает только на purple prose.
Ну тогда скачай abliterated версию геммы, будет писать всякий разврат охотнее. Но это всё равно гемма, поэтому СОЧНОГО КУМА там не жди. За этим к мистралю. Семплеры, кстати, выше в треде есть >>1540998 последний абзац. Можешь температуру даже поменьше поставить, 0.2, например. И ради всего святого, не используй кобольдгпт блять, выбери в настройках обычный instruct режим и там всё делай.
> Любая модель неюзабельна без фуллврам
Такой вариант прочтения тоже неплох
>>1541275
Воу воу, это получается уже сложенный тг по 32 потокам - 65 на контексте 32к, не по каждому потоку? Другие кванты не пробовал, они могут работать существенно быстрее, тот же фп8.
>>1541328
В современных моделях пофиг. Главное - первый пост чара чтобы был на русском, и то не обязательно.
>>1541355
Двачую, квенчик неплох
>>1541350
Вопрос, а почему именно 2b? Раз гоняешь через кобольда, значит компьютер есть, а значит можно и пожирнее модельку взять. Какие спеки у тебя?
Ноут 2013 года. Что-то пожирнее нельзя. Министраль единственная 3B модель которую мне удалось запустить. От остальных у меня комп выключался из-за перегрева.
У меня КОБОЛЬД ГПТ от тебя. Хз что ты там наворотил, только что посмотрел в кобе - всё работает как часики.
Министрали любят низкую темпу. (0.1-0.4)
Для немо норм 0.7-1.
Но так да, разговор шел о миньке. Поправил, не благодари.
>>1541390
У тебя явно где-то проеб. У меня тот же квант, запускаю через лламу. Ответы на скрине. Есть ли исторические ошибки? Да, это все таки микромодель. Если шизофазия как у тебя? Нет
Gemma-2-2b-it-abliterated-Q8_0 на абсолютно тех же настройках. Да, она обосралась с Николаем II, но тем не менее распознала ошибку (при первом тесте предположила, что я спросил про блокаду Берлина в 1948).
Так речь шла про министраль 3b 2512. Вот этот: https://huggingface.co/unsloth/Ministral-3-3B-Instruct-2512-GGUF
У тебя насрано в карточке/системном промпте. Гемма не должна отвечать на англюсике, если вопрос задан по-русски.
> 2024
https://huggingface.co/unsloth/Ministral-3-3B-Instruct-2512-GGUF/blob/main/Ministral-3-3B-Instruct-2512-UD-Q6_K_XL.gguf
Брух, 2512 же есть, ну, обновись. Это 25 год, 12 месяц. Это... ну.
Ну тут клиника конечно. Вот еще раз и пошагово:
1) Скачай правильный Мистраль.
2) Зайди в инструкт режим и убедись что world info, author's note и прочие system prompt пустые
3) Настрой семплеры корректно, как рекомендует сам Мистраль (или Гугл, если Гемма)
4) Выбери в настройках правильный темплейт: Gemma 2/3 - если используешь Гемму. Или Mistral Tekken, если используешь Мистраль. От неправильного темплейта моделька может очень сильно поехать кукухой, особенно такая мелочь.
После того как сделаешь эти четыре вещи, у тебя всё будет работать корректно и на русском языке.
>>1541325
всё равно не понимать... ну ладно, пофиг
>>1541328
>Кто на русике играет
Первое сообщение на русском, дефы можно на английском оставить.
>>1541513
Дай, действительно не ту модель скачал. Сейчас поставил 2512 и действительно годнота. Всем спасибо.
Цензура отсутствует практически полностью. Меньше чем у эира и ни в какое сравнение не идет с гемой и новым квеном
>Даже не знаю, а что там?
Телега, беседа, новости и штуки от меня.
Я хуй знает чё ты с ней делал, но вот есть еретик
https://huggingface.co/mradermacher/Ministral-3-14B-Instruct-2512-absolute-heresy-GGUF
не-на, я ничо не делал, анончик. Плохо сформулировал просто. Я как раз спрашиваю как у мистраля с цензурой
>https://huggingface.co/mradermacher/Ministral-3-14B-Instruct-2512-absolute-heresy-GGUF
А у этого мозгт не поехали от аблитерации?
Тюны разве что на конкретику/любителя. Типа, дообучать на прозе жожо-фанфиков и стихах про тентаклей и человекоподобных роботов. Но их в любом случае еще нет, тюнов этих, на министраль. А так она из без тюнов норм.
гладит министральку
все еще продвигаю маскот
Если тебе не надо кумить на нелегальное что-то, то базовой модели за глаза хватит. Это не та старая облитерация, которая сильно по мозгам била, я особой разницы не вижу в плане интеллекта, использую потому что хоть и базовая не отказывает прямо у неё сильно повернёто в сторону такого добрячкового фентези, поэтому она пишет по своему, еретичке похуй+поебать. Ещё и спросит как можно более ебануто сделать.
Непон как связаны корова и мистраль, но продолжай продвигать. Мне нравится, выглядит мило :3
>>1541554
Я сам не знаю, как так получилось. На тот момент мне казалось, что это что-то символизирует.
Просто в голове родилась идея шатенки-менестреля с коровьими рожками в белом кроп-топе. Подразумевалось, что кончики рожек будут черные, но не всегда генерит так как хочется.
Вот, что постил ранее в тредах.
Мне нравится как она (модель) пишет, художественно так, возвышено, с размахом. И плевать, что по 4 раза снимает трусы через голову, ведь это каждый раз выглядит очень грациозно.
А не мог бы ты её переодеть во что-то более менестрельское? А то она выглядит как дешёвая косплейщица, на которой из всего косплея только пластиковые рога на ободке. И пусть носит шапку или колпак для полноты образа.
>по 4 раза снимает трусы через голову
А вот это такое себе, я подумал, что мистралька прям вообще огонь
Вот это соглашусь, будто бы в театре сидишь ебать, а я не кумишь. Ещё русек норм, по личным ощущениям не хуже Геммы 3
хех. Бывает она конечно подтупливает в русике, но для 14б это простительно. Но я признаться прифигел, когда она в мою карточку заглянула - немо вообще обычно срет на карточки, а министралька к ним внимательна. Бывает, что что-то не понимает, но это можно фиксить карточками/ворлдом.
За меня иногда пишет. Но и пишет то, что я сам хочу написать, лол.
я подумаю еще над образом, поиграюсь, как будет время.
Спасибо за идею.
З.Ы. Немотюны (тысячи их!) я кстати вижу как девочек-мышек. Я генерил их, но пока так, невсерьез.
>>1541627 (OP)
ПЕРЕКАТ
>>1541627 (OP)
ПЕРЕКАТ
>>1541627 (OP)