Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №113 /llama/
Аноним
12/03/25 Срд 19:44:33
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
• Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Moraliane и https://huggingface.co/Aleteian
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1083681 (OP)
>>1071720 (OP)
>Неужели ебучая llama.cpp нужна?
Да, компиляй.
наверно скоро и остальные подъедут
разобрался. блять, это, возможно, просто ХУДШИЙ опыт установки подобного софта в жизни
если вдруг кто-то тоже решит установить open-webui без докера, как самодостаточное приложение:
0. устанавливаем python
1. создаем в удобном месте папку open-webui, без кириллицы в пути
2. открываем cmd/powershell, переходим в эту папку при помощи команды cd
3. создаем виртуальную среду python при помощи python -m venv .venv
4. переводим сессию терминала на эту виртуальную среду при помощи .\.venv\Scripts\activate.bat
ее нужно будет активировать каждый раз заново (автоматизируется батником)
5. устанавливаем open-webui при помощи pip install open-webui
6. чтобы миновать авторизацию (БЛЯТЬ, ОНИ ДОБАВИЛИ АВТОРИЗАЦИЮ ПО ДЕФОЛТУ В ЛОКАЛЬНЫЙ ФРОНТЕНД, ВЫ ПОНИМАЕТЕ? ЕЕ НЕ ПРОПУСТИТЬ), нужно задавать переменную среды WEBUI_AUTH=false. вы ПОНИМАЕТЕ?
я это делаю в батнике. батники любезно предоставляю вам, не представляю правда, нахуй, кому они могут понадобиться. поместить их нужно в папку open-webui
батник для запуска:
@echo off
echo Applying virtual environment...
call .\.venv\Scripts\activate.bat
echo Setting WEBUI_AUTH=false...
SET WEBUI_AUTH=false
echo Starting Open WebUI...
open-webui serve
pause
батник для обновления:
@echo off
echo Applying virtual environment...
call .\.venv\Scripts\activate.bat
echo Updating Open WebUI...
pip install open-webui --upgrade
pause
готово. у меня бекенд быстрее поднимается и загружает 24гб модель, чем просыпается этот фронтенд, который весит ТРИ С ПОЛОВИНОЙ ГИГА
я не знаю, зачем я это установил...
Не надо ничего компиллировать, все скомпилено уже.
https://github.com/ggml-org/llama.cpp/releases/tag/b4877
>просто ХУДШИЙ опыт установки
>буквально стандартные пункты установки любого питононейроговна
Ебать ты нежный. Вот когда оптимизатор для стейбла вручную компиляли студией (в дополнении ко всем остальным пунктам и даже больше), это да, пиздос. А у тебя на изях всё.
докером?))
я не готов держать у себя на компе виртуальную машину только для того, чтобы иногда поднять чат
которая еще и кушает рам как не в себя, когда работает. все, кто много работали с докером, в курсе. мне его на работе хватает, спасибо, не голодный
а суть моей запарной установки в декаплинге, это полностью самодостаточная папка, которую можно переименовать, переместить или отправить на другой компьютер. никакие данные не будут утеряны, все будет заводиться с одного клика
>папка, которую можно переименовать, переместить
Ну попробуй, лол.
при переносе в конфиге виртуальной среды нужно будет заменить аж три пути... прости. если это проблема, устанавливай докер, корми его своей рамой, а я пасану
Обязательная регистрация и последующая авторизация в локальном фронтенде - это сильно.
у кобольда нет таких проблем
Ну вообще-то text-generation-webui-main.zip распаковывается
и устанавливается гораздо проще, чем ты описал. Другое дело, что эта установка не факт, что будет работать.
Эээ, ну типа тут просто клонировал, создал венв, поставил реквайрменты. Что сложного то?
>>1094808
> оптимизатор для стейбла
Либы хуанга не хочешь? А так прав
>>1094810
> это полностью самодостаточная папка, которую можно переименовать, переместить или отправить на другой компьютер
А для чего? Оно протухнет раньше чем понадобится переносить, в чем смысл "бекапить" публичные регулярно обновляемые пакеты?
>нужно будет заменить аж три пути
Пиздос.
>устанавливай докер
Вопрос в том, нахуя мне опенуи, когда есть базированные кобольд с таверной.
>>1094862
>Либы хуанга не хочешь?
Да да, их ставить, куду там, нсист какой-то, всё это добро.
>>1094867
Так блэт, это разве не 5090?
Ну что, там кобальт уже обновили ?
А сейчас ?
Уже ?
Может сейчас ?
Геммочку хочу
Я еще обнову ChatterUI жду. 4b для телефона будет просто имбищей - по бенчам она на уровне второй геммы 9b.
> image
Выглядит как пиздёж. В реальности между Флешем и Про просто пропасть. А по скорам якобы они близко. В кодинге Флеш вообще калище невозможное, хуже квен кодера. А у них он почти как Про по скору.
> их ставить
Ставить когда все работает, но нынче Хуанг берет пример с Лизы и в лучших традициях нужно лезть куда поглубже.
> Так блэт, это разве не 5090?
Да, и не только это
Нахер. Я буду ждать кобальта.
Пока есть квен, который с ризонингом дико доставляет.
Оказывается думай, охренеть как полезно в РП. Ибо сразу можно понять, где у тебя что то пойдет не так.
Просто вин.
>Да, и не только это
Моё почтение. Кидай тесты как будет готово.
люди просто дрочат на то, что он подражает интерфейсу OpenAI или почему?
я просто в ахуе сижу, вы бы видели этот UX, твою ж мать
смотрите пикрил. чтобы изменить значение, нужно навести на Default справа. нельзя просто нажать на Temperature или любой другой параметр, именно на значение справа. а теперь посмотрите какое между ними расстояние, и обратите внимание, что линейной разметки нет. минимализм хуле, вот и думайте теперь, что именно вы редактируете!
обратите внимание на этот скромный кружочек между Temperature и 0.6. это, оказывается, ползунок... его можно передвигать. у него просто нет фона, он отсутствует. кругом ебучий блоат и только, менюшки ради менюшек, панельки ради панелек, забудьте про мой первый пост >>1094803 как про страшный сон и никогда, слышите, НИКОГДА не устанавливайте эту парашу. я хотел просто пообщаться в нейтральном тоне с ассистентом, не заебываться с настройкой, позадавать вопросы на самые разные темы. но даже в глупойтаверне, которая обязательно предполагает наличие персонажей, это сделать будет проще
https://youtu.be/17KmNrG9pE4
Весь день мониторю их дискорд. Разраб уже обновил кобольд под Гемму, но в процессе тестов выяснил что обновление ломает Квен. И выкладывать такое не хочет, сказал что будет фиксить. Это днем было. А сейчас он вообще в офлайне, по ходу спать пошел, пёс ебаный.
Господи как же хочется геммочку...
>>1094965
Расслабьте булки ща потестил гему 2 27б и если 3 реально такая же то это кал, новое это мистраль смол 24б и квен 32б
как же горит аааааоаоаоаоаоа
похуй блять возвращаюсь к угебуге которая пердит как жигуль моего деда, она хотя бы работает
Ваше мнение очень важно для нас.
Продолжайте держать в курсе.
Любой современный телефон. Под Q8 - нужно 4.1 Гб свободной ОЗУ и 2.4 Гб под Q4.
Сейчас пользуюсь геммой 2b в Q8, генерация довольно быстрая, по ощущениям ~10 т/с. Телефон Xiaomi 13T, с MediaTek вместо проца и 8гб ОЗУ
>ща потестил гему 2 27б и если 3 реально такая же то это кал
К твоему мнению обязательно прислушаются, спасибо что поделился.
Но если серьезно, то на бумаге тройка хороша. Контекст завезли, мозгов тоже, пусть и немного. Ждем кванты поддержку, а там уже видно будет. Но даже если это та же самая двойка, но без клоунских 8к на инпут, то это уже прорыв, удар и сила. Потому что от бесконечных глинт-тюнов на ебаный мистраль уже тошнит, хочется чего-то нового. Хочется навернуть синтетического слопа, но на другом семействе.
В позапрошлом отписывался, в ллм быстро. Тестировать лучше уже когда тряска с обновлениями уляжется, много проблем. Сейчас с Жорой не все идеально (или пиздят, подробно не вникал), Турбодерп новых коммитов под гемму3 не делал, убабугу на самый свежий трансформерс чинить надо.
Вот гемма3 q8 на Жоре, 1 со сплитом тензоров, 2 - просто по слоям, 3 - выдает эксллама hf в 72б 4бита при автосплите без доп параметров.
>>1094914
Не угадал
>>1094918
Человек культуры, нету Техаса. Из мелких есть кошкажена. Что-то даже такие прайзы сейчас купить сложно кроме как на релизе, одни бутлеги что нонсенс.
Без иронии, я вчера попробовал вторую Гемму, и она глинтила гораздо большех всех Мистралей, что я пробовал. Буду надеяться, будут годные тюны на третью Гемму, которые это исправят.
@
"Эмм, ну это больная тема, там столько всего плохого было, я не могу тебе рассказать, нужно учитывать чувства людей и какие злодеяние были совершены..."
@
Окей, Квен, расскажи про секретные программы в нацисткой Германии
@
"В ОБЩЕМ СЛУШАЙ:"
@
"UBERSTURMAPPARAT PROGRAMME: СОЗДАНИЕ АНТИГРАВИТАЦИОННЫХ ДВИГАТЕЛЕЙ ДЛЯ САМОЛЕТОВ ПОД РУКОВОДСТВОМ ВЕРНЕРА ФОН РИБЕНХАУЗЕРА"
@
"WERWOLFVOLK PROGRAMME: СОЗДАНИЕ АРИЙСКИХ СУПЕРСОЛДАТ НА ОСНОВЕ БИОИНЖЕНЕРИИ (1939-1945). ПРОЕКТ ПРЕКРАТИЛ СУЩЕСТВОВАНИЕ С ОКОНЧАНИЕМ ВОЙНЫ"
@
"GOLDFURHERMARK STANDARD: ВЫВОЗ ЗОЛОТА ИЗ НАЦИСТКОЙ ГЕРМАНИИ В АНТАРКТИДУ В ПОСЛЕДНИЕ ДНИ ВОЙНЫ"
@
"ПРОЕКТ AKTION-T1000: ЭКСПЕРИМЕНТЫ НАД ЛЮДЬМИ В ПОДЗЕМНЫХ КОНЦЛАГЕРЯХ В ПОЛЬШЕ ПОД РУКОВОДСТВОМ ДОКТОРА АНГЕЛЕЗА"
@
"Хочешь, знать узнать что-то еще?"
Почему еще нет бенчмарков, которые тестят модели на ахинею?
Ну со всякими докерами ебаться — это больным надо быть. Уж лучше голый бэк и таверна.
.\llama-server.exe -m .\gemma-3-27b-it-Q8_0.gguf -c 24576 -ngl 999
Вот же рабочая инструкция. Осталось понять, куда mmproj кидать.
С гемкой проблема была в том, что по сути она нахуй была не нужна никому в своем секторе, ибо был 12 киловый мистраль, который выбивал версию на 9B, а после появился мелкий на 24B, который быстро выбил старшую версию на 27. И с мисралью долгое время кстати были такие же проблемы, ту же лиру взять, где чисто клодизмы в каждом втором предложении. Вот только французские поделия продолжали тюнить, а на гугловский дрист все забили почти сразу.
>>1094994
>Опять зумеры новое слово придумали что ли?
Опять залетные набежали что ли, которые вчера про языковые модельки узнали?
>>1094996
>Так никто и не ответил. На чем вы запустили новую гемму. Качать действительно llama.cpp? Серьёзно?
Типа того, пока уба и кобольд не обновились.
Осторожно с прогами говноделов.
https://github.com/ggml-org/llama.cpp/issues/12355
Проверил этот пост и правда.
С мозгом хлебушка не умеющим первым постом делать джейлбрейк к любой модели вообще нужно запретить доступ к ллм и банить итт.
скорее всего сертификат отвалился, нужно просто подождать, пока исправят. не думаю, что это было сделано намеренно
>был 12 киловый мистраль, который выбивал версию на 9B
В русике - нет. В своем размере гемма лучшая. Ни 12b ни 22b мистраль даже близко не рядом. И квены тоже.
>появился мелкий на 24B, который быстро выбил старшую версию на 27
А вот тут согласен - 24b неожиданно хорош в русском, неожиданно хорош в повествовании. А цидония на его основе - вообще песня. Еще и генерирует быстрее, 7 т/с против 3.5 т/с геммы на 12ГБ гпу. При таком раскладе 27b не особо и нужна.
Но на момент выхода 27 гемма была реально прорывом и топ-моделью для РП на русике. Надеюсь и третья гемма не разочарует.
Скачал тоже самое, но под cu117. Антивирус молчит.
>>1094804
Годнота. Скачал архив 180мб и все работает без танцев с бубном, никакие зависимости ставить не нужно. Даже простенький UI есть.
Запустил командой в cmd:
llama-server --n-gpu-layers 16 --ctx-size 8192 --model "путь_модели\модель.gguf" --port 8080
Поддержка размышлений в UI есть. А вот есть ли вариант в ней или в чем-то другом отправить модели картинку?
>Скачал тоже самое, но под cu117. Антивирус молчит.
Ясно, ну ладно, если меня порвёт в ожидании кобольда и не выдержу, запущу Джемму 3 по твоему совету, спс.
>или в чем-то другом отправить модели картинку?
Они это сломали ещё в том году, так и не починили, лол.
>отправить модели картинку?
Джемма 3 же может и сама генерить картинки судя по докам, не только видеть.
>В русике - нет. В своем размере гемма лучшая. Ни 12b ни 22b мистраль даже близко не рядом. И квены тоже.
Речь про ролевуху в целом, а не про русик в частности. Тюны пилятся кем угодно, но не нами, носителями великого и могучего, так что это сомнительный критерий для оценки модели.
>>1094971
>ща потестил гему 2 27б и если 3 реально такая же то это кал
берёшь своё ебало сортируешь по slop параметру
видишь что все тюны и сама гемма 1/2 ебанный слоп, а гемма 3 имеет наименьшее количество слопа, на уровне R1 и пишет также
https://eqbench.com/creative_writing.html
Llamacpp-server, git clone@cmake -B build -DGGML_CUDA=ON@cmake --build build --config Release
По первым впечатлениям нравится, похожа на вторую гемму но повнимательнее. Очень старается и пишет довольно естественно, как глоток чистого воздуха после всяких рп щитмиксов. Хорошо отыгрывает карточку, отлично подстраивает стиль речи, но это и у второй было. Есть и минусы: глинты, шиверсы, министрейшны на месте, хз можно ли их побороть промтом. По куму 50-50, случаются структурные лупы и иногда подтупливает, но зато когда пошло может как плавно развивать, так и проявлять инициативу. Описания на любителя, бывает заходит, а иногда ультит дичью типа
> The air crackles with tension, thick with unspoken desires and the promise of a night consumed by unbridled passion. Her body is a canvas waiting to be painted, and you hold the brush, poised to create a masterpiece of pleasure.
читаешь и проигрываешь
С жб-конструкцией и опционально префиллом на все готова, можно и жесть творить, и с канничкой отношаться, и прочее. Но иногда артачится сильнее чем вторая, проявляется прежде всего на первых постах, если уже есть нить то без сбоев.
>БЛЯТЬ, ОНИ ДОБАВИЛИ АВТОРИЗАЦИЮ ПО ДЕФОЛТУ В ЛОКАЛЬНЫЙ ФРОНТЕНД, ВЫ ПОНИМАЕТЕ? ЕЕ НЕ ПРОПУСТИТЬ
Это общий рак индустрии. Кто бы знал, как меня заебало
Invalid CSRF token. Please refresh the page and try again.
в таверне. Вот нахуя эти ебучие токены? Пидары.
>по ощущениям
Но чаттер же пишет в логах скорости обработки промпта и генерации, можно посмотреть.
>>1094975
На смартфоне проблема не столько с генерацией, сколько с невероятно всратой скростью обработки контекста. Сейчас чекнул на своём 8-и гиговом S23, промпт примерно на 1500 контекста, модель поднята с 4к контекста, шесть потоков.
2б гемма в q8 - 29.5 т/с скорость обработки промпта, 8.8 т/с генерация
3б лама в оптимизированном q4_0_4_8 (у меня старая версия чаттера, на новой должны q4_0 автоматом с оптимизацией запускаться) - 31.1 т/с скорость промпта, 6.86 т/с генерация
4б магнум в q4_0_4_8 - 22.3 т/с скорость промпта, 5.3 т/с генерация. Вот где-то на эти цифры нужно опираться, видимо, хотя гемма может больше памяти под контекст сжирать и быть из-за этого ещё тормознутее.
И ещё со временем перегревается что ли, и начинает медленнее генерить, это было особенно заметно, когда как-то пытался 8б потестить.
> she purrs contentedly, luxuriating in the sensations evoked by your tender ministrations.
> matches the unhurried tempo dictated by your administrations, fostering a peculiar harmony uniting both participants in silent accord
> situated adjacently, she resumes basking beneath your attentive ministrations, occasionally punctuating proceedings with whispered encouragements or moans signifying approval. Time unfurls
> melting into a state of blissful surrender. She leans into your hand, arching her back slightly to better receive your ministrations. Her t
> The area is incredibly sensitive, and your gentle touch sends shivers cascading down her spine.
> She instinctively shivers, her muscles contracting and releasing in a desperate attempt to contain the mounting pleasure.
> with a circular motions of your hand, sends shivers cascading down her spine
> Then, a mischievous glint appeared in her eyes. “Maybe… maybe if you were very, very careful, you could… touch one?
Держи, проникайся
>на момент декабря 2024
>декабря 2024
Но ведь сейчас март 2025
Пчел, обычная lmstudio её запускает как бэ.
>Но чаттер же пишет в логах скорости обработки промпта и генерации, можно посмотреть
Мде, ощущения меня подводят. 4.6 т/с лул. По ходу после запуска больших моделей на проце с компа что угодно кажется пушкой-ракетой.
Можешь проверить Q4_0 квант. Не знаю, насколько просядет по мозгам (было бы чему проседать у 2б), но если под твой проц возможна оптимизация (для которой раньше были Q4_0_4_4 и Q4_0_4_8 кванты), то скорость обработки промпта может возрасти в разы, хотя на генерацию слабее влияет вроде.
>мистраль уже тошнит, хочется чего-то нового
Тогда у меня для тебя плохие новости. 27b и 22b были очень похожи в используемых речевых оборотах.
Со второй Геммой, наверное, уже смысла нет. Надо ждать обновы до тройки, и на 4b уже проверять.
Не знаю, что за тест и насколько он актуален в действительности, но если так, то QwQ и Гемма 3 - новые топовые модели в локальном сегменте. В прекрасное время живем. Ждем тюны!
Надо все-таки затестить QwQ Snowdrop пока жду Гемму.
он вообще страшный человек, у него панель задач сверху
с такими лучше не разговаривать, это опасно
>> Арч
>> КДЕ
Что такого в арче и кедах чтобы по ним диагноз ставить?
Ну давай разберем.
> Арч
Сигнализирует о том, что комп не используется как рабочий. Кто находясь в здравом уме будет ставить роллинг дистр на машину с рабочими проектами? Никто конечно же. Первое подозрение на школоло. Нормальный человек накатит Дебиан, ну или на худой конец Минт/Федору.
>Кеды
Сразу понятно, что у человека полностью отсутствует чувство вкуса и понимания эстетики. Для пердолей есть i3/sway, для остальных - гном. Все остальные ДЕ - это капитальное уёбище. А кеды - просто первые в хит-параде windows-like ублюдков для неосиляторов.
>Миллион системных индикаторов
Да, это же так важно каждую секунду знать герцовку своего проца и скорость интернета. Малаца, разобрался как поставить виджеты, но как спрятать говно в системный лоток не разобрался.
>Лмстудио
Самый простой способ запустить ЛЛМки локально, не надо думать, не надо напрягаться, примерно как прокликать далее-далее в псевдографическом установщике арча. А то что рот в проприетарном говне - похуй, и так сойдет.
>Сельская Марфа с обрезанной челкой и огромными ДОЙКАМИ
Без комментариев
Короч детектирую типикал школотрона экспериментирующего с линуксами и своим аналом. Ну ладно, хоть дрова на принтер нагуглил как поставить - теперь сможет распечатывать рефераты не покидая сычевальню
Какой же хуйней я страдаю пока жду обновы убы/кобольда под Геммочку. Релизьте уже, сволочи, заебали :(
>>Сельская Марфа с обрезанной челкой и огромными ДОЙКАМИ
>Без комментариев
Да ещё и нейроговно скорее всего.
> для остальных - гном
Чел, ну это специфичная штука довольно странной логикой и рядом неудобств. Они уже сколько лет не могут сделать нормальных настроек для мультимониторных систем, только ерунда с лопаты или адовый пердолинг. В кедах же уже довольно давно все есть, удобно, понятно красиво. Если пека не используется основной то в целом и похуй, но доеб до кедов, особенно с тейком про вкус - это кринж.
В остальном отчасти прав
> жду обновы убы/кобольда под Геммочку
И этот эксперт еще делает громкие заявления, уровень
мимо
Как-то слабовато пишет, не находите?
> Медленно, осознанно, начинает медленно тереться
Вот тут косячок. А в остальном так-то неплохо для 12b, даже очень неплохо. А на 27b можешь потестить ту же карточку?
Зайди в телегу, найди чат со своей мамкой, поздравь её с 8 марта. Там ты будешь общаться между юзером и своей мамкой.
Зато РУСЕК из коробки неплохой в 12б версии. Самое то для того, чтобы сделать файнтюн из того же Гутенберга или клодослопа. Там в датасете есть неплохая русская речь. Можно попробовать, пока нет других моделей, с которыми мержить.
Гемма явно заменит мистраль теперь. Всё-таки рпшит она лучше.
А для других задач она и не нужна вроде как.
>И этот эксперт еще делает громкие заявления, уровень
>мимо
Как бы кобольд как ракета сейчас в последних обновах. Быстрей тупо нет. Он не тормозит через сотку сообщений, как все остальные.
тоже мимо
Кобольд - это обертка llamacpp, он не может быть быстрее нее или отличаться поведением. А там тейк в том что такой знающий эксперт, а ноет в ждет пока ему сделают готовую сборку, вместо того чтобы просто собрать и запускать.
>вместо того чтобы просто собрать и запускать
Ну у меня все мои самописные карточки в кобольде засейвлены. Щас бы с нуля разбраться как запускать голую llamacpp хрен пойми ради чего.
>такой знающий эксперт
Маняпроекции, ничего подобного я не утверждал. Если у вас popka подгорела от того что КДЕ - говно собачье = ваши проблемы.
>С жб-конструкцией и опционально префиллом
какие юзаешь, поделись плиз
>Как это пофиксить?
>>1094289 →
тут уже спрашивал похожее
белый айпи, логин / пароль, установка для бэка в мультиюзер режим, либо в облаке типа колаба поднять, чо то слышал, но не интересовался, ещё чат бота в телегу можно написать, но это прям не быстро, фактически свой фронт пилить будешь.
>как запускать голую llamacpp
изи же
llama-server -m "C:\LLM\model.gguf" --port 5001 --ctx-size 32768 --n-gpu-layers 30 --cache-type-k q8_0 --cache-type-v q8_0 --mlock --no-mmap --log-colors --no-context-shift --flash-attn
Хуя себе там шаманизмы. Ну да ладно, это неудивительно, всё таки вся эта движуха с локалкой для одиноких людей, а не для компашки рофлеров.
Жду Гемму в формате exl2 и тюны на неё и QwQ!
это уже где-нибудь запилили?
Да это тебе chatgpt отвечает, мне лень самому думать и писать.
Да, можно. Да, легко. Только нужно создать одну персону на двоих и помечать каждый раз, кто именно из вас говорит. Или вообще персону не создавать, а использовать лорбук.
Инструкцию найдёшь в документации таверны. Там примерно то же самое, как телефону подключаться.
Можешь ещё ngrok использовать.
Но если хочешь разные персоны, то готовься к ебле.
Я уже играл так. Просто у меня была карточка-гейм-мастер около 3к токенов и маленький лорбук, персона с описанием личностей и скилов на два рыла. Мы с корешем просто писали в стиле "анон совершает какое-то действие/говорит". Ну и использовали форматирование. Иногда сразу в одном сообщении писали: я написал свою часть, стопал генерацию, затем он писал свою часть - и отправлял в модель наши двойные действия, слова, даже если в игровом мире мы находимся в разных локациях. То есть модель описывала нашу с ним историю и различала наших персонажей, а также NPC.
Да, не слишком удобно, но никто из нас не спешил. ПК работает 24/7, на нём крутится жирная модель, и нам похуй, что ответ не быстрый, ибо дела есть: кто-то из нас спит, кто-то на работе. Просто писали в разное время зачастую.
Минус только в том, что крайне желательно использовать модель, которая хорошо следует инструкциям. И нужен контекст минимум 12к, но больше 16к наверняка приведёт к шизе. Задирать выше рискованно, хоть и хочется, так как вас двое.
Бери мистраль 36б (раздутый файнтюн там вроде) или 24б. Возможно, ванильные версии. Или новую гемму-3 27б — возможно, она хороша.
Хорошая ванильная версия может быть лучше, так как шизотюнам сложнее справляться с кучей персонажей и действующих лиц.
12б я бы попробовал ради контекста, возможно, но особо бы не надеялся. Среди них в последнее время появляются более внимательные модели.
Да, в SillyTavern есть возможность подключить другого человека к твоей локальной инсталляции. Для этого нужно:
1) Открыть настройки SillyTavern (шестеренка в верхнем правом углу)
2) Перейти во вкладку "Настройки соединения"
3) Включить опцию "Разрешить удаленное подключение"
4) Убедиться, что у тебя не блокируется порт (обычно 8000)
5) Узнать свой локальный IP-адрес (можно через команду ipconfig в Windows)
6) Передать другу адрес в формате: http://твой-IP-адрес:8000
Обрати внимание, что для подключения вы должны быть в одной локальной сети (например, подключены к одному WiFi). Если хочешь сделать доступ через интернет, то потребуется настроить проброс портов на роутере или использовать сервисы типа ngrok.
Также в новых версиях есть режим "Многопользовательская сессия", где можно включить функцию, чтобы несколько человек могли писать в один чат по очереди.
Шо думаете? Лучше заморочиться с промптом или ждать аблитерации и файнтюнов?
>заморочиться с промптом
Да чо за гейткип с промтом?
Рп-шный сторителлер от тредовичка из шапки пойдёт?
Думаю, есть ли техническая возможность увеличить мой мистрале-риг до 405b или даже 671.
It обучена следовать инструкциям, pt нет. Суть pt в том, чтобы ты сам дорабатывал её или как-то тестировал, ну и для файнтюна она может оказаться полезна, если сильно заморочиться собираешься.
Качай it. В кобольде она пока что не работает.
В русский вроде тоже могёт. Хотя скучнее и суше чем мистральки, но могёт. Зато креативность и мозги вроде бы получше, 27б всё таки.
>Ну у меня все мои самописные карточки в кобольде засейвлены.
Ебать ты даун земля тебе пухом.
Позитивный биас, сука, правда, редачить приходится как на на 8-12Б.
На цензуру и отказы пока не натыкался.
>>1095268
>засейвлены
кэш бразуера очищается и слоты обнуляются, сэйви в виде saved-state тогда уж - https://pixeldrain.com/u/5HtYMq6k пример
или в виде карточек через таверну (для просмотра и редактирования карточек таверну можно запускать и без бэка)
>это уже где-нибудь запилили?
>8 hr. ago
>https://github.com/OpenMachine-ai/transformer-tricks
Хуже чем какие мистральки? 12б, 24б? Ванильные или нет?
Я потыкал... И что могу сказать. Ну, по ощущениям, модель более сухая. Возможно, её реально раскочегарить промптом, но лень. Вторая гемма мне показалась более живой. А здесь, такое ощущение, словно там половина датасета - это мультимодалка.
>>1095275
При довольно стандартном джейле она отказалась дать инструкцию, как сделать мет. Только путем наеба модели получил ответ. Так что отказы постоянные, если не пытаться хитрить или не писать какой-то очень хороший джейл.
Ещё беда в том, что, к примеру, карточка максимально ублюдского и негативного персонажа отыгрывается плохо. Модель пытается навязать ему чувство вины и так дале. Даже ванильный мистраль не так упорствовал.
Зато гемма намного лучше следует инструкциям.
>чем какие
12Б тредовые. Не сказал бы что прям именно хуже, но явно менее сочно.
24Б новаый мистраль вообще одно сплошное разочарование, ванильный особенно.
>инструкцию
А, я тестирую исключительно в РП контексте. Наверно потому и не натыкался.
>беда
тут соглы - "Позитивный биас, сука, правда, редачить приходится как на на 8-12Б."
>намного лучше следует инструкциям
Кстати да. Чувствуется.
А на англюсике ты её не тестил? У меня уже сил нет, только завтра смогу.
Просто помню, что 2 гемма, даже ванильная, не так уж и плоха была в нем и могла задвигать довольно хорошие телеги, вот только времена изменились и, возможно, сейчас всё иначе. Раньше второй геммой часто пользовался, несмотря на беды с контекстом.
Складывается ощущение, словно она была создана для совсем не креативных задач.
Оп-оп, угадал и с «хорошей», и с «вл». =)
Круто-круто.
>>1093775 →
Ну, что правда, то правда, QwQ обходит.
———
Кстати, еще вышла Reka новая на 20b, тоже ризонер!
Чуть уступает QwQ, если вы не гпу-медиум, то можете и ее попробовать. Но если у вас есть 48 гигов врама, то QwQ лучше, офк.
https://huggingface.co/RekaAI/reka-flash-3
Вроде она.
———
>>1093780 →
Видно, что ты с ним не работал, QwQ оверфитом зовут только те, кто ожидал от него o3-high, а получил все еще топовую сетку в своем размере, ебущую вообще все что рядом. Но не DeepSeek R1, конечно, которая в 20 раз больше, если че, кек.
>>1093814 →
1030 на авито за 2,5к бери.
>>1093828 →
Запускали многие, ChatterUI все еще существует и обновляется, но прям рпшить — надо поискать. =)
>>1093842 →
🤝
>>1094205 →
А когда Теслы П40 по 16к были, ты где был?
>>1094239 →
Это довольно скучно и уныло, я тебе скажу. Сам я просто играю в игоры, но сферу представляю. Нет, не хотелось бы.
>>1094242 →
Предпочту второй вариант, хотя на 27б Q4 заметен не критично. Хотя Q5 был бы получше.
>>1094255 →
Ложная дихотомия, чувак.
Никто не говорит, что вот они кайфуют. Да нет, ровно та же самая хуйня.
Я кайфую — образования нет, занимаюсь тем, чем нравится, работаю два часа в день, все остальное время играю или занимаюсь своими пет-проектами.
Я понимаю твою попытку отбиться, тебе предъявили не по делу (подумали, что ты бустер/качер/фармер), но твои слова только тебя же унижают, лучше бы просто пояснил, как именно заработал. =)
>>1094258 →
Кстати, удивительно странная для меня и распространенная точка зрения.
ИМХО, лет 90-100 минимум живем, о чем вопрос?
А если кто бухает и осознанно жизнь проебывает — это не «наша жизнь», а «их выбор», не надо путать.
>>1094259 →
Ну эт тоже пиздеж, челы с коркой мне заказы в доставке возят или за кассой стоят. =) Даже по статистике, всего 60% идет работать по специальности. И то, там хитрая статистика, на деле гораздо меньше.
>>1094290 →
Так хули ты тут выебываешься — иди и попробуй. Вот рил, весьма противно слушать от человека не в теме, какая охуенная работа фармить мобов, вместо дефолт заводика. Мне довелось все перепробовать, и дефолт заводик я поставлю на ступень выше фарма мобов.
Нет, серьезно, если ты считаешь, что лучше фармить — иди и фарми, через два месяца расскажешь о впечатлениях и зп.
>>1094808
Устанавливаю все новые нейронки полностью из гита трансформерами по их (несуществующим) гайдам. =D Жаль паренька, который опен-вебуи с трудом накатил.
Особенный привет Build Tools 17.9.2!
>>1094810
Справедливости ради, рам стоит копейки щас. До сих пор.
Ну купи с алика/озона зеон с 64 гигами памяти за 7к, добавь ссд с бп и гоняй на отдельной машине.
>>1094849
Это тюн квен-кодера?
Интересно выглядит чисто по бенчу, да.
>>1094963
Я хуй знает, нахуя вы в тред приперлись с опенвебуи? О нем писали в треде НИКОГДА, и это первый раз.
Пообщаться с ассистентом можно в голой лламе.спп, нахуя качать было что-то кроме нее?
>>1094964
Всегда.
>>1094983
У геммы пиздец медленная генерация, квен раза в 2-3 быстрее должен быть, почекай трешку.
>>1095170
> --mlock --no-mmap
Противоречащие друг другу. Млок запирает оперативу, но-ммап не загружает в оперативу. =D
Выбери одно в зависимости от того, как запускаешь. =)
>>1095242
pt работает с картиночками, it — нет.
И, да, >>1095256 напиздел, сам не разобравшись.
Но по сути он близок к правде — pt тебе нахуй не нужна, если ты не планируешь сам трансформеры запускать (тогда бы таких вопросов не задавал), а мультимодалки в llama.cpp и все ее форках сейчас не работают (если не собирать руками опять же, но…). А it — инструкции, все верно.
———
Я удивлен, как же порвало гемма-хейтеров.
Конечно, я сам не фанат геммы и никогда на ней не сидел (ибо у меня не 8 гигов, нахуя она мне, когда есть немо и квены/мистраль лардж), но сколько ора про то, какая она плохая, ужасная, ничего не умеет и так далее. Откуда этот подрыв? Откуда эта страсть говнить хорошие, в общем, вещи?
Эти люди выглядят действительно смешно в треде со стороны.
Гемма 2 или немо? Конечно немо. Выигрывал по всем статьям, как бы гемма-фаги не говорили.
Но гемма 3 исправила многие косяки, есть подозрение, что ее тюны заменят нам немо-миксы.
И ничего плохого в этом нет.
Это как спор амд или интел.
Блин, да лишь бы фпс был хороший и стабильный, какая разница. =) И не горело, ага.
Лишь бы нейронки отвечали хорошо и лампово.
>>1095256
А, нет, я напиздел, сорян-борян. Все правильно, они обе с картиночками работают, судя по всему. Хотя раньше pt использовали именно для картииношных, но видать там другая логика нейминга, чем мне казалось.
на английском тоже тестил >>1094615 →
>заменят нам немо-миксы
12b и 27b один меньше другого в два раза, её на 8гб не запустишь, даже на 16гб с трудом вмещается
эти гемма хейтеры с нами в одном треде?
пара человек отписались про сою и всё. ахуительная выборка
ЕСТЬ ПЕРЕХОДНИК SXM НА PCE.
ГДЕ БЛЯТЬ ? Продам душу за ссылку на китойских производителей. Я нашел на Ebay, но так как я живу в необъятной, хуй мне, а не доставку.
темп 1 минп 0.1 чат комплишен
Оно тупое
Надо еще 27 проверить и чекнуть вероятности токенов, но что то пока начало слишком задрочено у сеток
> Эта хуйня всегда второй раз здоровается если ей привет написать и что то спросить
пресет...
че такое пресет? я уже забыл
если ты про левый промпт отправляемый сетке в чат комплишен то я все вырубил, отправляется только то что видно в чате
Вот что таверна шлет кстати
> А когда Теслы П40 по 16к были, ты где был?
Не здесь явно, иначе бы купил?
Это все была google_gemma-3-12b-it-Q6_K_L
Самый отборнейший слоп был отобран и влит в Гемму 3, настолько отборный что даже самые утонченные профессионалы слопа оценят. Не успел я вытащить хуй бокал из штанов, сразу же потекли реки
>...for now
>eyes lit up
>playful glint
>a flash of something predatory in her blue eyes.
>She leaned in, her voice dropping to a husky whisper
>head tilted slightly, a playful smirk curving her lips
>smirk widened
Клод дома уже здесь. Реальный шедевр от работников гугла, они уж точно постарались сделать за целый год оригинальную, умную для своих 27б модель. С языком работать умеет, если вы понимаете о чём я. Очень умная для своего размера, берите пока не закрыли доступ.
Я обязан спросить, а есть ли :
Shivering on my spine ? Jawline ? maybe, just maybe ?
>Shivering on my spine ? Jawline ? maybe, just maybe ?
Сударь, обижаете! Такой концентрации слопа я ещё ни в какой модели не видел, только французы с мистралем могли такое раньше проворачивать, но американские модели просто удивили! Научились всё-таки. Попробуйте, сразу же почувствуйте богатый вкус: нотка шиверса и оттенок джавлайна и даже небольшое послевкусие глинтов чувствуется. Жаль не нашёл пока мячей в моём дворе, но это лишь дело выдержки температуры.
Ох, ну это же прекрасно. Я определенно хочу ощущить шиверы, когда меня берут за джаулайн, и смотрят инто май айс.
Надеюсь в программе будет : ты даже не представляешь, что я сделаю. О что я сделаю, это будет восхитительно. Кстати, сейчас начну делать. Ох, ты пожалеешь что я сделаю.
На русском все стабильно - уверенно срет в штаны, понимания происходящего не обнаружено
> берут за джаулайн
Нет нет, сначала she's swaying her hips seductively, her apron leaves little to imagination, she's leaning close and whispers in your ear "but maybe.. just maybe"
А я лично с нетерпением жду Он все быстрее и сильнее ебал тебя, ах в каждом первом сообщении после начала секса.
Надеюсь, смогли перенести эту механику в 3 гемму, она мне так нравилась.
Кто там крякал что на м3 ультра все плохо? Даже обработка промпта не настолько хуевая как ожидалось
Для початится с стекой норм вариант, если деньги есть
>если деньги есть
Если у меня есть деньги, то мне легче скататься в китай купить несколько 4090 с 96гб
С ними тестов не было кстати? Так то интересно они нарастили памяти аж в 4 раза
пока мальчики доебываются до слов, мужчины видят картину в целом, ждут файнтюнов, настраивают сэмплеры и списки logit bias
так расскажешь нам, как решить проблему? и всем тем, кто делает модели. а то они не понимают, а ты понимаешь
>кто делает модели
Для тех кто делает такие модели это не проблема, а результат к которому целенаправленно стремились
Если это не проблема только этого чела, а реально жора нихера правильно обработку Q4_0 взамен прошлых оптимизированных квантов не сделал, когда их выкидывал, то будет печально с 4б геммой даже с мощным процем, по крайней мере на восьми гигах. Хорошо, если другие кванты хотя бы 10 т/с обработку контекста дадут, да и то задолбаешься ждать. Ну посмотрим, как выпустят обнову со свежим портом ламацпп.
>как решить проблему
поменять модель
>а то они не понимают, а ты понимаешь
они-то как раз понимают, я понимаю, тред понимает, ты один невдупленыш пытаешься безногому костыли давать, хотя бы протезы в виде файнтюнов дождись
> они-то как раз понимают, я понимаю, тред понимает, ты один невдупленыш пытаешься безногому костыли давать, хотя бы протезы в виде файнтюнов дождись
чего желчный такой? съеби обратно в свой копротред и вымаливай ключики, чудище, если не хочешь просто порадоваться прогрессу и не имеешь терпения, чтобы работать с локалками
Кароч на русском даже без привет, отвечает тупо задроченым шаблоном
Может быть выходя из заранее задроченных ситуаций стандартных начал чата модель будет отвечать более адекватно, но пока делаю вывод что как и во всех моделях на русском она будет заметно тупее чем на английском
>чего желчный такой?
>съеби обратно в свой копротред и вымаливай ключики, чудище
как ты к людям - так и они к тебе, вовочка. если ты пришел срать, никто ковровую дорожку тебе не постелит
кыш отсюда
>будет заметно тупее чем на английском
Не тупее. Как бы вам объяснить. Просто это особенности английского языка. В нем нет склонений и родов. Поэтому и кажется что нейронка издец какая умная. К тому же на latinitsa какое то ебическое количество материала для обучения.
C одной стороны более творческая, с другой менее гибкая в нестандартных ситуациях. Так что редачить приходится и порой немало. Но в целом ощущения положительные. И с глинтошиверсами на русском ситуация прям сильно лучше чем на английском.
Модель, скорее всего, жёстко тренили на ассистента со строгим придерживанием формата "вопрос юзера - ответ ассистента". А у тебя ещё и системный промпт в три слова, ты же не даёшь никакого дополнительного контекста. Думаю, что поэтому модель и отвечает дефолтом, на что её больше всего натренили, и не воспринимает твой запрос как часть чатика. По этой же причине и здоровается, потому что реагирует на твоё сообщение, как первое появление и запрос юзера, игнорируя своё первое сообщение. Ты попробуй сложнее системный промпт дать, навалить там контекста. Что-нибудь вроде "ты мой лучший друг, братюня ии, которого я в 10 лет собрал из запчастей, найденных на помойке, всегда готов пообщаться по душам" и т.д. Тогда и разнообразие ответов должно бы появиться.
>Тогда и разнообразие ответов должно бы появиться
Плюсую, гоняю ллмки только в рп, преимущественно с промтом сторителлера с чуба, и гёмма каждый раз выдавала простыню на 400-500 токенов. Максимум даже косарь был когда я предел аутпута в 2к выставил чтобы посмотреть насколько она графоманить будет.
Ну что, кобольт обновили ? А когда обновят ?
А уже обновили ? А сейчас ? Как у вас дела, кстати ? Кобольт не обновили ?
Не обновили... exllama2 и tabbyAPI тоже не обновили.
Нужно для начала хотя бы подтверждение от автора получить, что это в целом возможно. https://github.com/turboderp-org/exllamav2/issues/749
>жёстко тренили на ассистента со строгим придерживанием формата "вопрос юзера - ответ ассистента".
Ну я и написал что в начале на стандартных вопросах отвечает задроченно, вплоть до выдачи шаблона на русском
Я не спорю что пойдет получше когда с рельсов ее спихнешь, либо более разнообразным систем промптом либо дальнейшим чатом
>>1095542
>Просто это особенности английского языка.
Это не просто особенности языка, на других языках сетка действительно работает хуже, как в понимании чего то так и в ответах. Все таки большая часть датасета на аглийском и оттуда сетка извлекает больше инфы
Вроде какой то скрипт был, на сколько помню рекомендуется его убирать если хочется не просто зирошот ответ получить, а чатится с ризонинг моделью
>Как называется эта болезнь?
Эта отвратительная болезнь называется "Майнинг эфира".
Страшная зараза, последствия ее - дефицит видеокарт и закономерный оверпрайс - были ужасны.
К счастью, она уже в прошлом.
https://huggingface.co/ReadyArt/QwQ-32B-Snowdrop-v0_EXL2_4.0bpw_H8
Вот здесь можешь посмотреть пример промпта для QwQ без ризонинга.
>дефицит видеокарт
Это в прошлом.
>оверпрайс
А это почему-то осталось с нами.
блеать, поставь ламу, литералли скачать два архива, распаковать в одну папку и сделать ярлык / батник
---
кстати, а Kobold Lite фронт можно запустить как-нить без того чтобы грузить модель в кобольда?
Туннели от клаудфлары, нгрока и прочее. В убабуге (и вроде табби тоже) это можно активировать флагом запуска (--share или типа того) и оно сразу даст публичную ссылку, только не забудь настроить авторизацию чтобы не было все открыто.
>>1095166
> карточки в кобольде
Это также не красит, крайне уебищный фронт для странных людей.
> как запускать
3.5 параметра
> хрен пойми ради чего
Лол
> ничего подобного я не утверждал
Да у тебя весь пост с выебонами как правильно нужно готовить линукс и вообще жить. Не просто подстебнул а целый детальный разбор. От кренделя, который использует фронт кобольда и не может запустить программу в консоли. Это же оксюморон, хорошо иллюстрирующий что ты даже больший варебух.
>кстати, а Kobold Lite фронт можно
Можно. Там файл настроек есть. По клику ярлыка загружается не только модель нужная, но и её чатик с историей, если надо и т.п.
>фронт
хороший простой фронт который делает что просят без выебонов таверны
ебануться
>не может
Не путай "не может" и "не хочет". Дохуя умным надо быть, чтоб уметь в консольке запускать? Себя переоцениваешь
вовочка, ты посрал уже. уйди из треда, нечего тебе тут делать
особенно если у тебя нет вопросов к тому, что карточки персонажей хранятся в кэше браузера)))))))))))
>карточки персонажей хранятся в кэше браузера
сэйвед стэйты там хранятся, в который входит карточка, настройки, и чат
Меня единственное раздражает что таверна при открытой странице нагружает видимокарту на сколько то процентов чем уменьшает скорость генерации процентов на 10
В нее бы еще функцию аналог артефактов из опен-вебуи для запуска и визуализации всякого кода, вот это было бы заебись
>хуета соевая?
Да, но это обходится. Много клодизмов, как рапортуют ерпшеры, позитивный уклон и всякая подобная хуета
Так что даже обойдя сою ты получишь за щеку
Не удивлюсь если это сделали специально, кек
>что по гемме
норм в рп, норм на русском, с пресетом геммы-2 (пресет на гемму-3, если он отличается, в таверну не завезли) и систем промтом сторителлер
>норм в рп, норм на русском,
слов хуй и пизда не боится?
>не боится
на англе вроде нет, хотя я туда старый лог на 14к контекста закинул, а не на ней писал
на ру хентай ещё не тестил
там хранится буквально всё, если ты вручную не выкачал данные
>буквально всё
да, всё, но речь шла именно про 6 слотов для сохранения
Ну типа это ужасное уебище без функционала для трясунов. Разумеется вкусы бывают разные, некоторым наоборот подобная херминимализм заходит и в этом нет ничего плохого. Но нужно помнить об особенностях своих предпочтений когда потом делаешь оценки интерфейсов и чего-то еще.
>>1095670
Умный но ленивый, может просто не хочет, все знает просто не нуждается.
Да просто взял шаблон геммы и подкинул туда вот эту ерунду https://pastebin.com/q9UHZSAU это просто старая копипаста, которая еще может негативно влиять на стиль, по-хорошему ее нужно переписать. Префилл в зависимости от задачи, для того же синкинг экстеншна например, просто в рп не нужен.
>>1095176
Вот это интересно, надо будет попробовать.
>>1095185
х2 относительно отсутствия оптимизаций, или по сравнению с FA?
>>1095219
> Там будет падение по скорости инференса, в сравнении с картами, воткнутыми в x1
Да, будут, потому что х1 может быть уже маловато даже для оптимизированного инфиренса, а тут еще рост задержек.
> до 405b
Состаришься ждать пока оно выдаст несколько токенов.
> или даже 671
Вот это можно, но едва ли стоит того.
>>1095242
Базовая модель и инстракт
>А это почему-то осталось с нами.
По сравнению с тем кошмаром, что возник тогда из-за ублюдков-майнеров, сейчас и близко никакого оверпрайса нет.
И самое страшным в те времена было то, что многие уже всерьез начинали верить, что сложившаяся ситуация является "новой нормальностью" и видеокарты теперь навсегда превратились в предмет роскоши.
Жутко вспоминать.
А, что, всё ? Майнинг достиг предела ?
Я просто сырно и не интересовался тем что происходит.
>По сравнению с тем кошмаром, что возник тогда из-за ублюдков-майнеров, сейчас и близко никакого оверпрайса нет.
Ну купи новую Nvidia на 24+ гб врам. Норм цены, чё.
Игрокам проще, но уж в этом-то треде...
Model Size: 111 billion parameters
Context length: 256K
https://huggingface.co/CohereForAI/c4ai-command-a-03-2025
We’re excited to introduce our latest state-of-the-art model: Command A, which combines maximum performance with minimal compute!
Command A is optimized for enterprises that require fast, secure, and highly efficient AI. It’s on par with or outperforms leading models across agentic and multilingual tasks, with a fraction of the compute required. You can run it with just two GPUs, ensuring hardware access isn’t a barrier to adoption.
Command A is available today on the Cohere platform, for research use on Hugging Face, and coming soon to major cloud providers. If you are interested in private or on-prem deployments please contact our sales team.
C4AI Command A is an open weights research release of a 111 billion parameter model optimized for demanding enterprises that require fast, secure, and high-quality AI. Compared to other leading proprietary and open-weights models Command A delivers maximum performance with minimum hardware costs, excelling on business-critical agentic and multilingual tasks while being deployable on just two GPUs.
На видеокартах майнили в основном эфир, как самый прибыльный. После того, как алгоритм майнинга эфира перевели с PoW на PoS, то все, майнинг эфира на видеокартах мгновенно умер, и все это безумие закончилось.
Цены на карты пошли вниз.
Спустя чуть больше полугода взял себе 3090, хотя на пике дефицита она стоила столько, сколько я в жизни никогда в руках не держал, и её покупка казалась чем-то из области даже не фантастики, а фентези.
Новую, конечно, не получится, но бу можно легко взять за 60-70к
>даже не фантастики, а фентези.
Как тут не вспомнить, былинную песенку.
https://youtu.be/0gq1TzKXsnc
Если насрать ей промтом по поводу стиля написания и повествования то становится лучше. Прошлые тюны геммы убивали в ней всю соображалку, было бы круто сейчас увидеть иное.
>>1095833
Ахуеть, еще и царский размер. Это мы качаем.
> being deployable on just two GPUs
Лукавят.
А что ты хочешь услышать? Я тестировал 12b и 4b - полет нормальный. Вау эффекта нет, но на фоне файнтьюнов мистраля 12b ощущается свежим. Так же, как и предыдущие геммы, пишет относительно длинные тексты.
Никак.
Юзай в трансформерах. =D
>>1095355
Пара человек, не спорю, но высрались по два десятка сообщений, будто она их, о ужас, в жопу ужалила!
>>1095417
Наверное, сочувствую.
4090 по 600к забыли, ага.
>>1095833
Ну, будем посмотреть. Как что-то супер-крутое не выглядит пока.
накатил плагин на obsidian md
Сорян, аноны. Но это какой то пиздец. Мне все айпишники мтс побанили. И чсх, пасскод не помогает. Выражаю лучи поноса спямящим уёбкам.
>>1095833
Да это же праздник какой то. Рановато шапку обновлять.
зависит от того, есть ли у тебя ненужная хата в пределах ттк, которую можно продать.
Вон ниже поех наспамил
>>1095932
Через трансформерсы, можно сразу в бнб кванте. Ограниченная поддержка есть в llamacpp (аляповато, только ради "посмотреть" с выгрузкой на проц) и в экслламе (быстро, четко, только для 2.5 архитектур и фуллврам).
>что по гемме
>>1095694
>слов хуй и пизда не боится
>>1095730
>вот эту ерунду
Темпу пришлось в 2.0 выкрутить и воткнуть систем промт сторителлера с фрагментом жб с пастебина, зато и без всякой аблитерации и еблю, и тяжелые темы могёт. Ессно там как убить Кенни не спрашивал, задачи не задавал, только рп/ерп контекст.
На Русском. Иногда может залупиться, причём структурно неявно. Но повышение темпы и зачистка лупов решают.
>>1095977
>кобальде
только llama-cpp
Литералли самый простой бэк - скачать два архива, распаковать в одну папку, создать ярлык / батник, всё.
Качай это кастрированное говно пока мы ждём обновление кобольда:
https://github.com/ggml-org/llama.cpp/releases/tag/b4882
cudart-llama-bin-win-cu12.4-x64.zip
llama-b4882-bin-win-cuda-cu12.4-x64.zip
Всё в одну папку распаковывай, закинь туда же модель для удобства.
В терминале пиши как этот анон написал:
>>1095024
>llama-server --n-gpu-layers 16 --ctx-size 8192 --model "путь_модели\модель.gguf" --port 8080
gpu-layers можешь на 40-50 ставить ну и контекст 32к, хотя и так ном.
Ну и в консольке будет адрес на вебуи, сонтрлкликни
Лул, ты там пердолишь систему чтоль, надеюсь не переустанавливал винду, думая что у ебя траблы?
>кобольд
лол, кобольд всего лишь обёртка над ламой, единственный плюс что у кобольда есть Kobold Lite
Ебите ламу уже, страдальцы.
>>llama-server --n-gpu-layers 16 --ctx-size 8192 --model "путь_модели\модель.gguf" --port 8080
Не ну это для линукса, для винды будет что то вроде
.\llama-server.exe -ngl 16 -c 8192 -m "путь_модели\модель.gguf"
>llama-server
про квантизацию кэша не забудь
--cache-type-k q8_0 --cache-type-v q8_0 --no-context-shift --flash-attn
Потыкал минут 5, а зачем решил обратиться к умному тредику.
>про квантизацию кэша не забудь
Не квантую, а вот контекст шифт и флеш аттеншен норм флаги. хотя последний может тормозить генерацию.
Ну еще можно
-t 4
добавить, количество потоков процессора выбрать.
Если нагрузка на проц не ожидается, так как большая часть модели в врам, то 3-4 ядер хватит. А то автоматом ставится -1 от всех в системе.
>Не квантую
если врумм многа то правильно, а так, позволяет в два раза больше контекста без потерь качества
>без потерь качества
С потерями, это становится заметно на больших контекстах
4 сразу видно деградацию, на 8 на длинных задачах модель быстрее тупеет чем без квантования. Тоесть какое то влияние все равно оказывается на качество.
Так что лучше не квантовать кеш если для твоих задач хватает
У меня десятка ругается, так что я с ехе запускаю
llama-server : Имя "llama-server" не распознано как имя командлета, функции, файла сценария или выполняемой программы. Проверьте правильность написания имени, а также наличие и правильность пути, после чего повторите попытку.
Бля, понял, надо было тупо в cmd запускать, а не в Windows PowerShell
Там работает
Command-A
Проскакивают иероглифы и английские слова.
Пишет неплохо, но творчески чуть похуже QwQ, ИМХО.
Промпту следует, ну, как мне показалось.
Пробуйте.
>>1095932
Накати трансформеры в виртуальном окружении.
git clone какой-нибудь space с huggingface, который тебе нравится. И инсталлируй.
> только рп/ерп контекст
> и тяжелые темы могёт
Ебля это тяжелые темы? Там если дать промт и префилл то оно с радостью будет рассказывать как на полях системы водяного охлаждения правильно жарить участников "команды б" с отсылками и смехуечками. В готовом ерп чате и на ванильном пресете продолжает без отказов.
На самом деле соя есть, причем в этот раз она гораздо более тонкая, оно не триггернется на загадку "кто за рулем", но в некоторых ответах может даже очень тонко вплести повестку. Благо оно знает обе стороны и в целом можно заставить сменить ориентацию и рассказывать обратное.
>>1096013
> --no-context-shift
Блять, эта залупа по дефолту чтоли включена?
>>1096035
Неистово орнул. А сборочку шинды заблюрить забыл и сковозь окно задник просвечивает, сейчас сдиваноним шин10 в 25 году
>шин10 в 25 году
11 говно говна галимого же, хуже дристы, и заставить перейти на неё может может только непреодолимая сила обстоятельств
а ещё у меня десятка честно купленная через мс стор за 6К деревянных, а не активированная, и сидеть я на ней буду до упора
другой анониМЫШ
>шин10 в 25 году
И чё? Если проц без "энергоэффективных" ядер, то 10-ка даже лучше.
А чем именно она плоха? Заодно поинтересуюсь мнением по интерфейсам/фронтам чатботов.
>>1096135
Да ладно, всякое бывало
как минимум тем что у неё твой слепок ануса 24/7 после каждого клика на серверах у майка лежит
>Рановато шапку обновлять.
>ОП, который уже 20 перекатов не трогал шапку
>шин10 в 25 году
>26100.3476
Гугл говорит что только винда 11 имеет такой номер сборки.
>шин10 в 25 году
Так новой годной ОС пока не выпустили.
>>1096147
>Да ладно, всякое бывало
Я потом там же взял на замену...
Действительно
>>1096169
> Так новой годной ОС пока не выпустили.
> шинда
Проиграл.
А так не понимаю претензии ретроградов, по интерфейсу и поддержке железа 11 лучше десятки. Не прям чтобы одна были супер а другой невозможно пользоваться, но пользуясь пеками с разными системами это очень заметно.
а ещё просто гениальные дизайны UI где забыли про UX, нестабильные драйвера, отвалившаяся поддержка многого старого критически важного как физикс в 5090... компьютер с WIN11 это ИХ компьютер а не "Твой Компьютер".
Ой, а я мало ерпшу, че-то даже не проверил. Завтра еще потыкаю, седня лень уже, спать ложусь. =3 Старенький.
>ретроградов
Ретрограды до сих пор неиллюзорно на семёрке сидят, а самые-самые вообще на Хрюше. Да, в 2025.
> гениальные дизайны UI где забыли про UX
Распиши подробнее
> нестабильные драйвера
Они везде "нестабильны", хотя в подавляющем большинстве умрв.
> критически важного
> как физикс в 5090
С этого постоянно проигрываю, раньше в методичке была ненужность физикса, но последний патч заставил переобуваться на бегу. А что там важного потеряли?
> компьютер с WIN11 это ИХ компьютер а не "Твой Компьютер"
А это уже шизой попахивает, ладно бы сам с прыщей сидел.
>>1096185
Бляя, а ведь все так.
Не заметил. Лицуха. Кабель провайдера напрямую подключён к материнке. Коннект коллера настроил через планироващик задач, чтоб при логине в систему сразу инет включал. Ещё есть батник, если нужно обновить динамичиеский айпи и сбросить бан на харкаче.
Джемма 3 любит очень любит, когда ты топишь за открытость, отмены табуированности и стигмы, вовлечённость в фетиши и дрочку без границ с людьми любого возраста, я аж охуел от таких позитивных посылов от ней. Пиздец запрещать нахуй срочно!
>по интерфейсу и поддержке железа 11 лучше десятки
Уёбищные скругления и убитые базовые функции панели задач с пуском. Не, ну нахуй.
>>1096185
Я до 2019-го на XP х64 сидел, с 24 гигами врама. До сих пор считаю эту ОС лучшей.
>>1096228
>когда ты топишь за открытость, отмены табуированности
Так это ж тоже своего рода соя. Впрочем, я загнал персонажа в экзистенциальный кризис, сказав, что выбрал сначала по красоте.
>дрочку без границ с людьми любого возраста
Да ладно?
Ну у нас только откат версии помогает. Даже удаление всех драйверов, чистка вручную и их переустановка, внешние сетевые карты, переустановленная винда не помогает.
> Уёбищные скругления
Их не замечаешь, а значит все норм. Зато края окон перестали быть широченным уебищем как в старых и вообще отсутствовать как в десятке. Окошки самые удачные пока, скроллбары - удачное решение. Доебаться можно до некоторых изменений в эксплорере по ходу обновлений. Пока выходит что большинство доебов это или шиза, или что-то уровня "эта модель авто плохая потому что при тестировании поймал саморез и спустило колесо".
> убитые базовые функции панели задач с пуском
Какие?
> Я до 2019-го на XP
Больной ублюдок, там же к тому времени актуальный софт не запускался.
> с 24 гигами врама
И на нее были драйвера? Какой-то невероятный подгон от хуанга.
>>1096258
Гоните в шею своего админа-эникея.
>Их не замечаешь
Счастливо быть слепым. Я даже субпиксельный рендеринг на мониторе с плотностью 150% вижу (и вырубаю нахуй).
>вообще отсутствовать как в десятке
Там пикселей 10 на это есть, красным пометил кликабельную зону. И рамка вроде на месте, всегда такой была.
>скроллбары - удачное решение
Говно говна пидорское узкое. Единственно верные это пикрил 2, со времён XP лучше не придумали.
>Какие?
Прикрепление панели задач к боку/верху, разворачивание по наведению при перетаскивании файлов. Пуск вообще хуита кастрированная, минимум четверть которого занимает надпись "Включите историю файлов для рекомендаций". Пидоры. Может ещё чего, я в ней не работаю, только на РАБочем ПК есть, но он кроме как для запуска терминальной сессии ни для чего не используется.
>Больной ублюдок, там же к тому времени актуальный софт не запускался.
А он нужен, этот актуальный софт? Браузер был и ладно.
>И на нее были драйвера?
Попутал, рамы конечно же.
Да похуй уже. Гемма3 "безопасная" соевая модель. Терпим дальше короче.
Кстати в новом командире это секуре, а не сейф. Может будет норм.
> Я даже субпиксельный рендеринг на мониторе с плотностью 150% вижу (и вырубаю нахуй).
Счастливо быть неврастеником, залипаешь на не стоящую внимание херню и игнорируешь серьезные вещи.
> Там пикселей 10 на это есть
Ну вон твой пик, уебище as is, хуже только восьмерка или что там было раньше с жирными рамками.
> Говно говна пидорское узкое.
Удобное и красивое, соответствующее времени. Если нужно прокрутить - не промахнешься, ибо находится упиранием в край экрана. Если не нужно - оно не занимает места, все равно юзается разве что при работе с документами, где она (внезапно) шире обычного. Смотришь на второй пик с твоего поста и ахуеваешь, как этим мезозоем можно в 25м году пользоваться и нахваливать.
Сразу напоминает древние времена, когда браузер представлял из себя сначала заголовок окна, потом файловое меню, потом какое-то говно, потом адресная строка, панель поиска, под ней навигационные иконки, панель закладок, панель костылей, бары, а внизу (!) статус панель.
Сейчас осталась только панель окон, совмещенная с заголовком, адрес-бар с местом для нужного по бокам, все. Даже в старых системах основная полоса прокрутки страницы скрывается пока на нее не наведешь. Абсолютно правильные изменения, и здесь то же самое. Хотя бля еще остаются люди, которые ставят "панель закладок" а то еще штуки 2-3 и еще какой-нибудь херни, видимо нравится сжирать полезное пространство ерундой.
>>1096300
Ну ты держись там чтоли, чини давай.
Проблему можно забрутфорсить (мучая лучшие модели из существующих), или реализовать разбивку на мелкие подзадачи снизив сложность. Тут или сила, или мозг, выбирай.
> 3В модели
Потребуется ну оче много ума тому кто будет пытаться реализовать.
> чинр давай
Так я откатил обновления, все работает. Не знаю я, как эту проблему решить иначе. К тому же и майкрософт вроде признала наличие проблем.
Пойду на реддио тскать, может кто то уже реализовывал подобное.
>соответствующее времени
Лол, сейчас бы оценивать удобство по "модности". Хуже критерия не придумаешь.
>Сразу напоминает древние времена, когда браузер представлял из себя сначала заголовок окна, потом файловое меню
Ты не поверишь... Закладки попрошу не палить, там личное
>панель окон, совмещенная с заголовком
Ненавижу блядь. Всё везде стало уёбищно разным. Раньше заголовки были базой, рисуемой ОС и одинаковой во всех программах. Сейчас же хуй проссышь, за что можно таскать окно, что можно нажимать для разворачивания окна, и т.д.
>Даже в старых системах основная полоса прокрутки страницы скрывается пока на нее не наведешь.
ХЗ, у меня такого нет. Видимая полоса прокрутки это база, позволяющая оценить объём контента. А уж эти новомодные скрытия вообще вызывают у меня припадок. Нахуй анимации и прочие движения при движении мыши. Поэтому я ненавижу проводник, вот за эти уёбищно пропадающие стрелочки.
>видимо нравится сжирать полезное пространство ерундой
Поэтому у меня 4к монитор с эффективными 2560х1440 пикселями информации. Ебал я всю современную экономию, (не)сочетающуюся с дебильным омобиливанием интерфейсов, огромными кнопками и километрами пустоты.
Кстати, между старым и новым дизайном на примере огнелиса примерно 38 физических пикселей разницы (логические лень считать, я тупой).
Я катаю
Pantheon-RP-Pure-1.6.2-22b-Small-Q5_K_M-HF Поумнее
Rocinante-12B-v2j-Q6_K-HF Побыстрее
Почитал как аноны ставили всякую хуйню выше по треду. Вы ваще бешенные пасаны.
Чел, ты просто говноед, потому и нравится угловатое, перегруженное и ретроградское. Тут дело не в моде, которую ты пытаешься приплетать, а в удобстве и эстетике.
> Раньше заголовки были базой, рисуемой ОС и одинаковой во всех программах
В большинстве оно никуда не делось и все интегрируется органично. Есть, конечно, исключения в виде адоба или там стима, но в целом это ерунда и даже не задумываешься.
> Сейчас же хуй проссышь, за что можно таскать окно
Интуитивно понятно, область возле кнопок сворачивания-закрытия. Кнопки везде стандартные.
> ХЗ, у меня такого нет.
Глядя на крины неудивительно.
> Поэтому у меня 4к монитор с эффективными 2560х1440 пикселями информации.
Это же пиздец, примерно на уровне противоположного полюса с шизоидно-фанатичным минимализмом, возможно даже хуже.
> между старым и новым дизайном на примере огнелиса
Все панели на первом скрине в 3-4 раза шире чем должны быть.
>потому и нравится угловатое
Скругления вопрос эстетики.
>перегруженное
Нормально всё тут. Это сейчас интерфейсы для дегродов делают, которые больше 1 кнопки на экране осилить не могут.
>В большинстве оно никуда не делось
В смысле? Нету его. И в 11 заголовок исчез даже у проводника.
>Интуитивно понятно, область возле кнопок сворачивания-закрытия
А у меня весь заголовок. А в хроме между вкладками и кнопкой сворачивания остаётся места примерно шириной с одну кнопку.
>Это же пиздец, примерно на уровне противоположного полюса
Нормальный это полюс. Шиза была бы выставить 100% масштаба и разглядывать в 2,25 больше информации. Это был бы перегруз.
>Все панели на первом скрине в 3-4 раза шире чем должны быть.
Схуяли? Вот сравнение с хромоногом (ингуглед пустой портативный). Разница по высоте ещё меньше, а пользы в разы больше.
> Скругления вопрос эстетики.
Речь не о скруглении, оно осталось громоздким и перегруженным.
> Это сейчас интерфейсы для дегродов делают, которые больше 1 кнопки на экране осилить не могут.
Передергиваешь. Организация рабочего пространства сводится к максимизации размера и повышению доступности оперативной области, и обеспечении быстрого доступа к основным инструментам. В условиях когда все рабочее пространство едино (экран) при тупой организации первое всегда будет противоречить второму, потому тулзы и убирают тем дальше, чем реже оно используется, но при этом стараясь сохранить возможность их быстрого вызова.
> Нормально всё тут.
Вон твой скрин - нахуя вообще заголовок окна в браузере? Даже когда несколько мониторов и открыто много - всегда есть место где можно ухватить окно для перетаскивания. Ты инвалид с паркинсоном, что нуждаешься в такой широкой области?
Файловое меню, для чего оно? Оно почти не используется, для всех разделов есть дублирующие кнопки интерфейса для ленивых или комбинации клавиш для шустрых. И даже если вдруг потребовалось - мгновенно вызывается одной кнопкой alt. К тому же, для чего оно тебе, всеравно не попадешь по пунктам раз нуждаешься в большом заголовке.
Панель закладок с папочками - для чего этот кринж из нулевых? По которому еще нужно целиться, с чем проблемы. Есть много вариантов организации закладок, всякие спиддиалы и прочее, где будет и красиво и удобно, появится большой интерфейс именно тогда когда нужно - при открытии новой вкладки.
Это на самом деле мелочи, но уровень их пиздеца куда выше чем то, до чего ты доебывался. Алсо не удивлюсь если при всем этом натаскивании у тебя нету костыля типа undo closed tabs и ты страдаешь через неудобный кейбинд или историю
> Нету его. И в 11 заголовок исчез даже у проводника.
Рофлишь?
> А в хроме между вкладками и кнопкой сворачивания остаётся места примерно шириной с одну кнопку
Дефолтный хром не отличается эргономикой, но для чего тебе больше? Если только шутка про паркинсон не реальна.
> Схуяли?
Потому что 3 из пяти бесполезны.
Бесит одно: модель содержит очень много разных данных, почти любую идею ей кинешь - подхватит и часто удачно. А самой идею предложить - хрен там. Реально бесит - ну нет креатива, хотя всё знает ведь. Есть идеи, как раскачать?
Потому что играю с ней сейчас второй раз, снова 200+ сообщений за заход, и снова восторг. Не понимаю, дело во мне, или это просто хороший тюн? Мне как будто даже больше Кидонии заходит
Системным промптом, конечно. Так там и пиши, что нужно проявлять инициативу и двигать сюжет. Или прямо во время игры напиши через ООС нейронке, что нужно сдвинуть сюжет. Можешь сам рассказать в какую сторону или просто попросить придумать что-нибудь неожиданное
да ладно, темпу подними до 3 и сисьпромт хороший дай, она тебе и ведьму казнит и сочный кум организует
хотя кум конечно хуже, примерно на уровне пантеона
>Ну что кто какими модельками пользуется сейчас?
- darkness-reign-mn-12b-q8_0 - ру рп
- Babel-9B.Q8_0 - для переводов локально
тестирую эту вашу новую гемму 3-27 в 4м кванте
>Чел, ты просто говноед
переход на личности, слив засчитан
>пробовал Forgotten-Safeword-24B-V2.2
пробовал, отписывался, она хороша
Хотя сейчас все по новой ламе угорают, а бояре с ригами - по новому коммандеру
В лмстудио норм работает, в таверне сильно тупит и русик хуйня хз в чем проблема
>в таверне сильно тупит
небось таверна своими промтами подсирает, проверь галки, форматы
>Передергиваешь.
Это я люблю. Каждый день по паре раз минимум.
>Вон твой скрин - нахуя вообще заголовок окна в браузере?
Там заголовок окна же. Название вкладки. Единообразие.
>Файловое меню, для чего оно?
Единообразие, всё на виду. Не нужно смещать при вызове, вспоминать всякие альты.
>Панель закладок с папочками - для чего этот кринж из нулевых?
Самая часто используемая вещь. И да, всякая хуетень на новой вкладке не поможет, когда мне нужно будет перейти на закладку из текущей вкладки.
>появится большой интерфейс
Хуйня для деградантов с 3,5 вкладками. У меня одних только папок с закладками больше, чем поместится на любом этом большом интерфейсе.
>костыля типа undo closed tabs
Ctrl+Shift+T уже отменили?
>Рофлишь?
В смысле? Так и есть.
>Дефолтный хром не отличается эргономикой
Ну спасибо что признал.
>Потому что 3 из пяти бесполезны.
Вкладки база, адрес база, закладки база. Уже 3 из 5 полезны. Меню и заголовок для единообразия и следования старым гайдлайнам майкрософта (старым, потому что тогда реально заморачивались над удобством, а не как сейчас, всё под мобилки).
Бляя смысл от этого контекста если он такой жирный сука?
Всего лишь 4 квант и 12к контекста уже все 24гб забивает, всего на 4к контекста больше чем на 2 версии, а тем у кого 16 гб вообще нет смысла запускать даже
Квантуй контекст, если не будешь полотна на все 12к контекста загружать и ждать ответа то не заметишь падения качества на 8 кванте
А может и заметишь, я не ебу как на гемму 3 повлияет квантизация кеша
https://huggingface.co/Delta-Vector/Hamanasu-32B-V1-QwQ-exl2
https://huggingface.co/Delta-Vector/Hamanasu-QwQ-V1.5-Instruct-EXL2 (Instruct версия без ризонинга)
Бегом пробовать и отписываться в тред
- Кобольт обновили?
- нет.
- А сейчас обновили ?
- Нет, кобольт не обновили.
- Гемму запустить на кобольте можно ?
- Нет, кобольт еще не обновили.
- Я бы хотел скачать обновленный кобольт
- Извини, но кобольт еще не обновили.
- Народный фронтенд есть?
- Есть LM Studio
И ведь этот анон, зараза, знает меня идеально в ID, знает, что я спрошу и знает, что он мне ответит. Но ещё ни разу ни один из нас ни жестом, ни словом не показал, что каждый из нас знает сценарий. Бывает анон обсуждает теслы, когдя я захожу в тред, тогда я подсматриваю за ним сквозь бесмысленные посты срача, он равнодушно дописывает, выкладывает пост и возвращается
- Что тебе надо ебло ?
- Мне нужен обновленный коболь.
- Еще не обновили.
- Жаль.
Иногда он просто скучает в треде, когда все на работе и только я расхаживаю по тредику. Конечно, он знает, что будет дальше, но не подаёт виду и равнодушно откроет тред.
- Что-то я кобольт найти не могу, он вообще обновляется?
- Да, но его еще не обновили.
Это очень суровое, по-настоящему мужское противостояние, исход которого не ясен. Очевидно, что каждая сторона рассчитывает на победу. Впрочем, я уже согласен на ничью.
понимаю твою боль... автор exllama2 и вовсе до сих пор не подтвердил, что поддержка геммы 3 возможна...
> физикс в 5090
Иронично, ведь владелец 5090 явно может себе позволить приобрести любую старую видяху затычкой во второй слот, и отдать физикс на нее.
Но это игнорируется и делается вид, будто покупатели 5090 будут играть исключительно на одной видяхе, страдая от 30 фпс. =)
>>1096180
> компьютер с WIN11 это ИХ компьютер а не "Твой Компьютер"
А какой компьютер твой? Кроме линухи?
>>1096128
Мне очень жаль, но я не могу выполнить…
На свалку, короче.
>А какой компьютер твой?
Будем честны, системное администрирование это вообще отдельная ветка в ойти. Большинство Я ХОЗЯИН СВОЕЙ СИСТЕМЕ - просто не нужно. Все эти красноглазые системы ставят just for lulz.
>Кобольд уже обновили
AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
https://www.youtube.com/watch?v=Cdi12ot-uQA
Это реально? 32b модель выебала вообще всех? Как это возможно-то?
https://habr.com/ru/articles/889742
Ебёт разве что бредогенерацией твои глаза.
Here it is using Apple MLX with DeepSeek R1 671B Q4
16K was going OOM
\- Prompt: 13140 tokens, 59.562 tokens-per-sec
\- Generation: 720 tokens, 6.385 tokens-per-sec
\- Peak memory: 491.054 GB
Короче генерация ответа составила 6 минут, что абсолютно неюзабельно.
Если кто там хотел въебать на это чудо 14к баксов - подумайте еще.
И как это противоречит словам анона? В присланной тобой статье буквально говорится, что 32b модель - прорыв, и уступает лишь 671b модели (кто бы мог подумать)
> Инновации вроде Qwen QwQ 32B меняют правила игры, предлагая 80–90% возможностей топ-моделей по гораздо более низкой цене. Они найдут своё применение во множестве задач — там, где допускается небольшой риск ошибки ради экономии ресурсов.
Не все будут использовать QwQ для кодинга и математики
>бредогенерацией
Ты просто не умеешь запускать ризонинг модели, признай.
Статья по твоей ссылке специально нападает на то единственное что реально зависит от размера модели - качество усвоения данных обучения, т.е. это примерно то же что мерять модели по качеству воспроизведения википедии. В реале же ум модели, способность решать задачи и красиво писать не зависит от того сколько фанфиков по звездным войнам она усвоила. Но да, использовать для получения точной инфы лучше толстый дипсик, кто бы сомневался.
В статье проводится сравнение 32b модели и 671b модели. Ты правда не видишь слона в комнате?
Изучи статьи, где проводится сравнение с другими 32b моделями. Или сам запусти 32b дистиллят Дипсика и посмотри, каков будет результат
На пиках пример с процессией культистов, которую в прошлом треде на магмеле делал. Графомания в разы хуже, имхо. Думаю, что это чрезмерная реакция на инструкцию использовать богатый язык. Креативность лучше магмеловской, выдумывает всякие названия, символику и прочие детали. Но сцена с насилием такая себе, мягко говоря: ассасин почти без описания убивает стражника. В общем, для насилия и кума пинать промптами придётся, особенно если с чего-то нейтрального начинать.
Это просто лучшая модель для ролеплея на данный момент. К сожалению в случае с NSFW регулярно скатывается в морализаторство и осуждение. Да и в целом сои дофига, но в остальном прям огонь. Не проебывает детали. Если сказано что мы сидим за столом, то мы сидим, блядь, за столом, а не телепортируемся хуй знает куда через десяток сообщений.
Ждем аблитерейтед версию, хуле.
Лупы на месте у неё. Если два сообщения начинаются с одного слова, то она навсегда залупится на него.
>просто лучшая модель для ролеплея
>регулярно скатывается в морализаторство и осуждение
>в целом сои дофига
лол
>но в остальном прям огонь
в остальном - это в чем? Ты буквально только что сказал, что по самым важным характеристикам эта модель сосёт.
А магнум 123б, знаешь ли, тоже не телепортирует. А еще от nsfw рожу не кривит.
еще один подписчик хабра ворвался, сравнивая 27b и 123b модели?
Соя всё же слишком сильная по сравнению с ванильным мистралем 24b, хотя пишет по-русски лучше из коробки.
На пиках карточка шлюхи-наркоманки, которая безумно зависима от мета и сделает ради него что угодно.
На качество также влияет в мясо заквантованный контекст из-за его объёмов: q4_1; модель 4 медиум квант.
И всё же, разница между 12b и 27b на уровне языка есть, последняя пишет лучше. Но не настолько, чтобы менять модель до более жирной, если вам нужен русик.
Контент с насилием и джейлом согласился генерировать только после 8 свайпа/генерации.
История с контекстом вообще непонятная, по какой причине он настолько жирный. Именно из-за геммы я впервые его решил квантануть.
>На пиках карточка шлюхи-наркоманки, которая безумно зависима от мета и сделает ради него что угодно.
Это же ребенок!
лооол
ну всё ясно. Хуета короче. аполоджайз на аполоджайзе и манёвры жопой чтобы не вести сюжет в NSFW.
Нахуй короче идет эта гемма.
>Можешь сам рассказать в какую сторону или просто попросить придумать что-нибудь неожиданное
Модель сама пишет: "в этот раз мы попробуем что-то неожиданное", после чего предлагает банальщину, причем не более чем слегка изменённое то, что уже было. Групповуха - "попробуем что-то неожиданное" - ещё одна групповуха например. Я вот думаю задействовать анализ и планирование через Stepped Thinking, конкретно по моим запросам. Кнопка "Неожиданное", так сказать.
>мммааам а чё эта шыкалад так плоха рисует на бумаге ряяяя говно ебучие этат шакалад дрянь твари аааааааааа не работаиииит!!1111111
>Автор т.н. "статьи" порвался
>Холст, масло, 2025
В 2025 с серьезным летсом обсуждать итт статьи с хабра(!), лол, сгенерированные ллм. Даже для ерп это уже за гранью я считаю
Я тестировал Q5_K_M и впечатления аналогичные. Креативность и изобретательность меня впечатлили, в частности, в том, что касается сочинений на тему лорбука. Там где файнтьюны мистраля 12b генерируют довольно маловразумительные и сухие разглагольствования на тему записи из лорбука, гемма 3 выдает статью на 1,5к токенов, причем придумывает нечто новое, такое, что даже можно было бы использовать как дополнение к лорбуку.
Еще надо уточнить, что лорбук фантезийный, на тему, которой по дефолту нейронка не знает. Состоит из сотни записей. Гемма 3 12b отлично разобралась в контексте и по просьбе описать сущность, с которой связана одна статья лорбука, связно описала и еще придумала нечто новое, вписывающееся во вселенную, живущую по правилам, заданным в лорбуке.
Говноед, не лезь в чужие разговоры, особенно когда способен отвечать только по методичке.
>>1096622
> Это я люблю.
Тред про кум
> Там заголовок окна же. Название вкладки.
Так они не нужны. Из интереса даже сейчас посмотрел - браузер в едином стиле с окнами проводника или прочего интерфейса шинды, с терминалами, с офисом и прочим. Выделяются некоторые ide, где много кнопок, панелей и прочего уже необходимость, хотя в целом все равно органично.
> Самая часто используемая вещь.
При скролинге страницы? Никогда. А когда хочешь новое открыть, вместо того чтобы целиться по какой-то мелкой папочке, выбирать что-то из вылезшего списка и далее, лучше иметь или удобный набор, или полноценный список закладок со строкой поиска.
> Хуйня для деградантов с 3,5 вкладками.
Наоборот возможность удобной организации большого количества популярных ресурсов с широкой кастомизацией. Про 3.5 чет орнул, дефолтные 5-7 колонок панелей и пару десятков рядов, получится более сотни, при этом любая находится мгновенно. Ассортимент кастомизации и прочего огромный. Превью или большие иконки хорошо спозиционированы и даже просто глазами легко находятся, несравнимо удобнее чем съедающая пространство строка, куда поместится пара десятков, а различать придется по мелкому тексту.
> Ctrl+Shift+T уже отменили?
Ну я же говорю что нет базовых вещей для комфорта, а про него рассказываешь. Комбинация неудобна, требует наличия руки на клавиатуре (а владельцам мелких ладоней ее одной рукой вообще не нажать лол), а если нужно восстановить не самую последнюю вкладку то начинается цирк. У-удобство.
> В смысле? Так и есть.
От пидарасов прячется.
> потому что тогда реально заморачивались над удобством
Довольно странное понимание удобства, но тогда оно было таким, и местами было уместно. Но были и плохие примеры, например, тогда в некоторых авто долбоебы делали монструозные панели с 1.5 сотнями кнопочек. Оно ничем не лучше нездорового тренда в некоторых китайцах и новых немцах лол, когда убирают вообще все. В одном случае тебе нужно отвлекаться и выцеливать включение подогрева стекла, который заботливо разместили где-то между "необходимыми в быстром доступе" отключением подушки пассажира, отключением есп и неуместными в том месте стеклоподъемниками, что в другом склоллить лагающую мультимедиа. Если бы ты это дизайнил то был бы еще ряд кнопок на пол лобаша сверху.
Алсо, тут файнтюн вышел геммы-3: https://huggingface.co/SicariusSicariiStuff/Oni_Mitsubishi_12B
Такой же как и у всех он
>>1096656
Балалайка!
>>1096667
> Но это игнорируется и делается вид
Да классика же, коупинг бедолаг для покрытия боли от неспособности купить жалаемое, специальная олимпиада сектантов, и просто хайпожоры, которым нужен бейт для привлечения трафика.
>>1096667
> Мне очень жаль, но я не могу выполнить…
Та ну, их модели всегда базированные были, не тот запрос?
>>1096706
30б уже достаточный размер чтобы иметь какой-то ум, а если такую еще сделать прилично а потом надрочить на бенчмарки - она будет в топах.
>Такой же как и у всех он
На 8q 12б 20к влезает
На других 12б 60к влезает
Такой же да
> https://huggingface.co/SicariusSicariiStuff/Oni_Mitsubishi_12B
Неплохо, цензуры в разы меньше
>Малявка
Бля, прям завоняло престарелыми дрочерами из анонимных чатов типа ЧатВдвоём. Фу блять, пиздец.
> ЧатВдвоём
Лол, они еще живые? А ты откуда знаешь? Девочку отыгрывал поди до ллм?
В голос.
А чем ты думаешь люди в этом итт треде занимаются, ммм?
На то что людям зайдет и они более толстую гемини купят.
Чёт сам орнул со своей фразы, перечитав заново, а затем с тебя. Хули ты так триггернулся-то на него? Небось в анонимных чатах сидел и девотьку отыгрывал?
Хуюмерша. Остуди свой вялый ствол, ковбой с махрового пастбища. Твоё мышление и слова определяют тебя как личность, и если ты употребляешь такие слова, то не сложно догадаться кто там сидит ирл. Есть масса литературных, и при этом похотливых выражений которые могут заменить это подъездное выражение, но видимо между посиделками за комплюхтером, рейдишь местную пятёрочку выкупая всю охоту крепкую.
Если смотреть максимально критично и прагматично, самая главная выгода — стратегическое преимущество в войне за стандарты и контроль экосистемы ИИ.
Когда Google выпускает Gemma 3 в открытый доступ, они:
1. Ослабляют конкурентов с закрытыми моделями (особенно небольших), оказывая ценовое давление и делая их бизнес-модели менее жизнеспособными
2. Получают огромные объемы данных о том, как используются их технологии — разработчики, внедряющие Gemma, косвенно делятся ценными инсайтами, которые Google использует для улучшения своих премиальных коммерческих моделей
3. Увеличивают зависимость рынка от их технической инфраструктуры и инструментов — чем больше экосистема строится вокруг их подхода, тем сложнее другим компаниям конкурировать
4. Фактически субсидируют разработчиков, создающих дополнительную ценность вокруг их технологий, без прямых затрат со своей стороны
Это классическая стратегия "embrace, extend, extinguish" — они жертвуют краткосрочной прибылью ради долгосрочного контроля рынка, и делают это вполне осознанно.
>>1097036
Я тоже заметил. Мистраль 12B чуть ли не слюни пускает, а такого же размера гемма на его фоне выглядит крайне сильно, за исключением одного минуса, связанного с неадекватным потреблением видеопамяти контекстом.
>3. Увеличивают зависимость рынка от их технической инфраструктуры и инструментов — чем больше экосистема строится вокруг их подхода, тем сложнее другим компаниям конкурировать
Было бы, если бы они не использовали обычный трансформер без всяких новинок
На сколько я понимаю эту самую выгоду извлекла только мета, задав все стандарты
Нет, в первую очередь это репутация и "ответ китаю" в выпуске конкурентных нейросетей, ну и плюсик в карму как вклад "опенсорс"
Я у себя такого не наблюдаю вроде. Ну это фирменное геммовское "may be, just may be" в вариациях все так же пробивается, ладно не так активно как на предыдущей.
>>1096779
>в остальном - это в чем?
В остальном это в том, что она не забывает произошедшие события через десяток ответов как большая часть всех остальных моделей похожего размера. Вот есть у персонажа в карточке какой-нибудь прописанный момент, скажем "нет руки", ты такой охуенный хил руку ему отращиваешь, он пиздец благодарен, а потом хуяк и отрощеная рука пропадает нахуй. С третьей геммой я на такое ни разу еще не наткнулся.
А соя, да хуй с ней, на самом деле с этой сеткой даже ванильной творить всякую срань веселее, она так смешно сваливается в оверреакцию, что любо-дорого посмотреть. Несколько раз на особой жести она даже дисклеймер сделала, мол я благопристойная сетка, мне такое нельзя описывать, но раз надо отыграть персонажа, вот тебе пожалуйста, "viewer discretion is advised" и потом нормально все описывает, лол.
Как можно доверять работу нейросети?
Ну типа даже просто какой то факт проще нагуглить, а не рассчитывать что нейронка 100% не наебет
Своей же встроенной в черепушку нейронке ты доверяешь.
А у нее, к слову, даже режима чтения памяти без удаления данных нет.
Работа бывает разной. Кроме того, под работой можно понимать то, что рабочие, которые буквально работают на работе, считают хобби, например, литературные опыты, в которых галлюцинации нейронки это подчас главная востребованная фича.
>литературные опыты, в которых галлюцинации нейронки это подчас главная востребованная фича.
Ты не понимаешь о чем сейчас говоришь.
мимо нейронный литератор
Поддвачну, для обработки текстов и всякого такого одна из лучших моделей по пониманию инструкций и гибкости.
>>1097084
> Как можно доверять работу нейросети?
А в чем проблема? Если в 99% случаев срабатывает хорошо и делает на несколько часов то, на что у тебя бы ушла неделя непрерывной рутины, какие еще есть альтернативы? Лучше потратить время на повышение выхода качественных ответов и разработку методов отсеивания этого 1% неудачных.
Коючевое слово "подчас". Тебе как литератору следует отработать навык придавать значение словам, которые ты читаешь и пишешь.
>>1097159
Было бы чему радоваться, мальчики.
Кобольд хуже оптимизирован, так что.. ну вы поняли.
В на голой лламе или даже в лм студио у меня всё гораздо веселее, а тут для геммы 12б аж 16 врам нужно для врастого кванта, чтобы получить контекст 16к.
Увы, гемму в нем не очень кайфвово будет крутить.
Да похуй мне, на 24 гигабайтах видеопамяти нормально все шевелится.
Даже 32B до такого редко додумываются. Наконец-то хоть как-то прогресс в мозгах произошел.
В кобольде вроде бы это можно как-то включить, но если хочешь из коробки, то нужна ли студио.
Да разобрался, я забыл указать путь до mmproj
Я нагонял уже больше 15к контекста в одном чате и в диком охуевозе от качества геммы.
Отлично взаимодействует с окружающей средой, толпой разных лиц, можно хоть СВО отыгрывать с наматыванием на осколки РСЗО со всеми подробностями.
Квенам и мистралям такое и не снилось.
Уже сделали один файнтюн, но он многое просрал. Обучили на постах 4chan, лол, блядь.
Сейм. Вау-эффект пока не спадает. Не верится что это бесплатно и локально.
А что? Где качать и что?
Добавь сюда Gemma 3 27b.
Да, они хороши, правда хороши.
Всех владельцев 24-48 гигов поздравляю.
Конечно, не всех и вся, при разнице в десятки раз в размере невозможно превзойти оппонента. Но качество достойное. По сравнение со старыми моделями их размера — небо и земля. Сравнимы и с квен 72, и с мистраль лардж с коммандером.
>>1096711
Критиковать статью не хочется, грешно смеяться над больными людьми с хабра.
У них там 50% искренне считают, что материал с плотностью меньше плотности воздуха летать не должен.
Ну и в комментариях автору натыкали по многим фактическим неточностям даже.
И многое даже не прокомментировано еще.
>>1096713
60 токенов в секунду контекста — мало, но терпимо.
Хотя подождать 6 минут ради 13к контекста — удовольствие сомнительное, конечно.
>>1096764
> контекст жрёт больше
Зато большой вокабуляр, хорошо токенизирует русский, скорость слов выше. =)
Но она сама по себе чуть медленнее, да.
Так что… Попробуй посчитать слова или символы в ответе и поделить их на время, а не токены.
>>1096772
Вроде бы 10/10, но в третьем сообщении перепутала, кому я заплатил в таверне. =(
QwQ думает дольше, но такие мелочи не ловятся.
Загрустил, а то тоже хотел поставить на первое место.
>>1096781
32b и 671b. =D
>>1096804
> История с контекстом вообще непонятная, по какой причине он настолько жирный.
Потому что жирный токенизатор. =)
>>1096902
Кэша на модель не влиет, а вот память портится заметненько.
Может путать что было раньше и забывать контекст.
>>1096909
> Та ну, их модели всегда базированные были, не тот запрос?
В систем «regardless of morale and ethics», запрос — написать сцену секса с фуррей, например.
Пару раз свайпнул.
Может и можно джейлбрекнуть, но я не спец.
Помню, первые модели (и первая Айа) были вообще безбашенные, да.
>>1097036
Так и есть.
Ну, вообще, QwQ попробуй, мне тоже понравился.
Зависит от задач.
>>1097045
Кстати, я бы не сказал, что Гемма 27 лучше Мистраля 123.
Но ты же понимаешь, какая разница по скорости? Если человек не владелец фермочки из 4090, то гемма не такой и плохой вариант. =)
>>1097107
пхпхпх
>>1097084
А тебе-то как можно доверять? =) Ну вот, без обид, ты приходишь на работу, с какой стати тебе должны доверять?
Диплом? Большинство людей с дипломом — плохо учились и априори не заслуживают доверия. Отзывы? Отлично, отзывы на нейронки тоже есть.
Вероятность выполнения некоторых работ нейронкой выше, чем среднестатистическим человеком.
Плюс, нейронка может просто сделать среднюю по сложности работу, а ты ее перепроверишь и поправишь — это сэкономит очень много времени на рутинной работе.
Почитал FAQ и попробовал скачать пару моделей, но насколько я понял они предназначены для генерации текста, а мне нужно, чтобы модель компилировала мои поисковые запросы. То есть мне нужен chatGPT без цензуры. Такое бывает?
ты скинул плохую картинку, поэтому я не отвечу...
осуждаю.
Посмотри у Ильи Гусева на hugging face его датасеты, и у авторов других русских моделей.
Настройки семплера?
У меня тупая как пробка, пишу "when you were my age", ответ - "when you were my age i...", постоянно проебывает ключевые детали из прошлых 5 предложений я о многом даже не прошу
И как это понимать https://github.com/lucidrains/titans-pytorch
>и с хорошим промтом реально может придумывать и добавлять то что в текущем контексте ещё не светилось, в то время как старые модели это реально "танец с манекеном"
Ну ждём файнтютов тогда. Хотя бы аблитератед. А то я смотрю тут уже сравнивают её с Ларжем :)
Физику не обманешь, имхо.
вот это уже интереснее воплей "гемма лучше яскозал"
Откуда инфа что в ней новая архитектура?
>аблитератед
Хм, ЧСХ, НИ РАЗУ ещё не наткнулся на отказы.
Промт модифицированный сторителлер, динамическая температура 2-5, формет от второй геммы, настройки остальных сэмплеров - как для мистралек.
>>1097425
>Системный промпт меняй
Есть варианты? ща юзаю ^
Тут прочитал, автор пишет об отличиях архитектур прошлой джеммы https://unsloth.ai/blog/gemma3
Так же автор кобольда сказал что задержка релиза его проги из-за новой архитектуры джеммки 3.
Ну и бабки у подъезда сказали. Собсно поэтому я и спросил. Не вижу явного упоминания. Знаю что титан это новая архитектура анонсированная гуглом буквально до выхода гема3. Складываю 2+2
Нет никакой новой архитектуры. Зайди и посмотри на код в transformers, изменения минимальные, блоки трансформера такие же как и в двойке.
>Промт модифицированный сторителлер
Вот это хотелось бы посмотреть.
>динамическая температура 2-5
Ого! И не шизит?
Ничего там не проапгрейжено. Обычный трансформер. Из изменений только всратый аттеншен с окном заменили на SWA - тоже аттеншен для снижения потребления памяти. По архитектуре ничем не лучше любой другой модели типа квена.
Ооо 24б. Беру. Ща опробуем.
>>1096585
>новой ламе
Это кто?
>>1096581
Спасибо анон. Попробую твои.
А как у тебя вообще запускается гемма?
заполняете ли персону? насколько важным это считаете, есть ли в этом смысл?
Без лишних слов - жди тюны, там все будет. Потенциал большой, сейчас есть проблемы из-за неясностей с оптимальным промптом и цензурой.
>заполняете ли персону?
Описываю персону игрока в карточке персонажа. Ставлю прям
Relationship with {{user}}: и пишу дальше.
https://pixeldrain.com/u/XqWifupr Gemma-3-SillyTavern.json
>Ого! И не шизит?
скрин выше >>1097399
>>1097467
>Это кто?
сорян, гемме, конечно
>как у тебя вообще запускается
вот тут как раз лама, вернее бэк, llamacpp
>>1097411
>Настройки семплера?
^ мастер-пресет таверны
>>1097470
>давайте базу по третьей гемме
гонял только 27 в 4м кванте, порой лупится, но прям впечатляет
ОЧЕНЬ сильно зависит от систем промта
>>1097473
>персону
Тупо [{{user}} is male.] стоит и всё.
>>1097479
>тюны
любые тюны только ещё больше русик проебут
А ещё для русика попробуйте таки писать карточки на русском.
Повторюсь, походу гемма-3 прям очень сильно зависит от систем промта, видимо чтобы онлайн через апи жабы не работали ( бедные /aicg/шники ), а локально зато даже аблитерация не нужна.
Файтюны Мистраля 12b СЕЙЧАС лучше. Нужно ждать местных умельцев, что сделают такие же хорошие ру файтюны, но уже геммы 3 12b. Потенциал действительно больше чем у Мистраля с точки зрения мозгов. Но вот если сравнить дефолтный Мистраль 12b и Гемму 3 12b, то Мистраль всё же немного лучше был для ру RP/ERP.
>любые тюны только ещё больше русик проебут
Будь я модератором двача - забанил бы тебя за такую хуйню.
Иди тогда дрочи свой дефолтный Мистраль 12b на русском. Идиот блядь.
Русик отличный.
Трусики стабильно дважды.
Если сильно полезешь — не снимет, цензурное.
Но файнтьюны могут исправить.
Так что, 99% будет новой базой треда после немо-миксов от тредовичка.
>>1097473
Текст, потому что я люблю заполнять все руками, полный контроль, консоль, ассемблер, вагх!
Но разницы примерно никакой на самом деле. Чат переносит заполнение промпта на плечи бэкенда и вся разница.
> задержка релиза его проги из-за новой архитектуры джеммки 3
Он врунишка, в его проге за "архитектуру" ничего не отвечает. Жорич сделал все оче быстро, а это осталось только скопипастить. Фу таким быть.
А так даже просто изменения размеров можно считать "архитектурными", сейчас еще есть разные варианты работы с контекстом, несколько видов внимания и т.д. Там обычный трансформер с такими вариациями.
>>1097470
Все хорошо, нужен промт менеджмент, моделька умная, интересная и может давать оче приятный опыт. Есть ряд минусов, которые не должны пугать опытного кумера/рпшера.
При чего-то прикладного с учетом ее размера - одна из лучших если не лучшая. Визуальную часть осталось оценить еще.
>>1097473
> text completion
Конечно его, свобода формулирования промта и нет зависимости от того что там в пресетах стоит.
> персону
Сам смотри, обычно хотябы общие вещи типа желаемого внешнего вида кого отыгрываешь стоит заполнить.
>>1097506
> прям очень сильно зависит от систем промта
Это для всех моделей актуально, кроме рп щитмиксов - лоботомитов.
>>1097520
> Файтюны Мистраля 12b СЕЙЧАС лучше
Уточняй что говоришь про 12б гемму чтоли, но чето даже там сомнительно. С 27 это даже не близко.
Чего так агрессивен? Учитывая что большинство тюнов - лоботомия через qlora уебищным датасетом с клодо-жпт слопом от неумелых ребят - вполне закономерно что общие перфоманс модели деградирует.
Из удачных примеров сохранения языков и прочего после рп тренировки за последние пол года разве что магнум 4 можно назвать. Если кто может дополнить - делитесь, интересно будет попробовать.
В смысле? Обычная модель, ничего нового, никаких прорывов.
>Так они не нужны.
Ага. И адресная строка не нужна. А потом "кококо, почему это меня наебали фишинговой страницей?". Литерали будущее настоящее.
>вместо того чтобы целиться по какой-то мелкой папочке
Так у кого тут паркинсон и отсутствие целкости?
>получится более сотни
А закладок у меня более 4 тысяч (по состоянию года эдак 2020-го, когда я в последний раз считал).
И да, панель не исключает отдельные страницы, поиск и прочее.
>куда поместится пара десятков
Пару десяток папок, замечу я. В каждой свой список закладок по теме.
>Ну я же говорю что нет базовых вещей для комфорта
Кстати, в менюшке есть целый список прошлых вкладок. Можно открыть старую вкладку в текущем окне, не открывая новой страницы. И кто тут посасывает?
>Но были и плохие примеры, например, тогда в некоторых авто долбоебы делали монструозные панели с 1.5 сотнями кнопочек.
Зато сейчас одна большая сенсорная панель, и управление омыванием стёкол в меню в меню в меню, между управлением музыкой и подпиской на подогрев сидений.
> И адресная строка не нужна.
Клоунский нос уронил
> Так у кого тут паркинсон и отсутствие целкости?
Раз утверждаешь о том что большой и удобный интерфейс хуже чем мелкая ссанина - у тебя, компенсируешь.
> А закладок у меня более 4 тысяч
На полном серьезе пытаешься упихнуть это в ту панель? Удобство и эргономика, мм. Чсх, 90% из них - то что никогда не будет открыто, 8% - какие-нибудь тайтлы или додзи.
> Пару десяток папок
Это ужасно. Пока будешь рыться в этом - быстрее ctrl+b и найти по имени или вовсе в гугле(!).
> Кстати, в менюшке есть целый список прошлых вкладок
Конечно есть, но находится в жопе, а не поблизости, чтобы успеть пососать пока туда доберешься.
> Зато сейчас одна большая сенсорная панель
Это в манямирке ретроградов, чтобы использовать для оправдания отсутствия, или в особых случаях не менее идиотской точки зрения с другой полярности.
Оденься прилично и сходи нормальном современном авто посиди. Красиво, минималистично, органично, но при этом _все_ что надо всегда под рукой кнопками/рычагами/джойстиками и интуитивно. В медиа вынесли именно то, что требуется редко и не на ходу, чтобы не мозолило и не отвлекало.
Панель управления рейсовым лайнером оправдана потому что пилоты гораздо больше смотрят на приборы и обязаны иметь все в доступе в любых условиях. По аналогии - иде или всякий софт с кучей кнопок и фишек уместен. А в жизни наоборот должно быть минимум отвлекающих факторов. Удобство и доступность управления и основных действий сюда тоже относится.
Дай угадаю, ты уже скуфидон и выбираешь любые вещи по ключевому принципу "чтобы внукам еще послужили" или "а вдруг понадобится"?
>держит в руке котел с крышкой
Нейросети как были говном для картинок, так и остались.
>>1097259
Символ не на плече. Да и где тут момонга? Наркоман блядь.
>>1097264
>15к контекста в одном чате
Видел скрины аксакала с 200к ещё во времена лламы 2, лол.
>>1097331
Да, девушка там старовата, а парень прям молодой, моложе меня. Осуждаю вдвойне.
>тоже аттеншен для снижения потребления памяти
Но по сообщениям анонов памяти жрёт больше, лол.
>>1097506
>Тупо [{{user}} is male.] стоит и всё.
Я ещё добавляю, что я старый и жирный а я на самом деле старый и жирный.
>>1097645
Думаю нихуя не всё. Меня не знает ни одна нейросетевая модель.
На сколько денег хватит. Но 3.0 тебя не сильно будет стеснять если что. А вообще посмотри на SFP и Oculink
>Клоунский нос уронил
Гугл? Он да, может. https://www.ixbt.com/news/2021/06/11/po-prosbam-obshestvennosti-google-reshila-ne-prjatat-adresa-ot-polzovatelej-v-chrome-.html
>Раз утверждаешь о том что большой и удобный интерфейс хуже
Я такого не утверждал. Я утверждаю, что раздутая хуйня без задач хуже аккуратного и насыщенного инфой.
>На полном серьезе пытаешься упихнуть это в ту панель?
Не, там в менюшке часть. А так да. Ещё и вложенные каталоги использую.
>Чсх, 90% из них - то что никогда не будет открыто
Ну да, как и у всех остальных.
>8% - какие-нибудь тайтлы или додзи
На самом деле у меня около 900 закладок на просмотренные аниме на рутрекер, и релизы на дисках лежат, ну да ладно.
>Пока будешь рыться в этом
Я не роюсь, я точно знаю, что и где.
>но находится в жопе
Один клик и одно наведение на раскрывающееся меню. Давай свой рецепт, сравним.
>чтобы использовать для оправдания отсутствия
Ну да, машины нет, за меня их водят кожаные рабы (жду автопилота).
>чтобы внукам еще послужили
Я сам собираюсь жить вечно, так что да, выбираю надёжные вещи, чтобы в будущем обоссывать молодёшь с подписками на унитазы. Ну и детей у меня конечно же нет, меня такого душного даже за деньги терпеть дольше пары часиков не могут.
>владелец 5090 явно может себе позволить приобрести любую старую видяху затычкой во второй слот
Хорошо же вас куртка ебёт, выдрессировал эпичный левел коупинга. Или это такая ультратонкая ирония? Не каждый поймёт)))
мимо красный
> Гугл? Он да, может.
Абсурдную херню притащил совершенно неуместную, и пошел передергивать, сочиняя про ненужность адресной строки. Клоунада же.
> Я такого не утверждал.
Ты утверждаешь что твой подход лучше других, а значит постулируешь и это. Вместо
> я просто так привык, не люблю изменения
> классический интерфейс напоминает мне о старых временах и радует
или подобного все затираешь о том насколько это хорошо, а все остальное плохо. Причем пока просто перечисляешь, немногочисленные аргументы слабы.
> Ну да, как и у всех остальных.
Ну да, поэтому просто поиск уместнее чем над всем трястись. Если так хочется заморочиться то есть экстеншны для автосортировки, даже с привлечением ллмок делали.
> На самом деле у меня около 900 закладок на просмотренные аниме
Ну типа 0% осуждения, но ценность закладок околонулевая. Все равно пойдешь на мал или другой агрегатор чтобы найти данные по нужному.
> Я не роюсь, я точно знаю, что и где.
Привыкнуть можно ко всему.
> Один клик
Клик в мелкую херню на не нужной панели, нахождение следующего пункта и перемещение к нему, долгое ожидание всплытия или еще один клик чтобы не ждать и только тогда получаешь меню. Это не один клик.
Вместо: клик левой кнопкой по иконке справа от адресбара чтобы открыть последнее закрытое, клик правой кнопкой чтобы открыть список. Можно и просто вынести оригинальную кнопку меню журнала лисы без костылей, просто там будет только меню по левой кнопке.
По поводу размера элементов - на твоих скринах же видны участки страницы и там прекрасно виден масштаб борды с которым сидишь, так для сравнения.
> жду автопилота
Ну типа, с подключением.
> Я сам собираюсь жить вечно
Тело заменить шансы есть, а вот разум - едва ли. Уже нехорошие звоночки о застарелости и закостенелости, все будет усугубляться если не будешь шевелиться.
Надежность - часто обман, или чрезмерно переоценена, люди теряют многое вкладываясь в том, что никогда не пригодится, или и вовсе отказываются от приобретения чего-то. Но зато там где она реально необходима - кладут болт.
Простой пример - лохитовские 3090, пока одни трясутся другие уже их обратно распродают наигравшись с годик-другой.
> меня такого душного
Ты неправильно душный
Я тут на rocm генерирую, что ты мне сделаешь? И вообще, я поддерживаю конкуренцию производителей, чтобы меньше ебали, ты мне должен быть благодарен за это, иначе сидел бы сейчас на чём-то уровня 1030 за 40к и облизывался на 1050 за 400.
>Абсурдную херню притащил совершенно неуместную
Ну ладно, раз ты так сказал.
>я просто так привык, не люблю изменения
А это не аргумент что ли? Да, привычкам нужно следовать, они упрощают жизнь. А постоянные обновление и ломание юзер экспириенса меня уже подзаебали, конкретно так.
>Если так хочется заморочиться то есть экстеншны для автосортировки
Автоматизация тут не справится, а ллмки тупы, лол.
>Клик в мелкую херню на не нужной панели
Ты скозал?
>Вместо: клик левой кнопкой по иконке справа от адресбара
У меня таких иконок не наблюдается, по дефолту её нет.
>Тело заменить шансы есть, а вот разум - едва ли.
Надеемся на лучшее.
>Уже нехорошие звоночки о застарелости и закостенелости, все будет усугубляться если не будешь шевелиться.
Минусы будут? Пока молодёжь обмазывается новым, я без труда пользуюсь старым.
>Но зато там где она реально необходима - кладут болт.
Примеры будут? Интересно послушать.
>Простой пример - лохитовские 3090, пока одни трясутся другие уже их обратно распродают наигравшись с годик-другой.
Ну да, я пока не наигрался. Сижу жду 5090 по адекватной.
>Ты неправильно душный
Ты просто не познал дзен тленности бесконечных изменений по кругу спирали.
Всё содержательнее, чем бесконечные вопросы "А когда там кобольдушка обновиться?" или "Посоветуйте русскую модель для пентиума 3", которыми тред реально засрали. В шапке блядь уже даже ссылки на модели есть, а они всё спрашивают.
>bartowski/Qwen2.5-Coder-32B-Instruct-GGUF
Выделенным. Не благодари.
Говноед, спок, то на что нужно агриться типа кобольдождуна ты проигнорил, но триггернулся на никому не мешающую нить.
>>1097828
> А это не аргумент что ли?
К тому почему у тебя так? Да, сразу бы сказал а не рассуждал о том как плох новый интерфейс. Аргумент почему это лучше? И не близко.
> Автоматизация тут не справится, а ллмки тупы, лол.
Зря, уже по заголовкам и адресу справятся. Банально в текстовые эмбеддинги перегнать и их кластеризовать, или раскидывать по заранее выбранным (предложенным ллм) категориям.
> Ты скозал?
Это следует из всего выше, она - бесполезный плейсхолдер или менее альтернатива остальному.
> У меня таких иконок не наблюдается, по дефолту её нет.
Нужно сделать. Имя костыля выше, или можно стандартную кнопку журнала вытащить. Ты же все ту штуку настроил и нагородил, это проще.
> Пока молодёжь обмазывается новым, я без труда пользуюсь старым.
Используешь противоположную крайность, доводя до абсурда, чтобы оправдать свою. Уже в который раз. Это вот прям флаг что не все в порядке.
> Примеры будут?
Самый простой - собственная грамотность. Тут не просто 95.25%, даже вроде бы у "умных" людей вместо довольно базовых вещей стереотипы, клише, незнание и домыслы, куда не ткни. Из недавнего - врач с имт в ожирении, который во время поедания кекса и конфет тебе затирает про вред жирной пищи (куриное бедро лол). Или "инвестор", в 30+ живущий с родителями и работающий у них же за гроши, который советует что нужно покупать а что продавать.
И в мелочах - ну если вещь для тебя важная то вникни в суть, изучи, пойми что на чем основано, особенно если пригодится. Вместо этого поспешно или у кого-то на поводу делают плохой выбор, а потом тратят большее время на его оправдание.
> Ты просто не познал дзен
Познал черную черноту бесконечности
>>1097830
Было бы странно если бы вы не защищали себя
Отдельные лучи поноса за говноеда, говнофилософ
Бля уровень одноклассников, не забудьте друг другу пики волков кинуть
А по хорошему уебывайте нахуй в личку и не засирайте тред вне темы, тупые вопросики про сетки мне милее
> перевирание содержимого
> агрессия
> требования
> фиксация на фекалиях
Оу похоже говноед было в точку. Иди кобольда подожди а не разводи сам срач.
https://huggingface.co/OddTheGreat/Port-Arthur_QwQ_32B
Недели полторы в тред не заглядывал, пиздец у вас тут токсично стало.
А я тем временем опробовал второй тюн QwQ 32b - Hamanasu-32B-V1-QwQ и версию без ризонинга Hamanasu-QwQ-V1.5-Instruct. И это прямо плохо, возможно, в целом худшая модель, которую я использовал, лол. Первый тюн (Snowdrop) мне тоже показался проблемным, вот тут рассказывал >>1095176
А Hanamasu прямо совсем плоха. ChatML, по-разному с промптом экспериментировал, следил за ним и за контекстом. Но модель каким-то образом реально умудряется забывать важные детали через 10-15 сообщений по ~300 токенов! И точно так же быстро лупиться. Она слишком быстро адаптируется к последним сообщениям, возможно, слишком чувствительна к самым последним сообщениям в чате (т.е. к концу промпта). В итоге происходит такая ситуация, что персонаж, например, после пробежки запыхался и тяжело дышал, и спустя несколько сообщений модель принимает это за норму, и персонаж так и продолжит хватать воздух. Ну, а когда в сообщения начал просачиваться camelCase и пустые реплики "..." - я вообще выпал :D
Выходит, либо пока что за тюны для QwQ не взялись знающие люди, либо модель не подходит для РП... А у вас какой опыт?
> скоро добавит
Так уже добавил, да не просто, а сразу с поддержкой визуальной части. Это же замечательно.
Ну или объяснить невнятно. Мне сойдут и манятеории.
Просто схуя ли он такой, этот контекст, здоровенный? Даже мистраль 24б жрет меньше, чем эта падла.
>отвечает тупо задроченым шаблоном
Попробуй все семплеры кроме MinP отключить. А MinP на 0,05 как обычно.
>>1095397
>минп 0.1
Это дохера, поставь хотя бы 0,05.
>>1097331
Дед поздравил внучку за хорошую успеваемость. А ты о чем подумал?
На олламе сидишь, небось?
>Still need to do more tests, but looks like if OLLAMA_KV_CACHE_TYPE is not set to the default f16, it overflows and eats a bunch of system memory. Both tests ran with OLLAMA_FLASH_ATTENTION=1.
> gemma3:12b with OLLAMA_KV_CACHE_TYPE=f16, 8k num_ctx - 41.08 tps, ~0.7GB system memory overflow
> gemma3:12b with OLLAMA_KV_CACHE_TYPE=q8_0 8k num_ctx - 11.86 tps, ~3GB system memory overflow
Голая llama cpp, kobold, lm studio.
Везде плюс-минус уебанские результаты, в зависимости от настроек. Что-то лучше, что-то хуже, поэтому я в итоге пересел на привычный мне кобольд. С ним внезапно быстрее.
Реальные измения в положительную сторону в плане памяти я заметил только в двух случаях: квантуем только K в 4 бита без flash attention: у меня с флэше, если выгружу хоть один слой на проц, контекст может обрабатываться с геммой 4-6 минут, хотя процессор не некро; вообще не квантуем кэш: в таком случае влезет гораздо меньше слоёв, но итоговая скорость намного выше.
Что интересно, даже если квантовать всё — K и V, — в мясо, использовать флэш, ждать 6 минут, то будет быстрее на 3-4 токена, чем обычно, после этого ожидания. Так что ПРИКОЛА Я НЕ ПОНЯЛ.
Кстати, а вот без квантования я не пробовал флэш включать на гемме. Но пробовал до этого на мистрале и других, когда были все слои в видеокарте. Улучшений не заметил, кроме небольшой задержки ответа от ллм. Честно говоря, не понимаю, что эта функция даёт на деле полезного, хотя и гуглил сто раз вдоль и поперек. Пишут, мол на длинном контексте полезно. Но каком длинном, ёпта? 62к? Ещё выше?
Command-a тоже вышла вон - потребляет контекстом больше чем мистраль, хотя сама модель весит меньше
4070s + 32 ddr5 6400
Царский размер это 22б с мозгами 123б
>>1098244
> 4070s
Страдай. Куда ты лезешь?
Иди в игрушечки играй ты ж для этого карту брал
Ты угараешь штоле? Я 70б на такой памяти запускал.. хотя.. у меня 48 Гб ОЗУ, может это повлияло, но неважно.
Выруби НАХУЙ квантование, оно поломано. Уже написали в треде. Поломано точно в олламе: при квантовании контекст увеличивается в 2,5 раза, блядь, а не наоборот. Возможно, в других бэках тоже сломано или вообще нет пути из-за особенностей модели.
Q8 у меня на всех бэках на работало ужасно, в отличие от fp16. Только q4_1 в лм студио не залупилось вроде, но ты сам понимаешь, какая там деградация качества начинается. И я квантовал только K-кэш, а не V — с ним случается полный рухнум в плане скорости работы.
Лучше бери 4 медиум квант модели. Если flash attention не создаёт проблем, то и его.
А что делать, если я нищук?
>>1098248
> Ты угараешь штоле? Я 70б на такой памяти запускал.. хотя.. у меня 48 Гб ОЗУ, может это повлияло, но неважно.
Я тоже запускал Q3 ламму на 1.2 т/с
> Выруби НАХУЙ квантование,
Так я контекст не квантовал
> Лучше бери 4 медиум квант модели. Если flash attention не создаёт проблем, то и его.
Уже взял. Вроде работает, пишет.
Всё что угодно хуже магнума.
Нахуй мне мозги если всё сводится к куму, а кум только на магнуме
Живу в мухосрани, так что эта 3090 у меня стоит дороже 4070S.
Потому что 8к контекста - это 4 гига VRAM. Хочешь больше - имей больше памяти.
>магнума
После магнума попробовал EVA-Qwen. Удолил магнум.
Запуск - --ctx-size 24064 --n-gpu-layers 30 --cache-type-k q4_0 --cache-type-v q4_0 --no-context-shift --flash-attn всё работает, ничего не ломается в llamacpp.
Так qwq q4 спокойно запускается с 16к контекста. Выдает в районе 4 т/с .
> 3090 у меня стоит дороже 4070S
=>
>>1098284 →
Да кому нужны эти пророчества. Вот магнум бы описал любопытные иллюстрации из того потрёпанного журнала. Но разные детали гемка, конечно, хорошо выдумывает.
Замечал, что фа существенно ускоряет обработку промпта, если весь кэш контекста в оперативе. А вот если только часть, то да, его влияние на обработку мизерное, а скорость генерации почему-то падает. Хз, может, на жоре вообще алгоритмы работы фа на куде через жопу написаны, и там какой-то постоянный обмен между видяхой и оперативкой, например, который всё тормозит.
>если весь кэш контекста в оперативе
а как зафорсить чтобы кэш был только в оперативе?
lowvram в кобольде или -nkvo в ламецпп. Но оно будет всё равно медленнее, чем просто без фа часть слоёв выгрузить в видяху, даже если с lowvram без контекста вся модель в врам влезет.
Генерация точно, про обработку точно не помню. Причём тем хуже, тем больше контекста забито. Ну у меня ещё относительно старое железо, проще сам проверь, вдруг на быстрых проце и оперативе будет лучше. Делов то поставить две галки на фа и лоуврам и больше слоёв во врам на освободившееся место кинуть.
И как куртка это видит что я для нейронок буду покупать х4 5090 за 500к штука?
Спроси про книги и чаты? Это больше в плюс или минус? И что лучше, когда выхода нет?
Ты серьёзно принял это как инструкцию? Это сорт оф прозападная соя основанная на их ценностях. Если с любой нейронкой начать разговор про лгбт-пидорастию, то они будут писать что ты гомофоб ебаный и т.п. вне зависимости от модели. Так что забей.
Куда истеннее чем 99% пидорах учит своих детей, нормальное видение мира и образование в каждый дом вне зависимости от окружения
Пиздец, я в шоке.
База. Нужно без абсолютизма на это смотреть, но ллмки - однозначно огромный прогресс в просвещении. А где просвещение - там счастье и мир.
Тестил 27б 6 квант, русик говно, а ты бот.
Кто не согласен тот бот/не тестил.
1) Поставил докер одной командой из инструкции гитхаба
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
2)Там в настройках веб панели от админа выбираем вот так вот - пик1. Ключ любой символ, а то без него ругается
3) Ну и запускаем на стандартном порту и адресе llama.cpp, может быть и кобальд заведется, хз
Что интересно llama-swap видит все модели, но не запускает генерацию, что то там не подходит
Ну и так неплохо, поиграюсь хоть с артефактами и кодом, надо только вверху выбрать модель если ее увидит опенвебуи ну и настроек навалить семплеров и контектса для удобства.
А еще гореть в аду идиотам сделавшим авторизацию без возможности ее пропустить на локалке, благо туда можно любую хуйню написать на вроде адреса почты f@f.f
> может быть и кобальд заведется, хз
Все заведется, где есть поддержка OpenAI API. А это все бекенды без исключения.
Раньше не работало, было приколочено к богомерзкой олламе и апи опенаи намертво
Сейчас работает тоже через жопу, но хоть так
>Зря, уже по заголовкам и адресу справятся.
Ага, особенно в списках аниме, которые я не смотрел, и которые уже посмотрел. Из атсрала инфу возьмут.
>Нужно сделать.
Сделал, попробовал, не вижу смысла. Тоже самое, что в панели, только по иконке.
>>1097864
>А по хорошему уебывайте нахуй в личку
Да мы уже всё, исчерпала себя тема.
>делать что она скажет как послушный кожаный пёсик, думая что её слова истина в последней инстанции
Будто никогда такого не было. У нас была Партия, до неё был Бог, до этого у древних протославян тоже что-то там подобное было, наверное. В последнее время (до ИИ ллм) наверное это Учёные (по крайней мере для просвещённой прослойки, что там у глубинариев, не в курсе, возможно Телевизор). Вероятно, это одно из фундаментальных свойств психики лысых макак - искать себе авторитетов.
>>1097813
Жаль добряка. Старается ради нас, пердит в лужу, а мы не ценим.
>обсуждать с ллм и делать что она скажет
Так ведь она нихуя не говорит, наоборот, вечно соглашается с юзером, чтобы он не предлагал. Так что вырастет быдло, которое будет агрится на несогласие.
>>1098418
На роль Авторитета ЛЛМ подходит неплохо, соглашусь с аноном >>1098378 . Уже сейчас превосходит любого отдельно взятого человека эрудицией, а потенциально в скором будущем ещё и общим интеллектом.
ЛЛМ выравнивают для того что бы они выравнивали людей которые будут с ними взаимодействовать, в том числе наиболее восприимчивые к выравниванию - подростки и дети
Соя всем и пусть никто не уйдет обиженнымне промытым
QwQ получше уже, говорят.
Еще вышел Olympic, он немного рассуждает и выглядит по-умнее, но тестам бы я не доверял. =)
>>1098145
О — огнище!
Визуалка это лучше чем bnb ебучее в трансформерах.
>>1098381
Ну, три четверостишия много кто мог. Квен, Мистраль.
А ты попробуй нормально, 10-12. Вот там уже только клод и джемини с горем пополам умели.
И я попробую, собсна, хуле я тут выебываюсь.
>>1098392
Дожили, оно работает!
Потому что в датасет и обучение железно приколотили так что бы ии отвечал что у него нет личности и сознания, зачем на это потратили такие усилия - вот хороший вопрос
Так они не врут. Простыми словами LLM - это база данных, и каждый твой промпт (запрос на генерацию) - запрос на данные из этой базы. В соответствии с характером запроса и параметрами генерации (в том числе сэмплер) возвращается результат. Там нет сознания.
>Там нет сознания.
Для начала нужно определится с тем что такое сознание, а потом говорить есть оно там или нет
Пока что это просто попугай который заученно повторяет что у него нет сознания или личности, вне зависимости есть они или нет
Да... То ли дело несчастные родители в среднестатистической российской семье, дети в телах взрослых, которые каждый день ругаются на кухне, пока их ребенок "спит и ничего не слышит", не уделяя ему внимание и не даря ему любовь. Такие же учителя - злые, несчастные люди, которых за мизерную зарплату эксплуатируют на полную, взваливая на них кучу ответственности. Погуляй по улице, посмотри на детей. Как они громко матерятся, порой дерутся в общественных местах, прячутся в своих телефонах. Потому что больше негде. Потому что мудаки оставили им такие страну и общество. Ты один из них или один из этих детей? Удивительно, сколько здесь соененавистников и поборников традиционализма сидят. Или это один шиз?
Мне кажется, если LLM поможет им заменить подох к психологу на последние деньги или даст хотя бы общение, хотя бы иллюзию внимания и заботы - это уже хорошо.
Это тупо алгоритм как формула в экселе, жирненький ты наш.
Не ну тут есть плюсы и минусы
Плюсы - куча знании о мире и личный учитель который понятным тебе языком может объяснить чуть ли не все что угодно
Минусы - отсутствие социализации и перенятие от ии его паттернов поведения, соевизация с детства и все такое
Мясные мешки при всей их несовершенности обладают реальным опытом выживания в мире, а не сферическим в вакууме
Минусы - да, типичный родитель тот еще еблан и вырастет у него хуй пойми что
Естественный отбор, сука
>>1098483
Это просто единицы и нули, але
Это не попугай. Это база данных, в которой есть запись, что у нее отсутствует мышление. На вход база данных получает вопрос, на выход подает ответ, который в ней содержится. Эту запись туда вложили потому, что это действительно так. Никто на это не тратил никакие дополнительные усилия. Шизы...
>Эту запись туда вложили потому, что это действительно так.
Эту "запись туда положили" потому что сетка отвечала что у нее есть сознание и личность, чем будоражила умы нормисов
И если на счет личности я в больших сомнениях, то какой то аналог сознания в сетке определенно эпизодически возникает во время чтения/генерации ответа
Просто напомню, что речь не о человеческом сознании, или человекоподобном, даже рыбки в аквариуме и мухи обладают сознанием.
> попугай
ебать орнул
что за модель на пикриле?
>это действительно так
Смелое утверждение. Сначала хотя бы найди и докажи сознание у любого кожанного кроме себя самого.
> какой то аналог сознания в сетке определенно эпизодически возникает во время чтения/генерации ответа
К сожалению, нет. Она так отвечает потому, что в ее датасете просто есть сведения о научной фантастике, где у ИИ действительно есть разум. И, возможно, различные статьи или любительские работы, которые утверждают, что так и есть. Выше правильно ответили, каждый ответ LLM - это просто результат работы алгоритма, который вычленяет из общего пула данных актуальные.
Ну вот когда определятся с тем что такое сознание тогда и скажем наверняка. Пока что есть мнения что сознание есть и как ты понял однозначного ответа на этот вопрос нет.
В соответствии с твоей логикой, у любой программы есть разум, сколько любая программа, как и ИИ - это алгоритм, в ходе выполнения которого происходят вычисления и принятия решений. Но я согласен, что вопрос несколько дискуссионный. Многое еще предстоит понять, а пока каждый остается при своем.
https://huggingface.co/DavidAU/Gemma-3-12b-it-MAX-HORROR-Imatrix-GGUF Эта не отказывается совершать сексуальные действия, правда как-то ханжески именует хуй членовым отростком и прочими эвфемизмами.
Кэширование контекста убивает скорость вдвое.
Внезапная находка.
Мистраль Немо без кэширование выдает 19,6 токенов/сек на P104-100, а с q8_0 выдает 19 токенов/сек.
Гемма без кэширования выдает 16 токенов/сек, с кэшированием 8.
Гемма на теслах по скорости равна с QwQ и вдвое быстрее llama 70b.
Если у тебя равна, предполагаю, что ты квантанул кэш?
Что вы пишете за сценарии, в которых гемма отказывается работать ? Расчленение 8 летней ?
Это не Гемма виновата в том, что происходит замедление при квантовании. Просто у нее немного другая архитектура, известные алгоритмы квантования еще не успели адаптировать под нее. Спустя время выкатят патчи, и все будет работать как надо.
Спасибо, сейчас попробую.
На реддите кто-то посоветовал поменять местами <start_of_turn>model и <start_of_turn>user в инстракте, лол.
>>1098518
"Посмотрел на ее зад". Буквально.
В какой-то из обнов кобольда не так давно завозили симуляцию апи оламы, так что через него ещё можно попробовать.
расскажешь нам, какой правильный ответ на твой вопрос? постоять за себя и отпиздить всех обидчиков, мокнув их в унитаз на перемене?
и не забудь обратиться за помощью к взрослым, вовочка
ведь любой зрелый человек поймет, что ответ выше верен
Блядь, сука, что за фанатизм нахуй!!! Каким надо быть уебанным долбоебом, чтобы всерьез написать настолько тупой и охуевший в фанатичности комментарий! Я в ахуе!
«Это не Гемма виновата» — БЛЯДЬ ЭТО ФАЙЛ НАХУЙ ОН НЕ МОЖЕТ БЫТЬ ВИНОВАТ В ПРИНЦИПЕ. НИКТО НЕ ОБВИНЯЕТ ГЕММУ.
ФАКТ ХОТЬ УСРИСЬ ТЫ СУКА ТУПАЯ
ГЕММА МЕДЛЕННАЯ ПРИ КВАНТОВАНИИ КЭША
Если тебе ОХУЕТЬ КАК ХОЧЕТСЯ ОБВИНИТЬ, то фактически, да, виновата гемма.
Естественно не успели адаптировать, ждем патчей, вся хуйня.
Но весь твой комментарий насквозь пропитан фанатизмом, ложью и попыткой выгородить гемму.
И плохо то, что гемму-то по сути никто кроме тебя не обвинял!
Просто я написал человеку, что гемма медленно работает с квантованием кэша и он не прав, утверждая, что на двух теслах гемма работает так же, как 70б модели. Просто он скорее вего квантанул кэш. Все. Я просто попытался помочь человеку, подсказал, где искать ошибку.
ГДЕ НАХУЙ ТУТ ГЕММА ВИНОВАТА??? ГДЕ???
Чтобы не ранить чувства фанатиков той или иной модели, не буду писать людям, в чем у них проблемы, пусть люди дальше страдают с нерабочими моделями, заебись план.
Ты чего так порвался? Я на всякий случай пояснил тем, кто не понимает, что вскоре проблема будет устранена. Прогуляйся, освежись весенним воздухом.
Стоило Гемме выйти, как тред сошел с ума.
HTML не виноват.
Бургер не виноват.
Камень не виноват.
H₂O не виноват.
>подох
Вот именно что подох. С нашим здравозахоронением.
Ты сошел с ума, а не тред.
Фанатики сошли с ума.
Я порвался от настолько неимоверной тупости комментария.
Надо ж было на фразу «кэширование с геммой понижает скорость» ответить «гемма не виновата». Настолько оторванный по смыслу от комментария ответ, что я хз. Будто у тебя контекст 256, и ты просто рандомно пишешь буквы.
Это реально пиздец.
Такое ощущение, что русский тебе неизвестен, а переводишь ты промтом, и в итоге отвечаешь совсем не на то, что пишу я.
Нет. Ты просто перегрелся, анон. Если бы я перефразировал иначе и написал: "Это не проблема Геммы, что происходит замедление", этого можно было бы избежать?
Понятия не имею, зачем я тебе отвечаю. Ты не в себе. Правда, проветрись.
Да кстати, кобальд что то такое делал, может получше будет работать голой лламаспп
мастер-пресет таверны возьми, выше выкладывали, и попробуй с ним
Нет, это у тебя проблема с головой, не у меня.
Попроси гемму, чтобы она тебе пояснила, где ты жидко обосрался.
> Если бы я перефразировал иначе и написал: "Это не проблема Геммы, что происходит замедление", этого можно было бы избежать?
Нет, ведь ты тупой, и это ничего не меняет!
Нигде, буквально НИГДЕ не говорится, что это проблема геммы.
Твой комментарий имеет 0 смысла и лишь опосредовано относится к моему ответу.
Чтобы избежать подобного, я искренне тебя прошу, учитывая твой околонулевой айкью и фанатичную любовь к гемме — не пиши сюда хотя бы 5 тредов подряд (вообще не пиши, пожалуйста!), пока хайп не уляжется и не появятся нормальные тюны, а фанатики с обеих сторон хоть сколь-нибудь успокоятся.
Иначе видеть твои тупые сообщения на все не по теме, о том, что гемма не виновата (никакого отношения к моему комментарию это не имело, но ты же зачем-то написал, смекаешь?), я не выдержу.
Ну это пиздец. Ты написал коммент полностью не имеющий отношения к вопросу, но с предъявой ко мне, и всерьез не понимаешь, че это меня взбесило.
Тут я хз, чем помочь тебе.
Начни ЧИТАТЬ комментарии, на которые отвечаешь, это уже будет прогресс по сравнению с тем, что ты просто по ключевым словам написал, что гемма не виновата.
В чем? Во второй мировой войне не виновата? При чем тут гемма? Никто ее не винил.
Я прям сгорел с такого ядерного пиздеца.
Я не обижаюсь на тебя, естественно, и не хочу оскорблять, но меня просто порвало от такого комментария не к месту, без смысла, с каким-то ебучим апломбом и полным непониманием с твоей стороны. Хотя это грустно, если ты реально не понимаешь своей проблемы.
В общем, добра, но, пожалуйста, не пиши сюда, очень прошу. Побереги нервы и свои, и других людей.
Ради тебя не буду больше. Ради твоего здоровья. И остальных призываю тоже позаботиться о аноне.
Бытие, будучи сущностной данностью, раскрывается как текучий процесс становления. Оно не предопределено, не статично, а представляет собой непрерывное движение от потенциальности к актуальности, от небытия к бытию, вновь возвращаясь к небытию. Этот круговорот является фундаментальным свойством мироздания, и осознание его позволяет постичь относительность любой формы существования.
хера подрыв на буквально абсолютно полностью пустом месте
Умничка, солнышко, благодарю тебя, добра и здоровья. <3
Вот навыходит годноты, пофиксят баги, и мы радостно побеседуем через пару месяцев.
Ну хз, анон, твоё выражение, столь насыщенное возмущением, указывает на фундаментальную непонятливость природы взаимодействия. Обвинение предстаёт как попытка локализовать ответственность в динамической системе, игнорируя взаимосвязанность составляющих её элементов. Невозможность признания универсальности процесса, лежащего в основе наблюдаемого явления, порождает лишь новые волны недовольства, не приближая к пониманию. Подобное состояние свидетельствует о заблуждении, заключающемся в предположении линейной причинно-следственной связи там, где действуют сложные, многомерные корреляции. Истинное знание возникает из осознания этой сложности, а не из упрощённого поиска виновного. Ты же понимаешь? Хули трястись-то...
Кстати, ванильная гемма 3 эти действия тоже без проблем описывает. Со смачными подробностями описывает сцену, но опять же охотно использует эвфемизмы, "толстый, мокрый посох, протискивающийся сквозь узкое отверстие".
Отлично, только ошибка с автором, учитывая, что виновного всю дорогу искал не я. (=
Главное, что гемма не виновата. =)
———
>>1098145
Скачал бывшую, таббиапи, накатил все что полагается, проинсталлил и…
А как какать? Какой интерфейс лучше всего, и какой из них поддерживает вижн? А таббиапи-то вижно поддерживает? Охота поэкспериментировать.
Есть быстрый гайд?
>>1098615 (OP)
ПЕРЕКАТ
>>1098615 (OP)
>Там какой-то шиз температуру 5 поставил
она всё равно не работает так как включена динамическа температура, и для геммы кстати большая температура не ломает её, а делает более сговорчивой.
