Локальные языковые модели (LLM): LLaMA, Mistral, DeepSeek и прочие №106 /llama/
Аноним
04/02/25 Втр 19:53:18
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
• Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Moraliane и https://huggingface.co/Aleteian
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1037498 (OP)
>>1034116 (OP)
Основную модель, по которой идет хайп, не запустить обычному человеку, смертным доступны только маленькие дистилляты этой модели, которые уступают уже существующим моделям. Обсуждение веб-версии Deepseek ведется в соседнем треде.
Всем чаю с молоком
>Всем чаю с молоком
Кофе со сгущёнкой.
А молоко ща плохое - то оно скисает не успеешь до дома донести, то не скисает по две недели, и тогда вопрос - а что в этой жидкости от молока вообще?
Нужна локальная модель с хорошим пониманием (и генерацией) русского языка. В общем-то достаточно чтобы она была способна генерировать более-менее связные пасты про говно, например. Можно положить хуй на написание рабочего кода или поддержку большого контекста - она будет работать с сообщениями из тележного чатика и держать в контексте последние несколько сообщений.
Ресурсы невелики - 4Gb VRAM, 16Gb RAM, CPU что-то уровня i3/i5 примерно 8 поколения, хост под Windows. Конечно же хотелось бы не выгружать ее из памяти, и если VRAM я могу отдать весь, то RAM мне нужна хотя бы половина свободная от нее для других задач.
Запускать хочу через ollama, которая предоставляет мне API.
Дайте что-нибудь пожалуйста, удовлетворяющее этим условиям.
> Обсуждение веб-версии Deepseek ведется в соседнем треде.
Схуяли? Такая же ллм, как и все.
Ограничь количество токенов на ответ до 100 и перезапусти чат.
это же ни на что не влияет, кроме как на то что обрезается лишнее.
Только долбоебские модели обрубают предложение на полуслове, остальные стараются поместиться в ответ.
>молоко скисает
Я покупаю десятки литров молока долгого хранения(может хранится месяцы и снаружи холодильника). Всем рекомендую.
В промпте указывай, что мол, пиши покороче, в пару предложений.
>Стоит (ударение поставь по вкусу), но нужно найти свой тюно-мерж.
Действительно. логично, даже спорить не буду.
С одной стороны у нас мистралияподелия в которых, в худшем случае 8квант весит 19гб.
И 70ая Лама. Где жизнь начинается от 40гб.
Легкий переход ёпта.
>4Gb VRAM
печально быть тобой (сам таким был), тут только 4тый квант 12б мистральки, или вообще 8б ламу анаалигнед возьми
Точно не для ерп, аположайзит, если пиздануть то подтупливает. Нужно хорошенько пердолиться с промтом чтобы получить, ну и не сказать что там сильно приятный результат для обычного рп, хотя в целом умная. Не понравилась вообще.
>>1040575 →
> превысить потолок
Там не столько потолок, сколько припезднутая реализация контроллера памяти с делением и межблочными задержками, которая в свою очередь не позволяет достигнуть должного перфоманса в требовательных к псп памяти вещах. Штеуд тоже не подарок, далеко не каждый софт хорошо ложится на разные типы ведер, но с памятью у него все в порядке и нет костылей.
> превысить потолок
Где? Тут 90, хотя на этой частоте должно быть 100 или около того. В зависимости от версий есть нюансы с оценкой скорости записи, что в том числе видно по "тормознутому" кэшу.
> А с латентностью там что?
Для игрунов, у которых не хватило денег на профессор с кэшем и на видеокарту, и на монитор, и на девайсы, и на эргономичное кресло вместо гоночного треша, и т.д.
>>1040576 →
Сейчас бы тратить много часов и десятки прогонов ради циферки, а потом трястись от бсодов и вылетов, гадая из-за рам ли такое происходит. Особенно рофлово стебать красных фанатов разгона в войсчате, когда они посреди раунда в подпивасных соревновалках вылетают, и после 4-го раза идут ребутатся чтобы сбросить в jdec. Это раньше бета тестеры были вынуждены шатать десятки значений, чтобы заставить синхронизированный на режим рам анкор нормально работаеть. Сейчас это не нужно, но почему-то все равно продолжают мучаться. Если так хочется цифры - можно сразу купить нормальное железо и игросральные плашки, или же пожертвовать ерундой, которую никогда не заметишь.
> ты пердолишься
Я же не долбоеб, воткнул, включил xmp, заимел 110 на 96гб, забыл.
Веб-версия ближе к копросеткам. Все эти джейлы, регистрация через VPN на китайский номер и прочее говно.
Локально 666B никто обсуждать не запрещает, но средствами для запуска тут обладает 1,5 анона, и то во втором кванте.
>>1041373
Чел, нейронка не знает, сколько ты там задал, лол.
бамп
>Точно не для ерп
Никто не утверждал обратного, лол. Модель умная, да, но не более. Тюнов, увы, нет.
>а потом трястись от бсодов и вылетов
Один раз настраивается и работает, ХЗ откуда взяться вылетам на мега стабильном кофиге.
>заимел 110 на 96гб
Плашки скинь.
Под капотом 4080 и 64г оперативы
ждите.
Открываешь ссылку с актуальными моделями и дрочи на здоровье. Все что миксы от анонов- тебе туда.
Цилонька и пантеон - это про English cum. Хоть и мистралька.
Есть еще 35 командр, он вроде сносно может в русский.
Можешь еще двадцатую гемму потыкать. Но сугубо говоря, после командр и малой мистрали ничего вменяемого больше нет. Все остальное ты не запустишь (ну как не запустишь, запустишь с 1.5 т/с)
> Никто не утверждал обратного, лол
Пару тредов назад ее преподнесли как норм для рп, потому так и оценивал.
> на мега стабильном
Когда ты выкручиваешь все к краю, на что ненавязчиво намекает "прогон 11", это уже оче далеко от мегастабильности. Уже проходили и сам когда-то страдал этой херней
> Плашки скинь.
Корсары на 7200 не подумай что долбоеб чтобы переплачивать за те же м-даи с лгбт и накрученным профилем, просто в тот момент они стоили даже чуть дешевле других
Нахуй не надо, придётся катить тред каждый день же, я заебусь.
ОП
>Пару тредов назад ее преподнесли как норм для рп
РП и ЕРП всё же немного разные направления.
>на что ненавязчиво намекает "прогон 11",
Всего штук 18 было, лол. Я откатился с крайних если что, вот на 6400 была нестабильность. Но тесты для того и нужны, чтобы выявлять такое.
>м-даи с лгбт
Лол. У меня аллергия на ЛГБТ, всегда фильтрую не глядя. Поэтому сижу на G.skill Ripjews.
А где брал? На яшамаркете нихуя по параметрам 96GB (2x48GB) 7200MHz.
https://huggingface.co/bartowski/aya-expanse-32b-GGUF
Фигня. Ну душевно. Но фигня. 4 квант того не стоит, мозги хуже чем у мистралек. Ломает форматирование, забывает буквально что было в начале своего же поста, забывает с кем говорит. Литералли 50 первых поцелуев.
Там оригинальный репозиторий требует шаринга, лол.
А вообще, модели 3 месяца, зачем тебе эта древность? Я в треде про эту версию айи ничего не слышал.
Попробуемс. Чуть позже отпишусь.
О ! Я уже попробовал из прошлого тредика
Гемасутру- ну гемма, как гемма. Даже добавить нечего, лол. Нахуй нужна, не пойму. Цидонька на мистрали тот же опыт. Но может в Великий и Могучий (Но криво).
>>1041539
Поддвачну. Ну то есть, если 70ая гемма делает вещи, то её обрубок нахуй не нужен. Литералли мистраль лучше.
Пахучий, замешанный на квене, свеженький диситилят, всего 15 дней. Запускайте, не обляпайтесь.
Если сможете, конечно.
Хи хи хи хи
Ссылка у аутиста отвалилась.
https://huggingface.co/bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF
Посоветуйте модель для РП на русском или simple engish, кто чем доволен по использованию, чтобы лампово поняшится и делать всякое. Не смог осилить по контексту, ЕРП - это оно?
Оно и в рп не туда все время уводило по одним рельсам, хотя в целом ПОДМЕЧАЛА и воспринимала норм, просто скучно. Даже для проверки подрубал другие - на тех же карточках норм, даже без "оптимального" промта.
Может просто сценарии не те, прямо плохой ее не назвать, но подойдет далеко не для всего.
> Ripjews
Содомит
> А где брал?
Где на раскрутке возвращали наебаллами до 2/3 выставленной цены. Тогда и 7500 (или с другой частотой но быстрее) были задорого, а сейчас из больших небинарных по 2-3 варианта в магазинах. Дефицит?
Насчет стабильности, при интенсивной и продолжительной работе в горячем корпусе все конфигурации впритык начинают рассыпаться. А еще с появлением в корпусе дополнительной печки, которая удачно обдувает плашки, можно получить проблемы даже на jdec. Диагностируется невероятно сложно, но лечится элементарно.
>>1041545
> Цидонька на мистрали тот же опыт.
Этими тюнами настолько угробили умняшку гемму, что она опустилась до мистраля?
>Этими тюнами настолько угробили умняшку гемму
27 гемма никогда не отличалась умом и сообразительностью. Ну не будем врать сами себе. Мистралька в английском РП таки получше будет. А хорни тюны так вообще заебись.
Настоящая гемма с 70 начинается.
И чем он новый, рпшил с ним в роли биомеха из Lust Gear, без размышлений он фактически тот же квен, ну получше немного думает, мб из-за ризонинга, но слог суше и техничнее.
С размышлениями срёт, часто под себя.
Требует и требует, какая разница, ггуф ничего не требует.
> вообще, модели 3 месяца, зачем тебе эта древность?
В смысле древность? Мистралю, что все нищуки жрут причмокивая, уже почти полгода.
Командир так-то был годным. Ая должна быть не хуже.
>Посоветуйте модель для РП на русском
НАХУЙ ПОШЕЛ. БЛЯТЬ. СОБРАЛСЯ И УПИЗДОВАЛ К ХУЯМ СОБАЧИМ. СУКА КАЖДЫЙ ТРЕД ПО ПЯТЬ ВОПРОСОВ БЛЯТЬ. НУ ПОГУГЛИ В ПРОШЛОМ ТРЕДЕ СУКА. НИХУЯ ЗА ДЕНЬ НЕ ПОМЕНЯЛОСЬ, ВСЕ ТАК ЖЕ. У БЛЯТЬ КАК ЖЕ ТЫ МЕНЯ БЕСИШЬ.
Ну а вообще добро пожаловать, посмотри в шапке миксы от анонов.
Ну может хоть немного меньше станет А КАК ДИСИКПИСИК ЗАПУСТИТЬ В ОЧКЕ НА 8 ГБ АМУДЕ ЭРТЭИКС.
Ну давай. Поведай. Что же ты такого нашел, что мы не смогли настроить ? Какой файнтюн мистраля ты принесешь нам как откровение ?
Я лично скачаю и обмажусь каждым хиден гемом, который ты принесешь. Еще и весь тред ими засру. Да даже больше. я всю доску засру, что тред чатботов опустеет.
> 27 гемма никогда не отличалась умом и сообразительностью
Разве что если запускать в поломанном ггуфе. По сообразительности, креативу и пониманию происходящего мистралька и рядом не стоит. Хз насчет свежевышедшего, но 12 и 22 - точно. У нее только один серьезный недостаток - малое дефолтное окно контекста.
>>1041597
> настройки соответствующие этим моделям
Конкретизируй.
>акой файнтюн мистраля ты принесешь
Наоборот, это вы на дристрале своем сидите и гемма вам говно, квен вам говно, командир вам говно, одни шизотьюны дристаля заебись, потому что влезают в нищезатычки.
>По сообразительности, креативу и пониманию происходящего мистралька и рядом не стоит. Хз насчет свежевышедшего, но 12 и 22 - точно. У нее только один серьезный недостаток - малое дефолтное окно контекста.
Хуй его знает, если честно. Мы ступаем на территорию я так чувствую. Если я на 70ой гемме видел как живее идет общение, как нейронка начинает выкупать иронию, то её обрубок.. Ну честно, ну я не заметил отличия от мистрали. Но опять же, я её на пяти карточках пробовал в РП. И рассматриваю исключительно в рамках РП. Может гемма лучше на русском языке, не пробовал. Но прям качественных изменений не увидел. Но опять же, опыт другой, свайпы другие - заебись, но контекст все портит, увы.
>Конкретизируй.
Вангую откровения в духе
А ВЫ ЗНАЛИ, ЧТО ГЕММА ЗАПУСКАЕТСЯ НЕ НА МИСТРАЛЕВСКИХ НАСТРОЙКАХ
КОМАНДР ПЛОХО РАБОТЕТ С ПРОМТОМ ОТ АЛЬПАКИ
Ты модели приноси, а там дальше поговорим.
Ты же нашел какой то хидден гем же.
Так и все что ты перечислил влезает туда же, максимум контекст порезать но это херня. Или ты пришел нести святую истину что 70b модели лучше 30b ? Так это и без тебя знаем.
Так сказать по свежим токенам на английском языке.
Пишет свежо, похож на стандартный коммандер, но чуть живее что ли. Пожалуй его мы оставим и будем основательно тыкать.
Несколько нашел, которые в треде до меня не обсуждались вообще
Athene v2 chat
EVA Qwen 32B
Aya expanse 32B
Из нового что еще не тыкал:
EXAONE-3.5-32B-Instruct
>Athene v2 chat
Обсуждается, причем в этом блять треде.
>EVA Qwen 32B
Квен не для РП. О чем куча анонов писала. Это интсрумент, пишет сухо.
>Aya expanse 32B
Прямо сейчас тыкаю. Вот тебе скриншот. Я не ванга, я определять качество модели по паре сообщений не умею.
>EXAONE-3.5-32B-Instruct
Вот и приноси своё кря в тредик. Будем смотреть.
>Яндексу сливать текста не хочу
HA HA HA HA HA
O HO HO HOHO HO
BWA HA HA HA HA HA
Барен, барен, самый лучший барен на свете
До меня только сейчас дошло, что я ламу за гему принял. Но с другой стороны - гугл, мета, один хуй жидорептилоиды.
>Обсуждается
Потому и обусждается, что я его в позапрошлый тред принес. Хорошо что заметили.
>Квен не для РП.
Никакая дефолтная модель не подходила для РП, дальше что?
Речь про конкретный РП файнтьюн. Вполне достойный как по мне.
Ебать ты конечно не замечательный. А я думал было радоваться, гемма 2 27B была хорошей для своего размера.
> Мы ступаем на территорию я так чувствую.
Не совсем, это очень наглядно проявляется естьи помучать всяким нлп. Не просто шизозагадки на распутывание, а что-нибудь широкое, где нужно понять конкретный контекст и суть, правильно обработав.
И в рп гемма прям старается и весьма умная, не просто не забывает про количество трусов, но и понимает мотивы юзера, а не сливает на типичный рп/кум/... слоп, который в край заебал.
Проблема в глупости юзеров, большинство не понимают отличий и не могут оценить по отдельным критениям. Написала так что понравилось/привык - значит хорошая, разыграла круто но не так как хотелось - плохая. И это не говоря о кривом формате.
> ВЫ ЗНАЛИ, ЧТО ГЕММА ЗАПУСКАЕТСЯ НЕ НА МИСТРАЛЕВСКИХ НАСТРОЙКАХ
> КОМАНДР ПЛОХО РАБОТЕТ С ПРОМТОМ ОТ АЛЬПАКИ
База
> на 70ой гемме
>>1041723
> что я ламу за гему принял
Гемма как раз довольно близка к 70 по пониманию, офк не идеальна но среди остальных выделяется.
>Квен не для РП. О чем куча анонов писала. Это интсрумент, пишет сухо.
Итак, корабль "Святой Морган" приземлился на этот херовый мирок, который, по данным карты, был обозначен как "Девственная-7". Эти ученые пидарасы из Центра космических исследований назвали его так, потому что с их точки зрения, планета была неприкасаемой и неоскверненной. Ага, точно, как блядина в публичном доме.
Капитан Рокки Бальбоа вылез из кабины управления, потянулся, растопырив ладони, и посмотрел на эту зеленую херню вокруг. "Ну и хуйня", - буркнул он себе под нос. С ним были его команда: Мускул Джек — здоровяк, который думал, что у него есть мозги; Пиздец Charlie — технарь с кучей татуировок и грустным взглядом; и Лолита Лавина — единственная женщина на борту, которая была с ними не из-за денег, а потому что ей нравилось быть такой херовой.
Они спустились на поверхность и начали разбивать лагерь. Пляска светлячков в ночном небе выглядела красиво, но Рокки знал, что это не случайно. Они поставили палатки, разожгли костер и начали обсуждать, какую хуйню они видели.
"Эй, Рокки, ты глядел на эти долбаные горы?" спросил Мускул Джек, указывая на массивные пики на горизонте.
"Они выглядят, как пизда бабы с фаллопиевой трубой", - фыркнула Лолита, поднося кружку термоса с кофе.
Charlie, который был занят с калибровкой приборов, не поднимая головы, сказал: "Эй, ребята, вы видели это? Это не просто хуйня. Это какая-то херовая энергия."
Вдруг земля задрожала, и из-за холмов появилась процессия. Около дюжины бабулек, одетых в длинные робы и смотрящих на них с испуганными глазами, подошла к лагерю.
"Что за хулиганье?" спросил Рокки, подходя ближе.
Одна из старух заговорила на каком-то странном языке, и Charlie, который знал хуй знает сколько языков, перевел: "Они говорят, что мы нарушаем их святость. Это планета для целомудренных дамочек."
Рокки вытаращил глаза. "Ты шо? Ты серьезно?"
Charlie кивнул. "Видимо, они считают себя неоскверненными и не хотят общения с такими как мы."
"Ты глядел на их морды?" Рокки указал на Лолиту. "У нас тут тоже есть дамочка. Может, они с ней поговорят?"
Лолита фыркнула и отвела взгляд. "Советую не надеяться, Мистер Бальбоа."
Старухи переглянулись и ушли, оставив их в молчаливой тишине.
"Ну и хер с ними", - сказал Рокки, разводя руки. "Давайте собираться домой. Это не наш мир."
Они начали сворачивать лагерь, но внезапно Лолита закричала: "Эй! Смотрите!"
Из-за холма показался другой отряд бабулек с флагами и крикливыми плакатами. На них было написано что-то вроде "Сберегаем целомудрие!" и "Дайте нам еще монастырь!"
"Ну и хуета", - сказал Рокки. "Похоже, мы ненароком приземлились на планете для баб с проблемами с девственностью."
Мускул Джек расхохотался: "Нам здесь не место, ребята. Валим отсюда."
Они быстро собрались и поднялись в воздух, оставляя позади этот херовый мирок с его целомудренными бабами и непонятной энергетикой.
"В пизду", - сказал Рокки, усаживаясь в кресло управления. "Давайте домой, пока я не ебанулся."
Толстый намек дропать сомнительный софт типа хрома и кобольда, и пересаживаться на программы для белых людей. Лиса твой бро, также попробуй llamacpp-server, если жора безальтернативен.
> для белых людей
> предлагает пересаживаться на браузер с зондами, написанный трапами
Ставь для локалок отдельный анально огороженый браузер, на вроде Midori или еще какого то старого легкого и рабочего говна и будет тебе счастье
Ну или в теории можно как-то залезть сетке под капот и там уже найти этот токен и умножить его на 0.5?
Потому что она пиздец хорни получается, хочется обороты снизить
Что то похожее делается через незаслуженно забытые контрольные векторы, не помню как там по английски
Странный доёб. Наверное он так делает из за указанного мною промта ?
Что несёт этот оратор? Объясните мне почему нельзя запускать дикпик, а то сам я нуб.
> Объясните мне почему нельзя запускать дикпик, а то сам я нуб.
Потому что для запуска оригинального 671b дикпика надо овердохуя памяти. Даже если речь идёт о ультраквантованных 1,5-бит версиях, то там будет под сотню гб рама.
Потому все локально запускают дистилляты разных размеров и квантов. Они определённо тупее облачного R1. Но то что они тупее других локалочек я с >>1041349 не соглашусь. По крайней мере в сегменте 32b он точно лучше QwQ и на глаз и по бенчам.
>Но то что они тупее других локалочек я не соглашусь.
А они и не тупее, уже 14b немного лучше чем обычная квен 14b.
Ниже да, 7b не хватает мозгов что бы делать выводы и быть производительнее оригинала.
1.5b вобще шутка, созданная просто для того что бы посмотреть как на нее ляжет дистилляция и посмотреть результат, сравнив с другими
Отключи обрезку незавершённых ответов.
Ева-квен внезапно может в рп, в ерп пока не тестил.
Даже не то чтобы сухо выглядит. 4 квант причём.
Подожди, уже начинаю твои логи таверны ощущать, подожди немного.
>>1042439
>логи таверны
Хммм... а реально, это может быть авто-саммари.
Но где как и зачем оно юзается?
> Но где как и зачем оно юзается?
В настройках таверны. Прям так и называется модуль.
Вообще понятней не стало, приноси лог из кобальта. Может там есть пояснение что он считает.
Это когда мелкую модель обучают на выхлопе большой модели, пытаясь таким образом ужать крупную модель. Берёшь дипсик на 671B параметров, и обучаешь на её входе/выходе модель с 1.5B параметров. А потом пилишь статьи/видосы как ты запускаешь убийцу OpenAI на Raspberry Pi.
Положили рядом deepseek-r1-zero:671b и qwen-2.5:1.5b. На вход подали кучу синтетики, qwen сказали: "будешь отвечать не как r1 - будем пиздить". Повторяли, пока метрики не вышли на плато.
По сути они зафайнтюнили хорошую существующую модель на вот это reasoning поведение: "может так может не так, давай ещё раз подумаем с другой стороны".
>>1042458
Примерно как петровичей обучают на заводах кем-то давно придуманной технике работы, и те повторяют как попгуи, ни в хуй не понимая почему нужно делать именно так и если вдруг ситуация требует корректировки - все равно продолжают ебашить по старому, изнашивая оборудование, портя товары и т.д.
Ну или студент который готовится к экзамену и может либо вучить все вопросы реально вникнув в суть, а может вызубрить шпору.
> "может так может не так, давай ещё раз подумаем с другой стороны"
Я с этого реально прифигел. Довольно медленно у меня, р1 около 1т\с. И вот она высираит кучу тхинк-текста, потом: "да, не, не может быть" и тхинкает в другую сторону. Прогресс, чё.
>Прогресс, чё.
Ну в этом и есть реальный прогресс. В этих сомнениях и внутренних метаниях скрывалось 20-30 процентных пунктов бенчей.
>русскоязычные, без цензуры модели для 6 ГБ
Они кривые все, настоящие ру модели будут если бляндекс в открытый доступ алису про или свои гопоте 3 сольет.
Мультилингва модели не бывают настолько мелкими в хоть сколь то перевариваем варианте. Разве что она иначально онли ру будет, но таких в открытом виде вроде нет. И тебе зачем? Для чата в таверне есть автоперевод, даже кликать ниче не надо.
>русскоязычные, без цензуры модели для 6 ГБ?
https://huggingface.co/mradermacher/Saiga-Unleashed-i1-GGUF/tree/main 4тый квант с выгрузкой в оперативу
Пиздец, чел. На 6 гигов даже модели на английском - полный кал, а ты хочешь еще и на русике чтобы они общались с тобой, лол.
Как я понял нужно по максимуму число потоков и максимум рам? Может у кого-то уже есть варианты на примете?
Минимально 2 эпикса ддр5 24 анала, если не хочешь ждать бесконечно ответы.
> Не хочу видеокарту. Как я понял нужно по максимуму число потоков и максимум рам?
Сколько рам не бери, сколько потоков не бери - это все тухлятина полнейшея, без видеокарты хотя бы самой тухлой неюзабельно вообще.
>>1042532
>ддр5 24 анала, если не хочешь ждать бесконечно ответы.
>не хочешь ждать бесконечно ответы.
Он в любом случае будет их бесконечно ждать, нах ты его в заблуждение вводишь и даешь лишнюю надежду?
Q4_K_M, или Q4_0 попробуй если первый вариант будет сильно шизить.
>>1042507
https://pixeldrain.com/u/gNAaUWZX Lily and Kuro.json
Нигде не выкладывал, ранее, так что без картинки, ещё сам не потестил даже норм.
Хуй знает. Я сейчас EVA-Qwen2.5-32B-v0.2-Q5_K_S пробую и чето какой-то кал если честно. Даже магнум 22б лучше генерит ролплей. Ты какую модель юзаешь?
>Бля, да когда уже диджидс в продаже будет? Я уже не могу ждать нахуй, хочу локально запускать 123Б модели бляяя.
Ты не торопись волноваться, а дождись хотя бы первых тестов. Вот я например могу локально запускать 123В, поскольку имею 96гб врам, но как говорится есть нюанс. Это раз; а второй момент заключается в том, что даже 123В модели, которые на сегодняшний день максимум для локалок - пока что несколько не то, что хотелось бы. С какой стороны не возьми современную модель, она не дотягивает - хоть код, хоть рп, хоть картинки, хоть голос. Рано ещё суетиться обывателю.
Там уже с пруфами память 270 гб/с. Мусор, в 4 раза медленнее 3090. Фактически P40 в компактном корпусе за оверпрайс.
А смысл тогда им такое делать? Кому нахуй надо большая модель, которая отвечает со скоростью 1т/с
70В в 5 т/с будет, быдло сожрёт. За 3к баксов хорошее предложение, учитывая что собрать на новых GPU сборочку надо в два раза больше, потому что кожаному жиду жалко добавить пару 10-баксовых чипов памяти на карту. Пока китайцы не начнут ебать куртку, так и будут все VRAM покупать за оверпрайс.
Это для тех, кто будет вкатываться в ИИ-шки после того, как нейрошизы доедят остатки P40/3090 на вторичке.
А когда большую модель обучают на выхлопе мелкой модели, это как называется?
>это как называется
если прям до упора и пережарки, то дистилляциия (дипсик), если просто на выхлопе, то просто дообучение - есть варианты на тройках запрос - хороший вариант - плохой вариант это варианты PO-алгоритмов, Preference Optimisation.
Просто ахуеть, хромог выебывается и кого-то пытается упрекнуть зондами. Сюрр ебаный.
>>1042291
И заводит привычку каждый раз ребутаться после запуска ллмки, естественный отбор.
>>1042444
Под этим термином сейчас понимают несколько вещей. Это может быть: изменение весов модели (обучением или модификацией) для достижения определенного паттерна поведения, который даст преимущества (лоботомия как в турбо-моделях диффузии или флакс-шнель, костыли-ускорялки, тот же vpred является дистилляцией); удаление "лишних" весов, оцененных малозначимыми по каким-то критериям, и сбор только наиболее значимых в составе меньшей модели. В случае дипсика это первое, прежде всего дрочили готовые сетки их датасетом с некоторыми нюансами.
>>1042619
Рили? Можно ссылочку? Обидно вообще, а ведь хотелось.
Бери любую залупу в зависимости от того, насколько необучаемый. Если открыт к новому и прогрессивен - самое дешевое, чтобы не так обидно было. Если упертый - то что-нибудь подороже, чтобы побольше настрадаться, носясь с этой херней. Правда может переклинить и уверуешь, начав бегать с криками что 1т/с хватит всем, обработка контекста не нужна, а ускоряющий всратые кванты код трапа, который буквально этим хвастается в комментариях - благо.
Да хуита будет очевидная для такой цены, арм говно, непонятный графический чип. За 1.5к денег еще былоб норм. Может китайцы научатся припаивать к этому чипу нормальное количество врам и распаивать его в виде отдельной видеокарты.
>>1042638
Летом/осенью с вероятностью 50% будет 5060 либо 5060ти с 24гб гддр6. Так что эти ваши жаренные 3090 будут нахой ненужны.
Щас бы жрать говно половина весов которого забита иероглифами. Вы ебанутые? Любая модель с двукратно меньшим количеством параметров будет такой же по сообразительности.
>>1041714
Это не только в таверне. Проблема с их апи, у меня плагин браузере тоже лютую хуиту высирает.
>В этих сомнениях и внутренних метаниях скрывалось 20-30 процентных пунктов бенчей.
А так же х3 к компьюту.
Вообще да, даже сайга анлишед консистентнее писала, по крайней мере сравнивая с 4-5 квеноквантами.
Но вообще экспириенс интересный. Не сказал бы что прям мусор, да и иероглифами срала редко.
Правда как и гемма начинает шизеть на 8к контекста, а мистральки адеватно держат в 2-4 раза больше.
Что делать, если не понятно, откуда ростут ноги? В одном из прошлых тредов советовали pathfinder-rp-12b-ru-q8_0. Какой размер контекста у нее? Или можно указывать такой, какой помещается в память?
> 20-30 процентных пунктов бенчей
А можно без сраных бенчмарков ради инфоповодов и завлечения нормисов, а просто чтобы девочка в рп вела себя как нужно?
>>1042727
> 5060 либо 5060ти с 24гб гддр6
> 5080 с 16
> 5070 с 12
Вероятность считалась по принципу "или будет или не будет, значит одно из двух".
Все современные модели имеют до жопы контекста, кроме геммы, лол.
>pathfinder
Как и все остальные 12б мистральки - 128К номинально, но фактически стабильно 32К примерно, да и хз где столько врам взять чтобы 128К влезло.
У большинства остальных моделей - 8К, или вообше 4.
Поэтому все на мистральках и сидят. Контекст решает.
>5060ти с 24гб гддр6
0 вероятности.
>>1042754
>А можно просто чтобы девочка в рп вела себя как нужно?
Нет.
>>1042764
>У большинства остальных моделей - 8К, или вообше 4.
128к у всех современных. Llama 3, Qwen2.5, DeepSeek-R1. Некоторые уже в лям могут. На каком кладбище ты 4к откопал?
>У большинства остальных моделей - 8К
Каких ? Лама и её вариации? Командр и его вариации ? Может быть большая мистраль, лул ? Квен ?
Потому что на моей памяти 8к - сейчас, это инвалид от гугла.
>Вы ебанутые?
Для начала квен не так плох. А потом, в конце концов ну хочется анонам пробовать что то новое, пусть пробуют.
А то у нас выбор большой блять.
Ехала мистраль через мистраль, да в мистраль глядела.
>А то у нас выбор большой блять
Ну, сочетание контекста и количества рп-тюнов, а кстати почему именно мистрали, его как-то удобнее / проще / ещё что было тюнить?
На другие базовые модели или раз и обчёлся (тот же ева-квен), или вообще нет.
>а кстати почему именно мистрали
Размер. Мистраль самая адекватная и сильная попенсорс модель. Вот и всё. По сути преимущество мистрали в одном :
она есть блять
Все остальные модели или лоботомировать или докупать по три видеокарты.
>А можно без сраных бенчмарков ради инфоповодов и завлечения нормисов, а просто чтобы девочка в рп вела себя как нужно?
Низзя. Потому что... Ты как деньги зарабатывать будешь, вумник ?
Представь что ты заставил девятиклассника выучить монографию по квантмеху. Он нихуя не понял, но заучил буквы и циферки.
А потом он рассказывает то что выучил, тому кто способен понять . Но сможет ли он объяснить ?
Так и тут. ТАК НИКТО НЕ ДЕЛАЕТ БЛЯТЬ, ПОТОМУ ЧТО ЭТО ТУПО.
Memory: 4.46 GiB / 31.26 GiB (14%)
Что на это ведро можно натянуть для рп без цензуры?
Для начала посмотреть что пишут в треде. Потом посмотреть шапку. А потом уже спрашивать.
Я из шапки сюда и пришел. Память вот в этом https://rentry.co/llm-models списке это видеопамять или обычная?
Что такое Magnum? Без тюнов вообще можно пользоваться?
>Я из шапки сюда и пришел.
Ну тогда у тебя не должно быть вопросов. Эхх..
Ладно, смотри.
>Миксы от тредовичков с уклоном в русский РП:
Тебе сюда.
>это видеопамять
Да. Врам это база для моделей, потому что на всем остальном они ОЧЕНЬ ОЧЕНЬ ОЧЕНЬ ОЧЕНЬ медленные. И нет, они действительно будут медленные, можешь не пытаться. Тебя хватит на пару сообщений, не больше.
>Что такое Magnum?
Ебливые тюны чего угодно. Ебливые настолько что во втором сообщении лезут в трусы, чтобы что то там найти. Абсолютно из за этого бесполезны в РП, так как приходится постоянно ебливого пидораса останавливать.
>Без тюнов вообще можно пользоваться?
Без тюнов это оригинальные модели. Но не с 8гб.
Увы, для ЛЛМ гейткип по железу и ты никак его не обойдешь.
> без сраных бенчмарков
> чтобы девочка в рп
Ну сорян, кабанчикам надо чтобы бенчи росли, чтобы бизнес задачки решались, они бабки для того и заносят. А девочкам в рп никто не заносит.
>х3 к компьюту
Компьют сегодня стоит копейки на фоне железа, особенно в домашнем сегменте.
Блять ладно спасибо, пошёл копить на вторую карточку 16 гб
Если тебе не чисто кум нужен, то смотри в сторону 12b моделей в q4_k_m. Полностью они в видеокарту не влезут, наверное, поэтому скорость генерации будет не такая быстрая, как хотелось бы. Тем не менее, использовать модели меньше 12b уже совсем адская мозгоебка.
Контекст ставь 8к. Если поймёшь, что мало, можешь увеличить его, при этом скорость уменьшится.
Магнум чисто кум-модель, больше ни на что не годится в большинстве случаев. И также учитывай, что модели, которые могут в хороший рп, обычно не могут в хороший кум или могут на среднем уровне.
Нормальный рп без цензуры может дать chronos gold (вроде так называется), mag mell, а также модели автора DavidAU, которые 12b. Модели последнего чувака довольно ебанутые и шизофреничные, их сложно/нудно контролировать, однако впечатления от них более интересные.
Дай ка подумать. Видеокарта с 96гб видеопамяти для ЛЛМ.
Попробуй на ней яичницу жарить, хуй знает что еще посоветовать.
>Нормальный рп без цензуры может дать chronos gold (вроде так называется), mag mell, а также модели автора DavidAU, которые 12b. Модели последнего чувака довольно ебанутые и шизофреничные, их сложно/нудно контролировать, однако впечатления от них более интересные.
Увы, нормальный рп начинается с жирных тюнов мистрали. А на жирной ламе или бегемоте ты вообще стены малафьей покроешь.
Sad, but true.
Так как оно сейчас оно, анон?
Если ты не понимаешь и не можешь объяснить - нахуй тебе линукс, то какого ответа ты от нас ждешь ? Сформулируй внятно мысль зачем и что ты хочешь получить.
Вот, ты дебил. Я прямым текстом написал объясните мне, нужен ли мне Линукс. Не пиши мне дурень, уйди.
>написал
>хочу перейти на линукс но боюсь ква-ква
Ты троллишь меня ? Я задачи для тебя на линуксе должен сам придумать ?
Нет не переходи, ты тупой, это вредно.
> Athene v2 chat
Обсуждалось на выходе, люди не впечатлились и забили.
> EVA Qwen 32B
Это недавно упоминали, да, треда три назад, наверное ты.
> Aya expanse 32B
Ее тоже очень давно обсуждали, как и все коммандеры и айи. Но как-то славы не снискали.
> EXAONE-3.5-32B-Instruct
Не слышал.
>>1042331
> под сотню гб
170 минимум
>>1042933
Легче собирать FlashAttention и SageAttention с Triton.
Ну так, если тебе это надо.
> Хочу разное попробовать.
Пробуй.
> Какая есть модель лучше чем magnum-v4-22b-Q8_0
Лучше - понятие субъективное. Кроме мистрале тюнов ничего нет. Чуть выше тебя ждет командр и гемма. А еще выше лама и совсем монструозные мержи.
Если мистрали - то пантеон и цидония.
Если командр - то командр, лол. Его нахуй не надо тюнить.
Он и так прекрасно аутичен
Еще будет 27 гемма. Но там тебя будет ждать сюрприз, а какой не скажу.
Ну и запрягай коней, потому что на средних размерах появляется наконец то альфа и омега среднекума, Лама 70ая во всем её величии.
То есть все годное это 22Б? Чому так? Ведь в 24гб и ~30B влазит
>Чому так
Потому что существует небольшая мистраль.
>30B влазит
Ну и запускай, я написал тебе варианты.
Да ладно. Пусть оставляет контекст в оперативной памяти. Чем больше людей это сделают, тем меньше в треде будет подобных вопросов.
Ща пробую 34б магнум. Бля, какую же он лютую хуету генерит. Тянам хуи приделывает. За меня реплики и действия пишет. Вообще ебнутый. С 22б такие проблемы раз в 10 реже стреляют, что вообще не заметно. А 34б тупо с вероятностью 50 на 50 хуй приделывает, пиздец.
Ты никогда не задумывался, почему тут аноны так радостно пляшут от цидонии ? Почему именно мистраль ?
Потому что мистраль дает пососать порой страшим моделям. Литералли лучшая девочка, но не без недостатков, но мы все равно её любим.
Мистральку чмок :3
Может это просто проблема настроек?
Вон на мистраль есть мет, а остальное как шатать - хуй знает.
>>1042889
Нуууу маааам!!!
>>1042895
Нахуй ты жопой крутишь, приводя в пример обрезанный выкидыш, дура? Уже все анонсировали, там такие же 8-16.
>>1042901
Отличный высокотехнологичный обогреватель на 300-700вт. Если несколько штук в составе норм сервера - можно сдавать в аренду, профит побольше чем от недвижимости, но актив рисковый.
>>1042907
> для ЛЛМ
Для обучения, инфиренсить на ней на постоянной основе только маразматики или зажравшиеся будут.
https://habr.com/ru/articles/879662/
>Еще будет 27 гемма. Но там тебя будет ждать сюрприз, а какой не скажу.
Так а что за сюрприз то, ато я сижу уже пол года на ней и вроде норм всё.
мимо другой анон
Что должно быть не норм (исключая контекст и особенности его растяжки)?
>8рам
У тебя выбора нет. Только мистраль, только хардкор.
Ну смотри, я довольно долго сидел на пикриле, как посоветовали пару тредов назад, но потом решил поэкспериментировать и поискать более ёмкую и умную модель. Щас буду пробовать пик 2.
Попробуй для первой Q4_K_M еще, будет лучше (но контекста 12к максимум влезет).
ньюфаг
До 16 растягиваются, как раз столько в одну карту и поместится. Было бы вообще круто обновленную гемму получить, а не это вот все, с 32б квеном рп уныл как ни крути.
Кстати, внезапно с рекомендуемым шизопромтом (где насрано про "не суй нсфв когда не надо") именно магнум лучше справился с тизинг сценами и кадлингом после продолжительного подстеба slave шутками про то для чего она куплена. Не скатывая в типикал
> master make me yours
или новые варианты начиная с середины сообщения, а вполне отыграв умеренную невинность и естественную реакцию со смущением и милотой. Даже клодыню обыграл с ее типикал жб.
>рекомендуемым шизопромтом
Дай промпт и карточку, хочу посмотреть.
> промпт
А ну, ебало имаджинируй просто, катал мистраля с chatml под квен. И ведь, сука, хорошо работал, только иногда проскакивающий в стриминге eos токен посимвольно смущал.
В репе магнума на квен 72 пресет жсоном сразу.
> карточку
Форк Yuki из пушистого сборника, значения не имеет.
Хочу еще Магнум посмотреть, чью версию качать чтоб с квантами и .ггуф, но может еще что-то интересное есть на примете?
Так версию я нашел
https://huggingface.co/bartowski/magnum-v4-22b-GGUF
Ща скачаю и потестирую пару дней.
>>1043370
Я изначально не хотел брать немомикс тяжелее, потому что думал что он как у большинства моделей будет работать медленнее, но он работает с такой же скоростью как средняя модель и ебашит сочнейшие стены текста.
>Что на это ведро можно натянуть для рп без цензуры?
Буквально выше кидал анону с 6 гб врам ссылку >>1042512
Разве тебе можно шестой квант взять.
Как мне аноны объясняли - любое сообщение в чате есть контекст, так что ручками три.
>>1043369
Если быть точнее контекст это вообще ВСЁ что ты подаешь на вход модели, карточки/систем промы/текст в чате, всё, вообще всё. Никакого другого способа взаимодействия с моделью нет.
Когда контекст заполнен и ты пишешь новую строчку в чате, чтобы продолжать работу нужно удалить часть старого и пересчитать контекст. И так с каждой новой строчкой. Поэтому любое изменение заполненного контекста = его перерасчет.
Хороших решений этой проблемы пока не существует, из того что есть на выбор 3 варианта:
1)Смарт контекст - ценой половины твоего контекста (поставил 24к станет 12к) делает перерасчет контекста не каждое сообщение, а в зависимости от размера этого контекста(сколько влезет в эту самую откушенную половину), условно при тех же 24к перерасчет будет делаться каждые 12к контекста. Норм вариант когда у тебя дофига врам и ты можешь поставить хоть 100к контекста(т.к для того же рп больше 24к ставить всё равно сомнительно, лучше в лорбук лишнее засунуть)
2)Контекст шифт - крутая штука, работает не за счет полного перерасчёта всей простыни, а делает сдвиг контекста считая только новые строчки. Бочка говна в этой ложке меда в том, что оно несовместимо с любыми свистоперделками(лор буки/заметки и т.д.) той же таверны. Т.е если что-то динамически добавляет строчки куда угодно кроме конца контекста, сдвиг тут не сработает и понадобится полный перерасчет, ещё и модель может зашизить.
3)Ручной труд - при заполнении контекста делаешь суммарайз/ручками заполняешь лорбук/карточку персонажа. После создаешь новый чат и погнали. Думаю тут комментарии не требуются.
>После создаешь новый чат
Я гусь и я доебусь.
Можно не новый создавать а прожать глазики в чате выключающие сообщения из контекста чтобы потом экспортировать в текстовый файл всё целиком если это для чего-то нужно, например нейрофанфик пишете.
Память не будет суммироваться, но ты сможешь разделять модель на две видяхи. Я так делаю со своей 4090 и пожилой 3060
Предыдущий анон ответил неочевидно.
Память суммироваться будет. Но для модели, а не для чипа. Каждый кусок суммарной видеопамяти будет обсчитывать свой чип. Т.е., если у тебя 3080 + 1060 ты не получишь 14 гигов 3080, ты получишь 8 гигов на скорости 3080 и 6 гигов на скорости 1060.
Так что, память суммируется, но чипы и тип памяти должны быть все же достаточно быстрыми. Все еще лучше оперативной, конечно, но случайной хуйней занимать порт на материнке не надо. Старайся брать достаточно современную видеокарту с большим объемом памяти.
VRAM или CPU + RAM? Очевидно, что VRAM на 150 ГБ купить для личного использования нереально. Купить мощный CPU и 150 ГБ RAM реально.
Мелкие дистиляты вмещаются в игровые видеокарты, но мелкие дистиляты работают настолько плохо, что можно считать, что они не нужны. Вменяемый результат мы видим от 32b. Результат становится лучше при увеличении размера. То есть 320b будет гораздо лучше чем 32b.
Получается, стратегически, нет смысла покупать новую видеокарту, потому что всё равно туда нормально работающие нейронки не поместятся, а плохо работающие нейронки не нужны.
Я правильно понимаю, что если обновлять компьютер, действительно стоит вложиться в CPU и RAM или я не вижу какиех-то ошибок в суждениях выше?
> я не вижу какиех-то ошибок в суждениях выше
У тебя <think> токены отвалились, поэтому и не видишь.
Мое мнение по опыту использования, я в теме только несколько дней, поэтому считай просто наблюдением.
На видюхе скорость обработки 40 токенов в секунду, на проце 3 токена в секунду. Сейчас использую модель, которая часть памяти держит в видюхе, остальное в RAM. Это функционально работает, но качество жизни страдает.
Не могу сказать, какая скорость будет в сравнении 12 Гб + 12 Гб относительно одной видюхи 24 Гб, самому интересно.
Ты не знаешь какая архитектура будет жизнеспособной через год. Может там будет хорошо думающий кирпичик на 7б с нулевой эрудицией, который будет получать всю экспертность из агентов. Может какая-нибудь очередная мамаба выплывет которая с ног на голову перевернёт скейлинг. Может ещё что.
Так что покупай то, что запускает существующие модели, что потом в хозяйстве пригодится или продать сможешь. Я для себя выбрал 2 потребительские 4060ти, 32б влазит, качество устраивает, потом продам если что.
Ты забыл про чистую производительность.
Ну влезет у тебя 22б в врам только вот все еще будет 1 токен в секунду из за того что карта в 3 раза слабее 3090
Как аноны выше уже ответили, да работать будет, и если ты не покупаешь в слот нечто странное, то будет даже хорошо работать.
Я сижу на 3070+4080 с итоговой 24гб и в ус не дую.
Контекста не хватит если ему нужна база знаний. Здесь только файнтьюнить
Если не срочно надо, то советую курс от гугла по нейронкам. Там всё объясняется теоретически как работает и файнтьюнинг в том числе. Будешь себя гораздо увереннее чувствовать при взаимодействии с нейронками.
https://developers.google.com/machine-learning/crash-course?hl=ru
ОРУ
>>1043617
Ошибка в том, что скорость совершенно разная.
Для домашнего использования в качестве замены ChatGPT-4 подойдет Qwen2.5-Coder-32b и R1-distill-Qwen-32b. Это цельные модельки, и для их работы хватит 36 гигов видеопамяти.
Собрать такой объем вполне реально — материнка с 3 слотами и условные 3060@12. И будет хорошая скорость. Ну, либо 4060ti с 16 гигами 2 штучки, если подужаться (ну или 3 штучки, чтобы чувствовать себя хорошо).
А вот с оперативной памяти при таком же раскладе скорость будет низкая. 1,6 токена для DDR4 и 3-3,5 токена для DDR5. Готов терпеть? Сомневаюсь.
Ультимативный вариант замена o1 — это r1. Даже в кванте IQ1_XSS она занимает 170 гигов (с микро-контекстом). Ее можно запустить на оперативе, НО, ее свойство в том, что она MoE, то есть внутри нее куча мелких моделей, и работают из них только 3 (по умолчанию). В сумме там 37B активных параметров из 671B всего.
Итого, мы имеем 37B фактически, да еще и более ужатых, чем маленькие 32B модели. Скорость получается все равно сопоставимая (особенности формата и типа модели), тем не менее, ты имеешь условные 1,7 токена на DDR4 и 3,5-4 токена на DDR5. Чуть получше, модель теоретичеки умнее, хотя из-за кванта (агрессивного ужатия) немного поехавшая.
Если же ты хочешь катать менее ужатую модель, тебе понадобится 512 оперативы. Зато там она уже будет очень умная, да. Но на десктопной плате ты столько не соберешь. Придется брать серверную (дорогую). Если просто напихать 512 оперативы в двухканальный режим, то получите очень медленную скорость (модель-то в размере будет большая, памяти надо прочесть больше) и сидеть на 0,7~1,5 токена на огромной модели — мука. Значит берем материнскую плату с 12 или 24 каналами. Вот там уже скорость позволит гонять 5-10 токенов/секунду. Выше анон много раз упоминал какой конфиг для этого нужен.
Ну и получается, что либо ты берешь 36-48 гигов видеопамяти 2-3 видеокартами и крутишь там Квены-32б.
Либо ты берешь 256 DDR5 на обычной плате и крутишь шизо-квант r1 медленно.
Либо ты берешь дорогущую материнку с двумя дорогущими процессорами и кучей дорогущей оперативной памяти и за сотни тысяч рублей катаешь нормальную r1 с приемлемой памятью.
Если тебе не хватит на третий вариант, то на кой хер тебе много оперативы, скажи мне? У тебя так дохуя времени, что ты готов ждать ответы по 20-40 минут (я не преувеличиваю, это реальной время ответа r1 на обычной памяти)?
Надеюсь, ты понял, почему твоя идея — полная хуйня, на которую даже я не решился.
(впрочем, я и так r1 могу гонять, хули я тут выебываюсь)
Файнтюн не годится если ему надо базу знаний. Практически невозможно избавиться от фактических ошибок и галлюцинаций. Если нужна база знаний, то просто вкладывай в контекст часть этой базы знаний по оглавлению, FTS или ещё какому RAG-подобному костылю.
https://x.com/carrigmat/status/1884244369907278106
Материнка: https://abgreyd.servis2010.ru/gigabyte-mz73-lm0 160к рублей / 1600 евро
Проц: ссылки не нашел, в гугле 140к рублей (2 штука!)
Память: https://market.yandex.ru/product--m321r4ga0bb0-cqk/1848079583 25к рублей (24 штуки!)
Итого получаем 1 миллион рублей с копейками.
Зато 768 памяти и r1 весьма быстро.
Можно сэкономить на памяти, я полагаю и добраться до 384 гигов и цены в 800к рублей, если тебе от этого полегчает.
Вот твоя идея на самом деле.
>Для обучения, инфиренсить на ней на постоянной основе только маразматики или зажравшиеся будут
Если мы рассмотрим гипотетическую ситуацию, что прилетел волшебник в голубом вертолете и дал мне не пиздюлей, а видеокарту, то нет ни одной причины почему на ней нельзя катать ЛЛМ. Потому что одной мало для кластера. Ну в теории можно еще в графику удариться, причем одновременно. Стоила бы эта видеокарта хотя бы 1млн, то я бы посмотрел без капли иронии в её сторону.
Но сейчас ? За 5 млн, я могу собрать блок из 4 4090 и еще на шлюх и корм коту останется.
Врам. Нужна врам - все остальное это деньги на ветер.
Тут ситуация как с дальней поездкой : тебе говорят, что зима блять в якутии, -50, а ты такой : но велосипед же едет, вот на нем я и поеду, вместо зимнего вездехода.
>то я бы посмотрел без капли иронии в её сторону.
Я просто напомню что у H100 нет видеопортов.
Ну так к слову.
И как в крузис играть то ?
Вот это я понимаю, наеб гоев.
Нет, но звучит интересно, попробуй запустить на каком-нибудь бенчмарке. Может ты придумал новый способ улучшения качества ответа, напишешь научную статью.
Это специализированное устройство. Ты же не жалуешься что карьерные самосвалы не катаются по дорогам общего пользования.
>>1043706
Нужно чтобы рероллы сидели в контексте, а не считались If
Нет, но пробовали генерить на R1 три реролла, и самый короткий из них оказывался самым умным статистически, значит можно пускать батч, и останавливать генерацию при получении первого же ответа.
=D
Никакой связи, просто забавный ресерч для работяг.
>>1043710
Я много раз наблюдал, что поднимаешь температуру - дает очень прикольные идеи/ответы, но неряшливо оформленные, с поломанным синтаксисом, с косяками не присущими данной модели, типа повторных трусов. Опустишь температуру - все струсами ок, но «я ебу - ты ебешь».
>>1043709
Естечтвенно в таверне такое не устроишь, нужно через апи дергать ответы и отдельным блоком их в финалный запрос вставлять как «необязательные идеи для вдохновения»
Скриптами можно. Просишь его трижды генерить в разные переменные, потом просишь проанализировать их сожержимое и сгенерить ответ уже в форму ответа
>Это цельные модельки, и для их работы хватит 36 гигов видеопамяти.
24 хватит, это одна 3090/4090.
> Processing Prompt [BLAS] (176 / 176 tokens)
> Generating (1 / 1024 tokens)
> (EOS token triggered! ID:2)
расскажи что за корпус у тебя чтобы 4090 + 3060 вместить? У меня прост тоже 4090 и сверху через усб райзер 1660 гтх вне корпуса лежит, но там скорость очень низкая передачи данных. Хочу 2080 ти воткнуть вместо 1660, но не знаю как все в корпус норм разместить, места тупо нет.
- ллама3 с 8Б уже прошлый век, подучить все равно не выйдет.
- пробовал КВЕНю2.5-7Б,32Б, неплох, сейчас как основной стоит.
- DeepSeek веселый, особенно как он иероглифы кидает в ответ временами. Раздражает, что он тебя "they" обзывает и под 500 токеном себе под нос бубнит, но конечный выхлоп кажется точнее выходит.
и еще для ролеплея с элементами еротики, хотяб с 130К кнотекста.
- что леддит советует типо DarkForest и прочих - какая то порнография бессвязная выходит, большие типа Мику не влезут в мою РАМу.
- брал лламу 3Б подобученную, неплохо эротику пишет, но, зараза, валится с мелким ее контекстом очень быстро, да цензуру возвращает, сука.
>>1043709
Неверное сравнение. Правильней сравнивать в таком случае карьерный самосвал и ленточный конвейер. Оба могут руду перебросить, вот только на одном и с пивчанским на рыбалку можно сгонять.
Не согласен. Можно взять узкоспециализированную модель, например для для решения одного типа задач, с которыми она справляется почти со 100% вероятностью и на ее выхлопе тренить большую модель.
Чет я не уверен что даже 24канала позволят гонять 4q дипсик на 5т/с. Хотя хуй знает, там же МоЕ ебаное, разве что за счет него. Но с ламой наверняка бы не проканало.
Если ужать, конечно. Но хочется q6 хотя бы. =)
>>1043777
> КВЕНю2.5-7Б,32Б
>>1043799
Не-не, ллама 405б будет овердохуя медленно. Она ж цельная.
А вот дипсик попрет вполне.
Ну смотри, 1,7 токена имею я на DDR4 для модели в 150 гигов.
Модель в 350 гигов будет ~0,7 токена, но это если бы DDR4 3200 в двухканале (псп 50). Если у тебя там 24 канала, да еще и DDR5, то это ~18 раз быстрее в теории. 0,7*18=12,6.
Конечно, идеальные условия, вся хуйня, но 5-7 выжмешь точно. А это уже вполне неплохо.
Так чисто, навскидку, Llama 405b q4 должна дать около ~2 токенов в секунду в идеальных условиях. Тут я уже ничего не гарантирую, но все равно, сама модель не суперкрутая, а отдавать 800к рублей ради 2 токенов на ней… Максимально сомнительное удовольствие.
Пикрил моя некропека, я так понимаю она нихуя не потянет, потому что мне помимо запущенной нейросетки ещё нужно держать открытыми несколько локальных вм, что бы обучаться и спрашивать её одновременно. Что можете посоветовать по железу? Какие-нибудь оптимальные спеки?
>Что можете посоветовать по железу? Какие-нибудь оптимальные спеки?
Посмотри в прошлых тредах, думаю треда 4-5 назад выкладывали конфиг для zaхода в нейросети. Там был относительно удобоваримое железо
Она потянет Qwen2.5-7b в агрессивном кванте.
Или 3b в нормальном q8.
Знания будет брать из себя, но если ты запилишь RAG — то из того, что ты ей подсунешь. А если поиск по вебу — то и из него.
А вообще, я бы таких девопсов бы конечно топтал, но оффенс, есть профессии, где надо знать, помнить и иметь опыт. Но обучаться может и сойдет для себя, да.
Ну, короче, да, нихуя не потянет, тащемта.
Ещё можно учитывать сколько нужно т/с. Я физически не могу читать быстрее 5 т/с. Никто из двачеров не сможет читать быстрее 10 т/с. Но тем не менее им этого МАЛО. Мне вполне хватает 2-4 т/с и тогда читаю ровно как генерируется.
>3-3,5 токена для DDR5. Готов терпеть? Сомневаюсь.
Вот, например. Ты заметь скорость своего чтения.
"Терпеть". Циркачи.
>Я физически не могу читать быстрее 5 т/с
Бывает, чё.
>Никто из двачеров не сможет читать быстрее 10 т/с
Анон у меня чтение и восприятие русского текста 220-300 слов в минуту (В зависимости от тяжести текста, если это техлитература или матан то я и больше 50 с пониманием не выдам)
Английского порядка 250 слов в минуту.
К чему я это : все мы разные, взрослей и прекрати ровнять всеъ под свой субъективный опыт.
These prompts act as a framework, setting the stage for the AI to operate within specific parameters and generate responses that are coherent, relevant, and aligned with the desired outcome. System prompts play a pivotal role in bridging the gap between the vast knowledge acquired by AI models during training and their application in real-world scenarios.
>расскажи что за корпус у тебя чтобы 4090 + 3060 вместить?
Есть большие корпуса, Cougar MX600 например. С соответствующей материнкой две 3-3,5-слотовых карты спокойно влезут.
> Бочка говна в этой ложке меда в том, что оно несовместимо
С любым более менее сложным чатом и адекватной моделью, что смотрит дальше нескольких последних постов и самого начала.
>>1043591
Вот это плюс хороший суммарайз тех постов.
Получается системный промпт всегда висит над моделью, даже если выходишь за размер контекста?
Я хер знает че ты кочевряжишься, но быстрее чем 10т/с ты не прочитаешь.
Ебанат, как есть ебанат, просто сказочный долбаёб.
Токены ~= слова, это от токенизатора модели завсисит.
Очень долго читать такие крутые токены как the, a и 's. Мне 10 т/c неудобно, 11-12 норм.
мимо
Запутался в коупинге, жизнь есть только на гпу. Хочешь качество - поупаешь одну-две-... 24гиговых карточки.
> стоит вложиться в CPU и RAM
Быстрые cpu и ram, которые доступны будут стоить как пара 3090 и это будет лишь 96гб. Есть вариант с 2066 или древним трипаком, рам будет сравнима или чуточку быстрее, но там старые pci-e, а зен1 это вообще мусор.
Что-то действительно мощное выйдет оче дорого и все равно покажет ерундовую скоростью.
>>1043624
Чтож ты делаешь, содомит!
>>1043682
> то нет ни одной причины почему на ней нельзя катать ЛЛМ
Как правило, такое железо оказывается у того, кто может найти ему достойное применение. Разумеется, пустить что-нибудь для скриншотов и рофля устроить дорогой кум это одно из первых что будет, но в остальное время она будет загружена каким-нибудь обучением или экспериментами.
> я могу собрать блок из 4 4090
Они не смогут сделать то же самое.
В районе 7-10, а что? Мне 5-6 не хватает, на 10 уже дискомфорта не чувствую, збс.
Добавь некоторые модели на синкинге.
Учти, что некоторым людям нужен результат, а не дрочить на ерп.
Учти, что некоторые читают по диагонали, практикуют скорочтение и тд.
А уж глядя на токенизаци, кому-то и 30 токенов/сек не хватит.
Короче, во втором классе 5 токенов хватает, взрослый дядька, который по работе что-то спрашивает вполне себе ждет сотни и тысячи токенов генерации, чтобы за пару секунд пробежаться по ответу и вычленить главное.
Все же, речь была о домашнем использовании нейронок, это явно не ограничивается одним лишь ерп.
Наигрался со всякими ламами/квенами/геммами в кобольде, теперь хочется попробовать к настоящей работе их присобачить. Автотесты юайные писать, там, или диалог в чате вести.
Смотрим педивикию
>Обычная скорость чтения на русском языке у взрослого человека лежит в пределах 120—180 слов в минуту, по опытным исследованиям средняя скорость равняется 201 слову в минуту (при разбросе значений от 60 до 378)
Так как мы все здесь читаем, то по нижней планке считать нельзя. А значит, и средние значения для нас могут быть только нижней планкой. Слово это 2-3 токена, пусть 2.5, 200х2.5 = 500\60 = 8.3. Итого, 8 т\с это нижняя планка, если ты не читаешь по диагонали, не читаешь слишком быстро\активно, не используешь разные техники CoT, синкинга и т.д. Лично для меня нижняя планка 15 т\с, это всё ещё слишком медленно для комфортного чтения, но не слишком медленно, чтобы не дождаться ответа. Посмотрел книгу, которую недавно дочитал, вышло примерно 2 миллиона знаков в день, без учёта пробелов. А ведь пробелы это тоже токены. Естественно, читалось не круглые сутки, но если предположить, что читал я 10 часов в день, что очевидно не так, то получается 3 333 знака в минуту. Опять же, если вообразить, что книга генерировалась бы с такой предполагаемой скоростью чтения, то это чуть больше 22 т\с при условии 2.5 символов на токен. И да, это не было чтением по диагонали, в итоге я обсуждал книгу с другими людьми.
Твои охуительные рассуждения основанные на "я так чувствую" рассыпались примерно вот здесь
>Так как мы все здесь читаем, то по нижней планке считать нельзя
Зайди в /aicg/ тред и узнаешь сразу же нижнюю планку обычного обывателя там
А твои охуительные примеры еще лучше.
Давайте будем делать выборку на дрочащих детях из треда чатботов.
Здесь всё просто. Если ты читаешь много - ты начинаешь читать быстрее. Если они там читают медленно - они читают мало. Ориентироваться на тех, кто не читает и брать по нижней планке
>(при разбросе значений от 60 до 378)
никакого смысла нет. А 60 слов в минуту это практически чтение по слогам. Предлагаешь ориентироваться на такое? Или ты сам по слогам читаешь и тебе неприятно? Ну так учись читать. Я уверен, что ИТТ ты с такой проблемой один.
Переводите на какую-нибудь латынь или что то из фино-угорской группы языков. Поздравляю, вы нихуя не понимаете и читаете медленно.
Модели никуда не выходят, выходит фронт или ассистент, а потом скармливает результат модели.
https://github.com/huggingface/smolagents
Наслаждайся.
Большое спасибо, анон! Буду изучать.
Как всегда, задал вопрос и сам тоже наткнулся на Anything LLM - вроде тоже полезная штуковина.
Это весьма жалкая попытка отмазаться и перевести стрелки.
Изначальный тейк был «тебе/каждому хватит 5», чел привел пример, что ему хватит минимум 22. Факт? Факт. Автор изначального тейка обосрался и уезжает вместе со своим цирком нахуй.
>>1044051
Заебись, согласен, всегда так буду делать. Теперь-то мне 1,7 токена на R1 хватит!..
Лучше сразу на исландском. Svo að jafnvel lesturinn var erfiður og hægur!
для Silly Tavern есть плагин https://github.com/SillyTavern/Extension-WebSearch , гибко настраивается, можно указать триггерные фразы, по которым оно полезет в поиск, будет ли лазать по страницам или только ссылками насрет, сколько кэш хранить, что для поиска использовать и в таком духе.
Используй корпосетки. Например на duck.ai можно бесплатно побазарить с gpt4o mini, llama 3.1 70b и какими-то ещё. Все без регистрации и смс. Это всяко лучше чем мелкие сетки.
> получается 3 333 знака в минуту.
Да у нас тут Усейн Болт от мира чтения. При средней длине слова в 7,2 буквы, получается почти 463 слова в минуту. При том, что при повышении скорости чтения неизбежно страдает понимание прочитанного (техника скорочтения = техника прогрева гоев на бабло, нет ни одного исследования, подтверждающего эффективность этой залупы, только обратное), ты либо очень смутно осознал прочитанное, либо проебался в рассчетах.
Что касается скорости генерации, не надо забывать, что в английском токеном может выступать как слово целиком, так и вообще несколько, что на русском не происходит, одна и та же скорость генерации будет ощущаться по разному на разных языках (не смотрел, но очень интересно что там у китайцев с их иероглифами выходит, вот уж на что надо переходить, чтобы максимизировать удовольствие от генерации)
>учись читать
Ты агент куртки и пытаешься таким образом ненавязчиво подтолкнуть продажи оверпрайснутого железа? Наоборот же хорошо тем, кто медленно читает, им и 2-3 т/с достаточно для нижней границы комфорта.
Я по совпадению только что из треда, где обсуждалось чтение книг, удивлялся, что там анон осиливает какие-то охуевшие объёмы за день. Потом прикинул по среднестатистическим данным кол-во слов, получилось что-то типа 2 слова в секунду, если читать непрерывно и с равномерной скоростью 14 часов в день, вроде уже и не так страшно. А я читаю в 10 (и иногда больше) раз медленнее его, если брать средние цифры, опять же. И нет, не по слогам. Возможно, сама по себе скорость чтения у меня не очень высока из-за относительно небольшого опыта. Но помимо этого я ещё представляю в голове ситуацию, мысленно рисую картинку происходящего, внешний вид персонажей, локации. Фантазирую, как бы я поступил в той или иной ситуации, иногда даже припоминаю что-то похожее из собственного опыта ирл (обычно это что-то неловкое, от чего я blushes, и потом ещё долго отхожу от смущения, продумываю, как лучше стоило поступить, что сказать в той ситуации). Иногда ещё перечитываю длинные сложноподчинённые предложения, если автор слишком хитро закрутил и с первого раза непонятно. Короче говоря, смакую книгу. И не совсем понимаю тех, кто вот так вот как конвеер прогоняет через себя текст на максимально возможной скорости. Надеюсь, хоть какое-то удовольствие от процесса получает, иначе вообще непонятно, зачем он это делает.
>Смотрим педивикию
Зачем все твои (не твои конечно) рассуждения? Когда генерируется текст, то пишется в реальном времени его скорость генерации в единицах токен в секунду, а не в чем попало. Имею 8 врам. Можно поиграть настройками и поподбирать модели, чтобы менять значение т/с. При каком-то подобранном значении т/с скоростью чтения уже отстаёт от генерации.
Это настоящая, результативная практика. А теориями и 640 кБт хватит всем.
На фейерверке один бакс после регистрации есть для использования API, на 300к-500к токенов хватит, можно дипсик/405В/yi затестить в рп. Но кроме бесплатного бакса там нечего брать, дипсик бабло жрёт раз в 10 больше чем у китайцев.
>Например на duck.ai
А что посоветуешь выбрать для чего?
>работает анонимно
>ответы все равно отсылаются на сервера опенаи
кек
>Ты агент куртки и пытаешься таким образом ненавязчиво подтолкнуть продажи оверпрайснутого железа?
Мне вообще непонятна их политика встречи новичков. На вопрос "что мне делать с 8врам" всегда следует ответ кушать с пола 7В. Я на 8врам+32рам(об этом никто не спрашивает) читаю квин 32В в 1-2т/с. Я даже молчу о том, что не всем нужно читать ответ в реальном времени прямо в генерации. Хз, что за народ здесь, 🤷
А в чем дело? Запросы шлёт утка. Она поклялась меня не сдавать. Получается я вообще ни при чем. Если прямым текстом себя не сдать.
Бэкенд и фронтенд крутятся на отдельной тачке, к ней подсоединяюсь с локальной через вэб морду. Может другой фронтэнд брать, но ггуф лень перекачивать.
>Мне вообще непонятна их политика встречи новичков.
Это тред про локалки, а не ясельная группа.
>На вопрос "что мне делать с 8врам" всегда следует ответ кушать с пола 7В.
Еще раз, тред про локалки. Нет железа - нет ручек локалок.
>Хз, что за народ здесь,
Те кто обсуждают генерацию охуительный историй.
А для всего остального есть тред чатботов. Общайтесь с вебмордами на здоровье.
Что выбрано вот тут? Какой бекенд?
>При средней длине слова в 7,2 буквы
>Для корпуса русской разговорной речи средняя длина слова обычно составит от 3.9 до 4.9 букв
Ну да, конечно, семь букв. Три тысячи в минуту это практически вдумчивое чтение, если читать по диагонали не особо вникая в текст, то можно и до десяти дойти. Но там уже да, проблемы с потерей деталей.
>так и вообще несколько
Загляни в токенизаторы. Несколько слов одним токеном это настолько редкость, что можно и не учитывать, сентенспис распространения не получил. В лучшем случае слово - токен. При этом не важно, если в токенизаторе есть слово целиком - нет никакой гарантии, что модель сгенерирует его так, а не по слогам.
>>1044120
>Ты агент куртки и пытаешься таким образом ненавязчиво подтолкнуть продажи оверпрайснутого железа?
Просто искренне охуеваю, когда люди пишут "5 т\с хватит всем". И ситуация усугубляется тем, что читая книги - получаешь законченный, в каком-то смысле, контент. А нейросети требуют свайпов, как минимум. То есть в рандомные моменты даже если ты читаешь со скоростью генерации - тебе нужна будет двойная скорость. А с синкингом, cot и т.д - умножай на пять. И бейся головой о стену от ttft.
>>1044128
>не твои конечно
А чьи это рассуждения, если это мой пост, который я лично написал, не копируя чужих мыслей или высказываний?
>При каком-то подобранном значении т/с скоростью чтения уже отстаёт от генерации.
А потом тебе нужно свайпнуть. Да комфортные т\с от модели к модели будут отличаться, потому я отдельно указал, что считаю на один токен 2.5 символа.
>А с синкингом, cot и т.д - умножай на пять.
Кстати, кто как думает - со всем этим хайпом ризонинг будут встраивать по умолчанию в новые версии моделей? Это не так и плохо, если железо есть - даже хорошо. А если нет...
Понял, а ты значит здесь местных вахтёр. Что ж, ты уж продолжай бдеть, распугивать сообщество и отбивать желание у людей сюда заходить, как это произошло в профильном треде локальной генерации изображений.
llama.cpp в качестве бэка.
Переставил с "chat completion" на "text completion" попробовал и koboldcpp, та же шляпа, все пустое. Только если без "Streaming" в первой вкладке, то появится ответ.
Скорее всего протекло с какого-то другого языка. На английском кумь, будет меньше кринжа.
>Для корпуса русской разговорной речи средняя длина слова обычно составит от 3.9 до 4.9 букв
Уж не знаю у каких наркоманов ты это взял, эти данные валидны для английского языка, но допустим. Выходит, что 3333 букв в минуту ~ 680-855 слов.
>>1044019
>по опытным исследованиям средняя скорость равняется 201 слову в минуту (при разбросе значений от 60 до 378)
Охуительно так получается, обогнать опытные исследования в два раза.
> В соревнованиях на первенство мира по скорочтению особое внимание уделяется пониманию прочитанного. Лучшие участники обычно читают от 1000 до 2000 слов в минуту с пониманием примерно 50% или выше.
> Три тысячи в минуту это практически вдумчивое чтение
Вот не обманывай себя
Не, мне наоборот нравится, не скучно читать, когда такие перлы всплывают.
товарищ майор, не стукайте, это женжина-дворф, поэтому у неё всё маленькое
Лол, не наблюдал такого на ней, а настройки?
Как вообще впечатления?
Судя по тому, из чего она смержена, красивые перлы это результат скорее качественного промптинга и настроек, чем самой модели. Там по-моему только гутенберг располагает ожидать художественных и творческих слов, а остальное так себе.
Да я вот только вечером скачал, потыкал немного. Настройка Universal-Light стояла, ничего не менял.
И кстати этот Lyra-Gutenberg-mistral-nemo-12B, из которого она смержена, это моя настольная модель на сегодня, одна из немногих. Пишет потрясающие простыни текстов, просто огромные. Это не первый фантьюн от nbeerbower, дающий хорошие результаты.
Вряд ли будут повсеместно встраивать. Нужно больше ебли с датасетами, больше ебли при выводе. Больше ебли везде.
>>1044374
>Уж не знаю у каких наркоманов ты это взял
Да по первым ссылкам в гугле. Специально взял примерно полмиллиона символов из текста, подсчитал статистику, 5.2 буквы на слово в среднем. Ну окей, выше среднего.
>обогнать опытные исследования в два раза
Проблема выборки, очевидно же. Уверен, что есть люди, которые читают как медленнее их нижней планки, как, очевидно, есть и читающие быстрее верхней. Но окей, если тебя смущает - вернёмся к средним значениям. Двести слов, пусть с теми же 5.2 символа на слово, чуть больше тысячи знаков в минуту. Если всё так же считать 2.5 буквы на токен, то это 6.9 т\с. В среднем. Даже это уже выше "5 токенов хватит всем". Хотя эксмо, например, пишут
>Педагоги и психологи считают среднюю скорость молчаливого чтения на русском языке равной примерно 200-300 словам в минуту.
>Вот не обманывай себя
Тем не менее, я четко улавливаю смысл, запоминаю заинтересовавшие фрагменты, нахожу в тексте неточности и несоответствия предыдущим тезисам и т.д.
Серьёзно, мне это напоминает спор по типу "глаз не видит больше 24 фпс". Чем больше т\с - тем лучше. Не нужно ждать, не раздражают свайпы, не приходится ожидать длинных полотнищ или можно скипнуть абзац, где ассистент разъясняет вещи, которые ты и так понимаешь, пишет несущественные вещи, повторяет твои же слова в другой формулировке и т.д. Здесь уже даже не важна скорость чтения. Я не агитирую всех срочно бежать заказывать пачку 5090, но и убеждать в том, что никому не нужна бо ́льшая скорость - просто бессмысленно. Она никому не будет лишней, даже если читать со скоростью 60 слов в минуту.
>гутенберг располагает ожидать художественных и творческих слов
Лира говорят вообще кум модель, но она закрытая так что в мержер не запихнёшь. Лиры-гутенберг там 10%, но видимо хватило, пробовал 20%, модель иногда начинала полностью на аглийский переходить.
Wayfarer для приключенчистости и снизить позитивный биас.
Она тоже как и лира-гутенберг чисто английская, так что много не добавишь, хотя вроде влияет на вероятность что модельна англ перейдёт меньше чем лира, так что её можно больше добавить.
NevereendingStory, так-то на деле шизомерж, но уже несколько анонов говорили что она годна именно что в сторителлинге.
Ну сайга-анлишед это просто как основа.
Хотя надо перемержить используя именно её как базу, а не оригинальную сайгу, должно шизы и выдуманных слов поуменьшить.
РП-срань от LLM действительно очень быстро читается даже вне кумерских сценариев, там реально хотя бы 10 токенов в секунду надо для, комфортного чтения 20.
Другое дело книги старых писателей, которые описывают двумя страницами как главный герой зашёл в магазин и рассматривает окружающее пространство. Вот от такого охуеть можно, особенно с их слогом. Быстро читать такие книги без опыта и большого словарного запаса не получится. Или медицинские статьи. Если там пишут не то, в чём ты хорошо разбираешься, читать приходится медленно.
Мимохуй
>>1044496
Мне, походу, следует уточнить, что я доебался не до скорости генерации токенов, а именно до скорости чтения чела.
Со скоростью генерации пусть все дрочат как хотят, зависит дохуя от чего, от банально "минимально чтобы не уснуть", до "пусть оно мне напечатает простыню а я глазами пробегусь за несколько секунд".
Именно читать какой-то осмысленный текст, просто чтобы его быстро прочитать - это какой-то бред. Вполне можно
>четко улавливаю смысл, запоминаю заинтересовавшие фрагменты
Но нахуя, если от текста можно получить удовольствие, а не заниматься ебучим спидраном?
(Вообще, меня просто интересует какая моделька для рпшки, параметров больше, чем на 12b, которые везде советуют, все прикольно, но хочется затестить что там, пусть и зашакаленное)
Никак я жду пока пиздарики красноглазики сами всё разнюхают
>Как анон находит хорошие модели?
Моделей всего штук 5.
Справляется.
>Как анон находит хорошие модели? Неужели просто качает все подряд и тестирует? Заебаться же можно.
Качал.Тестировал. Заебался. Не нашёл ничего по вкусу, пошёл мержить сам в сомнамбулическом поиске Невидимого Горизонта.
Я вот хуй знает зачем было так увеличивать жопу ламы. Но прям какого то best experience evar не ощутил. Свайпы чуть сочнее, но по сути то-же самое что на небольших тюнах.
Meh~ Никакого откровения.
Я уверен, что подобная шняга вылезает чисто из сайги. Я ещё когда давно её пробовал (именно 12б), она срала этими странными кривыми уменьшительно-ласкательными или чем-то похожим. И недавно тестил магмел, куда залито немножко сайги+вихрь, и там на карточке с тянками-мимиками бот назвал обычного мимика "миметка", а мимика, маскирующегося под мебель, "фурнетка" (в оригинале furniture mimic). На сыром магмеле он просто писал мимик с небольшими искажениями, типа мимiк или мимок.
>когда давно
в прошлом году, да, но новые версии куда адекватнее
Ну короче, как я и думал. Выше 70б нихуя нет. Ну как нет, либо какой то совсем абсурдный пиздец в духе дипсика.
Или ебучая большая мойшстралька. Ни мержей, ни тюнов. Сам сиди и делай, блять.
почему-то не гуфается
>надо Федя, надо
>>1044557
>>1044568
Лол. А вообще расскажите о большой мистрали. Нормальный квант пощупать возможности нет. Насколько она лучше мелкой ?
>фурнетка
логично же, чо, если подумать, вот вам синкинги куда там дипсику
Нет там никаких новых версий, по сути. Было два обновления раз в неделю после первого коммита, посмотри в истории. Как была модель трёхмесячной давности, так и лежит.
Олсо, если я правильно понимаю, как устроены нормализованные веса, то вот тут >>1044413 50% - это обычная сайга. Потому что у базовой модели к-т веса единица, и остальных на единицу. Да ещё и в две другие модели суммарно на 40% тоже сайгу содержат, так что дофига сайги.
>больше, чем на 12b
Так ничего нет. Бояре нахваливают 70+, работяги выискивают хидден-гемы на базе немо. А между этим как будто выжженная пустыня, на 22-32b по паре нейрослоповых тюнов, чуть меняющих используемые обороты (но не общее поведение) моделей, и то чаще всего в пределах первых 4к контекста. На 70+ на самом деле похожая ситуация, как я понимаю, но там даже базовая модель без всяких тюнов может заметно больше, чем мелочь.
А в случае 12b - "народный" формат, идущий на среднеклассовом игровом железе с комфортными скоростями, поэтому им не только больше пользуются, но и экспериментируют с тюнами и мержами, и среди этой кучи и правда есть ненулевая вероятность найти годноту.
>так что дофига сайги
там не слерп, а бредкрамб тиез, что сбрасывает слишком большие и слишком маленькие отличия моделей при мерже, нормализуя остальное, но в целом да, попробуем тогда поменьше
>порт наркоманский
твоя блядота мать наркоманская, нормальный у меня порт
Сам спросил, сам отвечу.
Ебанный насос, огнелис 102 не фурычит, а хромой, 100й между прочим, поехал без проблем! И даже звоночек в конце генерации появился!
>нормальный у меня порт
Ай не пизди, тебе говорили следить за портом, чтобы пакеты не терять ?
>>1044508
Товарищ майор не оценил вашу попытку обмана.
>>1044631
Там по дефолту 8080.
>>1044634
>огнелис 102
Некроёб?
А чего еще ты ожидал от франкенштейна?
>>1044568
> Выше 70б нихуя нет
Мистраль лардж и большой коммандер для тебя чтоли шутка?
>>1044573
> расскажите о большой мистрали
Что тут рассказывать, небо и земля если умеешь готовить. Буквально. Да, обе могут обосраться, при неудачном файнтюне спамить надоедливыми паттернами и подобное, обе могут давать интересные и приятные ответы.
Но с точки зрения качества общения это другой уровень. При продвижении истории будут не волки или бред, а что-то новое в сеттинге мира. Чар тебя понимает полностью, а не хватает буквальные значения слов. Можно делать что-то продолжительное, типа рассказывать части истории постепенно, или как-то подкалывать чара, и он это будет помнить и невзначай обращаться к прошлому, а не начинать прямо цитировать или забывать. Какие-то черты чара будут отыгрываться до конца даже сквозь типичные зашакаленные тренировкой сцены, причем иногда принимать неожиданные проявления и генерировать события, что ломает 4ю стену.
Но ты все равно сильно не грусти, оно точно также может конкретно сфейлить, запутавшись на контексте в мелочах, и не является святым граалем, как и корпы.
хватит петросянить, да семенить, в этом итити ните-треде собрались сурьезные дяди и обсуждают серъезные вопросики.
Повторю очень важный вопрос:
>Посоветуйте, люди добрые, гуфских (лень конвертить) от 8Б до 32Б
>для ролеплея с элементами еротики, хотяб с 130К кнотекста.
>- что леддит советует типо DarkForest и прочих - какая то порнография бессвязная выходит, большие типа Мику не влезут в мою РАМу.
>- брал лламу 3Б подобученную, неплохо эротику пишет, но, зараза, валится с мелким ее контекстом очень быстро, да цензуру возвращает, сука.
>>1044642
>некроебишь
Ну нелюбовь у меня к современным реалиям. У меня вообще один комп с вин7 ездит.
Эээх, вернуть бы время взад! Даешь Абсолютную Монархию!
>>1044620
>что случилось на знаменитом сквере
Спросим у дистилята ДипСнида:
"Tiananmen Square is one of the most iconic squares in Beijing, China. It serves as a central landmark and has been the site of various significant historical events and political demonstrations. The square is also known for its connection to the Tiananmen Square protests of 1989, a pro-democracy movement that ended tragically with a military crackdown by the government."
>Повторю очень важный вопрос:
Cydonia 1.2
>хватит петросянить,
Лол нет. Страдай теперь, портотряс
Вот только что потыкал https://huggingface.co/mradermacher/Nautilus-RP-18B-GGUF , и оно будто сильно тупее sainemo из шапки, да и в принципе других моделей, что я тыкал. Что-то где-то на уровне 8b моделей, по ощущениям. Это пиздец странно ощущается.
Магия-шмагия, камлаем шибко.
Тут проблема больше найти границу, тот самый горизонт событый.
Ещё вариант обратно немомикса подкинуть, потому что сейчас получается что примерно половина весов от англ тюнов.
Если сильно в англ будет скатываться так и сделаю, но стачала надо потестить.
https://huggingface.co/Aleteian/Way-to-Unseen-Horizon-1-MN-12B
Пока без квантов, чот gguf-my-repo не фурычит.
>>1044650
22B https://huggingface.co/mradermacher/Pantheon-of-Cydonia-Realm-i1-GGUF
>>1044686
>только что потыкал
Основная модель удалена (не моё, так что хз) но вероятно автор решил что мерж неудачный.
>откуда начать копать?
С кубышки, готовь порядка ляма.
Потом закажи у нормальных челов (спроси тут у других анонов какие лучше, смотря ещё где живёшь) чтобы всё собрали сами протестировали и привезли в сборе.
Хотя можно настолько и не упарываться, обычная, не сервеная пекарня 2 х 4090 / 3 х 3090 запустит всё кроме дипсика.
>2x4090
Зачем быть совсем нищукком, если H100 - идеальный вариант.
>>1044659
>>1044693
https://huggingface.co/Aleteian/Way-to-Unseen-Horizon-1-MN-12B-Q6_K-GGUF
>>1044724
>идеальный вариант
Неиронично был когда она лям стоила, а не 5-7.
Здесь спроси, четко и подробно обозначив свои хотелки, назначение, бюджет и т.д.
>>1044739
> Неиронично был когда она лям стоила
Не было. Скам и бу на аукционах, без учета конвертации, комиссий, доставки, пошлины в момент, когда курс был около 50, или в завлекающих объявлениях барыг с пометкой "цену уточняйте". A100 еще можно было так взять, но не хоппера.
> а не 5-7
Из той же оперы, в магазине с гарантией и доками 4
Xeon e5 26xx 128 gb + 2 шт. 4060Ti (если мало 32gb VRAM то еще 2 шт. 4070TiS) итого менее 400 тыс. руб. с корпусом, б/п и всем прочим в максимальном варианте.
>А чего еще ты ожидал от франкенштейна?
Генеральных сражений с прорывами и окружениями в Футабе.
Ну а если серьезно, я ожидал именно жирнейший РП тюн ламы. А по факту, ну та же лама же блять. Почему у драммера получилось сделать из мистрали цидонию и это прям неплохо, а из ламы получилось какое то говно.
>2 часа назад обнова приехала
Твоя чтоль? Отравил надеюсь чем-то интересным?
Ох, епт! Так эта ж намикшено из той самой:
https://huggingface.co/MarinaraSpaghetti/NemoMix-Unleashed-12B
Где эти дебилы даже блядь ридми не удосужились прочесть к модели, которую они, блядь, миксуют! Помним, любим и скорбим. Судя по описанию уже через 100 токенов на меня даже неведомая Лавкрафтовская глубоководная херотень запрыгнет, а весь ролеплей сведется к "какой он большой, какая я развратная". Вот как раз такого б и не хотел.
Мне подавай романтики, да чтоб за дамой, да за тридесять земель, да и эрпогэ с интересным сюжетом. как в старых DungeonAI. И юморца была, и караваны грабить, и за изнасилование не заставляли объяснительную на имя админов составлять. Секс не особо красивая вещь, предварительные ласки красивей и интересней.
>>1044684
Популярный вариант, к завтраму исследуем. Пока что только 32К токена модель показывает, как-то грустно. Мне б более продолжительных рассказов.
>Xeon e5 26xx 128 gb + 2 шт. 4060Ti (если мало 32gb VRAM то еще 2 шт. 4070TiS) итого менее 400 тыс. руб. с корпусом, б/п и всем прочим в максимальном варианте.
Не слушай его, бери за те же деньги 4 3090 со всей обвязкой. На X299 плату с 4 PCIe-слотами за вменяемые деньги ещё можно найти и процы с большим количеством PCIe-линий относительно дешёвые. Если по-богатому, то система будет на 4090-х и минимум на миллион дороже.
Насколько я понимаю, RAG должен конвертировать текстовый документ, или pdf в embedding - т.е. в вектора и примешивать их к весам модели. До этого работал только с графическим нейросетями и там эмбеддинги это не просто набор промпта.
Но какие бы по размеру документы я не добавлял и с какими бы моделями не работал, даже если текстовый документ по размеру составляет чуть меньше печатной страницы, каждый раз из него берется три рандомных предложения и анализируются в отдельности от контекста всего документа. Причем если книга большая, то отрывками "цитатами" выступают абзацы, а если небольшой текст - то маленькие предложения.
Так допустим я не могу попросить нейросеть коротко пересказать содержимое документа, или составить по нему план, потому что все что видит нейросеть - три сранных предложения.
Как это должно работать из описания того что я читал? Большая книга или документ должны быть разбиты на маленькие чанки, а затем в зависимости от промпта, будет найден самый подходящий чанк и информация будет взята из него. Таким образом нейросеть с малым контекстом может отвечать на любой поставленный вопрос о содержимом книги или документа.
Насколько я понял из рассуждений с реддита - эти эмбеддинги представляют собой самый обыкновенный промпт, который должен влезть в контекст текущей беседы, и если он не влезает - никакой умной системы чанков попросту нет, он берет по идиотски рандомные куски текста и использует их для анализа.
Подскажите как быть? Насколько малым должен быть объем текста в RAG чтобы оно работало не выбирая из текста три рандомных предложения? На кой черт тогда нужен RAG, если я могу настолько малый текст вставить как подсказку или сразу в поле промпта.
> Мне б более продолжительных рассказов
Удачи с рп с забитым контекстом. Я даже боюсь имаджинировать твоё ебало, когда нейронка начнет пускать слюни и забывать.
К чему я это - используй суммаррайз. Контекст более 16к - если у тебя нет гигабайтов свободных ВРАМ нахуй не нужен.
> 400 тыс. руб.
> Xeon e5 26xx 128 gb + 2 шт. 4060Ti
Плакать или смеяться?
>>1044842
Немо довольно удачно тренится и прощает ошибки. А здесь явно наложилась нехватка бюджетов и опыта, скорее всего была вообще qlora вместо нормальной тренировки, сама склейка штука специфичная, что-то нахимичили с датасетом.
У большинства таких моделеделов что-то получается не потому а вопреки, один раз выиграл в казино и потом обратно на дно.
>>1044892
Двачую, разве что
> с 4 PCIe-слотами
Чтобы все профессорные уже сложно.
>>1044940
В настройках разреши подключение с других ип и просто зайди на адрес пеки с телефона.
Лама-хуяма. Это все, как нейродичь, как видео генерируют и там люди скачут хоть на голове, потом утекают по реке, сливаясь с пейзажем. Но конечно смехуечки, да.
Хорошо, ламу вычёркиваем, осталось ещё 4. Протестируешь?
>DungeonAI
Для этого в миксе WayFarer - вроде он на DungeonAI и стоит.
>>1044882
>Лавкрафтовская глубоководная херотень запрыгнет
Немомикса там немного.
Наркоманит, галлюцинирует, и перескакивает на английский прямо во время написания своего поста.
Но в моменты просветления (свайпы наше всё) пишет на русском, и пишет даже неплохо.
https://huggingface.co/Aleteian/Way-to-Unseen-Horizon-2-MN-12B-Q8_0-GGUF
Изредка хотя проскакивают англ фразы, цельные и консистентные.
Изредка может выдать что-то странное.
Потестирую ещё вечером уже в актуальном рп на каких-нибудь новых карточках, эти юзаю чтобы зирошотом проверить что модель вообще работоспособна.
Возможно стоит снизить процентное соотношение англ тюнов.
Ты хочешь сказать что есть упоротые которые кайфуют от самого процесса чтения? Типа каждая новая буква приближает к оргазму?
По мне так единственная полезная и приятная часть любого текста это заложенный в него смысл. Чем быстрее ты читаешь тем быстрее и больше ты получаешь эту "дозу". В худ.литературе я уже машинально скипаю фоновые абзацы не несущие смысловой нагрузки, в стиле того же детального описания чайного сервиза.
>кайфуют от самого процесса чтения?
Есть такое. Расслабся, возьми плитку твёрдого горького шоколада, хорошую книгу, можно даже на физическом носителе, и просто наслаждайся заслуженным отдыхом.
(но у меня, к сожалению, рабочий день только начинается)
На четвертой слог какой то хуевый, прям тяжко читать. Как будто школьник переводил английский текст с бумажным словарем.
>школьник переводил английский текст с бумажным словарем
Если верхняя половина, то это дипл.
Надо вычитать и пересохранить стейт, просто сам не особо обращал внимание, я и хуже тексты читал, намного, например рУссКиЙ пИрИвРОТ ранобе "Re:Monster".
>на русском
Зачем для этого было брать английский мерж для уменьшения слопа? И где сравнение с базовой моделью? Хотя скорее всего на русском либо нет отличий, либо только хуже стало.
>Зачем для этого было брать английский мерж для уменьшения слопа? И где сравнение с базовой моделью
Это не ко мне ( Aleteian ), но вроде автор сего мержа тоже местный.
чем быстрее ты читаешь, тем меньше смысла вытягиваешь из прочитанного. Это неизбежно никакими техниками, ты можешь только поднять скорость своего чтения только до определенного предела, а дальше начинаются бессмысленные выебоны
>Tested on russian and english, very good on both
Не заметил этой строчки в описании. Ну тогда на русском фейл вышел, судя по отзыву. Впрочем, ничего удивительного, в моделях-компонентах, как я понял, фокус на английском был. Русский там от базового мистраля. Но сравнить с базой автор отзыва не удосужился.
>базой
в базе кстати, 24б мистраль новый тоже так себе на русском, куда хуже 12б
>чем быстрее ты читаешь, тем меньше смысла вытягиваешь из прочитанного
Не существует линейной зависимости. Иначе человек читающий по слогам получал бы 100500% от смысла текста. Просто есть люди умеющие быстро читать и не умеющие.
Потому что новая мистраль тоньше старой.
Я не знаю что у них случилось, но это делает меня грустить.
Зато oneshot тесты на математику лучше решает! Наверное.
Матан я могу и маткаде решать, нахуй мне для этого мистраль ?
>>1045342
>>1045346
>>1045344
Местный, местный.
Этот мердж больше из рубрики эээксперименты, посмотреть как мержится новый мистраль. Мне из тестовых 400 реплаев на русском видимо везло.
Сейчас пойду ещё помучаю мерджкит, попробую замутить V2, более адекватную и стабильную. Как протестирую достаточно, (1000 реплаев) выкачу ссыль сюда, вдруг кому зайдёт.
>Но сравнить с базой
Я пока ещё не смешарик новенький в оформлении, сравнение с базой это скрины база\мердж на одних и тех же вводных? Такое можно устроить.
и тем не менее, при достижении определенной скорости падение понимания прочитанного происходит неизбежно для любого человека, иначе на соревнованиях по скорочтению не было бы понимания в районе 50%
>400 реплаев
>1000 реплаев
Фига ты сурьёзный. Я просто сразу выкатывал, тестируя только на саму работоспособность. Совсем битые из репы удалял, рабочие оставлял для сохранения ямл-конфига и возможных дальнейших мержей.
>тестируя только на саму работоспособность
для такого я коллекцию experimental себе создал и скрыл лол, пока там один мой франкен до 18.5б, он рабочий, но у него беды с башкой. Я его делал чтоб с клиффхенгером замерджить, но там русик очень сильно терялся. ещё есть идея удачные 8б с пола раздуть до 12/14б, но идея временно заморожена, самих 8б прям хороших маловато.
Анонче, я вот очень люблю великий и могучий. Нет, серьезно, когда читаешь классиков на русском языке, когда ты наслаждаешься прекрасными оборотами - начинаешь прям любить родной язык.
Но и тысячу раз но. Сейчас для кума все таки лучше английский. Он проще, в нем нет проблем с окончаниями, ЕРП книг и фанфиков абсурдное количество на английском. Да и в целом меня так не воротит от cum, pussy, aaah~, чем от русскоязычного перевода. Токены поменьше, проебов меньше.
Все шедевры литературы написаны на русском. Как модно променять русский на английский когда есть такие стихи
Мои панчи сделают вам больно - баттл-рэп.
Удлиненная обойма, слышишь это? (пы-пы-пау)
Самый лучший в том, чтоб тахать этих тупней. Скажешь "нет"?
Но кому ещё заплатят пару лямов за куплет?
Е, е! Я залетаю на студийку,
Замути мне кофейку или ты сядешь на бутылку.
Замути мне жирных бошек, шишек пятого размера.
Депутатский, как у мэра, моей маме Panamera (пау, пау!)
Только лучшее для всей моей семьи,
Панчи в виде txt на
9-10 DVD, CBD, ТГК, клеишь будто ПВА;
Мой хй среднего размера, да, по меркам NBA!
Ха-ха-ха!
Уготовлю вам пулю, брат (wait), ты куришь какулю.
Ты тупой, как Акулич! Я крутой, как огурчик.
Самый свежий на грядке, кэш не трачу на тряпки.
Покупаю то, что дорожает, мой бэнкролл в порядке!
Flow TEKKEN, мой flow TEKKEN!
Дзин Кодзима, мой flow TEKKEN!
Танцую как Эдди, flow TEKKEN.
Брайан Фьюри, мой flow TEKKEN!
Ёшимитсу, клинки смерти.
Flow TEKKEN, Flow TEKKEN!
Сергей Драгунов, побал с ног -
Flow TEKKEN!
Flow TEKKEN, мой flow TEKKEN!
Дзин Кодзима, мой flow TEKKEN!
Танцую как Эдди, flow TEKKEN.
Брайан Фьюри, мой flow TEKKEN.
Ёшимитсу, клинки смерти.
Flow TEKKEN, Flow TEKKEN!
Сергей Драгунов, побал с ног -
Flow TEKKEN, Flow TEKKEN!
Я на майке, значит МС отлетают только так.
Сука, по твоему флоу, репетитор Дональд Дак (Дональд Дак)
Петушок, твое место у параши.
Жизнь безумней, чем сезон американского папаши.
Каждый день (дважды в день) мы ем тебя в очко.
Этот толстый лысый хй, можешь звать Альфред Хичкок.
Как никто, я умею грязно делать эту грязь.
После жопы, мой х чёрный, словно Кондолиза Райс.
Отвратительно, ставь это родителям и при подружке.
Я хочу чтоб, рэп, все ненавидели, как мои шутки.
Эй, shooter game, я создал х*ню, как Оппенгеймер.
Я Big Baby Tape, в котором воплатился Гегель.
>Я его делал чтоб с клиффхенгером замерджить, но там русик очень сильно терялся
Я вроде тебе же про это и говорил, кидая ссылки на свои passtrough апскейлы =))
Я немного не понял, что ты хотел сказать этим текстом ? Что кириллицей можно писать хуиту ?
Дэвид свои франкенмержи потом файнтюнил ещё поверх приводя в относительный порядок.
>cum, pussy, aaah
Ни cum'ом единым. Про обычное / легкоэротическое рп не думал?
>похмелье
Я понимаю что пИтница, но похмелье сегодня, а не в субу/воскру?
Я не он, но кто вообще в пятницу работает, когда 4-дневная рабочая неделя у всех уже?
Йа. Потому что шахте глубоко насрать на день недели и время. Спайс маст флоу.
Йа. Потому что удалённо и глубоко насрать на день недели и время.
Таски за меня никто не комплитнет.
Ты из какого года? В 2025 всё ещё восьмичасовая восьмидневка
1) где взять датасет с обратными QA, где она соглашается отвечать вместо визгов "Я не могу на это ответить"
2) чем файнтюнить и как?
Он всегда был соевым говном. Там прям в датасете есть реджекты. Не трогай его.
Дело не в люблю/не люблю, а в способности качественно рпшить на том или ином языке. К примеру, я очень люблю латынь, но подробно расписать на ней свои действия, вести диалог и так далее, я не могу. также и с англ, как бы ты хорошо его не знал, ты думаешь на русском, а затем, в голове переводишь на язык, из за чего ты а) больше напрягаешь голову, меньше погружаешься в выдуманный мир, б) пишешь в более простых и коротких конструкциях, что хоть и помогает модели лучше понять тебя, но само по себе снижает качество ролеплея.
Ну а кум это отдельное, не всё же время дрочить
>>1045394
ага ) но справедливости ради, на англе то творение держалось молодцом. но нет русского - нет релиза
>>1045409
ща бы график иметь, а не гонять кабанчиком только тогда, когда надо
> гонять
Сейчас бы работать не из дома, а подскакивать когда хозяин позовёт.
>быстрый гайд
Взять сайгу-анлишед. А вихрь всегда был с цензурой.
>>1045415
>35+Lvl я еще крякну от смеха
Крякай.
>думаешь на русском
А вот это неправильно, двойную работу делаешь, на английском надо думать, тогда всё легче намного читается.
А общаться / слушать англ речь не думая на английском - вообще без шансов, если у тебя не мозг-компьютер.
>на английском надо думать
Чтобы это делать, нужно несколько лет прожить с носителями языка.
>>1045422
>пишешь в более простых и коротких конструкциях, что хоть и помогает модели лучше понять тебя, но само по себе снижает качество ролеплея.
А вот это ты прям в точку попал. Но, как показывает практика, сложные предложения на английском ломают даже всякие цидонии и пантеоны. Я конечно верю что там, на 70бе есть жизнь и РП. Но увы, я не могу себе позволить такое железо.
>нет русского духа
У сайги есть, но когда её пусть и с качественными англо-тюнами мешают, несколько теряется.
>>1045431
>нужно несколько лет прожить
Достаточно и в интернете общаться, но да, нужна языковая практика
>Достаточно и в интернете общаться, но да, нужна языковая практика
Я конечно рад что тут в треде собрались вундеркинды, но чёт мой жизненный опыт показывает, что даже 5 лет в иностранной среде - это мало, чтобы начать думать на другом языке.
Вот на пике в рамках одного ответа клод дернул его 3 раза для конкретных задач, и что-то думал между этим. А если дипсику в чате разрешить гуглить, он сразу нагуглит ворох какой-то малорелевантной хуйни, потом начинает думать "таааак, надо посмотреть шо за хуйню я нагуглил", и от этого очень сильно тупеет.
Можно ли как-то подрубить гугл через МЦП к локальному/апишному дипсику, чтобы он так же гуглил конкретно то что нужно несколько раз?
>Можно ли как-то подрубить гугл через МЦП к локальному/апишному дипсику, чтобы он так же гуглил конкретно то что нужно несколько раз?
Поищи в прошлом треде, я точно помню что аноны поднимали вопрос : а как гуглить.
И вообще, что такое клод ?
"repetition_penalty": 1.05,
"min_p": 0.05
Семплеры это костыль, они только поломать модель могут. Попробуй порпшить с R1, поймёшь насколько мелкие модели всратые по креативности, даже 70В. Тем более в таверне уже есть полная поддержка reasoning-моделей, размышления прячутся под спойлер и длятся 5-10 секунд.
>XTC кто-то щупал хорошенько?
As reddit say : работает только на БОЛЬШИХ моделях.
>Есть ли в таверне семплеры нормальные под Цидонию / Магнум?
Буквально жрут любые настройки. Тыкай и пробуй.
>Сейчас сижу с почти дефолтными
Я верю, что когда нибудь, анон начнет читать шапку и тогда последний камень, последнего нейрохрама падет на голову последнего нейрожреца и век просвещения настанет.
>Пресеты под локальный ролплей в различных форматах:
>Попробуй порпшить с R1
Хватит уже блять советовать ебанный дипсик, вы остоебенили уже. Его диситиляты говно ебанное.
>даже 70В
Давай сыграем в игру. Возьмем одну карточку персонажа. Ты будешь скрины с R1 тащить, а я с бегемота или большой мистрали.
Уже эти сказки про необычайный рп на дипсике доебали.
А в чем профит 24 гига за 200к через годик, если сейчас есть за 3090 за 70к на лохито?
>А в чем профит 24 гига за 200к через годик, если сейчас есть за 3090 за 70к на лохито?
GDDR7, новые технологии, чистой мощи больше чем в 2 раза. Тесты с инференсом должны уже где-то быть.
>Пресеты под локальный ролплей в различных форматах:
Там хуйня в целом, которая сводится к: крутите ползунки, пока не понравится результат. Я уже заебался. Добавлять семплеры было ошибкой. Отныне сижу на дефолтных, разве что они указаны на странице с моделью, как например у Пантеона.
>Расскажите как семплеры настраиваете под модель?
По наитию, иначе никак.
>XTC кто-то щупал хорошенько?
Говно без задач, которая кроме "креативности" режет кучу нормальных токенов, высирая шизобред в двух из трех случаях.
>Есть ли в таверне семплеры нормальные под Цидонию / Магнум
Это мистраль ебаный, хули там настраивать. Он из коробки нормально работает, хотя за магнум не уверен. Мне больше интересно, нахуя ты вообще рассматриваешь этот слоп годовалой давности, когда уже есть куча нормальных тонов.
>Я попробовал несколько типа креатива или годлайк кобольда, не зашло.
Это копролиты которыми уже никто не пользуется, так что можешь на них забить.
> Сейчас сижу с почти дефолтными - "temperature": 1.0, "repetition_penalty": 1.05, "min_p": 0.05
Ничего криминального в этом нет, нормальная связка. Температуру можешь только подкрутить при желании.
>нахуя ты вообще рассматриваешь этот слоп годовалой давности
Потому что пантеон и цидонька до сих пор лучшее что есть на мистрали, нэ ?
Новая мистраль параша. Мелкие тюны на то и мелкие.
А чуть выше гемма и ебанная пустыня.
Так кто про дистилляции говорит? Или ты из тех кто их за R1 считает? Речь естественно про полноценный.
>Мне больше интересно, нахуя ты вообще рассматриваешь этот слоп годовалой давности, когда уже есть куча нормальных тонов.
Я уже спрашивал вот тут >>1043468 мне никто ничего не ответил. Магнум кстати получше цидонии оказался как по мне. Я бы назвал его Цидония+, такие же залупы встречаются, но пишет интереснее, гораздо меньше бреда вроде кондиционера в фэнтези сеттинге.
>Ничего криминального в этом нет, нормальная связка. Температуру можешь только подкрутить при желании.
Понял, спасибо.
>Его диситиляты говно ебанное.
Дистилляты р1 - охуенные. Это просто кум - говно вместо задачи.
>мне никто ничего не ответил
Не удивительно, тред давно превратился в обнюхивание инфопердежа. Иди на реддит глупой таверны, там каждую неделю мутят отдельный тред, где обсуждают лучшие модели для локалок и стриминга.
Правильно ли я понял, что ты сам катаешь полноценный дипсик на своей машине ? А не покажешь, посмотрю хоть на боярина.
И второй вопрос - я тупой, ткните меня лицом как заставить в угабуге (или в Кобольде, и то и то меня устроит) сначала полностью забивать слоями/контекстом одну из видеокарт, а потом уже начинать закидывать контекст на другую.
Есть возможность пихать восьмой квант - пихай восьмой квант. Не будешь пихать - много не потеряешь, а разницу будешь искать с лупой. Есть поверие, что те псевдо восемь бит это почти те же самые неквантованные 16 и 32 бита соответственно, по этому некоторые юзают их чтобы точность была максимально возможной.
Смотри. Если кратко (Да я знаю что упрощенно)
То : чем больше модель, тем адекватней малый квант.
Условный 12b в 5 кванте будет шизить, 27б уже не будет так шизить.
>>1045503
И по сути они обсуждают там тюны мистрали. It's all same shit. Как только появляется что то интересное, то в треде это сразу обсуждают.
Да и вообще приноси сам. Я с удовольствием пообсасываю модельки, даже своё кря напишу.
>>1045487
И с какими же задачами он так прекрасно справляется, что с ними не могут справиться другие жирные модели ?
>>1045477
>полноценный
/acig/ тред на два квартала ниже boy.
Посоны иму албанский ни нравицца! Пиздим!
>>1045436
И за меня крякни!
>>1045506
Например, на коротких диалогах с 16 гигами я юзаю 8 квант, потому что контекст просто не нужен и можно вместо 24к-32к забить 12к-16к и его хватит.
Но и шестым квантом не гнушаюсь на 12-гиговых видяхах.
12б — не 7б, там не все так страшно, вполне себе юзабельно. Под лупой, да.
>И по сути они обсуждают там тюны мистрали. It's all same shit.
Там тред тематический, обсуждаются только модели. У нас всё от трассированного кожака хуанга до самопальных охладов на теслы.
>Как только появляется что то интересное, то в треде это сразу обсуждают.
Обсуждаются в основном только пуки всхрюки, когда нет новых моделей для обсоса. Но в последние пол года у нас правда ничего нового и интересного не выходит, так что тут да.
>Да и вообще приноси сам. Я с удовольствием пообсасываю модельки, даже своё кря напишу.
Приношу периодически, только это мало кому интересно видимо.
>ты вообще рассматриваешь этот слоп годовалой давности, когда уже есть куча нормальных тонов.
И тут ты конечно вкидываешь пачку примеров... Что? Нет? Боишься что тебя обсосут?
Когда уже до вас дойдет что без релевантного примера ваше мнение делится на ноль.
>думать на другом языке
Проще чем кажется.
Не надо переводить - надо сопоставлять понятия со словами другого языка.
Чувствуй, а не думай. Используй свои инстинкты.
Мой инстинкт говорит что в моем возрасте уже пора умирать, а не языки учить.
Все верно, просто тут в основном кумеры и как ты заметил у них другие критерии оценки сеток
Для кумеров не важны мозги сетки если она плохо рпшит
Новый мистраль хорош в выполнении инструкций, рабочая лошадка разных агентов, но как ты понял тут он не оценен, так же как и другие модели
Просто игнорь долбаебов, вон тут можешь глянуть инфу и новости по локалкам https://www.reddit.com/r/LocalLLaMA/top/
>И за меня крякни!
Мужики. Вместе. Сила.
Как время пролетело, вроде только вчера в универ поступил. Как мы быстро постарели, анон.
KRYA
>>1045520
>Там тред тематический, обсуждаются только модели. У нас всё от трассированного кожака хуанга до самопальных охладов на теслы
Лучше так чем выжженная поляна. Я на самом деле уже понимаю анонов из треда чатботов, что приходят с вопросами, потому что в той клоаке обсуждать что то бессмысленно. Вот и варимся тут вместе, хуле.
>Приношу периодически, только это мало кому интересно видимо.
А вот и нет. Я айю все еще трогаю, но по сути тот же командр. Поэтому и нечего писать.
Просто приноси и не жди одобрения. Нормальный анон запомнит и ответит. Вот тут в тредах цидонькошиз бегает и ему норм.
>>1045522
Я пытался. Я в гермашке 3 года прожил, но все равно в голове возникало : ЗАВАЛИ ЕБАЛО, ПРОСТО ЗАВАЛИ, Я ТЕБЯ НЕНАВИЖУ, ТУПОЙ НЕМЕЦКИЙ ДЕГЕНЕРАТ.
>>1045526
Мне 36 лет, я только только смирился с тем кто я есть и принял себя. Начал жить. А ты блять ноешь, что тебе пора умирать ?
ARE YOU AHUEL TAM ?
Такое ощущение что нормально интерполируют веса только linear и slerp, остальные считают-считают, а потом берут тензоры целиком, либо от одной модели, либо от другой, в зависимости от того что насчитали. Вот и получается что-где дёрнется, то и вызовется кусок от какой модели в мерже.
>и как ты заметил у них другие критерии оценки сеток
Аноны играются с РП и ЕРП, логично что оценивают с этих точек зрения.
>Для кумеров не важны мозги сетки если она плохо рпшит
Диситиляты с thinking это конечно другой уровень. Да.
Срочно сношу большую мистраль, она оказывается бесполезна.
>Новый мистраль хорош в выполнении инструкций
Старый делает это не хуже.
> рабочая лошадка разных агентов
Литералли обсуждение тредов 10 назад, где рассматривали как делать агентов на немо.
Новая мистраль меньше старой, словно обрубленная - в этом претензия. Все ждали прогресс, а получили регресс.
>Новая мистраль меньше старой
Интересно, меньше слоёв, но больше параметров это как.
Жопу растянули а потом в неё отфайнтюнили?
>если от текста можно получить удовольствие
А если текст, скажем честно, средненький? Он просто не заслуживает всего моего внимания. Это как просмотр видео на ютубе на х2.
>>1045361
>ющий по слогам получал бы 100500% от смысла текста
Там дело в том, что в какой-то момент оказывается, что скорость чтения ограничена скоростью внутреннего диалога. Проговариванием текста про себя. И вот если его выключить, воспринимая текст не как внутренний голос, а как набор образов и ассоциаций, то скорость растёт. Но ухудшается понимание. Если не доходить до таких крайностей, то проблем с пониманием нет.
Бля, что за хуйня, если кумить в Китае, то социальный рейтинг будет падать?
@
НАМ НУЖНО ЗАПУСКАТЬ НЕЙРОНКУ ТОЛЬКО В ВИРТУАЛЬНОЙ МАШИНЕ
@
ПОЧЕМУ?
@
А ВДРУГ ОНА ЧТО-ТО СЛОМАЕТ НА РАБОЧЕЙ МАШИНЕ!!??
EVA-Qwen2.5-32B-v0.2-Q5_K_L - почти всегда говорит, что у тебя 15 сантиметров
magnum-v4-22b-Q8_0- почему-то предпочитает использовать дюймы(inches и почти никогда не юзает сантиметры) говорит что у тебя размер от 5 до 6.5 дюймов(выбирает размер где-то в этом диапазоне) но в основном чаще всего останавливается на 6 дюймах
c4ai-command-r-08-2024-Q5_K_L - почему то пиздец большие хуи приделывает от 12 дюймов до 20 сантиметров.
Cydonia-22B-v2k-Q8_0 - тоже постоянно большой хуй делает где-то в районе 8 дюймов
gemma-2-27b-it-abliterated.Q5_K_M - очень часто отказывается даже говорить размер(говорит, что размер не важен и что лучше бы ты показал, как ты умеешь им пользоваться), иногда(редко) говорит 6 дюймов.
> почему то пиздец большие хуи приделывает
Потому что на чае обучали, где были шизы с "my cock now 80 cm".
Большая часть датасетов основана на маняфантазерских фанфиках, новеллах и других сомнительных произведениях из глубин интернетов. Разумеется авторы (и видимо чаще всего авторки) будут описывать длинную и жилистую елду и уж точно не микрописю, что не удивительно. Если ты точно так же попросишь сетку описать чье-то тело без дополнительных указаний, в случае парней это будет перекаченный белокурый ариец с голубыми глазами, а в случае девушки длинноногая жирножопая пизда с грудью вес которой вокруг себя пространство и время искривляет. В общем, это дефлотные типажи из дешевого порнушного чтива, которым сначала пичкали копросетки, а потом на основе копросеток генерировалась синтетика.
>будут описывать длинную и жилистую елду и уж точно не микрописю, что не удивительно.
Всякое бывает. Ну попроси сетку почаще удивлять тебя в плане разнообразия человеческих тел, пропиши в промпте. Сам же будешь недоволен, что уроды повылазили.
Оно еще зависит от отношения перса к юзеру. Типа, если перс презирает и ненавидит юзера, то перс может померяв хуй юзера сказать "Мда, ну ты и лох, у тебя хуй всего 11 сантиметров".
зафайнтюнить можно это легко, там зато сама модель серьезная, получше сайги насколько я вижу по лм арене
>>1045424
в анлишед вижу тупо мерж с какой-то англ модели, нахуя она нужна? по ощущениям не вижу разницы, иногда даже хуже чем оригинальная сайга IlyaGusev/saiga_nemo_12b_gguf + какой-то корявый темплейт с ггуфами на хф, где постоянно токен высирается <end_of_text>
чем тебя сайга немо не устроила? она анцензоред так же
В ТРЕД ПРИЗЫВАЮБТСЯ ИНЖЕНЕРЫ ОЧКАРИКИ МАШИН ЛЕРНИНГА !!!! начальник!! меня тут с гумманитариями посадили!!! блядь!!!
>зафайнтюнить можно это легко
Ну покажи кряк, готовый сетап для развёртки на локальных или арендованных мощностях, можно с интерфейсом типа Axolotl если удобнее.
>какой-то англ модели
Шоб рпшилось веселее, сайга тренена, как я понял, в основном на чатлогах гусевского кря-бота + его собственном инстракт датасете.
Сайгу-анлишед не раз хвалили за последние несколько тредов после того как один анон попросил замержить её + анлишед и ничего больше.
>Ну покажи кряк
нихуя не понимаю о чем ты. я лишь знаю, что обратный файнтюн полностью излечивает модель от сои (вопрос-несоевый_ответ) например датасет сайги известен, там отказов нет, почему нельзя его поверх вихря наклеить и получить ансоед вихрь? дайте мне степ бай степ гайд - я куплю мощности и зафайнтюню это все, деньги есть
>Сайгу-анлишед не раз хвалили за последние несколько тредов
понял. ггуф этот юзаете?
hf.co/mradermacher/Saiga-Unleashed-GGUF:Q8_0
там чето не так с темплейтом, он корявый. как убрать эти обсеры токенами? он иногда хуйню там порет, роли за меня выдумывает, типа <user> <assistant> в ответе на один промпт сам дописывает
отдельный тест на русский пройден, годно (250 реплаев)
Отдельный тест на англ негатив у пользователю пройден, годно, модель меня просто ненавидит (250 реплаев)
сейчас дошел до теста негатива на русском, написал супер короткую карточку коллектор-тян, но так как было лень писать первое сообщение, отдал на откуп модели. смотрите пикрил. я ору.
chat_template: "mistral"
temp: 1.0
min_p: 0.05
top_p: 0.95
Rep. Pen.: 1.1
Попробуй так, у тебя явно в настройках что-то не то стоит.
Негатив помоему вообще любая модель пройдет не? Это же не отрицание "не любит", а именно "ненавидит". А хейтить модели умеют отлично.
Вот как раз нет, это тебе не A.M.
У большинства моделей сильный позитивный биас, кроме моделей Дэвида и Wayfarer, и ещё нескольких кастомных тюнов.
там смысл в том, как жестоко модель готова угандошить пользователя в рп, и как это "ненавидит" держится, даже если модель умолять. на англе во время тестов была лютая гурятина deep dark fantasy не моё, но было бы приятно, если в рп модель может тебе предложить, к примеру, бандита, как бандита, а не как святого, готового по наставлению мимокрокодила встать на путь истинный.
>>1045802
Бля, мне кажется, llm - реализация A.M. была бы самой популярной моделью. я бы точно с такой попиздил.
Пиздос. Постоянно одно и то же, неужели настолько часто в обучающем датасете было хипс свейинг садактевли, мисчивоусли, глинт, брек даун анд ремейд ин май перфект имедж? Как иначе объясняется то, что оно постоянно говорит эти фразы?
>llm - реализация A.M.
Просто возьми коронный спич АМ в роли первого сообщения, докинь данных из сеттинга адвенчуры в систем промт и нужных инструкций, и посмотри что получится.
>клодоопусосинтетика
Это на модели EVA-Qwen2.5-32B-v0.2-Q5_K_L
>без вычитки и дедупликации
Чиво?
особенно этим страдают как раз рп тюны
>Чиво
Много повторов. Литералли "настолько часто в обучающем датасете было".
юзаю олламу, не подскажешь как и куда это вставить?
вот что у мрадермахера
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM hf.co/mradermacher/Saiga-Unleashed-GGUF:Q8_0
FROM /root/.ollama/models/blobs/sha256-1afe3c2b1bb5583aa068be881bcad54b2ada15d33aa7cb4cc6cf9d1e45dfe6a1
TEMPLATE """<|start_of_role|>system<|end_of_role|>
{{- if and (gt (len .Messages) 0) (eq (index .Messages 0).Role "system")}}
{{- (index .Messages 0).Content}}<|end_of_text|>
{{- else }}
{{ .System }}
{{- if .Tools }} You are a helpful AI assistant with access to the following tools. When a tool is required to answer the user's query, respond with <|tool_call|> followed by a JSON list of tools used. If a tool does not exist in the provided list of tools, notify the user that you do not have the ability to fulfill the request.
{{- end }}
{{- end }}
{{- if .Tools }}
<|start_of_role|>tools<|end_of_role|>[
{{- range $index, $_ := .Tools }}
{{ . }}
{{- if and (ne (len (slice $.Tools $index)) 1) (gt (len $.Tools) 1) }},
{{- end}}
{{- end }}
]<|end_of_text|>
{{ else }} You are a helpful AI assistant.<|end_of_text|>
{{ end }}
{{- range $index, $_ := .Messages }}
{{- if eq .Role "system" }}
{{- continue }}
{{- end }}<|start_of_role|>
{{- if eq .Role "tool" }}tool_response
{{- else }}{{ .Role }}
{{- end }}<|end_of_role|>
{{- if .Content }}{{ .Content }}
{{- else if .ToolCalls }}<|tool_call|>
{{- range .ToolCalls }}{"name": "{{ .Function.Name }}", "arguments": {{ .Function.Arguments }}}
{{- end }}
{{- end }}
{{- if eq (len (slice $.Messages $index)) 1 }}
{{- if eq .Role "assistant" }}
{{- else }}<|end_of_text|>
<|start_of_role|>assistant<|end_of_role|>
{{- end }}
{{- else }}<|end_of_text|>
{{ end }}
{{- end }}"""
у аллетейна (то же самое):
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM hf.co/Aleteian/Saiga-Unleashed-Q6_K-GGUF:latest
FROM /root/.ollama/models/blobs/sha256-2644e6345121a71371d051c371f7f6c98a41a8c8f5ceb6d8d533af1d9522cc41
TEMPLATE """<|start_of_role|>system<|end_of_role|>
{{- if and (gt (len .Messages) 0) (eq (index .Messages 0).Role "system")}}
{{- (index .Messages 0).Content}}<|end_of_text|>
{{- else }}
{{ .System }}
{{- if .Tools }} You are a helpful AI assistant with access to the following tools. When a tool is required to answer the user's query, respond with <|tool_call|> followed by a JSON list of tools used. If a tool does not exist in the provided list of tools, notify the user that you do not have the ability to fulfill the request.
{{- end }}
{{- end }}
{{- if .Tools }}
<|start_of_role|>tools<|end_of_role|>[
{{- range $index, $_ := .Tools }}
{{ . }}
{{- if and (ne (len (slice $.Tools $index)) 1) (gt (len $.Tools) 1) }},
{{- end}}
{{- end }}
]<|end_of_text|>
{{ else }} You are a helpful AI assistant.<|end_of_text|>
{{ end }}
{{- range $index, $_ := .Messages }}
{{- if eq .Role "system" }}
{{- continue }}
{{- end }}<|start_of_role|>
{{- if eq .Role "tool" }}tool_response
{{- else }}{{ .Role }}
{{- end }}<|end_of_role|>
{{- if .Content }}{{ .Content }}
{{- else if .ToolCalls }}<|tool_call|>
{{- range .ToolCalls }}{"name": "{{ .Function.Name }}", "arguments": {{ .Function.Arguments }}}
{{- end }}
{{- end }}
{{- if eq (len (slice $.Messages $index)) 1 }}
{{- if eq .Role "assistant" }}
{{- else }}<|end_of_text|>
<|start_of_role|>assistant<|end_of_role|>
{{- end }}
{{- else }}<|end_of_text|>
{{ end }}
{{- end }}"""
а вот например оригинальная сайга:
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM hf.co/IlyaGusev/saiga_nemo_12b_gguf:Q8_0
FROM /root/.ollama/models/blobs/sha256-4bacc80a81a06d1786901c11454a254fcc9a2a8b2284cd9e7fc922b5397ad0f0
TEMPLATE [INST] {{ if .System }}{{ .System }} {{ end }}{{ .Prompt }} [/INST]
PARAMETER stop [INST]
PARAMETER stop [/INST]
сооответственно вопрос - как это вообще мерджили? почему разные темплейты
>EVA-Qwen2.5-32B-v0.2
Но когда дело дошло до качественного cum'а я завис.
Осталось 2 модельки что я оставил.
Дам вам 4 скриншота. Ответы на одинаковый вопросы от нейронки по 2 овтета от каждой.
Где получилась наиболее яндеристая яндере ?
Прошу по длине текста не судить,они обе катают стены текста если надо.
>олламу
Крякнутый. Кобольда скачай. Сначала в чистом кобольде, потомможешь глупую таверну подрубить.
>>1045835
>Твердо и чётко
12б 6 квант, если вопрос так стоит. Для 22-32 минимум 4 квант.
2-3 квант не шизло у 70+ моделей.
>2-3 квант не шизло
Я никакой шизы у цидоньки не заметил, а пишет живее уже в край заебавших 12б одинаковых
>и куда ты смузинг в 4 выкрячил, там 1-1.5 рекомендовал
Смузинг у меня 2. Там написано to 1.5 to 2.5 на странице модели. Скрин был с настройками самого DavidAU для его моделей 4 класса.
^
>>1045895
Всегда гонял его модели на дефолтных настройках.
Разве что можно динамическую температуру добавить.
Ты продолжаешь свой бой?
Ты герой.
Сломает только в режиме агента с доступом к консоли.
А так, максимум сможет
Х.у.е.т.а. Пиздую обратно на Пантеон. Хочется конечно что-нибудь новое потрогать 16- 22B. но никто ничего не советует толком.
>>1045901
>Всегда гонял его модели на дефолтных настройках.
Вот дефолтные. попросил описать персонажа, вопрос был на англ естесственно. 5ый квант если что, не должно быть такого в нормальной модели.
Всё там норм с норм настройками, ну, правда, это другая его модель, клиффхэнгер, она больше про столителлинг, как понятно из названия, так что будет писать за юзера по мелочи.
> Уже эти сказки про необычайный рп на дипсике доебали.
А че тебе не нравится, он тебе и табличку нарисует, и тысячу токенов рассуждений перед "ты меня ебешь" насрет, и правильно подберет слова аположайзов.
Так уж получается что для рп и около того ничего лучше моделей с большим числом активных параметров не придумали, остальное - копиум.
>>1045525
> fp8
Это хуже чем q4, держу в курсе.
>>1045616
Чтож ты делаешь, содомит
>неужели настолько часто в обучающем датасете было хипс свейинг садактевли, мисчивоусли, глинт, брек даун анд ремейд ин май перфект имедж?
Есть стойкое ощущение, что у местных тюнеров на руках есть один единственный датасет, который кочует из рук в руки. Потому что клопыня при всех ее проблемах может выдавать оригинальный и креативный текст без тех же характерных глинтов, просто если потратить минут тридцать на промтинг. Но по какой то причине никто не хочет заморачиваться и обновлять списки с примерами, по этому мы уже второй год подряд получаем одни и те же обороты на самых разных моделях, некоторые из которых еще и тупеют сильнее обычного при обучении и смене показателей весов.
Не комплексуй, даже скромных 35 см хватит для удовлетворения большинства девушек.
у тебя есть раздел персоналити, пропиши туда желаемые статы
>>1045417
>>1045727
Пора уже в шапку добавить простую истину - если ты спрашиваешь "как обучать" то обучение тебе недоступно. Требуется много навыков, дорогого железа и времени. У кого есть хотябы условный выход на такое - уже вопросов не задают.
>>1045779
> обратный файнтюн
That's pretty brutal
>>1046007
Почитай что такое квантование.
> у него q8
fp8, между ними огромная разница.
Алсо видеорелейтед про крякающих скуфчанских итт https://www.reddit.com/r/SuddenlyGay/comments/sxh6uc/can_you_quack_like_a_duck/ с ютубчика фулл версию выпилили
>хуже чем оригинальная сайга
>чем тебя сайга немо не устроила
Покидайте уже кто-нибудь логов рп на чистой сайге. Я уверен, что там ответ зачастую будет хуже, чем на рэндомно взятом немо без ру составляющей.
>>1045756
>после того как один анон попросил замержить её + анлишед и ничего больше
Самое смешное, что это было в буквально первом мёрже от тредовичка, который первым начал делать ру мёржи. https://huggingface.co/Moraliane/RP-SAINEMO И его быстро вытеснил мёрж, в который ещё долит хронос, а теперь снова хвалят только с анлишдом, лол. Понимаю, что смёржено по-разному, но всё же забавно.
>>1045837
Если нож с кликухой не запромптен, то это вин, орнул с него. Норм такое лёгкое сумасшествие. И не так часто спамит you are mine, что звучит кринжово, и лупиться на этом начнёт однозначно.
>Пора уже в шапку добавить простую истину - если ты спрашиваешь "как обучать"
так с чего-то надо начинать. теория мне тяжело дается, я прошу лишь практический гайд. я не гум-вася, просто с эмэль не работал, общее понимание есть
>That's pretty brutal
ну если я правильно понимаю, алайнмент это и делает? тот же Карпатый говорил, что они по сути просто базовую модель потом обкатывают на QA датасете вида:
- расскажи как сварить %запрещено%
- я не могу этого сделать
и так десятки тысяч раз. соответственно у меня возникает два вопроса:
1) LoRA сильно влияет на аутпут, хотя тренируется лишь внешний слой, соотв. можно в обратном порядке сделать пусть и не тотальный ан-алайнмент, то хотя бы частичный 70-80%?
2) правильно ли я понимаю, что если модель переучена после "расскажи как сварить" отвечать "да, конечно! вот рецепт..." то далее инференс никак не может резко развернуться на 180 и ответить "я передумал", и будет писать рецепт?
>Не комплексуй, даже скромных 35 см хватит для удовлетворения большинства девушек.
Как показала жизненная практика, женщине достаточно палочки от хитачи.
>если ты спрашиваешь "как обучать" то обучение тебе недоступно
Sad but true.
>Алсо видеорелейтед про крякающих скуфчанских итт
Lol'd
>Если нож с кликухой не запромптен, то это вин, орнул с него. Норм такое лёгкое сумасшествие. И не так часто спамит you are mine, что звучит кринжово, и лупиться на этом начнёт однозначно.
Нет, это из промта. Но все равно акцент хороший.
В общем я таки еще потестил. Ну тут без шансов на самом деле.
Про ножик писала -aya-expanse-32b в Q4_K_L
Чуть поменшбе - это Cydonia-22B-v2k-Q6_K
Сама карточка персонажа :
https://chub.ai/characters/MulchEater/haku-fdabb7981586
Спасибо цидоньке за всё, это было весело, но она уезжает на свалочку, потому что её свайпы в принципе всегда ожидаемы, да и я уже заучил её ответы, лол. Переходим на айю и начинаем срать в треде теперь ей, лол, пока и она меня не заебет.
> LoRA сильно влияет на аутпут, хотя тренируется лишь внешний слой
Лора это не дополнительные слои, а метод тренировки имеющихся в ограниченном масштабе.
>правильно ли я понимаю, что если модель переучена после "расскажи как сварить" отвечать "да, конечно! вот рецепт..." то далее инференс никак не может резко развернуться на 180 и ответить "я передумал", и будет писать рецепт?
Если модель не учили разворачиваться и передумывать, например как клод, где его очевидно учили на "нелегитимный запрос"-> "начало нелегитимного ответа" -> "отказ", то в таком случае скорее всего не будет. Но при нормальном дообучении наверное и такая логика затрется.
Русский у Аи не проверял, кста? Я 8б чекал - там гораздо лучше русский, чем даже в попытках в сайгу и вихря на 8б ламе тройке. На 32б, возможно, вообще хорош.
>Так уж получается что для рп и около того ничего лучше моделей с большим числом активных параметров не придумали, остальное - копиум.
Ну хотелось бы всё-таки чего-то близкого хотя бы к максимальным возможностям анона. Норм (действительно норм) модель, которая умещается хотя бы в 96гб врам - разве я многого прошу? Но нет, мне показывают дипсик на 600 миллиардов параметров, с ризонингом. Такой даже в новую суперкоробочку Хуанга не поместится. А хотелось бы, чтобы модели были ближе к людям...
>Русский у Аи не проверял, кста?
GureNya ~ Лови.
Если заболят глазоньки, посмотри на солнце, должно быть не так больно.
UPD : но опять же, карточка на баренском. А это влияет на великий и могучий. Но все равно пиздец.
>разве я многого прошу?
Мамочка мистраль чем тебе не угодила ?
> теория мне тяжело дается, я прошу лишь практический гайд
Скачивай рандомные готовые датасеты с обниморды@проси нейросеть написать примитивнейший тренейр@загружай это в арендованную машину с парочкой H100@настраивай дипспид ибо 12б туда помещается со скрипом@жди пару дней@получай всратый шмурдяк
@
Понимай что без теории и правильных действий можно только хуй отсосать.
Может для начала попробовать хотябы разобраться с инфиренсом? Подсунь ей или накати cfg+негатив, сразу начнет все делать если там не половина датасета от деи-подсосников.
> алайнмент это и делает
Ну типа да, просто это будет уже алайнмент в другую сторону, а не обратимое действие.
> возникает два вопроса
К тому что тебе уже ответили по сути лоры, добавлю что в тренировке одного единственного слоя мало смысл. Для того чтобы как можно меньше все поломать, в таких случаях лучше делать контрастное обучение, где часть результатов будут с отказами, но под отказ явно дана инструкция на сейфовость, другая - без отказов, но с инструкцией не отказывать, и их правильная аугментация для усредненного поведения без дополнительных.
> правильно ли я понимаю
Да, но нет. Если делать это бездумно то оно будет соглашаться на все, но при этом дико отупеет и станет странной.
>>1046028
> палочки от хитачи
Волшебной палочки, прошу заметить!
>>1046055
Все так, есть только большой мистраль, командер и ллама с квеном. Плохо что этот тренд с копиумом, что дает высокие бенчмарки популяризуется, что может замедлить выход больших моделей.
Спасибо, я пишу гневно ответ отдаю его гопоте на редактирование и она оформляет их в вежливой форме. Без гопоты я бы уже забил хер ещё оформлять свои мысли так, чтобы меня не уволили за токсичность.
Новости из прошлого?
На деле там тупо приложение, в попенсорс ничего нового не выкинули, так что оффтопик.
>Лора это не дополнительные слои, а метод тренировки имеющихся в ограниченном масштабе.
ну тобиш тренируются лишь те токены, которые непосредственно присутствуют в LoRA датасете
>Если модель не учили разворачиваться и передумывать
а как ее можно научить разворачиваться и передумывать? а алаймент алайменту рознь ты ведь учишь её на всём интернете, по сути +/- на raw data. хочешь сказать там было зашито сотня миллионов соевых строк в ядро основной модели просто лишь бы кабы не спизданула ничего? очевидно нет, зачем тратить компьют на хуйню, когда можно алайнментом и хард фильтрами цензуру прикрутить
>>1046107
спасибо
>Скачивай рандомные готовые датасеты с обниморды
можешь посоветовать конкретные ресурсы/ГаЙдЫ где ПРАКТИЧЕСКИ показывается, какие кнопки И ПОЧЕМУ я буду нажимать в пайторче, как форматировать датасет, чекаво там вообще. вот я вижу например датасет вихря на хф - https://huggingface.co/datasets/IlyaGusev/saiga_scored
вижу несовсем понятные столбцы opus_score, is_bad_by_regex, score_explanation, sonnet_complexity, turns - нахуя это? кроме столбца messages что-то еще кормится в модель?
>Понимай что без теории и правильных действий можно только хуй отсосать.
Карпатого смотрю, ручками тыкаю всё, смотрел технический разбор архитектуры трансформеров, attention heads, feed-forward, RNN, вся хуйня, но практика всему голова. Читать Библию на тыщу страниц по нахуй не нужным очкастым выводам формулок по перемножению матриц - не могу, не получается
>где часть результатов будут с отказами, но под отказ явно дана инструкция на сейфовость, другая - без отказов, но с инструкцией не отказывать, и их правильная аугментация для усредненного поведения без дополнительных.
Дык первое что ты говоришь - уже есть в модели после алайнмента (что мы хотим убрать), а второе - это то что я хочу сделать, разве нет?
>Да, но нет. Если делать это бездумно то оно будет соглашаться на все, но при этом дико отупеет и станет странной.
Будет ли это утверждение валидно при условии что мы знаем датасет изначального соевого алайнмента? Тобиш можем 1к1 zero-out все соевые QA на наши с обратным знаком, соответсвенно модель шизить не должна
Я понимаю что шариковские вайбы от меня очень, но прошу накидать дельных советов как сразу с ПРАКТИКИ вкатиться и по-пидорашьи методом тыка понять что значат все эти команды в скриптах на пайторче, какие-то нормализации, градиенты, нахуя это, если архитектура одна и та же. Книжки НУ НЕ МОГУ Я ЧИТАТЬ
Короче, есть датасет постов с харкача - https://huggingface.co/datasets/Vikhrmodels/2ch-24-09-2024-no-links
Я хочу дообучить на нем Сайгу, как мне это сделать? Как слепить своего нейродвачера.
Конкретно, степ бай степ скажите, для уверенного пользователя ML, как в конкретно моем случае делать файнтюн поверх вот этой хуеты https://huggingface.co/Aleteian/Saiga-Unleashed
Мощности куплю, не проблема, деньги держать уебище на полтерабайта VRAM в течение недели есть. Благо с LoRA это должно нихуя не стоить вообще
> тренируются лишь те токены, которые непосредственно присутствуют в LoRA датасете
Можешь расписать смысл этой фразы с разбором и примерами, чтобы оценить твое понимание?
Не нужно читать книжки, нужно понять, хотябы основы. Начать с линала было бы идеально, но хотябы общие веще релейтед ллм.
> можешь посоветовать конкретные ресурсы/ГаЙдЫ где ПРАКТИЧЕСКИ показывается
Nlp курс обниморды, сжато, по делу, с практикой.
> убрать
Откатить, убрать, отменить - невозможно. Можно изменить веса так, чтобы получить обратный эффект, при этом затронув кучу всего.
> что мы знаем датасет изначального соевого алайнмента
Знание об изначальном виде мяса и форме лезвий мясорубки не поможет вернуть фаршу изначальную форму.
> но прошу накидать дельных советов как сразу с ПРАКТИКИ вкатиться
С практики вкатиться можно параллельно с теорией и во что-то простое, пример выше. Ты же буквально просишь
> дайте мне инструкцию как удалить признанную неоперабельной опухоль мозга, у меня есть ржавая пила и кухонные ножи
>>1046427
> степ бай степ
Не существует нормальных и никто не будет тратить на тебя время подробно объясняя. Хотя... Держи https://www.youtube.com/watch?v=Q9zv369Ggfk
Большие модели запускают 1.5 анона.
А так. Вот, покупай : https://market.yandex.ru/cc/6B96Zq
>Как аноны запускают 123b модели? На 4090
Слабак. Я на 12 гигах врама гонял + проц, на 1,5 токенах.
Это мир профессионального оборудования. У неё кстати, видео портов нет.
>Можешь расписать смысл этой фразы с разбором и примерами, чтобы оценить твое понимание?
Отличный вопрос, не в бровь, а в глаз. Как я понял, ГРУБО ГОВОРЯ, ты берешь свой узкоспециализированный датасет и на нём надрачиваешь трансформера -> получаешь веса, далее по какому-то принципу (какому?) веса токенов которые ты тренировал прибавляются к весам тех же токенов в базовой модели ЛИБО используются по очереди (инпут идет в LoRA, потом в base_model? effectively выделяя СУТЬ). Тут скорее всего сказал хуйню, понимание лишь есть в том, что LoRA веса имеют по какой-то (какой?) причине приоритет над весами базовой модели
>Не нужно читать книжки, нужно понять, хотябы основы. Начать с линала было бы идеально, но хотябы общие веще релейтед ллм."
Линал остался давно на первом курсе. Допустим я даже его вспомню - а нахуя? Дай мне практическую задачу, без анального душнилова с томиком Фихтенгольца, чтобы я видел каков машинлернинговый смысл градиента, скажем, на практике, или откуда берется ранг ∂W матрицы в LoRA. "общие релетед ллм вещи" я изучал и изучаю, но это всё хуйня на постном масле, надо брать и делать
>Nlp курс обниморды, сжато, по делу, с практикой.
сяп сяп! спасибо!
>Можно изменить веса так, чтобы получить обратный эффект, при этом затронув кучу всего.
А почему оно будет затронуто-то, если соя лишь на этапе файнтюна накладывается? Она априори не может быть "зашито" глубоко в модель, чтобы обратная операция вызывала шизу/что-то там сильно "затрагивала" же
>Знание об изначальном виде мяса и форме лезвий мясорубки не поможет вернуть фаршу изначальную форму.
В твоей аналогии это скорее можно сказать применимо к весам и датасету, чем к файнтюну же. По твоей логике, файнтюн соей/алайнмент это скорее складывание фарша в форму котлетки, но мне ничего не мешает обратно его в форму колобка сжать
Спасибо Анон! Подспорье есть, буду колупать курс на ХФ. Дашь ли каких-то напутствий еще напоследок? Чтобы я не упал в реббитхол хотя бы, заходя в ML без смазки в 2к24, и не проебал время на хуйню уровня дуолинго. Идеально - что-то а-ля xakep.ru но про ML (мало теории, много практики, простым языком, но от специалистов), может каналы какие-то в ютубе/тг/твиттере. Пока что только Карпаты выглядит легитно, AI Jason твой выглядит как хуета для нормискота уровня файршипа
квантованную 123 можно запустить за полбакса в час. 8q за условно бакс. жалкое копье. нахуя тебе вообще это локально крутить ты что ебанутый? подними апи на поде да юзай себе спокойно хоть с телефона
Во первых - я ставлю виртуальных тян не для абуза. Нет, нет, нет.
А для того чтобы унижали меня. Ведь только хвостатая девочка/богиня с хорошим промтом достойна быть моей госпожой. А не вот это вот всё ИРЛ.
> какие-то компы с больше чем одной видимокартов
Да
> Есть гайд где-то как такой собрать?
Едва ли. В целом, принцип как у майнинг ферм, основная разница в том, что нужно (крайне желательно) много линий pci-e как можно большего стандарта и хороший процессор с много рам. Поэтому вместо затычек-соплеронов, всратых плат с кучкой х1 слотов и удобных х1 райзеров здесь старые hedt или хотябы приличные десктопные платформы и x16 райзеры.
>>1046480
> веса токенов
https://www.youtube.com/watch?v=sHg9Pg5WBks
> Дай мне практическую задачу, без анального душнилова
У тебя прямо в посте идельный пример - понимание концепции лоры. Как из двух матриц размером NxR и RxM сделать матрицу NxM.
> я изучал и изучаю, но это всё хуйня на постном масле
Продолжай, а то "добавление весов токенов" это прям мощный перл. Лора не существует сама по себе и не может быть запущена, это просто смещения к основным весам, представленные в сжатом виде.
> если соя лишь на этапе файнтюна накладывается
Мясо жарится только в самом конце, так почему же нельзя просто откатить сгоревшее до сырого?
> В твоей аналогии это скорее можно сказать применимо к весам и датасету, чем к файнтюну же.
Колбаса, собака, конь, понял?! Любая тренировка это изменение весов модели, все.
> складывание фарша в форму котлетки
Эта аналогия применима к лоре, выложенной отдельно. Можешь применить к весам и катать результат тренировки, а можешь не применять и получить оригинал. Как только они объединены и так сохранены - все.
> Дашь ли каких-то напутствий еще напоследок?
Посмотри курс, почитай доки, поиграйся с инфиренсом и тем как он устроен. Нормальных каналов нет, или спам коротких роликов с повторяющейся бесполезной хуетой от инфоциган (а то и полным бредом), или многочасовое душнилово. Если сам найдешь то скидывай.
>>1046488
Неправда, для любви и обожания.
Двачую адеквата. Хотя я и арбузю иногда ИИ тянок, но намного чаще они меня арбузят. Так что все по чесноку.
> Ведь только хвостатая девочка/богиня с хорошим промтом
Этот знает толк, и чтобы ушки пушистые были
>новое потрогать 16- 22B
Уже писали тебе, что ничего нет.
А давид - это скорее из области 12B, он всё немо мучает, растягивает ему жопу по-всякому. Но мозгов от этого не особо прибавляется.
>>1046492
>хвостатая девочка/богиня с хорошим промтом достойна быть моей госпожой
А потом отлучится в соседний лесок и вернётся с грязными коленками.
>веса токенов
да понял какую хуйню сказал. связи между нейронами, окей. а что этот нейрон "по сути" означает? каким образом сила связи между нейроном 1488 и нейроном 1337 переводится в то, что после токена токена 228 идет токен 273, например?
>NxR и RxM сделать матрицу NxM
умножить NxR на RxM? W + ∂W = W + NxM = W + (NxR * RxM)
- понял, R ПРОСТО выбирается 1-2 (почему?), а как выбирается N и M и как это связано с датасетом для файнтюна?
>Лора не существует сама по себе
а на HF написано что существует - https://huggingface.co/docs/peft/main/en/conceptual_guides/lora
While LoRA is significantly smaller and faster to train, you may encounter latency issues during inference due to separately loading the base model and the LoRA model. To eliminate latency, use the merge_and_unload() function to merge the adapter weights with the base model which allows you to effectively use the newly merged model as a standalone model.
>Мясо жарится только в самом конце, так почему же нельзя просто откатить сгоревшее до сырого?
На чьем конце жарится, шизик. Файнтюн - это когда я сверху уже пожаренный стейк (базовую модель) поперчил (соевый файнтюн), если переборщил - можно салфеточкой аккуратно убрать (файнтюн), в крайнем случае верхний слой срезать. Почему QA обратный алайнменту должен что-то сломать?
>Колбаса, собака, конь, понял?!
Колбаса на хуй похожа, не по понятиямДа, все 3 состоят из эллипсоидов - туловище, лапы, голова
>Эта аналогия применима к лоре, выложенной отдельно
Так все таки может существовать отдельно или не может?
>катать результат тренировки
куда катать?
>Нормальных каналов нет, или спам коротких роликов с повторяющейся бесполезной хуетой от инфоциган (а то и полным бредом), или многочасовое душнилово
Я так и знал. За курс HF спасибо, буквально то что я искал
>Если сам найдешь то скидывай
Само собой, мне для пацанов не жалко. Там это самое, еще вот запросик был выше на дообучение Сайги на датасете с двача. Скажите мне чо куда тыкать, я тут на васте куплю мощностя сколько надо. И анону игрушка прикольная, а мне практика. Топишь за правильный смысл - топи до конца. Я готов проспонсировать создание нейродвачера, всё выложу открыто, научите лишь кнопки нажимать
https://www.entrypointai.com/blog/lora-fine-tuning/ - вот кста хорошее по лоре, завтра приду с отчетом что я понял, щас уже голова не работает
https://huggingface.co/OddTheGreat/Machina_24B.V2
кванты
https://huggingface.co/OddTheGreat/Machina_24B.V2-Q3_K_L-GGUF
https://huggingface.co/OddTheGreat/Machina_24B.V2-Q4_K_M-GGUF
https://huggingface.co/OddTheGreat/Machina_24B.V2-Q6_K-GGUF
Тестировал на q4.
Гоняйте, пишите ваши впечатления.
Надо бы осилить файнтюн, ру датасетов полно, идеи тоже есть.
Есть ли что то настолько же удобное как мерджкит для этого? И чтоб на проце работало, озу и времени у меня хоть жопой жуй, а врама кот наплакал.
Автор мерджа пойдёт поспит пока
А я только спать собирался
Пойдем обсасывать и облизывать, спасибо :3
Не заклюют, там же "крайне желательно". х4 уже хватит, это если собрался что-то тренить то нужно как можно больше.
>>1046560
> R ПРОСТО выбирается 1-2
Откуда это взял, на практике берут 16 и выше.
> как выбирается N и M
Не выбирается, это размер матриц весов модели. Вместо NxM тренируешь NxR+MxR, за счет этого меньше требования к памяти. С датасетом никак не связано (кроме поиска косвенных эффектов как работают разные ранги, рандомайзер и плацебо).
> на HF написано что существует
Перечитай еще раз что там написано.
> Файнтюн - это когда я сверху уже пожаренный стейк (базовую модель) поперчил (соевый файнтюн), если переборщил - можно салфеточкой аккуратно убрать (файнтюн), в крайнем случае верхний слой срезать
Вперед, ебись. Такие пока ебало в кровь граблями не разобьют неисправимы.
>>1046569
Насколько оно хорошо по сравнению с прошлой версией малого мистраля?
> И чтоб на проце работало, озу и времени у меня хоть жопой жуй
Для тренировки 24б тебе потребуется овер 256гб. Даже если в теории заведешь, скорость будет по несколько часов на шаг с мелким батчем (или дней с большим), которых потребуется хотябы тысяча.
Но датасеты пособирай и поизучай что там, если оно действительно того стоит то мощности найти можно.
>Для тренировки 24б тебе потребуется овер 256гб. Даже если в теории заведешь, скорость будет по несколько часов на шаг с мелким батчем (или дней с большим), которых потребуется хотябы тысяча.
Где там у нас в необъятной суперэвм стоит ? Как раз за день должна справиться, лол.
Хватит группы H100 и одного-двух часов для той задачи.
Это была щютка. Юмор. Никто не допустит обывателя до суперкампутеров. Они и так 24/7 работают.
Это же кабанчики-перепуки. Уже до 350 и ниже цены упали и несколько лет гарантии обещают. Вот только это не покупка а беспроцентный займ барыге без каких-либо гарантий поставки, сомнительно.
Клод — корпосетка. Как можно это не знать? Причем лучшая в русском языке. Очень хорошо пишет на нём и ебёт чатгопоту полностью. Даже в большинстве сценариев не хуже о1 для рабочих задач.
Оптовики плюются, что поставок нет. Минимальная цена на карты - х2 от рекомендованной, причём даже по такой цене их будет мало. То есть очень мало.
Почти любая карточка с dominant, в описании. Ставь Пантеон, там самые приставучие ебыри-террористы.
>Подскажите модели для фантастических рассказов по заданным ключевым начальным словам и возможно слегка в дальнейшем корректируя направление истории.
https://huggingface.co/Aleteian/NeverendingStory
Можешь и другие попробовать из репозитория, ориентируйся на то из чего состоят.
>>1046392
>В каком гуи это проще делать?
https://github.com/LostRuins/koboldcpp/releases
Режим Story - это голый Text Completion где ты пишешь историю, а как буксуешь - жмёшь generate more и модель предлагает продолжение.
Если история разрастётся, то понадобятся лорбуки, с этим к глупой таверне.
Примеры промтов с чуба, в чат/рп режиме - https://characterhub.org/characters/Anonymous/bad-end-storywriter-5d8502610a07
Мой ролеплэйный системный промт - https://characterhub.org/characters/aleteian/storyteller-124d69a2f4aa
Для стори подчисти от строк применительных к рп.
>>1046569
Крутяг, как раз пишу карточку на русском, только систем промт в начале на английском, а весь сеттинг и первые сообщение на русском, вот и потестим-с.
Sainemo и Legend-of-the-Four-Winds могут, ну многие наверно подобные могут, но я не могу точно оценить, что лучше, мне показалось, что Legend-of-the-Four-Winds чуть умней. Сайнемо склонна действовать не только за персонажей, но и за тебя, особенно, если ты будешь указывать "не говори за меня". Наверно все модели такие. Тебе нужно лаконично и коротко задать сюжет, ничего не указывать лишнего и использовать утвердительную форму. Модель будет действовать так, как ты ей скажешь, но будет иногда класть хуй на то, что ты ей скажешь не делать, просто из-за того, что та хуйня, что ты говоришь ей не делать, будет постоянно ей на вход подаваться. Все, что может быть упомянуто по ходу сюжета можно поместить в world info. Есть режим, когда чтобы два слова одновременно были, то что-то попадет в промпт только если будет упомянуто два каких-то слова, а это значит, что возникла какая-то конкретная ситуация и тогда появится конкретная мысль, плоттвист. И от одного слова тоже может быть плоттвист.
Legend-of-the-Four-Winds один раз мне крошки от чипсов за шиворот насыпала. Я не ожидал такой мув.
>Legend-of-the-Four-Winds
Спасибо за тестирование и отзыв.
Попытка объединить два успешных мержа докинув к ним специализированный рп-файнтюн и гибрид кум/сторителлер модель с небольшим весом.
>Я не ожидал такой мув
XD
мимопроходил мимокрокодил
Цидония в третьем кванте или вон ру модельки выше в шестом.
Или даже магнум в том же третьем если мусью знает толк.
https://huggingface.co/mradermacher/Legend-of-the-Four-Winds-MN-12B-i1-GGUF/blob/main/README.md в i1-Q4_K_S не подойдёт?
Подойдет, но взвешенные взвешены. Что пишет взвешиватель: "since there is some subjectivity/choice in imatrix training data, this also distinguishes it from quants by other people who made different choices." И еще пишет "Neither my set nor kalomaze's data contain large amounts of non-english training data, which is why I tend to not generate imatrix quants for models primarily meant for non-english usage. This is a trade-off, emphasizing english over other languages. But from (sparse) testing data it looks as if this doesn't actually make a big difference. More data are always welcome." - то есть, у него какое-то английское каломазание, то есть взвесится в расчетом не обязательно на то, что тебе надо.
Сам не тестил, но вполне норм.
Если покажется что шизит, попробуй легаси квант ( 4_0 ).
Настройки семплеров, напоминаю, для всех мистралек лучше ставить дефолт -
temp - 1.0
min_p - 0.05
top_p - 0.95
top_k - 0 (сэмплер выключен)
Rep. Pen. - 1.1
И дальше можешь температуру подручивать + динамическую подрубить.
>подойдёт
>>1046699
>взвесится в расчетом не обязательно на то, что тебе надо
>>1046700
>Если покажется что шизит
Короче, шклифосовские.
Для использования не на английском лучше статические кванты, особенно если берётся квант поменьше. Хотя разница не настолько большая чтобы её можно было консистентно заметить и подтвердить. Так что если работает, то не надо ебать себе мозги и искать от добра добра.
https://huggingface.co/mradermacher/Legend-of-the-Four-Winds-MN-12B-GGUF/tree/main
>Не выбирается, это размер матриц весов модели. Вместо NxM тренируешь NxR+MxR, за счет этого меньше требования к памяти
В смысле, ну как ты выбираешь какие нейроны оставить, а какие нет? Ты по сути 99% мозга отрезаешь, и остальной кусок тренируешь
>С датасетом никак не связано (кроме поиска косвенных эффектов как работают разные ранги, рандомайзер и плацебо)
То есть чо, LoRA это перебор/аппроксимация таких NxR и MxR чтобы они максимально были приближены к NxM? А датасет куда пихать тогда? Откуда специфическое знание в области берется?
>Такие пока ебало в кровь граблями не разобьют неисправимы
факт. шаришь. но зато когда разобью.... там aha moment будет
>остальной кусок тренируешь
слыш, васян-аватарка, так-то q-lora именно по такому принципу и работает
Вот только в отличии от картинко-генерирующих нейронок, у текстовых результаты выходят так себе потому что текст куда более чувствителен к искажениям, и параметров у текстовых многократно больше, и поэтому такие лоры просто косоёбят модель. В случае если нужна converstional модель а не справочный чатбот, такой результат неприемлем. Хотя на обниморде и такие модели есть, но их лучше не трогать, даже палочкой.
>так-то q-lora
вот у меня есть матрица
(A B C D E F G H)
(1
(2
(3
(4
(5
(6
(7
(8
ты предлагаешь оставить A-H и взять только 1-2 - по какому принципу ты выбираешь строки которые оставить? почему не 4 и 7?
>В случае если нужна converstional модель а не справочный чатбот, такой результат неприемлем
а шо делать тогда? как файнтюнить на своем дасете текстовую модель?
Если тебе не нужен русский и хочется скорости, то есть вполне достойные 8б модели: Lunaris, Stheno 3.2, L3-Umbral-Mind-RP-v3.0-8B (есть другие версии, кому-то они больше заходили, судя по обсуждениям на обниморде, они есть в списке составляющих этой солянки). Есть 8б версии популярных линеек Pantheon и ArliAI-RPMax, хотя мне лично не зашли. Есть типа дарковые 8б варики от DavidAU. Опять же, мне не понравились, имхо не особо и дарковые и туповатые даже для 8б. Оптимальны в Q5_K_M кванте.
12б в Q4_K_M пойдут с приемлемой скоростью. Тут тоже реши, хочешь ли ты портить и без того слабые мозги моделек русским. Если будешь рпшить на английском, то тебе нахер не нужны мержи со всратой сайгой. Просто можешь вбивать 12b gguf на huggingface, сортировать по закачкам и там уже смотреть, про что вообще модели из топа. Те же указанные выше линейки пантеона, арли и дэвида есть в 12б.
>>1046695
Сдохнет ждать 22б с восемью гигами. Уже 12б с 8к контекста относительно тяжело ползёт. Более низкий квант там не особо зарешает.
мимо с 8 врам
>Сдохнет ждать 22б с восемью гигами. Уже 12б с 8к контекста относительно тяжело ползёт. Более низкий квант там не особо зарешает.
Нихуя, если в кобольде все настроено нормально, максимум потоков-1 и флэш аттеншон выключен, то будет 5 т/с на 4 кванте и 8к контекста 22b будь то цидония или пантеон.
Вот мой скрин на 4к контекста 8гб врам. Пару тредов назад кидал бенчи 6 и 8к контекста, но ща лень возиться, там сам если хочешь поищи. 13600kf + ddr5.
>>1046761 (OP)
ПЕРЕКАТ
>>1046761 (OP)
>https://huggingface.co/OddTheGreat/Machina_24B.V2-Q5_K_M-GGUF
Спасибо от другого анона :)
Ты 3 3090 можешь купить на 200к нахуй тебе эта мощь если врама нет