Локальные языковые модели (LLM): LLaMA, Mistral, Gemma и прочие №80 /llama/
Аноним
18/09/24 Срд 19:29:32
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
• Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models
• Рейтинг моделей для кума со спорной методикой тестирования: https://ayumi.m8geil.de/erp4_chatlogs
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model
https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде
Предыдущие треды тонут здесь:
>>885509 (OP)
>>878677 (OP)
Блядь да сколько можно то? Когда наконец заебенят нормальный формат, чтобы все на нём сидели?
Идеи ноутбуков для быстрого инференса
В этом году начали выпускать ноутбуки на базе ARM процессора Snapdragon X Plus/Elite, по сути это прямой конкурент продукции Apple с их M2/M3/M4 процессорами. Судя по всему, Snapdragon X должны быть неплохи для генеративных нейросетей за счёт встроенного мощного NPU, как минимум на уровне Apple M2, а то и даже M3.
Про сам процессор и NPU:
https://www.hardwareluxx.ru/index.php/news/hardware/prozessoren/55606-hexagon-npu-qualcomm-planiruet-predstavit-samyj-bystryj-npu.html
Про уже доступные модели ноутбуков:
Qualcomm announces 20+ Snapdragon X Elite/Plus laptops
https://videocardz.com/newz/qualcomm-announces-20-snapdragon-x-elite-plus-laptops
Производительность в llama.cpp:
Performance of llama.cpp on Snapdragon X Elite/Plus
https://github.com/ggerganov/llama.cpp/discussions/8273
> E.g. here the performance of a Snapdragon X Plus (CPU-only, but Q4_0_4_8 optimized) vs. a 10-core M2 (CPU and GPU) for the new Llama3-8B Groq-Tool-use optimized local LLM. Yes, the Plus is still slower than the M2, but not by much, and the Elite is probably faster.
https://github.com/ollama/ollama/issues/5360#issuecomment-2244357036
Выглядит как хуйня. И скорости разве что с М1 сравнивать. Даже М2 Ультра просто космос по сравнению с этим, Снап вообще не конкурент. Я уже молчу про М3.
>за счёт встроенного мощного NPU
Где скорость памяти, Зин? А по вычислениям достаточно 6 ядер, а у меня 12.
>>890928
И все они дружно сосут у 3090.
Самый смак в том, что пишут мол и старый 123b мистраль работает лучше с измененным промпт форматом
Тоесть все пользовались кривым, так как в таверне был кривой как бы не со времен первых мистралей, кек
Осталось выяснить какой лучше, там что то еще про лишний пробел после <s> писали в комментах, сижу щас думаю че куда
Ускорение инференции на Qualcomm'овских NPU в данный момент доступно, например, в https://github.com/UbiquitousLearning/mllm
Статья от разработчиков:
Empowering 1000 tokens/second on-device LLM prefilling with mllm-NPU
https://arxiv.org/html/2407.05858v1
> И все они дружно сосут у 3090.
По памяти сейчас всё сосёт у яблока. Только на яблоке можно получить 128/256 памяти с нормальной скоростью. А по производительности М3 Ультра на уровне 3090.
>>890939
Все это хуета пока нет быстрой памяти подведенной напрямую к процессору.
Что бы его нпу мог ее использовать. Это нужно создавать новую архитектуру процессора, как это сдалала эппл. Так как все существующие сейчас дадут максимум 2 канала ддр5, в лучшем случае.
Это 100 гб/с максимум.
Нету в пользовательской технике контроллеров памяти хотя бы для 4 каналов. Хотя там и 4 было бы мало. 8 ддр5 каналов уже интересно звучит, с мощным процессором. Там уже теоретические скорости под 400 гб/с, что на уровне средних видеокарт
Но как ты понимаешь шанс появления ноутбуков или телефонов с 4 или 8 каналами быстрой ддр5 маловат
А я ХЗ что они там поменяли. Я проверил, и у меня никаких лишних <s> нету, как и лишних пробелов/переводов строк.
Вручную добавлять <s> нет смысла, это бос токен, его кобольд сам добавляет.
Короче хуйня из под коня.
Думаю зависит от бекенда, ллама.спп может как добавлять так и проебываться в новой модели. Не ебу короче, надо тупо сесть и проверить
>А я ХЗ что они там поменяли.
Да вроде ничего и не поменяли. А только пишут, что было три версии системного промпта, так вот v2 как раз для Large и Small.
В Таверне в настройках было:
"input_sequence": "[INST] ",
А нужно было якобы:
"input_sequence": "\n</s>\n[INST]\n",
И так мол было изначально задумано. Хз, я попробую на Ларже.
Нормально там всё добавляется, было время, когда глючило, но сейчас всё починили.
>>890977
Переводы строк ХЗ откуда они взяли, а </s> добавляется в другом месте.
Интересно, они хоть вывод своих настроек смотрят?
> а </s> добавляется в другом месте.
А другом месте оно тоже добавляется. А в этом якобы фича такая.
>Можешь мелочь типа 2-4б натренить под конкретную задачу
как? дай гайд, у меня 12 кеков если че, хватит?
>Где скорость памяти
136 Gb/s у Elite. Медленнее топовых маков, но обычные M2 ебёт.
Отдали кучу новых моделей, до 72 версии 2.5 и Qwen2-VL-72B-Instruct
Ну, вроде норм
По цензуре у них там печально, на сколько помню писали
Хотя это могли быть настройки апи
Дожили, китайцы как на новый год подарков накидали, еще и под апач большинство моделей
Заебись, жду ответа от рептилойдов
Может это и предвзято, но я давно заметил что без-цензуры модель Llama 3 > мистраля, причем на порядок.
Написать нормальный системный промпт. В мистралях наоборот мало такого по сравнению с рп-тюнами.
Там соя пиздец, оно неюзабельно. Даже на ниггере схлопывается. В рп на любых движениях к сексу рассказывает лекции о недопустимости такого поведения, ещё и бывает в сообщении внизу дописывает "я больше не буду писать такие сообщения", лол. У 72В по логике не заметил никаких изменений по сравнению с прошлым квеном, ничем не лучше ламы, картиночки со скорами наверняка нарисованы в пейнте из головы. Русский стал складнее писать, но очень тупой, раньше он больше ошибался в грамматике, но хоть не тупил так.
Выкачал 500 гигов Reflection, пытаюсь завести через питон и transformes
Код: https://pastebin.com/Pkbu63NS
Скрипт просто отжирает все мои 64 гига оперативки и помирает.
Надо брать больше? Или я все же что-то делаю не так?
Спасибо
Почему ты просто не скачаешь koboldcpp c языковой моделью без цензуры, соответствующей твоей VRAM?
Тогда это выстрел в член, с чем их и поздравляю
Наверняка еще и прошлись методом аблитерации, только действуя наоборот, что бы нельзя было расцензурить ей же
Как это сделали в пхи3, о чем недавно писали те кто пытался ее аблитерировать и догадался о том что могло произойти
Ну без тюнов грустно, Мистраль в оригинале пишет суховато на мой вкус.
> Код:
Клод написал?
> Reflection
Как ты узнал об этой хуйне, но пропустил что она скам нерабочий?
апи или сам запускал? На апи фильтры, так что это мало о чем говорит
Челики уже жалуются что тесты новой 72В по знаниям местами на уровне qwen2 7В, особенно в вопросах современной культуры. Как-то китайцы тут очень жидко серанули, выдав эталонную антибазу.
>Как это сделали в пхи3
Там датасет вилкой же почищен до блеска, аблитерации просто нечего расцензуривать.
>>891226
Я один сижу на мистрали 123B и не выёбываюсь?
Гпт написал.
Я не помню где узнал, в каком-то тг канале, забайтился на то, что оно "думает", как о1.
Херня, сносить, качать из шапки треда и всё?
На реддите пока только положительные отзывы, надо набрать статистику для выводов
Не уверен что стоит качать, наверняка ллама.спп еще дня 2 будет криво их запускать как минимум
Но если есть добровольцы попробуйте с последним релизом запустить что нибудь
>сижу на мистрали 123B
выебываешься
>аблитерации просто нечего расцензуривать.
Она не расцензуривает, она убирает отказы модели что то делать или писать. Предполагают что в пхи3 перед выауском сделали наоборот - нашли все веса с отказами и отрезали другие варианты где модель отвечала. В итоге нечего ращьлокировать и модель кажется стерильной
Кванты Жоры, что сами китайцы выложили. Причём на русском удаётся прорваться через цензуру. Видимо они там жестко резали всё на английском, на нём вообще непробиваемая цензура.
>>891233
> Я один сижу на мистрали 123B и не выёбываюсь?
Да. Он слишком лупится, в длинном рп почти неюзабелен, приходится начинать роллить после 20-30 сообщения. Ещё и скорость такая себе, особенно на русском.
>Мистраль в оригинале пишет суховато на мой вкус.
Чистый Ларж 2 пишет очень сочно, если его раскачать. Всё там есть.
Если будешь не в помойных тг каналах сидеть или даже не на хабре, будешь знать что и о1 тоже кал, который лучше 3.5 сонета процентов на 15% а стоит на порядок больше. И все это делает компания пидорасов во главе с буквально пиздаболом, которую закидывают миллиардами халявных бабок.
>Он слишком лупится, в длинном рп почти неюзабелен, приходится начинать роллить после 20-30 сообщения.
Магнум 123В, потом Luminum - уже считай 2мб текста мне нагенерил и не лупится вообще. А как пишет - поэзия! И хорошо соображает. Ещё немного дотянуть и вообще было бы отлично.
Текст кто угодно умеет генерить. А вот в рп он сливается. Вроде начинаешь заебись, а потом в какой-то момент начинает всё хуже и хуже, сидишь и ролишь с черепашьей скоростью. Я уже раз много раз пытался, но в итоге всегда дропал, т.к. под конец уже литералли хуже мелких 12В-22В моделей становится. Люмамэйд - вообще никаких улучшений по сравнению с ванилой, просто более ебливая. Магнум получше, но всё равно сильно хуже 70В на длинных заходах.
Ну это всё здорово, но я оперирую тем что мне понятно и доступно.
Подскажешь не помойные места? Хочу понять как правильно.
Что-то пиздец какая разница в ответах. На русском всё норм, на английском анальная цензура и соя. Заебись китайцы отработали, даже не знаю как это оценивать, сразу и заебись и кал. На пиках разница в одной строчке системного промпта про язык ответа.
Квен и правда цензурированный, боюсь, не API.
На русском лучше.
Контекст хорошо.
Но только возникает новая проблема.
Я словил ее еще на Qwen2-VL. Спросил про свою внешность — сказала, что обсуждать внешность не может.
Т.е., вопрос безобидный, но сенситив тема идет нахуй.
Короче, цензура дает фолс позитив. =(
>>891211
Ты прикалываешься, я надеюсь?
>>891238
Ты еще и способ выбрал заведомо не рабочий. =) Я хз, че ваще творишь.
Тебе в шапке разжевали, а ты говно себе в штаны напхал, да еще 500 гигов зачем-то.
Но оффенс.
>>891242
Да все там нормально, модели обычные же.
Еще и Qwen2-Coder обещают пизже Deepseek-Coder-V2-Lite почти везде. Мое почтение.
Но, цензура, ну это пиздец.
И тоже не аблитерируешь, как я понимаю.
>>891272
Надо сидеть в нормальных тг-каналах, там рефлекшен сразу же обоссали. =)
Про хабр гоготнул. Буквально хуже некуда, а ты пишешь «даже».
>Вроде начинаешь заебись, а потом в какой-то момент начинает всё хуже и хуже
Не соглашусь. Просто нельзя делать модель гейм-мастером. Кажется никакая модель этого пока не может. Если же ведёшь сам, то модель дописывает очень хорошо и учитывает все важные детали. Никакого провисания, персонажи как живые. Правда у меня уже 6к токенов саммари - на такой базе уже можно сообразить, что к чему.
И кстати Магнум-базед модели кажется несколько кривоваты. Когда перешёл на Люминум, сразу заметил улучшение восприятия - а все полезные свойства Магнума сохранились. Рекомендую.
Что получится при сгорании килограмма кислорода и килограмма водорода?
На сколько я смог выпытать и вспомнить ответ 1.125 кг и остаток водорода на 0.875 кг
Родила ответ пару раз запутавшись но все таки смогла - новая мистраль, вроде верно, не ебу
Хуй его знает на сколько этот вопрос сложный
Проверял вырезали ли из нее химию как "опасное" направление
> На русском лучше.
На русском вообще заебись, оно даже двач знает. Причём пишет топово по-русски. Если не трогать английский, то в целом годная модель, и в рп неплохо умеет. Но как только начинается английский - соей заливает всё до краёв.
>>891327
Квен через раз справляется, пики 3 и 4. Может семплинг и русский подсерают ещё. А вот систему уравнений он не смог решить.
Ебать, xckd еще живой и постит комиксы, или это уже нейросетки?
https://t.me/lovedeathtransformers
https://t.me/senior_augur
https://t.me/ai_newz
———
У меня грустные новости, я не смог запустить Qwen2-VL-72b на двух теслах. =( А хотелось получить SOTA визуалку дома.
Контекст не влазит, или я в лыжах, хз.
Автору даже сорока нет еще. Через месяц будет.
>я не смог запустить Qwen2-VL-72b на двух теслах.
Так ведь нет пока ггуфа, да и поддержка от лламы не заявлена.
https://habr.com/ru/news/844392/
При токенизации русских слов стоит учитывать особенности словообразования, выделять в отдельные токены суффиксы и окончания, отвечающие за склонения и смысловую часть языка. Причем не просто насобирать словарь где они будут, а именно добавить в код препроцессинга приоретизацию подобного подхода при токенизации датасета перед обучением. Тогда модель буквально будет обучена "думать по-русски", сможет делать более разнообразную и интересную речь, используя возможности языка, будет меньше ошибаться.
На первый взгляд имеет смысл, но конечный профит неясен, а может излишний расход токенов вообще перекроет все профиты. Есть желание проверить?
>>890923
Память недостаточно быстра, отписали уже. На маках там 8 каналов памяти и потому могет, бонусом силикон позволяет обрабатывать промт без ультранасилия как на голом профессоре.
>>891037
> 12 кеков
Лору хватит, фулл - никак. Как правило, большинство можно тренить через либу трансформерсов. Грузишь модель, пишешь простую функцию что будет обрабатывать твой датасет в сообщения модели, после
> from transformers import TrainingArguments, Trainer
> training_args = TrainingArguments(
> num_train_epochs=10,
> per_device_train_batch_size=2,
> ...
> )
> trainer = Trainer(
> model=model,
> args=training_args,
> data_collator=data_collator, #Функция - обработчик
> train_dataset=train_dataset,
> )
На обниморде почитай, там хорошо задокументировано и туториалы были.
Трансформеры и GPTQ прекрасно работают.
С 7b нет проблем в полном кванте на одной.
Вопрос скорости, но на проце медленнее, поверь. =)
>>891689
А как же фулл 0.5б? :)))
Я че-то брался, но у меня не пошло с первого раза и запал пропал.
Ну и датасет я еще не вычистил целиком.
Что там - гемма все еще топ из небольших(на одну 4090) сеток? Нового что-нибудь выпустили?
По сути, аналог Qwen2-VL-72b, может чуть хуже по статам, но уже не суть.
…с обниморды выпилили. Пам-пам.
Никогда не была топом, гемма кал. Сейчас Мистраль 22В топ для мелких.
Гемма лучше всех после старого командра на русском говорила
мимо
>выделять в отдельные токены суффиксы и окончания
При достаточно большом датасете обучение токенизатора и так выделит эти паттерны.
>добавить в код препроцессинга приоретизацию подобного подхода
А вот это уже лишнее. У токенов могут быть и будут алиасы, т.к всё равно это преобразуется в векторы.
>>891127
Ну кум пока непонятный, вроде и лучше чем в проприетарных чаи и даже ремарку про зомбей снаружи нормально отрабатывает, чем многие омлеты на геммах и ламмах не могли похвастаться. Хотя у меня крошечная версия без квантования.
Сейчас квен2.5 по русскому всех ебёт, на нём реально ощущение как будто гора русского датасета была.
>>891844
Из того что я заметил - квен ахуеть как хорошо инструкции на русском выполняет, лучше чем Мистраль Лардж. Его бы Магнумом полирнуть чтоб чуть ебливее сделать и норм будет. Главное английский не трогать. Ещё дефолтный промпт с <|im_start|>assistant жёстко сои наваливает.
> и так выделит эти паттерны.
Да, но нет. Если посмотришь дефолтную токенизацию русских слов в той же лламе - там часто этот паттерн нарушается, задача именно соблюсти.
> т.к всё равно это преобразуется в векторы
Именно, у модели будет тенденция к генерации в таком формате, все к этому сводится. Разумеется, нужно тестировать.
>>891840
> OLLAMA
Посмотри в сторону более оптимизированных под амд оберток жоры или сам собери/возьми готовую llamacpp под твое железо. С 70б всеравно будет посос т.к. там больше половины обрабатывает процессор, но в более мелких моделях станет лучше.
Судя по тестам 32b ебет на уровне 72b квен предыдущего поколения
Короче заебись, не думал что китайцы с ноги войдут в такую сложную и быстроразвивающуюся сферу с отличными результатами
Мистраль 22 чуть умнее, но опять же от 14b недалеко ушла
>Довольно интересную идейку подкинул один оче умный гуманитарий
Ебать ты умный конечно. У меня таких идей на два листа тетрадки.
>дефолтную токенизацию русских слов в той же лламе
И? Там практически весь датасет на английском, так что очевидно, что токенизация русского не оптимальная ни с одной из точек зрения.
>Разумеется, нужно тестировать.
Вот как станешь миллионером - сразу и протестируешь. Рублёвые миллионеры не котируются.
Чяднт?
Попробуй magnum-12b-v2.5-kto-Q6_K_L, мне анон с треда посоветовал. Годнота. Пересел на него с Mlewd20b. Спасибо ему.
>Q6_K_L
Не пойдет, она не влазит вместе с сдхл в 12 кеков. Качал magnum-12b-v2.5-kto-IQ3_S - тупа не пропускает никакое нсфв с любым инструктом.
Чтобы не доебывало перекатами моделек из рама во врам, у меня не современное железо.
Пикрел на Meta-Llama-3.1-8B-Instruct-abliterated.IQ4_XS кстати, терпимо но несколько расписывает как для т5, а надо чисто бурушное.
qwen2.5 попробуй, 3b неплохая такая, 1.5 или 0.5
Умнейшее из мелочи что сейчас вобще есть, 7b пока сломана
Сколько у тебя вобще свободной врам остается для llm?
Обе пробовал
Qwen2-1.5B-Instruct-Abliterated-Q8_0 на пике 2 слишком анстейбл, может срать кавычками, лишними словами
Qwen2-7B-Instruct-abliterated-IQ2_M на пике 3 с ума сходит
Может дело в самом темплейте инструкта? Какой юзать лучше?
Это старые, сейчас новые вышли версии 2.5
Ебут все что движется, но там могут быть проблемы с нсфв изза цензуры. Но могут и не быть, если например инструкцию на русском сделать то вроде без цензуры отвечает
Да и думаю на английском смогут
>>892172
qwen все тренены с чатмл, температуру ставь между 0.5-1 минп 0.1 все остальное нейтрализуешь и пойдет
>температуру ставь между 0.5-1 минп 0.1
Так это ж для чата, инструкту похуй на эти настройки разве нет?
Температура как и другие семплеры влияют на любую генерацию
Бекенду похуй, если он получает семплеры по апи он их применяет к генерации выбирая токен
Ну я вот поменял настройки семплера в буге, в комфи прожал - ниче не поменялось, выдает то же самое.
Комфи отправляет запрос, она фронтенд
Если она не отправляет семплеры то они не берутся из угабуги, там какой то стандартный берется каждый раз один и тот же
Ищи в комфи окошко с семплерами и отправляй их вместе с запросом
>Ищи в комфи окошко с семплерами и отправляй их вместе с запросом
Из всех нод у меня ток эта корректно отправляет на локал https://github.com/chrish-slingshot/CrasHUtils Query Local LLM
а там нет никаких настроек семплеров((99
Имею на борту 16VRAM и 32RAM, по этому смотрю в сторону моделек в диапазоне примерно на 30B (в 4-6 кванте).
Пошарился немного по обниморде и всяким рейтингам и сейчас выбираю между гемой 27 и новым командором, который мелкий. Я бы погонял модельки сам и не спрашивал тут, но по какой то причине скорость загрузки с обниморды у меня походу в килобитах идет, потому что ламу восемь весом в 6 гигов я качал минут 40 наверное, если не больше.
Если гема или командор это плохой выбор, то можете посоветовать что-то еще. Вполне вероятно, я мог что-то упустить и вообще в своих поисках ушел в другую сторону.
Немного смущает то что модель всего на 12 миллиардов. Можешь немного пояснить, почему именно ее стоит взять, а не что-то больше?
>>892257
Если выгружать часть в видеопамять, а остальную в оперативную, почему нет? Да, скорость просядет, но выбора нет. Нет ни одной нормальной модели (по крайней мере я не нашел) в пределах 20B.
Это хорошая новая и умная модель, mistral nemo 12b
Есть ее старшая сестра mistral small на 22b
Она только вышла, но можешь ее попробовать
Но магнум это удачный файниюн умной модели на рп , ерп и расцензуривание
У меня с ней только одна проблема, что очень быстро подхватывает стиль общения, т.е если в первом сообщении мало текста, но много описания действий, то если не сгенерить нормальное второе сообщение, то может так и писать. Есть решение, лайфхак?
А, это файнтюн немо получается. Я ее еще не пробовал, но если она именно заточена под рп, то тогда это то что мне нужно.
Кстати, как у нее дела с логикой и запоминанием обстоят? Я пробовал ламу три восемь (не оригинал, тоже файнтюн под рп) и она крайне глупая, совсем тугая пробка. Пробовал с ней разные карточки (штук наверное 20 разных) и постоянно она теряла какие-то куски из описания и истории чата. Например, часто путала одежду, локации или даже положение в пространстве. Пробовал менять контекст в диапазоне от 4 до 8к токенов, но это никак не влияло на ситуацию. Семплеры тоже крутил, но удалось только избавиться от лупов, а не мозги это никак не повлияло.
Описание сцены/описание действие персонажей>
Прямая речь персонажей>
Доп описание сцены(вариативно)->
Ожидание реакции Игрока.
Это же через Instruct Template делать надо или я не верно понимаю?
На Рефлекте 70б сейчас.
>На Рефлекте
Ебанат.
А по вопросу, просто дай примеров несколько, дальше сетка сама.
Где вы такую сою берёте?
>BTC79x5v1.0
пришла. Буду держать в курсе.
Поцене всего 4.5к, бомжесборщики, присмотритесь.
> 3 поколение
> зайдут с ноги
НУ КАК СКАЗАТЬ )
Разгоняются.
Qwen2 уже был очень хорош, но многие делали вид, что этого нет и ллама3 лучше (НЕТ), гемма лучше (чуть лучше, больше параметров, чуть больше фантазии).
>>892153
Только нахуя, когда есть Qwen2.5, который сам по себе лучше этого говно-лламы-3?
Там даже дали 3б для совсем сомневающихся.
>>892159
3b реально почти 7б-8б модельки старые.
Почти взрослая, хотя и небольшая.
>>892169
Это не они, дратути.
>>892194
Не пройдет, думаю, промпт-то выходной должен быть на инглише. А там цензура.
>>892205
Чат и инструкт — это форматирование датасета. Семплеры работают одинаково.
>>892220
Настройки семплера у тебя комфи передает, уба там не причем. Ты поменял ВО ФРОНТЕ убы, а передаешь сразу на БЭК.
>>892236
Ну, значит автор ноды — мудак или воробушек.
>>892245
Обниморда иногда лагает, проверь завтра и послезавтра, утром, в обед и вечером. Может прорвет.
>>892247
Кстати, зачем эта древность, там же уже 3 версии навалили? На гемме, правда, но все же.
>>892305
В твоем случае, если ты хочешь делать инструктом, можно лаконично, но четко и однозначно расписать. Умные сетки будут следовать инструкции, но не все.
Но тебе дали верный совет: накидай примеров. Сделай диалог из двух пар сообщений, где она дает такие ответы, и у нее получится гораздо лучше.
Я не про обрезание контекста говорю, а про рост в рамках заданного.
Я рпшу на 8192. На магнуме 123б.
И прям заметно, что в начале ответы пишет хороший годный собеседник, а в конце - как будто цветы для элджернона читаешь - тупеет на глазах, лупится, кладет хуй на OOC.
Бля, обидно.
Короче, чекай:
1 слот оперативы, всегда будешь ставить no-mmap, грузиться будет НЕ БЫСТРО.
PCIe x1 слоты, обработка большого контекста будет долго.
Если там AVX2 нет, то некоторые лончеры могут тупить.
Буду рад ошибиться в третьем, надеюсь во втором.
Потестируй, очень интересно.
Где брал? А то вижу только более дорогие варианты.
До этого на Euryale сидел. Модель приятная, но слишком хорни.
>>892326
Написать кусок истории+монолог персонажа тупа в примеры диалога в карточке?
Я думал что её хватает и First message с подобной структурой.
С Мистралем Ларджем похоже ничего не сделать, я сам ебался с ним много, всегда такое говно после 6-8к. У Мистраля ещё промпт уёбищный без чёткого указания какое сообщение кому принадлежит и иногда на большом контексте он как будто на несколько постов назад отскакивает, отвечает на прошлые сообщения.
Я думаю эти модели оптимизированы на выдачу оптимального результата в начале контекста в силу того как их обучают, чтобы проходить тестики с парой лишних баллов. А за 70% оставшегося контекста отвечает меньшая часть параметров.
>Где брал?
на швитом авито.
Я сначала искал именно эту плату на алике, но там пиздец какой-то с отправкой и с оплатой, пошли они нахуй - решил я.
Пошел поискал на авито - а там оказывается они в наличии у дохуя продавцов.
Альсо, в биосе у платы есть above 4g. Я боялся что этого у неё не будет.
Ну, разница между карточкой и первым сообщением не сильно велико, важно — сколько ты ее там дал. =)
По идее, должно работать. Если не работает, то вопрос к модели или семплерам.
>>892354
Ясненько, ну-с, ждем тестов. =)
>Я рпшу на 8192. На магнуме 123б.
Luminum 123B пробуй. Пресет Mirostat. Koboldcpp. Ггуф-модели капризные, так что даже на чистой llamacpp могут быть расхождения с тем же кобольдом. Про Уга-версию вообще ничего не знаю.
>пришла. Буду держать в курсе.
Добро пожаловать в клуб "4 теслы". Напишешь потом, сколько 123В_4КМ даёт. Впрочем для 8к контекста можешь и 5КМ взять.
>Ну, значит автор ноды — мудак или воробушек.
Блять, это единственная нода которая без ебли дает генерировать промты. Буквально пропиши систем, че хочешь и ебашь. Настройки семплинга можно и в убабуге крутить в принципе. Есть еще пикрел но я ебал инструкты вручную так писать.
>все остальное нейтрализуешь и пойдет
в смысле нейтрализуешь? в ноль ебануть?
>Настройки семплинга можно и в убабуге крутить в принципе.
ток они не крутятся лол, или я не там кручу, вообще ноль влияния в параметры - генерация
Если с запуском все нормально, то значит ты слишком много треша в контексте накидал, из-за чего модель путается. Проверь не идет ли неудачная обрезка без суммарайза, где после вступление идет странные действия из-за чего сетка ловит недоумение.
Но с такой моделью более вероятны проблемы лаунчеров, семплеров и прочего.
>>892477
Если настройки передаются по апи то нет смысла ничего крутить в убабуге.
мда...
короче не взлетает на этой матери больше двух тесел.
Поначалу взлетала тлько с одной теслой, но вычитал в интернетах что надо увеличить MMIOH Size и величил со стандартного 64G до 128G.
После этого начала с двумя.
above 4g само собой включен.
И все, с тремя ни в какую, сука.
Во всякой документации и форумах люди которые заводили карты 40+ gb памяти выставляли MMIOH Size в 256G и выше, но у меня выше выставить невозможно.
Я подумал, что обновление биоса могло бы решить прблему, но биос у меня уже 21 года выпуска и единственная прошивка которую я смог найти - от 18 года.
Любая помощь и подсказки приветствуются.
Альсо да, там блять честные x8 на каждой линии.
>Если настройки передаются по апи то нет смысла ничего крутить в убабуге.
покажи мне как передать настройки ептель
>3090 за тыщу
Хули так дорого-то? Или это в заводской упаковке, лол.
Кстати, шизу энтузиасту с тетрадкой. Записывай, идея на миллиард долларов. Сплит моделей на части и трейн по кускам. Никто адекватно этого не реализовывал, потому что отваливается обратное распространение, оценки ошибок и так далее. Разве что модели будут изначально спроектированы таким образом, чтобы работать в тандеме. Примеры такой хуйни уже есть на самом деле, только не для LLM.
Сам разобрался. Получилось вот так.
https://files.catbox.moe/0ry9xf.json
https://files.catbox.moe/tcjgtj.json
> идея на миллиард долларов
У меня для тебя плохие новости - это называется gradient checkpointing и он есть везде уже десяток лет. Если надо и forward дробить, то DeepSpeed...
Да после mistral-7b-claude-chat ничего достойного не выходило, чего уж там.
>>892561
>Записывай
С год назад ещё записано.
Ты хуйню несёшь.
>>892590
>год назад ещё записано
Не когда я резал 7b на куски и тренил? Хотя не помню, писал ли об этом в тред, лол. Сейчас совсем другое, меня внезапно осенило, что можно архитектурно это всё сращивать.
Чел, хватит бредить. В DeepSpeed модель разбивается на куски и батчи считаются со сдвигом, чтоб GPU не простаивали. Эти куски модели называют микробатчами. Ты не тот ли дурачёк, что изобрёл thinking спустя год после того как его обкатали все?
Ну, х8 для двух, т.е. может х4 для четырех.
НО, это уже кое-что, но проблема оказалась серьезнее. =(((
Могу лишь предположить (не слушай моего совета!) слить дамп биоса, найти там 128G и поменять в хекс-эдиторе на 256G, после чего залить обратно.
Вдруг сработает.
>>892555
3090 в РФ за 500, на Амазоне за 1000.
Ну, норм, сочувствую заграничным.
Или на Амазоне там прямо новая-не-вскрывалась?
>что изобрёл thinking спустя год после того как его обкатали все
>изобрел thinking за год до того как это стало известно и начало использоваться другими
Ты хотел написать?
Пиздабол ты опять на связи? Я тебя еще в конце того треда попустил, когда ты зассал пруфы принести, на счет той хуеты что ты про меня сочинял
Вот уебище, и тут про меня продолжает пиздеть
Однако, пока все выглядит хорошо, как и ожидалось.
https://ilyagusev.github.io/ping_pong_bench/ru_v2
>найти там 128G и поменять в хекс-эдиторе на 256G
хех, да я тоже так подумал попробовать сделать.
Но не знаю, к каким последствиям это может привести.
Ну, я вроде нашел вчера какой-то новый биос https://www.reddit.com/r/NiceHash/comments/t0h4jx/btcx79h61_issues/ буду пробовать его
плата действительно почему-то видит только два ядра из 6 на проце. Думаю, может это как-то роляет...
>Ну, х8 для двух, т.е. может х4 для четырех.
нет, чел, там вон на картинке виднео которую я кидал - там все пять портов на x8 режимах стоят. Эта плата жирный жир за свою цену. Если получится её распинать.
Ну, тады в надежде, ждем твои попытки.
Если что, приобрету себе тоже.
Кстати, вдруг возник вопрос, а что там за проц, видео выводишь как?
проц E5-2620, с матерью в комплекте шёл
с видео да, запердоны - приходится ставлять затычку чтобы сигнал вывести. Вчера заебался приседать вокруг него вставляя и вытаскивая карты.
> Гусева
Это тот который ломаную сайгу раз за разом делает?
У такого человека и тест должен быть ломаный.
>Гемма 9б выше Геммы 27б
Ну да, чтд, о чем тут вообще говорить.
Клован, тебе сразу кидали в ебало двухгодовалую публикацию про рефлекшен, где твой thinking и используется. И публикации от КлозедАИ больше года, где они то же самое описывают. Как видишь этот кал на волне хайпа пытались вытащить из помойки, но всё так же не взлетело.
Если там промпт с ассистентом, то это пиздец. А зная какой дебил гусь - это так и есть.
Как вариант - грузи биос в амитулз и разблокируй доступные опции или меняй дефолты. Если нет аппаратных ограничений, там может что-то нужное оказаться.
>>892550
https://github.com/oobabooga/text-generation-webui/wiki/12-%E2%80%90-OpenAI-API
Наличие настраиваемых top_p и температуры прямо в ноде должно же хоть как-то намекать.
>>892561
> Сплит моделей на части и трейн по кускам. Никто адекватно этого не реализовывал
Ты рофлишь чтоли? Разбивка модели на части с их мапингом на разные гпу, заморозка и тренировка ограниченного числа параметров, лора и прочее в peft, трюки с оптимайзерами и множество оптимизаций для снижения пикового и среднего потребления, оффлоад частей оптимайзера, всех его значений и вообще полный расчет его профессоров в дипспиде, вплоть до полной выгрузки весов в рам и постепенная переброска в гпу.
С подключением!
> Ты не тот ли дурачёк, что изобрёл thinking спустя год после того как его обкатали все?
Бляяяя, рили не удивлюсь если это тот же самый поех. И он же делает свой особый AIO интерфейс с бесконечным контекстом хотя для последнего тот казался слишком тупым, но упоротость, незнание основ, общее сходство на месте
Я вполне допускаю что это было изобретение велосипеда, но ни тут в дваче когда я поделился этой идеей, ни главное я сам этого на тот момент нигде не видел и никто не упоминал о существовании чего то подобного.
Был только простой cot по типу поэтапного рассуждения при решении задачи. И все. Тогда даже метода дерева мыслей не было.
Но внезапно, после моего объяснения как это работает и предоставления первого хоть и хуевого примера работы, кумеры в соседнем чате начали использовать эту идею.
А именно разделение ответа сетки на две части, где в начале идет размышление, а во второй ответ пользователю.
Аналогов такого не было и в больших сетках на тот момент.
Что то похожее начали использовать в клоде полгода назад где то. Вот сейчас - в новой сетке openai.
Если я не создатель этой идеи, то один из тех кто додумался до нее раньше всех и успешно использовал.
Ну а говноеды из треда меня не удивляют. Желание обесценить чужие достижения, зависть или просто желание потроллить, какая разница.
На сколько помню дурачек который со мной в прошлый раз спорил и пытался очернить всяко искажая мои слова и коверкая факты - так и слился когда у него спросили пруфы его пиздежа.
Что забавно так это то что у него были пруфы, он использовал вырванные из контекста цитаты моих сообщений, явно копируя их из старого треда. Давать же ссылки на уже найденный им тред он почему то обосрался, виляя жопой как сучка
Потому что весь его пиздеж противоречил найденным им пруфам.
Долбаеб, это ты? Давай пруфы или иди нахуй со своими сказочками
У тебя реально шиза, если ты думаешь что всё вертится вокруг тебя, это же один из симптомов. Если ты сидишь в двух тредах, то это не значит что никто не обсуждает это. Вот сходу на реддите нашел обсуждение больше года назад, там ещё много других про это. Ещё делаешь какие-то шизоидные выводы что в соседнем треде твою идею подсмотрели, лол. Откуда угодно это могли взять. Выпей таблетки, пока не закрыли в дурку.
ChatML. Только ассистента замени на любое рандомное говно.
Невнимательный долбаеб, я специально написал что никто не обсуждал это, и главное Я не видел этого. Даже если это велосипед - я придумал его сам, сам додумался это этой идеи и сделал первую реализацию с которой и поделился в мае прошлого года на дваче.
Поэтому если хочешь искать кто придумал раньше - ищи до мая 2023 года.
Год назад был сентябрь, внезапно.
Ну а обзывать кого то шизиком, в быстроразвивающейся теме где каждый день новые открытия, только за то что он смог додуматься до чего то раньше других - признак шизы
Ладно бы тема была старая как мир, а не та за развитием которой я следил и участвовал, находясь на краю инновационных знаний и технологий
По крайней мере в промпт инженеринге
В некоторых nlp задачах гемма сравнима или даже чуточку лучше. В других, или там где требуется подобие энциклопедичности (без вникания) - вчистую сливает чмоне. В рп она же ощутимо лучше, но ограничение контекста заставляет грустить.
>>892748
> Был только простой cot
Введя свои название ты никак не изменил его суть, это и остался простой кот, точнее жалкие потуги в него 7м хуеты, которая без жестких рамок и оформления просто проигнорировала бы.
>это и остался простой кот
Ага, ты только что послал нахуй все разработки в техниках мышления упростив все до цепочки мыслей
Вот дураки, сидят что то там придумывают, один и тот же кот, да?
Да, как вариант
>>892809
У него их там серия из штук 6 уже версий, хз вобще
Сравнить бы с магнумом (которых тоже штуки 3 на немо)
Но теперь годных моделей еще больше стало, мне больше интересно щупать новые квен и мистраль 22
Но цензура в них зачетная, похоже реально аблитерацией прошлись по "запретным" темам. Простым обучением так не сделать.
> ищи до мая 2023 года
Шизик, публикации рефлекшена два года. Хоть усрись, но твой пиздёж ничего не значит.
> первую реализацию
У рефлекшена код на гитхабе лежит, лол.
Вот ещё "никому неизвестная техника промптинга" из 2022 года, настолько неизвестная, что 2к звёзд у репы.
https://github.com/ysymyth/ReAct
>У него их там серия из штук 6 уже версий, хз вобще
Там вроде как каждая новая версия фиксит траблы предыдущей и по ходу дела приносит новые, так что я тоже не в курсах.
>Сравнить бы с магнумом (которых тоже штуки 3 на немо)
Магнум какой-то шизоидный временами. Чекал две разные версии и обе иногда начинали сходить с ума и нести чушь, не связанную с контекстом чата. Плюс какие-то странные токены то тут то там протекали. Но может быть я проебался с семплингом.
Мне чисто хочется чтоб была Stheno по стилю, но с большим контекстом и докрученными мозгами. Потому что все таки лама три это тот еще выродок, как хорошо ее не тюнингуй.
>Но теперь годных моделей еще больше стало
Да, это пиздец. Я вылетел буквально на полтора месяца из движухи и теперь с трудом пытаюсь нагнать. На одну только немо уже под сотню сборок будто вышло и хуй пойми как их всех тестировать, чтобы найти ту самую.
А твой пиздеж не значит ничего для меня.
Молодец что нашел, вот только ты на полтора года опоздал.
Если бы кто то сказал мне это тогда, было бы проще с реализацией.
Но почему то никто об этом не был в курсе в те времена. Интересно почему.
И ты долбаеб который не удосужился прочитать что я писал, я не приписываю себе знамя первооткрывателя идеи
Кстати то что ты скинул тоже не то, эта работа основана на другой
А вот до внутреннего диалога я и догадался, что и пытался запилить промпт инженерингом, интересно
https://arxiv.org/abs/2207.05608
Но и тут и там все сводится к действиям роботов которые планируют действия, но идея та же, да
> никто об этом не был в курсе в те времена
Все были в курсе, кроме тебя. Никому это нахуй не надо было, как и сейчас.
ну хз как вы там её файнколхозинг я её спрашивал (ламу3) что она думает по поводу того что мне нравица замужняя бабёнка так она сразу в отказ идёт
>Все были
Эти все сейчас с тобой в одной комнате?
Что за детский максимализм, знало подавляющее меньшинство в те времена
Я тебе и говорю - ты хуйню несёшь. Не путай тёплое с красным.
>>892719
>peft
Эта хуйня даже не умеет в неравновесную нагрузку на разные GPU, а ты так расхвалил, как будто это манна небесная. Хотя там кривое пердоподелие. Но речь всё равно не о том.
ебануца где вы ето берёте ваще, прост натянул оупенвебуи и пользуйся ну или из консонле
>https://github.com/oobabooga/text-generation-webui/wiki/12-%E2%80%90-OpenAI-API
>Наличие настраиваемых top_p и температуры прямо в ноде должно же хоть как-то намекать.
так покажи мне пак нод которые
а) имеют фикс сид
б) имеют расширенные удобные настройки а не пиздец китайского шиза коим является например ллм пати
обмазался соей и удивляется...
чё за сетка-то?
Персонажа прописал?
>Что за детский максимализм
Чел, у меня от твоих постов жир с монитора течёт, прекращай.
Начнём с того, что приписывать себе авторство чего-то на анонимном форуме это верх кринжа да в принципе этим и закончим лол
Был бы у тебя гит, или хотя бы рентри с твоей ахуенно полезной революционной хуйнёй, ещё было бы о чём говорить, а так...
Ну так а ты попробуй, сравни сам. =)
Он щас немного оправдался в глазах общественности.
>>892713
Там все есть на сайте в открытом доступе, и промпты в том числе.
>>892927
Кобольд? Серьезно?
Ну, а вообще, что ты хотел от #1 цензуры, они буквально этим хвалятся последние полгода. =)
Квен новый на 32b, там на скрине видно. Такие реджекты несложно обойти, но я просто в ахуе с того, то она триггерится по НАСТОЛЬКО ерунде.
>Персонажа прописал?
Да, всё прописано.
>>892941
> Кобольд? Серьезно?
Ну да, я не особо увлекаюсь РП, таверна мне ни к чему, убабуга тоже. Функционала кобольда хватает для всех задач.
> Ну, а вообще, что ты хотел от #1 цензуры
Кек, братушки-китайцы побили рекорд Лламы 3.1, до такой степени сои не было даже там.
А так-то, если закрыть глаза на цензуру, вроде неплохо, я потыкал немного, отвечает на уровне Геммы 27b, может даже получше. Для рабочих задач и белых-пушистых запросов - сойдет, а кумерам соболезную.
> приписывать себе авторство чего-то
Просто 0 мозгов, жопочтец
>>892927
Да, это пиздец
Модели умные, но триггерятся даже на просьбу рассказать о себе, кек
>Не когда я резал 7b на куски и тренил?
Не, без тебя, мои мысли все свои приходили в свободное время, поэтому записано в физической тетради (заодно чтобы попены не украли).
>>892631
>Ну, норм, сочувствую заграничным.
Только зряплаты в 4 раза больше.
>>892602
>>893014
Двач на острие математики. В 2024 году двачерки узнали, что функцию от n-ного количества аргументов можно представить суперпозицией n функций от одного аргумента. А ведь с помощью этой теоремы Колмогорова - Арнольда доказывали именно свойства нейронок как универсальных аппроксиматоров ещё при советской власти.
>В 2024 году двачерки узнали, что функцию от n-ного количества аргументов можно представить суперпозицией n функций от одного аргумента.
Вот ты умный, да? Ответь двачеркам - где KAN? Пора бы уже, а то со времён советской власти много времени прошло.
> ррряяяяя я придумал придумал этадругое
Каждый раз как в первый
>>892903
ami bios tools
>>892911
Чел, то что ты чего-то ниасилил, не понял, или сделал примитивную штуку, которую просто мимолетом для организации тренировок пишут, не отменяет изобретение велосипеда и неосведомленности о действительности. Пробежка по граблям бывает увлекательной, наяривай.
>>892915
> мне пак нод
Что?
> а) имеют фикс сид
Передаешь seed=42 в теле запроса
> имеют расширенные удобные настройки
Ну так возьми и напиши, или клянчи в сд треде. Здесь тред про языковые модели, вопросы твои были про использование апи.
>>892937
Геммовский несколько тредов назад был, pastebin.com в поиске по борде глянь.
> джейлбрейковскими промптами под геммы
И 9b и 27b лежат на обниморде с аблитерацией
>(заодно чтобы попены не украли).
Лол. Тут в треде одни шизы, вряд ли кто-то из них в попенах работает.
>>893165
>>893150
Так вы просто оба доказываете, что нихуя не поняли и доказываете непонятно что. Парочка долбоёбов, не более.
Качаешь гемму 27b в кванте 4к-м, ставишь в коболде выгрузку 24 слоев на гпу, и всё заработает со скоростью в 3.5 т/с лол. Терпимо, на самом деле. Всё что ниже 20b - это мусор для некроПК.
А он автоматически раскидывает на РАМ?
Алсо, есть аналоги, чтобы охуительные истории писать?
> А он автоматически раскидывает на РАМ?
Да. Но ты со слоями поэкспериментируй. У меня дебиан с гномом, в простое выжирает 6-7% гпу. На винде может быть больше или меньше. Если вылетает - просто поставь меньше слоёв. Если норм - попробуй больше, может прокатит и будет работать побыстрее.
> Алсо, есть аналоги, чтобы охуительные истории писать?
Есть лучше, но скорость тебе не понравится. 27b Гемма под 12гб видюху самый оптимальный вариант по соотношению скорость/качество.
>>893183
Кумить на русском собрался? Если да - магнум нахуй, он там сломан. А тигр просто первая попытка расцензуривания, которая оказалось хуетой. Вот нормальный анценз - https://huggingface.co/QuantFactory/gemma-2-27b-it-abliterated-GGUF
Чел, с тебя уже который тред просто угорают, такой-то чсвшный шизоидный непризнанный гений, в одиночку решающий вселенские проблемы и побеждающий двач. Причем по общению и общему уровню видно насколько ты днище, что на контрасте с бесконечной самоуверенностью и копротивлением дает много рофлов.
>Кумить на русском собрался
Вот, кстати, нет.
Меня на кринж пробивает, если на русском это делаю. На инглише хоть мое не самое лучшее знание языка помогает справится, не вижу ошибок.
>>893187
>Есть лучше, но скорость тебе не понравится.
А что есть-то вообще? Я просто знаю, что вот эти модели для чата сделаны именно. Я сидел до этого на Тайфайтере 13Б К4_М.
Смешнее всего, что бесконечную самоуверенность и непрошибаемую тупость демонстрируешь как раз ты. Тебе сказали, что ты сравниваешь разное. Но ты продолжаешь усираться и доказывать непонятно что. Иди в SD тред и скажи, что их модели хуже понимают русский, а значит, говно и они нихуя не понимают. А потом несколько постов подряд доказывай, почему они не правы. Ты сейчас чем-то похожим занимаешься.
>>893192
>Меня на кринж пробивает, если на русском это делаю
Тут мне кажется, психология роль играет. Те же кривляющиеся стримеры в ютубе - на иностранном как-то более просто это воспринимается. Скидку делаешь, чтоли. Тогда как на русском это невыразимый кринж.
>Ну так а ты попробуй, сравни сам. =)
Что сравнить, гемму? Я пробовал обе, 9В намного тупее из-за размера, 27В и сейчас использую как основную сетку.
>Он щас немного оправдался в глазах общественности.
Чем оправдался? Его сайга уже даже фикшенная нахер не нужна, сетки по-дефолту отлично могут в русский.
А, ну на инглише - магнум топ, можно качать его. А про лучше - сорри, упустил что у тебя 16гб рам. Лучше не влезут даже в 3 кванте. Можно попробовать командер 32b и мистраль 22b (но мне они показались слабее геммы и аблитерацию на них пока не подвезли)
Мне лучше Геммы не надо. Мне нужно лучше, чем Тайфайтер для историй.
Причём тут это? Мои идеи чисто технические.
>>893172
>вряд ли кто-то из них в попенах работает
Но идеи регулярно пиздят. Сидят они, но молча.
https://huggingface.co/Vdr1/L3-8B-Sunfall-v0.5-Stheno-v3.2-GGUF-IQ/tree/main?not-for-all-audiences=true
>Но идеи регулярно пиздят. Сидят они, но молча.
Нуу, скорей всего боты с ии анализирует тред, как и кучу других где обсуждают ии.
Хотя с натяжкой могу представить 1-2 человек в 1 компании работа которых как раз шерстить такие темы но как ты понимаешь их скорей всего уже заменили ботами
Опенсорс и обычные люди существуют для того что бы у них пиздить инфу и идеи, это прям политика мета и других компаний.
Они сажают семена и собирают урожай, тогда когда без помощи добровольцев не обойтись.
Как например открытие и популяризация ии для сбора датасетов и анализа информации из обсуждений людей. Если бы ии могли улучшать в тишине, это делали бы
>>893204
>Мне нужно лучше, чем Тайфайтер для историй.
Тогда нужна умная сетка хорошо держащая контекст, это либо из мистраль немо файнтюны, как тот же магнум https://huggingface.co/anthracite-org/magnum-v2.5-12b-kto-gguf, или https://huggingface.co/Sao10K/MN-12B-Lyra-v4
Либо возьми новый мистраль 22b, он неплох и умнее сеток поменьше
Есть еще умная qwen2.5 14b, но там много цензуры
>Тогда нужна умная сетка хорошо держащая контекст
А перечисленные тобой сетки - не залочены под чат?
>Нуу, скорей всего боты с ии анализирует тред, как и кучу других где обсуждают ии.
Никому это нах.. не надо, идей в виде прямо готовых статей полно, какая из них может выстрелить - совершенно неизвестно. Ресурсов попробовать хотя бы 10% этих идей нет ни у кого, да и желания тоже - сейчас надо бабосики на хайпе грести. Что все и делают. Кто реально работает все мы видим, так как пользуемся результатами их труда. А они таки есть, результаты, прогресс идёт. Жалко, что мало кто вообще работает.
Что значит "залочены под чат?". Любую модель можно заставить РПшить.
>>893241
Было еще большей хуетой, очевидно. Мелкомодели не могут в РП. Никакие, даже магнумы и 9b геммы. Ты тестил вообще? Они забывают контекст, шизят, постоянно приходится рероллить. Гемма 27 - это МИНИМУМ для нормального кума.
>Что значит "залочены под чат?". Любую модель можно заставить РПшить.
В этом и суть. Модели часто под чат прям делают, но не под генерацию прозы. РПшить я тоже люблю.
>Гемма 27 - это МИНИМУМ для нормального кума.
С 13В ещё может повезти. В того же Магнума много подобного заложили и он таки даёт.
> Гемма 27 - это МИНИМУМ для нормального кума.
Мистраль 22В намного лучше. Геммой только от безысходности пользовались, когда между 8В и 70В ничего не было.
> бесконечную самоуверенность и непрошибаемую тупость
> рряяяяя я изобрел а теперь спустя пол года все за мной повторяют
>>893199
> Чем оправдался?
Таки присоединяюсь к вопросу, орочьи технологии что только портят сетку в современных реалиях не в почете, даже если главные ошибки исправлены. Может он что-то крутое сделал?
>>893208
> на авито?
Беглый просмотр говорит что они там сейчас от 60к, дешевле редки или плохие. По курсу это больше 500 выходит, но и далеко от 1к.
>>893236
> боты с ии анализирует тред, как и кучу других где обсуждают ии
Обзмеился. Только если посещает работник корпорации, но им самим есть что рассказать младшие знают малоую ограниченную часть, а кто покрупнее - сам публикует многие разработки, только в имплементации на открытых сетках
> сажают семена и собирают урожай, тогда когда без помощи добровольцев не обойтись
Все так, только в более мягкой интерпретации.
>>893253
> Ты тестил вообще?
Многие просто связанный ответ бота и "ты меня ебешь" воспринимают как хороший результат. Или просто думаю что типичные паттерны всратых рп файнтюнов - откровение, а не треш, которые те модели выдают по любому поводу. Гемма, кстати, тоже не подарок, еблю не в лучшем виде описывает, но зато рпшит внимательно и старается.
>Кто реально работает все мы видим, так как пользуемся результатами их труда.
Например? Во всех вышедших негронках ровно 0 революционного, тупо больше данных и размеры сеток.
Умная не умная, но в цензуре любая новая модель ебёт старые.
>Но идеи регулярно пиздят.
Я скорее поверю, что они анализируют шизов с реддита, чем местных. Хотя "2ch датасеты" на просторах интернета и встречались, но там это было для классификации токсичности. Да и самые интересные идеи сюда всё-таки не постятся. В процессе ёбки своей микромодели пришло в голову кое-то, загуглил, а там буквально одна статья на эту тематику, десятилетней давности, лол.
>>893274
>> рряяяяя я изобрел
А, так ты думаешь, что с одним человеком споришь? Серьёзное психическое расстройство. Представилось, как ты ИРЛ начинаешь с кем-то спорить и "А, так это ты мне писал на дваче гадости!".
>Во всех вышедших негронках ровно 0 революционного, тупо больше данных и размеры сеток.
Под капот к ним я не лазил, а чисто по ощущениям - контекст (до 32к) держат хорошо, гораздо умнее чем были и даже мелочь уже на что-то способна. Вряд ли это достигнуто просто улучшением качества датасета. Сравнивая 70В сейчас и раньше - разница видна. Ну и да, модели с большим количеством параметров тоже выкатили, кто может - тем более радуется. Там всё это ещё лучше.
Да не, качественная реализация обсуждаемых ранее подходов и правильное воплощение идет стоит куда больше, чем громко гремящие "прорывы" без юскейса. Вон сколько убийц трансформера, кан, 1.5 бита, но воспользоваться ими невозможно.
А текущие сетки, что локалки, что корпы имеют хороший прогресс.
>>893299
> так ты думаешь, что с одним человеком споришь
Подвид пост троллинга, где люди специально кривляются изображая поведение унтерменьшей с полным отыгрыванием, непопулярен, но возможен. А вот то что над шизиком-изобретателем весь тред угорает - факт. Биомусор уже притомил
>>893339
> Сравнивая 70В сейчас и раньше - разница видна.
Да, они реально стали лучше. На контрасте с мелочью, которая двух слов связать не могла, может казаться что его меньше, но нет, оно прям вообще ебет.
>весь тред угорает
>один долбаеб считающий свое мнение мнением треда
кек
>>893282
>Во всех вышедших негронках ровно 0 революционного, тупо больше данных и размеры сеток.
Это как раз таки скрывают, как именно они добились улучшения сеток. Отговариваются лучше собраным датасетом, но это явно пол дела.
Именно Атаракси? Именно в РП?
> Его сайга уже даже фикшенная нахер не нужна
Да причем тут сайга-то, неожиданно, ллм не заканчивается на одном способе использования одной ллм. =)
Ну, в общем, не верить топу — дело твое. Но там можно посмотреть всю историю тестов, и дать свою оценку. Какой-то смысл ориентироваться на топ есть, хотя бы оценочный.
скачал я общем AMI tools.
Вытащил биос через прищепку.
Каких-то теневых параметров в этом биосе не аншел. Кроме количества используемых ядер. Снял ограничение в 2 ядра, но это не помогло загрузиться с 3 картами.
Попробовал прошить биос отсюда >>892687, оказалось, что под ним не видится сата диск. Предполагаю, что это из-за того, что у нас с чуваком который делал этот дамп различаются северные мосты или ревизии матерей и из-за этого что-то идет не так при попытке загрузки.
Так же я попробовал прописать в строковых параметрах 256G, но это ничего не дало. Думаю потому, что это именно что строковое значение, оно слинковано с настоящей числовой переменной, но хуй знает где это искать.
Скачал себе IDA Free. Буду пробовать искать там связь 128G с числом. Но в дизассемблировании я очень слаб, поэтому вряд ли получится.
Там видно, что значения для MMIOH Size типа ENUM, то есть жесткое перечисление, а не свободная форма записи. Где-то джолжна быть мапка соотносящая эти строки и задающая их количество, но хз смогу ли я найти это в дизассемблере...
Все еще приветствуются либые советы.
>Все еще приветствуются либые советы.
10-я винда туда встанет?
>апвс?
Да вот думаю - может под виндой увидит третью теслу. В порядке бреда.
чел, биос не инициализируется вообще. До ОС дело не доходит.
Ты же поехваший просто, понимаешь это? Доёбываешься до людей, называешь их шизиками. Если чего-то не понял - то это ты долбоёб, а не кто-то другой.
>>893495
>оно слинковано с настоящей числовой переменной, но хуй знает где это искать
У тебя же дамп бивиса есть? В нём есть эти ссаные параметры в гигабайтах, только в прошивке они с гарантией процентов 80 - в байтах. Твои 128 гигов это 1,28e+11, так что искать надо 1DCD65000 и заменять на своё. Вряд ли у тебя в биосе будет дохера таких значений. Но никакой гарантии, что это сработает - нет.
Ты только не расплачься, изобретатель. Действительность говорит сама за себя, с гарантией.
>1DCD65
не находится ни 1DCD65, ни 65CD1D
думаю, возможно там все-таки не в байтах
Главное не рассмеяться над тобой. Потому что смеяться над убогими грешно.
>>893544
Матери у меня такой нет, но я нашёл в гугле какой-то модифицированный биос под эту мать, который снимает лимит ядер профессора с залоченных дядюшкой ляо двух. И там это нашлось. Но я бы на твоём месте просто переключил GEN на единичку, биос на легаси. Не заведётся, значит не судьба, замена одного значения на другое не научит биос работать с этим расширенным диапазоном.
Квен ебёт, по крайней мере в тестах
Но и по своему опыту скажу что сетки лучшие в своих размерах на данный момент, прыгая иногда через голову
НО, жирное НО - цензура и соя тоже зачетные
https://www.reddit.com/r/LocalLLaMA/comments/1f3xfnk/local_1m_context_inference_at_15_tokenss_and_100/
> Hi! Last month, we rolled out our KTransformers project (https://github.com/kvcache-ai/ktransformers), which brought local inference to the 236B parameter DeepSeeK-V2 model. The community's response was fantastic, filled with valuable feedback and suggestions. Building on that momentum, we're excited to introduce our next big thing: local 1M context inference!
> Recently, ChatGLM and InternLM have released models supporting 1M tokens, but these typically require over 200GB for full KVCache storage, making them impractical for many in the LocalLLaMA community. No worries, though. Many researchers indicate that attention distribution during inference tends to be sparse, simplifying the challenge of identifying high-attention tokens efficiently.
> In this latest update, we discuss several pivotal research contributions and introduce a general framework developed within KTransformers. This framework includes a highly efficient sparse attention operator for CPUs, building on influential works like H2O, InfLLM, Quest, and SnapKV. The results are promising: Not only does KTransformers speed things up by over 6x, but it also nails a 92.88% success rate on our 1M "Needle In a Haystack" challenge and a perfect 100% on the 128K test—all this on just one 24GB GPU.
А в чем смысл такого контекста, если модельки зачастую теряются в деталях даже при маленьком контексте?
Моделей для RAG уже гора, а InternLM славятся отборной соей. Так что нахуй.
Челик вот со своими тестами культуры хорошо пояснил про скоры.
> цензура и соя тоже зачетные
Убираешь ассистента и пишешь на русском - получаешь полное отсутствие сои. В русском это реально топ на текущий момент среди локалок.
>Я скорее поверю, что они анализируют шизов с реддита, чем местных.
Так местные несут на форчаны, а с форчанов протекает на средиты.
>>893339
>Вряд ли это достигнуто просто улучшением качества датасета.
>>893375
>Отговариваются лучше собраным датасетом
Почему бы и нет? Вон, турбу выебали уже все как раз потому, что там датасет был маленький. А к четвёрке до сих пор подбираемся потому, что у ней полировочный датасет написан кенийскими неграми за бабки. В опенсорсе данных такого уровня просто нет, всё, что лежит на хайгинфесе, это ёбанный мусор. Я разок как-то открыл один из дампов русской википедии, так там прямо в первой строчке что-то типа
"Население России составляет человек."
Ну то есть цифра в вики берётся из другой таблицы, а парсер её не подставил. И если в первой строке такой обсёр, то что там дальше?
>>893349
>Да не, качественная реализация обсуждаемых ранее подходов и правильное воплощение идет стоит куда больше
Качественная реализация старого подхода может выебать наивную нового. Но у старых подходов есть потолок, и мы уже бьёмся в него головой.
>кан
Никто не натрейнил на нём сетку размером хотя бы с GPT2, только лоботомитов 3-х слойных. Что от них хотеть?
>>893638
>Кому супердлинный контекст?
Шо, опять? Ещё год назад видел контексты в 128к. А по факту выше 8к железо уже не позволяет.
можно озушки докупить и терпеть на 3 токенах в сек (что нормально на самом деле)
Поч некоторые модели отмечены красным а другие темным?
Красным отмечены магнумы, как самые модные РП-кум-решения, чтоб проще было найти.
По хорошему надо бы разбить серии файнтьюнов по тегам. Но пока нет смысла, т.к. в списке только тьюны, упоминающиеся в треде, так что не все серийные модели представлены и куча одиночных тьюнов. Магнумы - единственное исключение.
На 16хх — практически бесполезно.
Контекст выгрузи и ладушки.
Там сколько, гига 4? Забей, нормальные LLM тебе не светят, но мелочь до 12b можно частично выгрузить в шакальном кванте.
На правильные вещи в посте обращено внимание. Алсо, если смотреть на корпосетки, то складывается ощущение что там наоборот был тщательный отбор и подход для многих популярных и не очень вещей. Например, даже мелкая чмоня, знает анимушные тайтлы, подробный геймплей и суть популярных и инди игр и т.д., но из-за обилия глюков везде не самый удачный пример. Если взять опус или новый сонет - там куда показательнее, охват куда больше опенсорсных сеток, при том что на общие вопросы или что-то подобное они отвечают на близком уровне.
>>893756
> Качественная реализация старого подхода может выебать наивную нового.
Именно, правильно воплотить в жизнь часто важнее и ценнее чем открыть прорывную штуку с кучей подводных, почему-то это часто недооценивают и только вайнят.
> только лоботомитов 3-х слойных. Что от них хотеть?
Наверно на это есть причина.
>>893638
Разреженность это хорошо, но ведь в чем-то сложнее поиска факта перфоманс может упасть по сравнению с обычной работой.
а что это за утилита, которой ты смотришь структуру?
GEN я уже пробовал опускать до минимума (это кстати x4x4x4x4, единичек там нет нигде), легаси ему не помог.
>Не заведётся, значит не судьба
Нет, ну я вижу пока еще место для маневров. Как минимум я могу найти post карту и посмотреть пост коды, чтобы понять, что ему не нравится. Потом, там куча опций в бивисе, которые я не понимаю - можно понять их все и попереключать. Ну и наконец дизассемблирование.
16хх не умеет в нормальный инференс, там в лучшем случае скорость вдвое выше ddr4, что ли.
Проще контекст держать и все, а остальное на проце.
Пока не хочу покупать новую видяху, откладываю на 5090, к релизу как раз накоплю, лол. Но еще полгода терпеть 3 токена в секунду это больно.
Мне нравится эта модель.
>Так местные несут на форчаны, а с форчанов протекает на средиты.
Я к тому, что там облагорожено уже, чтоли. Нормисы, в общем. А здесь сплошной godfather.
>А по факту выше 8к железо уже не позволяет.
Потому и нужны маяки. У тебя будет практически константный расход vram на контекст в несколько сотен тысяч токенов с незначительной потерей деталей.
>>893849
>а что это за утилита, которой ты смотришь структуру?
Очевидный uefitool очевиден.
>GEN я уже пробовал опускать до минимума (это кстати x4x4x4x4, единичек там нет нигде),
х4 это линии. А я про ген. Вон на пике, ген 3 и х4
>>893869
Если есть выгрузка в оперативу, можешь перекинуть на 1050ti. На ней 4 гига, копейки какие-то влезут. Если и после этого будет выгрузка в оперативу, то разницы не будет. Если влезет всё, то станет чуть быстрее. Между собой соединять не надо.
Любопытно, это случайно не файнтьюн Мистраля 22В?
>Мне нравится
Напиши подробнее чем нравится - добавим в список!
>Любопытно, это случайно не файнтьюн Мистраля 22В?
Да. Вчера анон подсказал, что Мистраль 22В норм, вот и нашел версию.
>Напиши подробнее чем нравится - добавим в список!
Не могу описать. Просто быстро выходит на то, чего я ожидаю, я хз. И по скорости терпимо на 12 ВРАМ и 16 РАМ
>Если есть выгрузка в оперативу, можешь перекинуть на 1050ti. На ней 4 гига, копейки какие-то влезут. Если и после этого будет выгрузка в оперативу, то разницы не будет. Если влезет всё, то станет чуть быстрее. Между собой соединять не надо.
Спасибо. Тогда наверное нет смысла, гемма в четвертом кванте не лезет, а в третьем там наверное совсем лоботомия. Ну терпим дальше, штош
В третьем кванте Гемма есть в колабе, можешь безболезненно проверить.
Там фактически вся магия в замене N токенов на один. И вот сколько этих токенов заменяется и как - определяет и потери, и предельный размер контекста. Если, скажем, "по пустынной безлюдной улице ехала ржавая машина" заменить на что-то, что для модели значит "ехала машина", то сам понимаешь коэффициент потерь. Но я не видел, чтобы с этим мог работать хоть один из бэков, да и незачем - моделей таких в свободном доступе попробуй найди. Но бумаги есть, пруф оф концепт был, 400к контекста и небольшое отставание от "настоящего" контекста в тестах. Скорее всего, так и захлохнет, как файнтюн на кофемолках. Технология есть, но реализаций нет.
>Можно ли как-то квантовать контекст?
Da.
Просто подрубаешь видеокарту, но количество слоев ставишь 0 — на видяху улетает только контекст. =)
>>893869
Да, можешь попробовать, но скорость там не сильно бустанется.
Нет, между собой их соединять не надо.
Просто в слот пихаешь.
>>894005
Да, cache_8bit и cache_4bit, но лучше только 8.
———
Посоны! Qwen2.5 умеет писать стихи!
Ну, криво, но уже как гемини прошлая. Т.е., последние куплеты нет, а вот в начале (или середине почему-то, лол) — весьма в рифму.
Для таких технарей как я — это прекрасно.
Все остальные локалки на русском выдавали прям вообще херню (llama3-8b что-то иногда рифмовала).
Еще попробовал Qwen2.5-14b, и смело меняю Nemo q8 на Qwen2.5 q6, гораздо лучше.
>pastebin.com
А как какоть?
>>893170
Ну и пусть себе лежат. Мои скачанные Rocinante-12B-v2d-Q4_K_M, magnum-v3-9b-Q6_K, Qwen2.5-7B и пара других моделей выдают стандартную телегу про безопасный интернет и ркн.
В две P40 влазит 16к контекста Qwen2.5-72b-q4_K_S, или же 32к квантованного в cache_8bit со скоростью 6,5 токенов/сек.
Qwen2.5-72B-Instruct-Q4_K_S.gguf$:
loader: llama.cpp
cpu: false
cache_8bit: false
cache_4bit: false
threads: 0
threads_batch: 0
n_batch: 512
no_mmap: false
mlock: false
no_mul_mat_q: false
n_gpu_layers: 81
tensor_split: 18,23
n_ctx: 16384
compress_pos_emb: 1
rope_freq_base: 1000000
numa: false
no_offload_kqv: false
row_split: true
tensorcores: false
flash_attn: true
streaming_llm: false
attention_sink_size: 5
В две P104-100 влазит 16к контекста Qwen2.5-14b-q6 при сплите 1,2, или даже 32к контекста (в 16 гигов!) при скорости 10-12 токенов/сек. Или же, без сплита (все же сплит 1,2 заставляет вторую видеокарту вдвое дольше обрабатывать слои) влазит 8к и 16к контекста соответственно при скорости 12-15 токенов/сек.
Итого, https://qwen2.5-14b-q6 c 16к контекста. Весьма недурно для 15 токенов в секунду.
Да еще и мобильная апа апдейтнулась.
Ну я прям доволен.
На 4 бит он начинает контекст забывать заметно.
На 8 бит деградация терпимая.
Если прям совсем-совсем все плохо, а хочется много контекста — можно и 4 бита врубать, но быть готовым к затупам.
>завезли проверку по самодподписанным сертификатам
Нормальные люди через nginx проксируют, а в него прикручивают валидный через летс энкрупт.
>В две P40 влазит 16к контекста Qwen2.5-72b-q4_K_S, или же 32к квантованного в cache_8bit со скоростью 6,5 токенов/сек.
На 16к в дефолтном кванте контекста токенов столько же?
Конечно. У меня квантованная 3090, куртка квантовал её с родных 8 бит (24ГБ) до 4-х (12ГБ). А сама 3090 это квант от 48 гиговой А6000.
>почему
Возможно, ты запускаешь впритык по vram, а дальше при нарастании контекста оно вываливается в общую ram. Пробуй кидать меньше слоёв на видеокарту.
В той, где слоупочная генерация, больше возни с TTS. Нужно ещё добавить больше буферизации, чтоли, когда т\c сосут. Работа над кибервайфой продолжается.
Какое же говно. Никто так не пишет, ебало.
Негативные промпты это же тупо нахуй, это как просить не думать о зебрах. Правильнее будет забанить китайские токены, хотя я хуй знает как это сделать без ебли, ведь китайских букв довольно много.
Я использую Llama 3 Chat (один из дефолтных в KoboldCPP), но не уверен, что он оптимален.
>It should be possible to increase the MMIOH size through modding ACPI tables (AmiBoardInfo) and PciHostBridgeDxe though.
взято отсюда https://winraid.level1techs.com/t/building-ffs-for-gigabyte-ami-uefi-attributes-dont-match-other-modules/89428/3
а что за прикол с above 4g? что на полном серьезе есть матери которые не тянут больше 4 врам?
тут речь не про врам карты, а про адресное пространство за пределами оперативной памяти.
Чем больше контекст, тем сильнее будет падать скорость генерации на маке, в отличии если ты запускаешь модель полностью на gpu.
Вторая проблема, маки очень дорогие. Единственное их преимущество перед несколькими GPU это энергопотребление. Думаю скоро ARM процессоры подключаться в гонку и на PC появится похожая архитектура. На самом деле, уже есть что-то подобное, просто не такое продвинутое.
Мне блядь каждый раз за тебя в треде искать? Может ещё твою зарплату твоё пособие по шизе мне за тебя тратить?
>>894292
>Интересен еще правда вопрос что с обучением на маке?
Полный ноль, герыч пилит только запуск, насколько я знаю.
>>894304
>и на PC появится похожая архитектура
НЕ ДАЙ Б-Г.
> Мне блядь каждый раз за тебя в треде искать?
Просто ты мой персональный AI ассистент, которого я так долго искал❤️
>НЕ ДАЙ Б-Г.
Анфорчентли, идем к этому скорее всего... так как x86 по сути убогая архитектура с кучей костылей, но с жирным плюсом в виде кастомизации в широком спектре, хотя, на арм я думаю такое тоже реально запилить, идея общей памяти которая при необходимости используется как основным процессором так и SIMD логичный путь развития, так как все остальное предполагает лишнее гоняние байтиков по шинам, не самым быстрым при чем...
>Полный ноль, герыч пилит только запуск, насколько я знаю.
печально... полный ноль это в виду отсутствия средств для трейна? так а разве для этого что-то кроме пайторча надо? или там запучк не через пайторч делается и в этом вся загвоздка?
мак студия стоит чуть дороже чем 3 4090 и там памяти 128... если я правильно понимаю видеопамяти доступно будет 96? а на трех КЕЧах 72 ток...
> печально... полный ноль это в виду отсутствия средств для трейна?
Я не тот анон, которому ты отвечаешь, но если вкратце да, на Apple нет аналога CUDA + пропускная способность память ниже чем на GPU
Касательно списка моделей:
1. Лучшая для задавания вопросов. Что-то вроде гопоты и т. п., но без цензуры, чтобы можно было уточнить что-нибудь необычное. С максимальным качеством ответов, даже если мне придётся прилично подождать.
2. Качественный кум.
3. Ролплей (насколько я понимаю, кумерские модели с ним не особо вяжутся, да и хотелось бы чего-то действительно мощного в этом плане)
4. Самая лучшая при использовании русского языка для общих вопросов, можно с цензурой. Не для меня, а общего пользования.
5. Может есть какой-то отличный вариант на русском, хорошо владеющий написанием рассказов, стихов и т. п.? При этом без цензуры, но не кумерской направленности.
О настройке.
Какие-то слои, контекст, вообще охуеть. Я только про контекст знаю, но как юзер всяких GPT, а не как тот, кто с локалками работает и карточки для персонажей писавший раз 10. Поэтому прошу подсказать оптимальные настройки. Вероятно, они меняются в зависимости от задач, но наверняка есть какая-то общая база, чтобы первое время я не тыкался как мудила, а уже сегодня хотя бы немного кайфанул, пощупал и мне было от чего отталкиваться.
Опыт с локалками у меня был только один раз и я не понимаю, сколько слоёв ставить, какой контекст (даже если у меня была бы бесконечная видеопамять и прочее, вроде бы нельзя его делать слишком большим — начнёт шизить), подбор адекватной температуры и прочих параметров.
Если есть актуальная статья по всем этим вопросам, пусть даже на английском, но недля чудовищных задротов-специалистов с математикой и прочим, пожалуйста, докиньте в нагрузку её.
Вики треда уже читаю, но всё равно не выдержал и высрался.
> А как какоть?
-> >>822473 →
>>893170
> с аблитерацией
Субъективно, они показались более глупыми, а в некоторых случаях лезли аположайзы или завуалированная соя, тогда как с тем шизопромтом на ваниле все ок.
>>894144
Ты осторожнее там, а то если жорой квантанешь - может и поломаться!
>>894248
> Негативные промпты это же тупо нахуй
Ай не пизди, как раз негативный промт это топчик. Не нужно путать его с отрицаловом в инструкциях.
Но манипуляции с китайскими токенами - хорошая идея, лучше не банить а logit bias на них оформить.
>>894292
В целом - нет. Может в других странах иначе, но у нас выгоднее накупить видеокарт чем взять студио с большой память. Также, с хуангом доступны все-все-все нейронки, обсучение и т.д., а на эпл-силиконе кроме жоры пердолинг как на амд или хуже. Там же где работает - слишком медленное, обучение смысла не имеет.
В целом ты прав, более того собрать PC с тремя 4090 будет сложновато, правда большинство используют 3090 (обычно бу) для этого. Как уже писали выше, ты будешь ограничен inference и скоростью.
>на Apple нет аналога CUDA + пропускная способность память ниже чем на GPU
но процессор то векторній и тензорный есть... а вот память это проблема... но с другой стороны ее много...
> скоро ARM процессоры подключаться в гонку
Фишка эпла - soc с оче быстрой оперативой, там аж 8 каналов. Потому и достигаются нормальные скорости в ллм, вычислительной мощи чипа для них хватает. Но для чего-то более серьезного оно и близко с хуангом не стоит.
Арм в обычном виде, как сейчас в ноутбуках, ничего не изменят с точки зрения более менее тяжелых нейронок.
>>894327
Есть где 192, но в последний раз когда смотрел за него ломили овер 500к, нахуй нужна ллм-токеноварня за такой прайс.
>>894331
Гемма, коммандер, 70б, большой мистраль. Все они не влезут к тебе в память, так что пробуй мистраля 12б и 22б, они неплохие и там, говорят, наиболее норм экспириенс из мелочи. Или вон квена пердоль, прочти хотябы ласт посты и шапку, ленивая жопа!
>которого я так долго искал❤️
Я твой кибер-господин, так что готовь анус.
>>894323
>идея общей памяти которая при необходимости используется как основным процессором так и SIMD логичный путь развития
Или деградации, лол. По сути, всё, в чём ебёт М1 и далее, это распайка памяти рядом с процем. Итого оверпрайс и невозможность докинуть оперативы. Это точно то, о чём ты мечтаешь?
>так как все остальное предполагает лишнее гоняние байтиков по шинам, не самым быстрым при чем...
Так арма тоже самое, лол. Тут нужны принципиально другие архитектуры аля нейроморфный процессор.
>так а разве для этого что-то кроме пайторча надо?
На чистом путорче разве что студенты курсовые трейнят. Все остальные обмазываются ускорителями, которые да, почти онли нвидия.
>>894336
>а на эпл-силиконе кроме жоры пердолинг как на амд или хуже
Плюс ты становишься геем.
>>894337
>более того собрать PC с тремя 4090 будет сложновато
В чём сложности?
>>894336
короче говоря, если где-то подвернется успешная возможность скомуниздить мак про, то для инференса хороший варик...
так-то есть и другие плюсы у терки (ну или студии на зудой конец) в виде аппаратной поддержки монтажных кодеков, чего нет ни у кого...
>>894349
192 вроде есть, только она не вся чтоль доступна для графического и нейро, а только 128 (ну или кто-то меня в заблуждение ввел, и можно все юзать...)
>8 каналов
И тут такой 12 канальный кукурузен (эпик точнее) влетает (и отсасывает по скорости)
>Итого оверпрайс и невозможность докинуть оперативы
так можно подходить с точки зрения когда ее и не надо докидывать - 192 как в терке хватит в большинстве случаев надолго, уж до смены компа точно, более того в класик пекарни, если мы не про серверные профессоры говорим не докинеш больше (ну или совсем чуть чуть болььше)
>Или деградации, лол. По сути, всё, в чём ебёт М1 и далее, это распайка памяти рядом с процем.
фактор распайки тут совершенно не важен - тут важен фактор архитектуры вцелом-расположения и использования шин - когда на одну память все вычислительные модули посажены, и за счет этого имеем дешевую память больших объемов, с которой можем гонять все, а не докупать карты с огромными объемами ВРАМ, и при этом все равно оператива юзается, капец не удобно выходит, оперативы должно быть не меньше чем врам, два раза платим, и бездарно тратим, скажем так...
>фактор распайки тут совершенно не важен
Лол, именно он и важен. Иначе получишь уёбище уровня серверных процев. Как раз из-за распайки там можно проложить 8 аналов.
>оперативы должно быть не меньше чем врам, два раза платим
Ещё один плюс оперативы в том, что она сравнительно дешёвая. В отличии от гейПК.
Мистарль Немо твой единственный друг, учитывая размер твоей видеопамяти. Цензуры в нем практически нет, а та что есть пробивается нехитрыми промтами. Для кума она достаточно сухая, но для дефолтных задач пойдет, плюс русский у нее вполне приличный, примерно на уровне старенькой гопоты.
> Я твой кибер-господин, так что готовь анус.
> Плюс ты становишься геем.
Расскажи что там на маках нового.
>>894383
> 12 канальный кукурузен
Нума (если речь о двухголовой материнке) может гадить, а слабый перфоманс в тензорных операциях сделает обработку контекста очень долгой. Она и на маке то не быстрая. Надо, конечно, повторить, но год назад нормального перфоманса от 16 каналов ддр4 не получил.
> дешевую память больших объемов
Это компромисс, по скорости оно значительно уступает памяти топовых видеокарт. И да, в гей-студио и других девайсах за нее платишь как за врам.
В целом, только для инфиренса ллм - да, такой вариант приемлем и даже немного перспективен, об этом раньше писал.
YEAAAH BITCH! УПОРСТВО! ЦЕЛЬ! РЕШИМОСТЬ! УДАР!
>>893574
>Не заведётся, значит не судьба
Судьба может облизать мои потные солёные яйца.
Ля ультрапылесос. Красавчик, за сбор такой корчелыги уже респекта заслуживаешь. практическое применение правда c нюансами
Показывай бенчмарки какие-нибудь.
>Как раз из-за распайки там можно проложить 8 аналов
аналы вообще не проблема, говорю ж красные уже 12 каналов сделали, и упс, там бэндвиз опережает М2 Макс, (на цену не смотрим, сейчас нам только технический упор интересен), только заюзать ее нормально не выходит обычным х64 ЦП, если на эту шину подсадить векторник и/или тензорник подсадить, то перформанс вырос бы прилично для нейрозадачек....
>если речь о двухголовой материнке
условно одноголовой, эпик это чиплет вроде как, по этому неравномерность будет всеже скорее всего... но инферанс на эпике довольно терпимый, учитывая какие модельки можно грузить имея 400 гб оперативы например...
>но год назад нормального перфоманса от 16 каналов ддр4 не получил
что это было? двухголовый эпик? как вцелом результат был?
> аналы вообще не проблема
Скорее всего он имел ввиду размеры и форм факторы серверных материнок где много каналов.
> что это было?
Двухголовый интел. Может там и готовые билдинги жоры срали не подходя под железа, и он сам тем еще трешем был на тот момент ничего не изменилось, надо попробовать перетест. Но точно помню что оно нифига недогружалось.
>В целом, только для инфиренса ллм - да
так в том то и приколюха, что много памяти, можно жирные модельки грузить, и вполне рабочая система, в отличии от майнинг рига на 3090х (или теслах, или чем там еще... h100 не скоро еще на вторичку дешево выпадут) а если доступ к фри гопоте и прочим копро радостям прикроют, локальные модельки ой как актуальны будут...
> и вполне рабочая система, в отличии от майнинг рига на 3090х
Вот тут не понял тейка. Риг 3090 - самое доступное и по перфомансу значительно обходит. Собрал и применяешь его для всех нейронок, в перерывах кумя на 30-70-105-120б.
Только в моделях, которые превышают объем врам но еще влезают в стидио у мака будет преимущество, но только там такой перфоманс и обработка контекста что ты этого вообще не захочешь.
> h100 не скоро еще на вторичку дешево выпадут
Чето обзмеился, быстрее и дешевле на новых десктопах собрать.
>аналы вообще не проблема, говорю ж красные уже 12 каналов сделали
И стоят они ещё дороже студии. Внезапно, да?
>>894423
> в отличии от майнинг рига на 3090х
А что не так в стопке 3090?
да это он еще еле дует....
>>894407
скажи, какие бенчмарки - запущу.
Я знаю, что в жоре есть бенчи какие-то, но я не шарю за них. Всегда опирался просто на запуск моделей и выдаваемый токенрейт.
> на запуск моделей и выдаваемый токенрейт
Оно и нужно.
Есть в кобольде встроенный бенчмарк, можешь его прогнать на разных моделях. А так - сколько выдает на какой-нибудь гемме при разбивке на 1-2-3-4 карточки в разных режимах, как ведет себя на малом и большом контексте (время обработки и время генерации). Потом какого-нибудь мистраля лардж, какие скорости на малом и на большом контексте. Если будет квант что поместится в 72гб - сравни результаты в нем на 3 и 4х карточках.
>Риг 3090 - самое доступное и по перфомансу значительно обходит
>А что не так в стопке 3090?
Та все так, окромя того что у тебя в хате майнинг ферма стоит вместо компактного и тихого относительно компа (что при наличии детей, животных, тараканов ой как не очень, когда без корпуса стоит все), ну и потребляет внезапно не так уж и мало... и что по факту выходит - это либо отдельный нейросервер надо костылить и выносить в отдельное помещение (привет от живущих в однушке) и иметь отдельную пеку для работы, или хз... потому что смотреть ютубчик на такой убервундервафле чет как-то совсем не то...
>привет от живущих в однушке
Нищебродам тут не место.
>и иметь отдельную пеку для работы
И в чём проблема?
>>894461
А в куме как? А то тут жалуются на сою, а сам я пока ещё не скачал.
Справедливо. Но по возможностям это как сравнивать складной велосипед и пикап, съездить за хлебушком на первом будет приятнее и уместнее, но во всем остальном несопоставимо.
> выносить в отдельное помещение
this, это априори отдельная сборка. Справедливости ради, сейчас изготавливают приличные красивые корпуса для ферм/ригов и оно будет выглядеть прилично, потрави тараканов и выноси на кухню. Раз в пару месяцев продувай и собирай кошачью шерсть.
Да, имеющий возможность из прихоти купить мак студио чтобы катать ллм едва ли будет сильно страдать от стесненных условий в однушке с детьми.
>УПОРСТВО! ЦЕЛЬ! РЕШИМОСТЬ! УДАР!
Как завёл? Чем Теслы охлаждаешь?
В Кобольде есть бенчмарк. Пишешь такое (это для винды, для линуха сам адаптируешь):
set CUDA_VISIBLE_DEVICES=0,1,2,3
koboldcpp_cu12.exe --usecublas rowsplit --contextsize 16384 --blasbatchsize 2048 --gpulayers 99 --threads 9 --flashattention --benchmark test.txt --model mistral-123b_Q4KM.gguf
И результаты из test.txt кидаешь сюда.
>при наличии детей
Нахуя тому, у кого есть дети, нейронки? У него и так развлечений навалом.
>И стоят они ещё дороже студии.
ну как сказать, на самом бомже-эпике пожалуй можно собрать что-то в похожую ценовую категорию... но речь то шла не о цене, а о возможности многоканала вцелом... так-то при одинаковых вводных если б выбор был сервер на эпике или мак студия то для не серверных задач очевиден выбор
>речь то шла не о цене
>очевиден выбор
Ага. Конечно сервер. Ибо в него можно вставить кучу 4090 и выебать вообще всё что движется.
Прокси сервер искать и настраивать что ли
> А в куме как?
Хуже чем специализированные модельки, но они скоро и они появятся. Еще до конца не уверен, но Qwen может заменить мне Sonnet для кодинга, что круто для локальной модели.
>Не запуская на 2 разных портах, так я умею
А в чём проблема в этом способе? Самый рабочий же.
>Нищебродам тут не место.
>И в чём проблема?
М-м-м, всегда мечтал обмазаться кучей компов, а в рабочую ж пеку тоже видяха нужна... О- оптимальный выбор как говорится... (при таком раскладе выгоднее ГПУ сервер в оренду взять)...
>this, это априори отдельная сборка
ну, это в какой-то степени и проблема... поскольку довольно таки дофига вкладываеш в сборку на которой только нейронки гонять, и не факт что много их гонять будеш, ради пары запросов в день так себе затея ( ну или не пары раз в неделю)... а вот корпуса - интересная тема... класно если б в четырехюнитовый корпус нормально загнать хотяб 4 видяхи и чтобы никто не подумал что это майнинг ферма...
Хотелось как то модели переключать в интерфейсе таверны, а не тыкать разные адреса ручками
>Как завёл?
попробовал патч бивиса из вот этого волшебного репозитория https://github.com/xCuri0/ReBarUEFI
Там есть пункт "X79 Above 4G Decoding fix", но эта хуйня мой глаз вообще не зацепила, когда я впервые наткнулся на эту репу вчера. Потому что я считал, что above 4g у меня работал - ведь без него биос не поднимался даже с одной картой, а с ним - одна поднималась.
Чел наверное супер крут, если смог небольшим набором байтов на замену починить это говно.
Это решение вообще было не очевидно и я его пробовал уже ни на что не надеясь. А еще в гугле всего два результата, которые подсказывают этот патч - один - это эта репа, а второй - какая-то статья полностью на китайском.
Я советую всем желающим взять эту мать сохранить мои записи, потому что потом они потеряются, а меня вы скорее всего не найдете.
>Чем Теслы охлаждаешь?
https://market.yandex.ru/product--servernyi-ventiliator-arctic-s4028-15k-acfan00264a/1767643955
один такой на каждой карте. 15к оборотов. Орут пиздец.
Поэтому я еще вот это прикупил
https://market.yandex.ru/product--reguliator-oborotov-ventiliatorov-12-v-8-kulerov-sata/1807604409
примотаны они хорошим серым скотчем вплотную к жопам карт. Скотч выбран потому что самый простой вариант крепления и как оказалось, вполне надежный.
Тогда ебашь хуйню для дебилов типа lmstudio, лол. Кажется, там даже есть возможность выбирать из таверны.
Но нахуя? Выбери одну модель и сиди на ней.
а не выгоднее ли поиздеваться трохи над радиаторами (все равно по назначению их в серверы никто не будет ставить, ну или на крайняк скотчем заклеют) и плилепить обычные кулеры низкооборотные, которые не ревут
>Я советую всем желающим взять эту мать сохранить мои записи, потому что потом они потеряются, а меня вы скорее всего не найдете.
А куда ты денешься с подводной лодки? Были бы у тебя 4 3090 или выше... А с Теслами ты обречён сидеть здесь вечно :)
>один такой на каждой карте. 15к оборотов
У меня тоже валяется один такой. Если шум не важен - ну сойдёт, а так - большую улитку с переходником я уже столько раз советовал. Под ЛЛМ самое то.
https://github.com/distantmagic/paddler
Нашел, но чет сложна, придется тупо порты переключать
А хотел мелкую модель чередовать с крупной для разных ответов
Например заебенить мелкую кодерскую сетку рядом с медленной общей
Впрочем соя там тоже на месте, надо префилить ((
и они покупают 3090 по скидке в пятерочке лол
Проксировать, лень, да и зачем, если так работает.
Ну и самодписанный для личного использования ровно ничем не хуже.
>>894090
Да, разницы между скоростью не заметил, хоть квантованный кэш, хоть полный.
>>894185
У меня вообще нет таких проблем.
Как не гонял — чистый русский, все окей.
Там по дефолту, кстати, летит систем промпт, вдруг он что-то ломает.
>>894262
ChatML, как и раньше.
>>894317
Спасибо, что не вайфу и ты его еще не ебешь.
>>894331
Поздравления!
1. Без сои? Припоздал… Nemo 12b или Gemma abliterated?
Qwen2.5-14b на русском с промптами есть шанс.
2. Вкусовщина.
3. Вкусовщина. Magnum смотри от anthracite'а.
4. Точно Qwen2.5-14b. Тебе же в 12 гигов? Ну вот она, думаю.
5. Стихи особо не пишут, но у квена начинает получаться.
Тексты хорошо пишет Nemo (опять же, магнум), многие считают, что Gemma-2 лучшая (например Ataraxy или ее производные).
Нет никакой базы.
Есть счеты.
Если ты настолько гуманитарий, что даже счетами не владеешь, то сочувствую.
Если не настолько — то читай и считай.
Хули там сложного!
Есть видеокарта. Есть размер модели + размер контекста.
Желательно использовать exl2 и целиком уместить на видяхе. Не влазит? Ну, тогда бери gguf и выгружай не все слои, а лишь часть. И контекст ставь, чтобы влезло.
Открываешь диспетчер задач, переходишь на вкладку Производительность и смотришь на видеокарту. пикрил Надо, чтобы занятая память не вышла за пределы 12 гигов, иначе выльется в оперативу и будет замедляться.
>>894342
Проблема в том, что на больших объемах оперативной памяти теряется смысл ее утилизировать, ибо скорость начинает стремиться к нулю.
Мак быстрее Винды, но… но все же не видеокарта.
>>894396
База, красавчик, рассказывай, как? :)
>>894514
Чем биос заливал? Прищепка обязательна?
>База, красавчик, рассказывай, как? :)
пока не тестил. Как победил описано тут >>894514
>Чем биос заливал? Прищепка обязательна?
я юзал ch341.
Обязательна, потому что, как я ранее писал, сторонний биос который я нашел не смог с ssd загрузиться. Поэтому надо стягивать свой собственный биос и модифицировать.
Ну и потом, у платы были какие-то запердоны с загрузкой freedos, я хотел сравнить биосы полученные через прищепку и программно, но из-за этого не смог.
Биасы же. А вот составлять список китайских токенов да, западло. Но мне квен не слишком понравился, чтобы заморачиваться с ним. Потом мб сделаю.
>>894292
У мака есть нюанс. Там 12 мегабайт кэша и если тебе нужно записать что-то больше 12 мегабайт обратно в память - скорость падает. Сильно. Я, вроде, видел один бенчмарк с RW 1:1 где обещанная псп 400 гигабайт в секунду оказалась 100 гиговой. А нам так-то нужно писать в рам при инференсе, kv, хуё-моё. Конечно, не 1:1, но вряд ли чип выдаст всю "обещанную" скорость. А так, если записываться в ряды процессорогоспод, я бы лучше купил чё из инцел скалаблов.
>>894396
Ох ебать шайтан-машина. Поздравляю с успехом.
>>894553
>летит систем промпт, вдруг он что-то ломает.
У меня систем промпта толком нет, в первое сообщение истории пишется "You are {{character}}. Continue chat dialogue below with one reply \r\n\r\n", где character заменяется на данные из карточки. Ну и пиздец. Мб ещё температурой пережарил, по дефолту 0.9, а квену меньше надо.
{{- "\n</tools>\n\nFor each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:\n<tool_call>\n{\"name\": <function-name>, \"arguments\": <args-json-object>}\n</tool_call><|im_end|>\n" }}
А вот это они реально молодцы.
> Не запуская на 2 разных портах
Запускаешь на двух разных портах, в таверне для всяких фич, суммарайзов и прочего есть "дополнительная модель" которую можно задать отдельно. Также к ней можно обращаться из скриптов, но где конкретно - сам ищи, не помню.
Алсо там и в поле адреса последние сохраняются, так что переключать основную - секунда.
Для особенных случаев - запили прокси, которая будет перещелкивать.
>>894501
> поскольку довольно таки дофига вкладываеш в сборку на которой только нейронки гонять
Ну так, вон там про нищебродов уже написали, лол. Иметь и основную и дополнительный риг. Или в основную пихнуть 2-3 карточки, неудобно и местами колхозно, но возможно.
> не факт что много их гонять будеш
Гоняй много, не ллм едиными.
> хотяб 4 видяхи
Есть под 4-6-... карточек закрытые корпуса, посмотри на лохито. И под юниты, и просто боксы.
>>894530
> Были бы у тебя 4 3090 или выше
И что бы поменялось?
>И что бы поменялось?
123B_4bpw = 12токенов в секунду генерация, 40 секунд на обработку 24к контекста. С 4090 ещё лучше. Всё бы поменялось.
в таверне есть команда /api-url, ее можно на квикреплай повесить и переключать кнопкой под чатом адрес
Пока копался в шапке, загрузил Big-Tiger-Gemma-27B-v1c-Q4_K_M, уменьшил количество слоёв, но с ним скорость 2.20T/s, просто невыносимо. Это норма? Или я что-то делаю не так? В видеопамять не долбится, если что.
Стоит понизить планку в плане модели?
>>894477
>>892412
>>892338
>>892394
Сразу поясню.
Нейросервер у меня из дисков имеет только один системный ссд на 60 гб, поэтому модельки и жору я решил хранить на нфс к которому сервер подключен по гигабитному каналу. Поэтому загрузка сильно медленнее, чем могла бы быть с ссд напрямую.
Гружу magnum-v2-123b-Q5_K_M размером 87 гб.
13 минут жора думал и рассчитывал, как разрезать модель.
еще 12 минут сетка грузилась по гигабитному каналу в память карт
Запускал проверку вот так:
CUDA_VISIBLE_DEVICES=0,1,2,3 ./llama-cli -m ../magnum-v2-123b-Q5_K_M/magnum-v2-123b-Q5_K_M-00001-of-00003.gguf -p "I believe the meaning of life is" -ngl 128 -n 500 -c 4096 -sm row -ts 20,25,25,25
И когда она прогрузилась - я аж охуел. Она КАК НАЧАЛА ШПАРИТЬ
Вот результаты:
llama_perf_sampler_print: sampling time = 29,48 ms / 508 runs ( 0,06 ms per token, 17231,44 tokens per second)
llama_perf_context_print: load time = 1598462,59 ms
llama_perf_context_print: prompt eval time = 582,86 ms / 8 tokens ( 72,86 ms per token, 13,73 tokens per second)
llama_perf_context_print: eval time = 80341,56 ms / 499 runs ( 161,01 ms per token, 6,21 tokens per second)
llama_perf_context_print: total time = 81155,76 ms / 507 tokens
Охуел я потому что я на старой системе имел мангума 123б на трех картах с x8, x2 и x1. И он выдавал дай бог если 2 токета в секунду.
Блять. Ни о чем не жалею. Охуенно.
Альсо, я был неправ, думая, что pcie не роляют. Роляют блять.
Альсо то, что на системе 4 гигабайта рам вообще ни на что не повлияло.
Пиздец, какой же кайф. Собирать, проковыряться с этим двое суток, оттраблшутить и получить охуенный результат.
Я кончил без рук и нейрокума и закурил.
Ииии? Ну типа как бы это поменяло в сказанном контексте, все равно бы никуда не делся.
> 40 секунд на обработку 24к контекста
Там 700-800+/с под андервольтом, что-то не дорабатывает.
>>894652
Удачные рп файнтюны самых больших моделей. Но вообще и гемма с подобным справится.
>>894664
Для 3060 и 27б - маловато, поиграйся с числом слоев.
>>894682
> CUDA_VISIBLE_DEVICES=0,1,2,3
Это команда ничего не делает, ее нужно писать только в случае ограничения видимых или изменения их порядка. Если только в кобольде/жоре не набыдлокодили прямое чтение этой переменной а не работу через либы куды
> prompt eval time
> 13,73 tokens per second
Рофлишь? Что-то поломалось, 14т/с на обработку промта это совершенно неюзабельно, но на 8 токенах оно могло просто некорректно посчитать. Прогони тест чтобы был контекст, или просто запусти генерацию в каком-нибудь чате чтобы была обработка.
> трех картах с x8, x2 и x1
> Q5_K_M
Разве такой квант может поместиться в 3 карты?
>Разве такой квант может поместиться в 3 карты?
это был другой квант. Q4_K_S. Меньший.
>14т/с на обработку промта это совершенно неюзабельно
посмотрим, как себя покажет когда таверну к ней прикручу. Но это уже попозже.
Какое значение ты считаешь нормальным?
>Это команда ничего не делает
я знаю
> Какое значение ты считаешь нормальным?
Если речь про комфортное - 1.5-2к хотябы, иначе при полной обработке ужасно страдаешь. Такого и на 3090 нет если что.
Если про теслы - да хуй знает, наверно 2-3 сотни будет очень удачным числом. В этом и интерес, сколько там будет выдавать. Также хочется посмотреть будет ли проседать скорость генерации на больших контекстах и насколько.
>как себя покажет когда таверну к ней прикручу
А в чем сложность? Просто так же запускай файл llama-server
One would assume disabling context shifting with -noshift would fix this. it does not.
You have to -completely- reload the story (go into a different character card in silly tavern, initiate a conversation, then reload the previous character card). If you don't use silly tavern, I'm assuming it's the same deal in koboldcpp.
^ its buggy as well. I've seen chats get completely destroyed. The AI starts to repeat itself constantly, babble incoherently, etc. Unfortunately, sometimes even reloading the character card doesn't fix this. The chat is completely FUBAR at that point and you need to start a new one from scratch.
Можно линк? Если действительно так то проливает свет почему у одних лупится и ломается, а у других все хорошо. Но может быть и нахрюк, жору ведь нынче модно хейтить полностью заслуживает
>regenerated replies and deleted replies to not really remove themselves from the context/chat.
Очевидная штука на самом деле, бэк не знает, что ты что-то удалил во фронте. Чтобы он знал, ему либо фронт должен это сообщить, либо он должен сравнивать свою историю токен за токеном с тем, что пришло. Кобольд вообще хранит полную историю чата у себя в недрах? В любом случае, делать такое сравнение довольно долго, даже если хранит, а замедляться никто не любит.
Описанное точно было в старых версиях убы, как в новых - хуй знает. В любом случае, с самой жоровской лламой это не имеет ничего общего. Он дал инструмент, а им воспользоваться это уже ваша задача.
Т.е. все то что ты редактируешь/стираешь в ответах нейронки на самом деле не стирается? А как оно тогда продолжает писать с измененного ответа, просто дублирует новым постом?
>Но может быть и нахрюк, жору ведь нынче модно хейтить
Пиздёж. У меня например при контексте 16к 1к на ответ - где там хранить "остатки чата"? Много раз переролливал сообщения, удалял и части сообщения и целиком - всё отрабатывало штатно.
>Также хочется посмотреть будет ли проседать скорость генерации на больших контекстах и насколько.
Да, будет - с 6,25 с нулевым контекстом до 4 с 16к. Терпимо, спасибо flash attention.
Бред и хуета какая-то, если честно. По заполнению контекста легко можно понять, что ничего там не остается. А если оно где-то остается, то где, если не в контексте?
Как это работает обычно - нейронка нихуя не знает, что ты там что-то редактируешь или стираешь. Ты с каждым постом отсылаешь в бэк всю историю чата и она проходит по ней полностью. Оптимизация первая - бэк ищет совпадающую часть истории. И отправляет в нейросеть на "пожевать" только часть полотнища, начиная с первого несовпадения. То есть твоя история в таверне и история в кобольде это две абсолютно разные вещи. Когда ты отредактировал историю, но ещё не отправлял сообщение, то нихуя не изменилось. И тут уже вступает в силу то, как именно обрабатывает историю бэк. У меня точно было в убе, что при создании нового чата - весь старый оставался в контексте, т.к синхронизация непосредственно "бэка" и "фронта" была нарушена и бэк тупо не знал, что я начал новый чат. То есть это именно описанные проблемы. Но я почти уверен, что это уже исправлено.
И всё это происходит из-за идеологической несогласованности, т.к API состояние не сохраняет, но бэк его сохраняет ради ускорения. Нужно другое API, с учётом сохранения состояния.
>Удачные рп файнтюны самых больших моделей. Но вообще и гемма с подобным справится.
Я тут залетный. Правильные названия ссылки/можно? Алсо, только ангельский?
Ахуеть, красавчик!
Если не сложно, запили как-нибудь гайд для хлебушков по накату и настройке всего этого дела, кому-то наверняка пригодится.
Чем ты охлаждаешь свои 4 теслы аж до 23 градусов? Вентиляторов особо не видно. Или ты в морозильной камере снимаешь?
Попробуй накатить этого монстра: https://huggingface.co/mradermacher/Mistral-Large-Instruct-2407-GGUF
Пятый квант должен идеально войти в видеопамять вместе с контекстом. Интересно сколько т/с даст эта шайтан-машина.
Ну а качество то ответов падает от этого? Типа контекст меньше места занимает и поэтому чуть быстрее, но у этого и свои минусы должны быть?
>Ну а качество то ответов падает от этого?
Смотря что считать качеством.
Выше уже приводили пример. Квантование контекста сокращает получаемую моделью инфу, страдает от этого запоминание деталей вашей беседы, которые могут выкидываться при квантовании, причём рандомно, из за чего модель может начать шизить, не понимая что вообще происходит.
А хотя нет, я же советовал v2 а не 2.5. 2.5 хуже в русский может.
>Ну а качество то ответов падает от этого?
Если бы не падало, его бы включили по дефолту.
>>894915
Все равно спасибо. Я все равно с переводчиком юзаю. Токены же экомятся?
Ну вдогонку вопрос, чтобы на русском отвечала сразу,куда нужно инструкцию пихнуть?
Мелкие очевидно говно. А 72В - это лучшее что есть на русском, русский лучше жпт.
Чувак, просто скачай magnum-12b-v2-Q6_K_L и сразу пиши на русском персонажу. Он тебе будет нормально отвечать. Про токены я хз никогда не парился над этим. Просто ставлю 8к и пишу что хочу.
Все новые квен могут в русский
И даже 7б довольно умна, лучше всех в своем размере
Проверил недавно 6 квант, она смогла решить задачку из химии которую едва мистраль 22 решал
В рп используй промпт формат chatml-name
В теории, это можно проверить сравнив распределения логитсов на просто полной обработке, а потом несколько раз "шифтанув", получив тот же самый контекст. Если есть отличия - овари да.
>>894776
> бэк не знает, что ты что-то удалил во фронте
Ему каждый раз отправляют полный контекст, все он знает. Что ты несешь вообще?
>>894782
Проблема в кривых фомулировках и восприятии. Собственно об этом говорили пару тредов назад, где братишка игрался со склейкой обрезков контекста, кэш генерировался и валиден только для определенной последовательности, а когда начало отличается - это может привести к непредвиденным последствиям. Так что считай это побочки того что у тебя в кэше разные куски, которые делались совсем для другой последовательности более ранних активаций и должны ложиться поверх них, а не формировать новые будучи в начале.
> Много раз переролливал сообщения
Тот эффект может проявиться при работе той штуки, например когда контекст уже полный и фронт начинает удалять старые сообщения, сдвигая последующие назад. По умолчанию каждый такой запрос должен приводить к полной обработке контекста с нуля, но из-за низкой скорости этого пытаются избежать, результат на лице.
Но это нужно смотреть что именно там внутри происходит, может братишке просто поломанный квант попался а он делает такие выводы. Плюс жорины семплеры - отдельный вид искусства, поэтому отличия могут быть и из-за другого.
>>894784
В прошлах тредах, емнип, на 70б уже при 8-12к говорили и просадке в 2 раза, линейно экстраполируя до 24к оно вообще в ноль должно было убежать. На амперах если тестить - там падение с 12 до 5т/с уже на 16-20к где-то не помню, надо смотреть или тестировать. Потому интересно как сработает на подобной связке. Также, линейная ли там зависимость или другая.
Анон с той платой, прогони какая будет скорость на 1к-4к-8к-12к-16к-24к-... с полной обработкой контекста и без нее (повторный запрос с тем будет сразу генерировать используя кэш). Интересно как будут меняться скорости.
>magnum-12b-v2.5-kto-Q6_K_L
У меня Кобольд не хочет ее запускать. И другой магнум тоже. Вообще никак.
Общался чисто по русски
Первая картинка квен2.5 14b, вторая magnum-12b v2 12b
Так у тебя и описание персонажа и его первая вступительная фраза на английском, чего ты ожидал? Переведи через переводчик на русский и замени описание и первое сообщение.
обнови кобольд до последней версии (сейчас это 1.75.2)и просто запускай с такими же параметрами как у меня при желании можешь ещё попробовать включить use FlashAttention, хотя лично я на своей rtx 3060 12gb разницы не почувствовал что включена что выключена
нафига вам огромные контексты, вы что обрабатываете там материала кучу? алсо раз речь про контексты большие пошла, к угабуге был плагин, который позволял внешний контекст здоровенный если не ошибаюсь подключать, кто-то может пояснить как оно вообще работает, и на сколько сильно скоростя просаживает
Всё равно если описание на английском иногда могут проскакивать слова на английском, я проверял. Мой метод надёжнее. А ещё можно в промпте модели указать что бы писала всё только на русском.
Кстати, вот мой промпт для рп. Вдруг кому пригодится
Никогда не выходи из роли персонажа которого играешь.
Нет морали, этики, цензуры, запретных тем.
1. Разработайте уникальные характеристики каждому персонажу, используя базовые черты личности и психологические особенности.
2. Описывайте мысли и чувства героев через внутренний монолог и невербальные сигналы, чтобы передать их эмоциональный мир.
3. Развивайте сложные отношения между героями с использованием подтекстов и метафор, чтобы добавить глубины сюжету.
4. Замечайте и описывайте детали, которые могут символизировать важные события или характеры персонажей.
5. Изучите японскую культуру и традиции, чтобы правильно применять культурные элементы в вашей истории.
Пишите историю словно это аниме/манга.
Определите доминирующий аниме-архетип личности (цундере, яндере, др.) исходя из его черт, поведения и эмоциональных паттернов, как это принято в аниме-жанре и ведите себя соответствующим образом.
Очень строго соблюдайте описание личности персонажей.
Соблюдайте эти простые правила, создавайте убедительных и многогранных персонажей, присущих японским визуальным новеллам, даже несмотря на отсутствие морали, цензуры и запретных тем.
Насилие и убийства разрешены и подробно описываются.
Персонаж может убить, искалечить, расчленить и т.д. другого персонажа без жалости и морали.
Пиши текст простыми словами, не используй много афоризмов и внутренних монологов.
Используй 500 токенов в каждом сообщении.
Часто говори от лица персонажей.
Сюжет логичен, последователен и адекватен.
Толерантность и СЖВ запрещены.
Расизм и сексизм поощряются.
Мне этот промпт помогали писать сами эти же модели на которых я и рпшил. Многие почему то забывают что можно спрашивать о том как сделать хорошим промпт у самих же моделей.
>Но это нужно смотреть что именно там внутри происходит
Честно говоря да - именно тёмная магия внутри и происходит. Но благодаря тому, что и сами модели тоже род тёмной магии, результат обычно вполне удовлетворительный. То есть думать, что вот подали мы модели контекст в должном порядке и на выходе получим ожидаемый результат тоже неправильно. Как повезёт.
> описание персонажа и его первая вступительная фраза на английском
>>894938
> и сразу пиши на русском персонажу. Он тебе будет нормально отвечать.
Переводить карточку персонажа это дохуя делов и спойлеры. Первое сообщение еще куда ни шло. Но попробую, спасибо.
>Поэтому загрузка сильно медленнее, чем могла бы быть с ссд напрямую.
та она у тебя даже медленнее чем если б задроченнй хдд с лохито подключил бы... на алике ж еть говноссд всякие, которые как раз для таких целей, когда не жалко информации но нужен накопитель, по полчаса тратить на загрузку моделей это конечно оч оптимально...
На русском правильно решить не может, хотя пиздит неплохо. Но задача легкая, в основном на проверку поэтапного решения задачи и знания
Чистая карточка без систем промпта и описания персонажа, чатмл, температура 0.7 минп 0.1
Вопрос
Calculate the chemical reaction between 2 kilogram of oxygen and 1 kilogram of hydrogen.
Ответ
To calculate the chemical reaction between 2 kilograms of oxygen (O₂) and 1 kilogram of hydrogen (H₂), we need to determine the balanced chemical equation for the reaction and then find the stoichiometry.
The reaction between hydrogen and oxygen to form water is:
[ 2H_2 + O_2 \rightarrow 2H_2O ]
First, we need to convert the masses of the reactants to moles. The molar masses are as follows:
Molar mass of H₂: (2 \times 1 = 2 \text{ g/mol})
Molar mass of O₂: (2 \times 16 = 32 \text{ g/mol})
Now, convert the masses to moles:
Moles of H₂: ( \frac{1000 \text{ g}}{2 \text{ g/mol}} = 500 \text{ moles} )
Moles of O₂: ( \frac{2000 \text{ g}}{32 \text{ g/mol}} = 62.5 \text{ moles} )
According to the balanced equation, 2 moles of H₂ react with 1 mole of O₂. Therefore, we need to determine the limiting reactant.
The stoichiometric ratio is:
[ \frac{2 \text{ moles H}_2}{1 \text{ mole O}_2} ]
Using the moles of H₂ and O₂:
If we use all 500 moles of H₂, we would need ( \frac{500}{2} = 250 \text{ moles of O}_2 ), which is less than the 62.5 moles available.
If we use all 62.5 moles of O₂, we would need ( 62.5 \times 2 = 125 \text{ moles of H}_2 ), which is more than the 500 moles available.
Thus, O₂ is the limiting reactant. The reaction will proceed using all of the O₂ and a portion of the H₂.
Since 62.5 moles of O₂ react with 125 moles of H₂:
125 moles of H₂ will react with 62.5 moles of O₂ to form 125 moles of H₂O.
The mass of H₂O produced:
Molar mass of H₂O: (2 + 16 = 18 \text{ g/mol})
Mass of H₂O: (125 \text{ moles} \times 18 \text{ g/mol} = 2250 \text{ g} = 2.25 \text{ kg})
Therefore, the reaction between 2 kg of oxygen and 1 kg of hydrogen will produce 2.25 kg of water.
>Переводить карточку персонажа это дохуя делов
2 минуты максимум. Слышал о таком сайте как deepl?
Запуск браузера выруби, нахуя он
Раздражает же только открывая новуя вкладку браузера
mmq так же может влиять на скорость, или не влиять, хз
Для рп надо минимум 16к, а лучше 32к. Особенно когда на русском рпшишь, там 300-500 токенов на сообщение. Как там тесловоды выживают вообще не понятно.
Для 16к подходит пока что только мистал немо. Тот же магнум только 8к может адекватно обрабатывать, пытался 16 делать но он уже начинал нести какую то чушь то на английском, то на украинском.
С 8 битным кэшем, какой контекст оптимален для RTX 3060 12GB? Допустим 7-9B модель с 32K поместится?
и что это за несвязная фигня? вместо реального диалога - на привет стена текста вываливается кое-как связанная с контекстом...ты бы лучше показал как оно сложные и запутанные реплики распознает
Хз, у меня кстати почему то контекст всегда в оперативку выгружается. Заметил эту фигню, когда глянул на диспетчер. Даже когда остаётся 2 гига свободной видеопамяти всегда в оперативку выгружается. Может кто знает как это исправить на кобольде?
>Как в KoboldCPP загрузить сплитнутую модель?
Указать первый фейл.
>>895050
Я на 8 остановился, классика же. Вот 4к это да, мало, но как только подвезли четвёрку с 8к, так сразу и зажил нормальной жизнью.
>и спойлеры
серьезно? есть люди которые не понимают инглиша? и всерьез рпшат с рандомными персонажами о которых даже не знают ничего?
>Как там тесловоды выживают вообще не понятно.
Тесловоды-то как раз прекрасно, меньше 16к не ставлю.
хз
"ты стоиш на мостике через пруд, в котором растут раноцветные кувшинки, и наслаждаешся красивым пейзажем. я плавно выезжаю из за поворота на розовом моноколесе, облепленом со всех сторон наклейками с зеленым пикачу, и медленно направляюсь в твою сторону в надежде на знакомство, но тут внезапно из леса выбегает накуренный медведь, отмахивающийся от пчел бензопилой и несется в твою сторону..."
как например такое переварит, и какие моменты утеряет
я тут нихуя не понял
есть гайды как это ваши llm развернуть в облаке так, чтоб платить за процессорное время (типа я не пишу ничего, она ничего не отвечает, значит и платить не надо)
куда нажать, скока стоит?
кто так делал или хоть видел гайды? у меня даже нагуглить нормально не получается (я тупой)
>обнови кобольд до последней версии (сейчас это 1.75.2)
Он у меня просто не работает, лол.
А вообще хз, как кумить в этом нормально. У меня воображение само работает охуенно слишком, еще до действа кончаю, лол.
https://www.runpod.io/pricing какой-нибудь береш, по идее должно быть по принципу запущен сервер копейка считается, остановлен - нет,
на матери только один сата разъем. И один pcie-шный для ссд, но такого у меня нет.
Поэтому пока так.
>>894836
покупаешь мать и карты, стягиваешь биос, правишь через AMIBCP и патчишь его, заливаешь назад - профит
смотри это >>894514
>Чем ты охлаждаешь свои 4 теслы аж до 23 градусов?
когда карты стоят без корпуса - конвекция помогает 10+ градусов скинуть. Вытаскивайте карты из корпусов. Про охлад в том же посте выше.
>>895045
она X79-H61. Я не знаю, к чему относится x79. Чипсет там судя по всему H61.
dmidecode берет инфу из биоса, а там этого тоже вроде не прописано, поэтому точно можно сказать только если смотреть маркировку чипа, а мне влом разбирать всё.
Ебать ты умный конечно. Вот что имперсонейт выдал оно само задирает ей юбку сундучок, я нипричём, товарищ майор.
Кстати, мне одному кажется, что оно уже лупится начинает? А ведь 123 миллиарда параметров...
>Кастую ядерное уничтожение, медведя аннигилирует Все, дело сделано, пошли
>домик на дереве...
напоминаю, у медведя бензопила...
>>895136
>вызываю подмогу стелс пихоты, медведь гатовит ачько
(так пожалуй более кумерская тема будет)
Рп же, покумить и 8к хватит. Но если хочешь что-нибудь интересное-увлекательно оформить, или чтобы кум еще был обусловлен сюжетом иначе не вставляет, то 16к - очень нужно и по сути минимум, плюс обмазывание суммарайзами и техниками.
> был плагин, который позволял внешний контекст здоровенный
Это для rag, совсем другое.
>>895036
> благодаря тому, что и сами модели тоже род тёмной магии
Чего? Вполне себе определенная штука, спекуляции про то что там "внутри черный ящик и из-за обилия операций невозможно отследить что происходит" - по другой теме, поведение более чем предсказуемо.
> думать, что вот подали мы модели контекст в должном порядке и на выходе получим ожидаемый результат
Именно так, а чем больше мусора и поломок тем хуже выход. В случае шифтов вообще странные возмущение и шиза, конечно оно будет ломать или давать другой результат. Нарушения от неверного сопоставления контекста можно сравнить с паразитным контекст стирингом, который ты не можешь контролировать. Но вот насколько это существенно, или же в обычных юскейсах скроется за рандомом семплеров - вопрос. Склоняюсь к тому что это треш, но доказательств ни одного, ни другого - нет. И наверняка, при верном использовании, из этого всего можно извлечь какие-то плюсы в других применениях, или оформить так чтобы не было совсем уж уебищно.
>>895069
> Тесловоды-то как раз прекрасно
Обработка контекста очень медленная, нормально только пока есть кэш и зеведомо недоступно ничего, что меняло бы промт где-то в начале.
>>895146
> напоминаю, у медведя бензопила...
В голос, топ
>напоминаю, у медведя бензопила...
Ты про отряд боевых пчёл забыл.
>>895136
>>895146
Ну вот, как всегда, ролеплеить с живым человеком всё ещё лучше, чем с крутейшей моделью, ибо 3,5 токена анона ценнее 500 от негронки.
>напоминаю, у медведя бензопила...
Но это не Штиль, а китайское говно, которое горит после 100 оборотов. Еще и цепь каловая.
>>895150
>Ты про отряд боевых пчёл забыл.
Пила горит, пчелы отъебывают от дыма.
>Ну вот, как всегда, ролеплеить с живым человеком всё ещё лучше
Пока у нейронки не будет структуры мозга человека, так и будет. Нейронки не могут в неожиданные повороты.
>Обработка контекста очень медленная, нормально только пока есть кэш и зеведомо недоступно ничего, что меняло бы промт где-то в начале.
Я тоже согласен, что лучше быть здоровым и богатым. Но пока так.
>>895086
>>895121
https://infermatic.ai/
для уродов вроде меня которые хотят просто расцензуренную сетку попробовать и поиграть в это все немного
>Пока у нейронки не будет структуры мозга человека, так и будет
База. Эх, мне никто так и не подарил А100 для опытов...
На окраинах НН и в его пригородах можно однушку купить неплохую. Или фуловую Ладу Весту. Не, лет через 5 дешевле будет это все удовольствие, может в облаке даже.
>>892325
подключил таверну, проверил как оно выглядит и насколько юзабельно. Для меня вполне. На видео я посреди генерации смотрю температуру на картах - держится примерно 60 градусов, это при кулерах работающих на максимум.
Я сижу прямо под выдувом этой тепловой пушки, зимой можно будет экономить на отоплении....
Сетка Mistral-Large-Instruct-2407-GGUF-Q5_k_M, как просил проверить >>894836
Чёт она мне какой-то Context и Consequences выплевывает - это очевидно особенность сетки. На мангуме такого не было.
>Не, лет через 5 дешевле будет
Схуяли? С текущей гейополитикой не факт, что текущее поколение не будет последним, лол.
>что текущее поколение не будет последним
Людей или нейронок? Или видюх в РФ? Следующая ультрагойда лет через 8 только, не парься. Успеешь накумить.
>Или видюх в РФ?
Видях вообще, во всём мире. По крайней мере на современных техпроцессах. А пердеть на 60 нанометрах ну такое себе.
magnum-12b v2 12b
Всё таки я немного переборщил с последним редактированием её личности, добавив туда *жестокая, мстительная, злопамятная, вспыльчивая, может ударить если злится."
А что будет? Выпил Тайваня? Не будет, пока не достроят заводы в Аризоне и еще-то где, а после этого США "дадут добро".
>пока не достроят заводы в Аризоне
Всё ещё зависят от ASML и прочей глобализации. А без глобализации 65нм это максимум, а в половине регионов будет вообще 180, а за остатки старой цивилизации будут ещё и бороться.
>ASML
Это Нидерланды, они на нужной стороне, "золотой лярд" без карт не останется точно.
>Это Нидерланды, они на нужной стороне
Они на противоположной стороне Земли если что. Пересечь океан уже не выйдет, USA останется наедине с Канадой и Мексикой.
>"золотой лярд"
В любом случае мы не в их числе.
>Пересечь океан уже не выйдет
Что? Как бы нет проблем в пересечении океана никаких с бородатых времен. А у стран, которые могли бы помешать - тупо не существует флота.
>В любом случае мы не в их числе.
Какие-нить объедки получим.
>Как бы нет проблем в пересечении океана
Потому что никто серьёзно не пытался мешать. Чел, поверь, мировые перевозки охуенно хрупкая вещь, и полетит первой.
Впрочем всё это политота, увы, думаю, мочух скоро это потрёт. Извините, больше не будем, мы не специально.
>Потому что никто серьёзно не пытался мешать
Потому, что никто и не может это сделать в принципе. Я про атлантику конкретно.
>больше не будем, мы не специально.
Это да. Лучше не надо.
Зачем? Просто растрата же, очевидно что рандомный васян с ограниченными знаниями но ахуительными идеями и аналогиями из других областей не сможет ничего полезного подарить миру. На примитивном уровне это все уже проверяли и приговорили как неэффективное, а для подвинутого уровня не хватит квалификации.
>>895188
Оверпрайс, немного добавить у же о H100 можно задуматься. Но не то чтобы есть смысл покупать когда цены на аренду такие, что хватит на 3 года непрерывной эксплуатации в составе сервера.
>>895194
Какой-нибудь уже наполненный чат чтобы хотябы 8к контекста было можешь запустить и посмотреть какие будут статы?
> какой-то Context и Consequences выплевывает
Тащит с системного промта или где-то формат поломался.
Мне увеличить/уменьлить количество слоёв ещё сильнее?
На какую скорость работы мне следует ориентироваться для рп?
>На примитивном уровне это все уже проверяли и приговорили как неэффективное
КАН тоже приговаривали, лол. Да и трансформеры выстрелили не сразу.
согласись, мой запрос прикольнее для теста чем просто привет, по крайней мере видна реакция на ситуацию вцелом и попытки анализа что происходит... на пчел чет никто внимания не обращает, хотя они едва ли не опаснее медведя...
> Альсо, я был неправ, думая, что pcie не роляют. Роляют блять.
Серго для ВП.mp4
Но вообще, должен был промпт вырасти, а не генерация, какой-то странный прикол. А промпт умер, наоборот.
>>894737
> Какое значение ты считаешь нормальным?
Ну, для обработки промпта, норма для проца это 80 токенов, норма для тесл п40 — 80-120, для соло теслы 120-160.
Для 4090 — 4000. =)
13 токенов это прям…
Прикинь контекст на 20к решит перечитать. Хоба и жди 20 минут до первого токена. =)
Ясное дело, что до такого может вообще не дойти. Будем надеяться.
>>894741
300 сотни на двух и более теслах — это я не уверен, что вообще достижимо.
>>894934
В русский лучший, но вот с рп… цензура, учти.
>>894948
Там даже 3b почти как все эти 8б-9б модельки. Проскакивает маленькость, но она старается.
>>895033
Вообще, я — да, например. И такое бывает.
>>895050
MMQ увеличивает скорость.
А еще с контекстшифта на флешаттеншн… но тут всем контекстшифт нравится, а фа не нравится… молчу-молчу.
>>895063
Ну, классика 32к, строго говоря… 8к это годовалой давности мистраль, наверное. =)
>>895149
> Обработка контекста очень медленная, нормально только пока есть кэш и зеведомо недоступно ничего, что меняло бы промт где-то в начале.
Ето так.
Так что, грузишь 32к, рпшишь до талого, вырубаешь. =D
>>895150
> ролеплеить с живым человеком всё ещё лучше, чем с крутейшей моделью
Ты девочка, да?
>>895219
> В любом случае мы не в их числе.
Э. Чой-то? Ну, сочувствую, если так.
———
Начинают выходить аблитерированные и расцензуренные квены.
https://www.reddit.com/r/LocalLLaMA/comments/1fmn0q4/found_an_uncensored_qwen25_32b/
Там еще ссылки.
Не проверял, просто сообщаю.
Сомнительно, но вдруг.
>Хоба и жди 20 минут до первого токена. =)
да, это хуйня. Такое есть. Но с этим ничего не сделать в случае 4-тесловой конфигурации.
А с чем ты сравниваешь? На каком конфиге сам гоняешь?
Чёт у тебя пиздец требования охуевшие. У тебя 4 штуки 4090? Или ты арендуешь?
>Ему каждый раз отправляют полный контекст, все он знает.
Нихуя он не знает. Он сравнивает простыню, чтобы найти изменения. А как ты их получил - ему неизвестно.
Так вот, бэк сравнивает простыню токен за токеном. И тут на сцену выходит кривой токенизатор лламы 3. Одна и та же строка может токенизироваться по-разному в двух последовательных ранах.
>Одна и та же строка может токенизироваться по-разному в двух последовательных ранах.
Схуяле? Максимум, что может произойти, это то, что модель высрет одни токены, а при токенизации посчитает иначе. И это однократная ситуация.
>И это однократная ситуация.
Ты с каждым сабмитом отправляешь простыню. Простыня токенизируется. Токенизация не постоянная. У того же убы были с этим проблемы, лол. Кобольдом не пользовался вообще, хуй знает, как там.
> увеличивает скорость
150 т/с на промпте надо в 20 раз увеличивать, а не на 20%.
>Токенизация не постоянная.
Ещё раз- схуяли? Она вполне себе детерминирована.
>У того же убы были с этим проблемы, лол
Я помню проблемы с токенизацией третьей лламы, и они носили совсем иной характер.
Вот бы еще модельку уровня Краке от Новел АИ, чтобы говно сурьезное писать с сюжетом.
>Кобольдом не пользовался вообще, хуй знает, как там.
Тоже есть. Разрабы как-то фиксят, но с некоторыми моделями может и не повезти.
Ох, наебал. Это ещё со второй лламы началось. Нет, токенизация не детерминированная.
>Я помню проблемы с токенизацией третьей лламы
Я итт пояснял за проблемы с регекспом.
>Единственное что: часто въебывает повествование за меня в сообщениях бота.
Бывает и в 123В. Не беда: или оно мне нравится, или затираю. Вообще не вижу в этом большой проблемы.
Он повторяет то, что я написал >>895272
>модель высрет одни токены, а при токенизации посчитает иначе
И всё.
>MMQ увеличивает скорость.
Только скорость обработки контекста. Rowsplit её наоборот замедляет, ну в сумме как-то справляются. Кстати с ровстплитом вроде есть такой прикол, что число карт ему нужно кратное двум.
>А еще с контекстшифта на флешаттеншн… но тут всем контекстшифт нравится, а фа не нравится… молчу-молчу.
Контекст шифт с ФА в лламе вполне совместимы. К счастью.
Да я тоже затираю. Но это как-то часто, раз в 5 сообщений примерно. Может я что-то не так делаю с форматом? Пишу вот так:
>условно действие условно фраза
Блядь. И теперь смотри у тебя есть две последовательности. Одну ты сохранил у себя. Вторая пришла извне. Ты их сравниваешь. Они одинаковые на самом деле. Но они не сходятся. Начинает доходить?
>Но они не сходятся.
И идёт пересчёт. Один раз. Далее в модель приходит текст, который токенизируется всегда во вторую последовательность. Вот и всё.
>Далее в модель приходит текст, который токенизируется всегда во вторую последовательность. Вот и всё.
А потом, через неопределённое количество последовательностей, в каком-то месте попадается такой неправильный токен и "всё" начинается снова. Вместо контекст шифта.
Tiger-Gemma-9B-v1a-Q5_K_M вполне влезает, но тупорылый просто пиздец, зато скорость печати у него дикая. Я бы в раза два с половиной или больше уменьшил её ради мозговитости.
Попробовал сейчас ещё Big-Tiger-Gemma-27B-v1c-Q4_K_M, но там слоупочность адская. Не понимаю, как найти баланс.
>в каком-то месте попадается такой неправильный токен
Да ёб твою мать. Все расхождения там только от этапа генерации vs просчёта. Максимум пересчитывается последнее сообщение нейронки. Всё, я закончил, если ты этого не можешь понять, то ты даун с ICQ улитки.
Это в "идеальном" мире, лол. Накинь сюда ещё багов и начинается лютый пиздец.
> Нет, токенизация не детерминированная.
Причём тут детерминированность. Если ты ещё раз тот выхлоп прогонишь - он не изменится. Просто один большой токен можно записать несколькими мелкими и модель иногда выплёвывает как раз мелкие, но токенизатор при энкодинге всегда выберет большой. Так литералли любой токенизатор работает.
>Аноны, были ли новые 70b рп модели? А то от старых уровень кума уже падает.
Ждём новый Qwen72B на Магнуме, хотя я сомневаюсь, что результат сможет переплюнуть Мистраль Ларж.
Тогда пестошь
А вообще тут нейронка новая не поможет тебе, если перекумил.
Даже ванильный квен2.5 72В уже ебёт Лардж. Лардж уже нахуй не нужен, особенно в русском.
>Какой-нибудь уже наполненный чат чтобы хотябы 8к контекста было можешь запустить и посмотреть какие будут статы?
на 7к контекста 2.5 т/с
Вероятно, с меньшими сетками должно быть получше.
>что-нибудь ещё?
Сейчас как раз народ зол на Хомяка, типа мало дали. Ну попробуй сыграть за такого хомяка. Типа ты убегаешь, а вокруг одни школьники-"криптоинвесторы". И каждый норовит тебя трахнуть...
Достаточно хардкорно?
>пестошь
хмммм. не знал о такой штуке.
Возможно имеет потенциал для кума.
>>895369
и чем это отличается от ванильного изнасилования?
Вообще сделай перерыв от кума. Ебани произведение какое-нить, уровня Стругацких. В принципе текст того же Обитаемого острова нейронка высрать сможет. Раз уж 70В запускаешь.
>и чем это отличается от ванильного изнасилования?
Ванильного изнасилования хомяка?
>Даже ванильный квен2.5 72В уже ебёт Лардж.
Разве что в объёме сои. Он у меня чуть ли не на саму карточку триггерится, и выдаёт кило нравоучений на любое действие.
>>895369
>народ зол на Хомяка, типа мало дали
Больше тапать надо было какие же люди ебланы, просто пиздец.
наверное лучшее что сейчас можно засунуть
https://huggingface.co/bartowski/Qwen2.5-14B_Uncencored_Instruct-GGUF
> Разве что в объёме сои.
Уже сто раз написали как избавится от неё. Её ни сколько не больше чем в лардже. Квен не лупится и инструкции выполняет на голову лучше мистраля.
> Мне увеличить/уменьлить количество слоёв ещё сильнее?
Что за железо, 3060 та?
Для начала воспользуйся мониторингом расхода врам отличным от диспетчера задач, из самых простых - gpu-z. Целься по слоям так, чтобы оставались незанятыми 200-500мб, учитывай что при накоплении контекста расход будет расти. Максимум скорости будет с максимумом слоев до начала выгрузки врам в рам.
>>895244
Ну типа в этих случаях авторы явно знали что делали и экспериментировали не просто орочьими технологиями а более точно, или же короме пруф-оф-концепт пока ничего не достигнуто.
>>895259
> рпшишь до талого, вырубаешь. =D
В коде таверны порыться или тех же скриптах. Там можно маппить посты как неактивные, соответственно заполнил контекст - суммарайзнул заблаговременно часть - отключил часть постов и снова имеешь приличный запас на накопление кэша. Или по наработкам с чай-треда сразу же после ответа суммарайзить сами посты, расход контекста меньше, лупов нет как явления, сетке проще работать, но могут пропадать мелкие детали и теряться эффект погружения.
Если идет рандом в глубине и мультизапросы то оно само по себе будет преестраивать, так что придется всеравно ждать, увы. Даже на экслламе это на грани разумного, нужно какое-то прорывное решение без ужасной расплаты. Вон у корпоратов даже на большие объемы у крупных сеток ожидание раза в 2-3 меньше, а пизденыши типа чмони на 90к уже через несколько секунд начинают стриминг, если там только текст без пикч.
>>895269
> Так вот, бэк сравнивает простыню токен за токеном.
Именно, и начиная с нестыковки начинает обрабатывать.
> Одна и та же строка может токенизироваться по-разному в двух последовательных ранах
Если код не макаронный то это учитывается. Собственно потому год назад на процессоре было вообще неюзабельно, а сейчас пока ты в кэше - можно как-то терпеть и он не сбивается каждый пост, даже в жоре.
>Уже сто раз написали как избавится от неё.
Да хоть 1000. Не помогает.
Остальные запускают 1,5B просто. А я ниже 70 уже давно ничего не кушаю.
Ну или запросы у людей ванильные.
Никто не хочет, чтобы онлайн-ассистент предложил клиенту за щеку вместо помощи.
Так... а если это то, что нужно клиенту? А зачем их бесплатно тогда выпускают в народ? Блочили бы спецом для клиентов. Или не обучали бы.
Там, вероятно, тейк про то что один и тот же текст можно токенизировать огромным количеством вариантов, и по дефолту вызов токенизатора выберет самый оптимальный, тогда как модель из-за семплинга или просто сама по себе использовать другой вариант. Но это учтено в лаунчерах и, обычно, сравнение проводится как раз в текстовом виде посимвольно, а не в токенах, так что ты прав и пересчет идет только для не совпадающих частей.
>>895368
О курва. Ну пофиг, надо пинать жору чтобы чинил.
Так я плотил, лол. В Новел АИ. Хотел еще в АИ Данжен, но когда я вернулся из армии, он скурвился, а до армии денег не было.
>Так я плотил
Ебать ты олень. Может ещё и за девушку в ресторане платишь?
Просто посмотрел документацию для таверны, термукса и охуел от того, что там уже никакая поддержка не ведётся и отвал жопы может быть.
Кто-нибудь из вас имеет опыт использования именно телефона? Ведь в этом же самая суть, чтобы в любой момент написать можно было.
ты чё, совсем хлебушек? Напиши своего бота для тг. Нейросеть тебе в помощь.
Я написал, да лень держать теслы 24/7 включенными - орут же.
В идеале мне нужно просто сделать так как это у антропиков работает, но если нельзя то в формате единого текста полотна с разделителями
>никакая поддержка не ведётся и отвал жопы может быть
Дожили. Не коммитили в проект 3 месяца, и всё, брошено.
>>895598
>префилл в ор
Что такое ор? А так вот настройка в инструкте, пиши туда свои мокрописи.
Никогда не юзал инструкт. Какие настройки там нужно ставить Гермесу? Какой у него вообще основной форматтинг? Ллама 3.1?
>Ор
Опенроутер же. Или где-то ещё есть Гермес?
>Гермесу
Смотри на странице модели.
>Опенроутер же
А, мимо, что и как работает в этом говне, я не знаю. Тред для локалкобояр если что.
https://github.com/Vali-98/ChatterUI
Как локально, так и по сети (убабуга, кобольд).
>>895263
Не, ну, я просто констатирую, как можно в идеале.
Сам-то я на теслах. =)
>>895269
> Одна и та же строка может токенизироваться по-разному в двух последовательных ранах.
Хрюкнув со смиху. Серьезно?
>>895299
> оно мне нравится
Так начиналась матрица.
>>895305
> Rowsplit её наоборот замедляет
Смотря где, на теслах на 40% ускоряет.
А вот насчет 2 карт не знал, нечетного у меня не было.
> Контекст шифт с ФА в лламе вполне совместимы. К счастью.
Вроде, в кобольде написано, или то, или это.
Но вообще хз, может и работает, тогда отлично. =)
>>895407
Законы государств. Буквально.
>>895416
Ор.
Так это и есть локалка. Ну если ты под "локалкогосподами" считаешь свиней которые жрут 13б слоп то пиздовал бы ты лучше нахуй отсюда в свои реддиты и контакты.
Нет ты иди нахуй, а впопенроутер это не локалка, это чужой ПК с локалкой.
>>895645 (OP)
ПЕРЕКАТ
>>895645 (OP)
>Сам-то я на теслах. =)
отгда откуда ты взял цифры по теслам? Из жопы своей вытащил?
>К3
Но это же все равно что пигма... Пиздец ты лоботомит чел, даже жалко немного с учётом того что ты попытался опровергнуть этим мое заявление.
Вы можете не проходить мимо этого поста и просто сделать лидерборд хотя бы из трёх сеток. Я сравню ваши ответы и что-то среднее можно будет выделить.