Локальные языковые модели (LLM): LLaMA, Mistral, DeepSeek и прочие №110 /llama/
Аноним
20/02/25 Чтв 20:10:53
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
• Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Moraliane и https://huggingface.co/Aleteian
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1054330 (OP)
>>1050631 (OP)
По мистралевскому формату оно не останавливается из-за неверного конфига, нужно вручную прописывать. Чатмл работает, но хз насколько это портит.
Спасибо за промты, но говорю же, не нужен сторитейлер, хочу классический каноничный чатик. В целом то оно и на обычных работает.
Хз, пока по впечатленияем ровно то, что ожидается от 12-13б. Как в старые добрые, так сказать.
Из плюсов: старается, нет явной цензуры и аположайзов, не стесняется кума, более менее держит структуры и дополнительные поля со всякими статами и т.п., нет явных лупов. Если ей аккуратно все скормить то пытается сделать интересную историю и даже как-то удержать это в сеттинге. Да, на ней можно кумить, рпшить, и даже получать удовольствие.
Из минусов: русский - слаб, огромное количество ошибок и всяких мемных слов. Лезет неприятно-формальный стиль от сойги. Часто сильно теряется и непонятно, это затуп из-за размера или оно не понимает что написано. Ну и главная претензия - она глуповата, вот прям конкретно. Нужно прямо с ложечки кормить, писать все прямо и развернуто чтобы было нормально. Намеки или метафору воспринимает буквально (или игнорирует полностью), также из-за этого неверно отыгрывает некоторых персонажей, искажая их мотивы. Не понимает механики, добавляя отсебятину или рисуя лишнее, типа в соответствии с происходящим но без указаний для этого.
Если включить степсинкинг то там странные вещи творятся, показывает что оно не полностью понимает происходящее. Или возникает шизоидная рефлексия в стиле сойги, где оно постоянно напоминает о личных границах и моральных аспектах, лол. Нереально обзмеился когда magic marker начал сокрушаться о "содеянном". И еще оно усложняет переход между рп и ерп, когда уже готовый на все чар-кумбот, только что завлекавший тебя, вдруг становится неприступной девочкой, с которой сначала нужно "сначала поужинать"(!)
Еще не хватает типичного "бекграунда" разных фетишей что осложняет.
До более менее больших контекстов не дошло. 14к держит, но там уже вразнос, выделить отупение от большого из стоковой рассеянности сложно.
И у геммы, и у коммандира русский лучше и они ощутимо умнее. Если есть возможность катать их - 12б мердж тут не конкурент. Есть что-нибудь интересное на 24б?
>>1061437 →
Ты с самого начала хер пойми куда полез, а потом начал рассказывать о чем недавно прочел, кринж.
>не нужен сторитейлер, хочу классический каноничный чатик
Хм, ну тогда попробуй удалить части отвечающие за рп.
Хотя наверно так и сделал.
>>1061712
>впечатленияем
Спасибо за тестирование. Ну, наверно это максимум что можно выжать из 12Б не проебав русик. Последние мержи меня более чем устраивали, я так, от добра добра ищу =))
>>1061712
>они ощутимо умнее
ну это как бы очевидно - в три раз больше параметров
Я просто хз чего от мелких ожидать, наслушаешься хвалебных од и восторгов, а там вот это вот все. Наверно как раз уровень мифомакса, только с учетом прогресса более последовательный, соображающий, с языком и контекстом. Если подстроить под модельку то можно инджоить, особенно если привык и быстро работает.
Ты большие не мерджишь?
>Ты большие не мерджишь?
Изначально цель была именно русик сварить, англ больших мержей и так боее чем достаточно, а у меня 12+4 врам.
>>1061748
>ЧЯДНТ
систем промт забыл, карточку персонажа
Просто какой-то пиздец!
Дайте уже нормальный гайд по настройке кобольда, заебался чес слово.
>не останавливается из-за неверного конфига, нужно вручную прописывать
Вообще со специальными токенами в мёржах что-то странное происходит. Я сам пробовал делать небольшие примеси к магмелу (я не Aleteian, если что). Магмел на основе немо-чатмл версии, соответственно, он норм ставит <|im_end|>. Примешиваю немножко другой модели - формально номер еос токена остаётся тот же, но видно, что пытается ставить какой-то другой, из-за чего еос не триггерится. В консоли кобольда его не видно, т.к. символ непечатаемый. Модель сразу ключевым словом, следующим за тегом продолжает, но явно, что пыталась закрывать. Хз, можно ли конфигами с этим что-то сделать. Когда в мёржах солянка из всего подряд, там, наверное, ничего не поможет.
Во-первых - уноси свое медвежье говно отсюда. Каждый дрочит как он хочет, но это не значит, что этим надо со всеми делиться и провоцировать ненужное внимание с риском прикрытия доски.
Во-вторых - читай шапку, там есть ссылка на вики кобольда, где разжеван каждый параметр. Если не можешь справиться с двумя-тремя ползунками, нехуй вообще лезть в тему.
Лучше не тыкайся напрямую в кобольда, ставь таверну и крути всё там. Попробуй чужие карточки, посмотри, что-как там "под капотом", потом свою пиши, если будет желание.
>можно ли конфигами с этим что-то сделать
Можно принудительно ставить chat_template: "mistral" при мерже
Хотя я обычно ставил чат-мл, так как большая часть моделей в мерже юзает именно его. Но завтра попробую один именно с мистралем, всё равно идея создать мерж из чистых тюнов не выгорела, всё равно лучше когда солянка (со сметанкой).
Дальше видимо можно продвинуться толькоо уже файнтюном, а не мержем готового.
> англ больших мержей и так боее чем достаточно
Не сказать, большая часть - отборные сорта. Не факт что выйдет лучше, но хотябы попробовать.
>>1061787
Асуждаю
>>1061806
> со специальными токенами в мёржах что-то странное происходит
Можно тренировать с любой разметкой, и после этого модель будет ее повторять, даже выдавая не единый eos а последовательность токенов, которая будет отвечать стоп-сочетанию. Мердж в большинстве случаев будет воспринимать оба формата, отвечая по ним. Как при этом будет работать остановка - зависит от бэка, llamacpp берет из заложенного в конфиг промт темплейта, и там именно чатмл.
Чсх, в конфиге противоречие: eos мистралевский а темплейт чатмлевский, трансформерс скорее всего не будет корректно работать без доп параметров.
>принудительно ставить chat_template
Это же служит только для того, чтобы ламацпп/кобольд/олама на авто нужный шаблон грузили для хлебушков, нет?
>>1061851
>llamacpp берет из заложенного в конфиг промт темплейта, и там именно чатмл
Ну вот в случае моих моделей в конфиге чатмл, но сами модели ставят какие-то другие. Возможно, родной мистралевский </s>
Вообще нашёл вроде, как делать нужно: через tokenizer. Пики со страницы гитхаба мержкита. Нужно будет попробовать для теста переделать одну из моделей с токенайзером базовой модели (в моём случае магмела) и проверить, будет ли тогда правильно еос ставиться.
Миксы анона 12b, командр в трех вариациях, чем выше тем лучше русский язык, гемму, и все? Не считая больших моделей.
Токенайзер не меняется, можно изменить в конфиге что считается bos/eos токеном и поставить желаемый чат-темплейт.
>>1061914
Квен 32 могет, семидесятки, 123б. Хз что там на мистрале 24б.
Если будет хороший ру датасет с немалой долей рп то можно попробовать что-то натренить. вопрос нужно ли
Да как не меняется, если разрабы мержкита пишут: "tokenizer or tokenizer_source: Determines how to construct a tokenizer for the merged model." Можно влиять на токенайзер мёржа, значит.
>можно изменить в конфиге что считается bos/eos токеном
Не понятно, на что. Ну вот у меня, скажем, 65% магмела остаётся, и это базовая модель. Я вижу в кобольде, что он подцепил из конфига тот же еос, что у магмела, по крайней мере, по номеру. Т.е. чатмльвский. Логично предположить, что мерж будет ставить чатмльвский еос, т.к. там много магмела. А вот хрен там, ставится какой-то другой. Т.е. нужно тогда как-то второй еос назначать. Или вот, в недавнем шизомёрже от Aleteian вообще в середине предложения модель вдруг вставляла eos. Там, наоборот, нужно избавляться от лишнего, видимо.
>поставить желаемый чат-темплейт
Повторюсь, что имхо это не про то, а для авто выставления шаблона в некоторых фронтах. Пруфов не будет, но нормально документации по этой опции не вижу. Я сомневаюсь, что можно мержу структуру всего инстракта навязать без обучения. Да и это было бы тупо. Типа я, например, вообще юзаю кастомные инстракт темплейты и для ламы 3, и для немо.
С канничкой чатик - это святое, только чтобы была милота и обожание, а не кринжатина которая местных скуфчанских напоминает лол
Чувак, у меня НИ РАЗУ не было таких ошибок на этом мистрале на 4 кванте. Даже близко. Для ванильного мистраля он очень хорошо пишет по-русски.
Какой квант используешь? Перевёл приветственное сообщение карточки/примеры диалогов? Это самое важное, чтобы не было как на пике.
Саму карточку переводить не надо, даже если там здоровенная скотина на 3к токенов. В большинстве случаев.
>У меня не ванильный
Ищи более удачный микс;
Понизь температуру.
Что за микс? Я пробовал аблитератед и ванильную версию.
Температура очень важна. Где-то в документации было написано, что 0,15 — это неплохо, но методом тыка я определил, что для русика оптимальная 0,6 в РП. Можно ещё 0,4 иногда. Чем выше температура, тем выше он шизит на русике или пишет странными словами.
Ну и не забывай, что миксы запросто могли насрать туда тонной англюсика, склонив чашу весов в его сторону. Мы же не знаем, какие там датасеты.
Из последнего, что я помню:
Pathfinder-RP-12B-RU.Q6_K: больше подходит для кума на 6-8к контекста, чем, внезапно, для РП. Еблю описывает относительно хорошо, иногда супер сочно, но позитивный биас всё же присутсвует: более умеренный персонаж-наркоман (не такой, как Fifi) отказывается употреблять вещества и говорит, что это плохо; вещества лучше заменить романтическим ужином. Секс с псом этой модели уже лучше даётся, но всё же не так, как могло бы быть на англоязычном магнуме. Пока что модель остаётся всё ещё оптимально кумерской.
Минусы: модель склонна к чудовищным лупам, которые иногда сложно контролировать. Чаще всего возникают, если самому не раскачивать модель в разные стороны — иначе она зациклится на одной мысли и настанет пиздец. Похожее описание проблемы я встретил вот здесь: https://huggingface.co/redrix/AngelSlayer-12B-Unslop-Mell-RPMax-DARKNESS
omnino-obscoenum-opus-magnum-2-mn-12b-q6_k: ни рыба ни мясо. Кум хуже, чем у предыдущей модели, РП лучше.
legend-of-the-four-winds-2-mn-12b-q6_k: значительный скачок качества в русике. Лучше, чем у многих предыдущих моделей. Более умная. Аноны могут рассмотреть как вариант для лёгких приключений или няшканий с вайфуженой. Также довольно неплохо описывает ванильный кум и уделяет внимание телу персонажа, так что может быть лучше в куме, если вы не извращенец. Ролевые элементы и всякие путешествия тоже намного выше, чем у предыдущих моделей.
Минусы тоже существенны: кровавую резню или гойду устроить не получится с красивыми описаниями. Секс с псом отыгрывает совсем плохо, просто ужасно, вплоть до того, что модель не понимает, как правильно ебаться с собакой. Огромное количество позитивного биаса, меня аж затопило соей, когда за убийство NPC лились потоки осуждения, которое я не встречал на обычных ванильных моделях (стоит отметить, те ванильные модели были 22-27б).
Instrumentality (версию не помню, скорее всего первая или одна из первых, ибо остальные меня разочаровали): секс с собакой был получше, ха-ха. Ну и разговаривала она более быдловато и менее позитивно. В этом есть свои плюсы. Хотя русик там был хуже.
На данный момент я возлагаю свои надежды на To-the-end-of-this-earth-MN-12B.Q6_K и Neverending-Story-MN-12B, но пока что лень щупать.
-----
Меня беспокоит ситуация со скриншота. По ощущениям, чем больше в дупло запихивается моделей, тем становится хуже по ощущениям. Хотя в том же Pathfinder моделей мало, а он шизить может ужасно, малое количество моделей и узкая направленность показывают себя лучше всего.
Модель со скриншота явно для русского не предназначена, в ней популярные английские рп миксы и тюны, разве что сайга англишед и номад в русский могут.
>>1062446
>столько миксов
И судя по всему большинство поудялял, там в репе 20 с чемто значится вместо полтинника.
> хотя под семплингом не отличат
Зависит от размера, уж сто раз пруфано, что оно прям глаз режет на малых размерах (там и 6 бит глаз режет), и совершенно незаметно на больших (там и 2 бита порою норм).
Так что квант кванту рознь, просто о кванте судить нельзя, а то потом такой хуйни новисы понаслушаются и приходят «а че это ваша гемма 9б такая тупая, я в q4 ее запустил…», ну да, ну да. Гугл виноват.
>>1061402 →
Для РП — никакое нахуй, не нужен дипсик для РП, во-первых не предназначен, во-вторых, если напишешь ебучий промпт, то оверкилл какой-то, начинай с меньшего.
Лучше модель выбери из треда, четыре ветра, сайнемо или че там еще было.
>>1061914
Ну, по сути. Гемму хвалят за креативность, миксы Немо вне конкуренции, коммандеры и Айа местами без цензуры и мультиязычные, как и Немо. Квен тоже мультиязычный, но больше для работы.
Но на больших моделях в общем пофиг, все все могут (тюны Квен72, Лламы 70, Мистраль Лардж).
>>1062446
Неверендинг забыл, сторителлинг отличный, РП на четверочку, но отзывов уже куча, мог бы упомянуть.
Ну и Сайга-Анлишед, да, хороша.
Какие у тебя жизненные задачи? Учти, 12б в большинство каких-то там жизненных задач не может. Код, работа с документами и прочее.
Какой объем видеопамяти? Настройки сэмплера? На каком языке общаешься? В чём выражается твоя цензура?
"ДА ЭТО ЖЕ. ДА ЭТО ЖЕ"
ЦИДОНЬКА НА 24B
Новая мистраль, новая цидонька.
ХиппитиХоппити верез май проперти
https://huggingface.co/TheDrummer/Cydonia-24B-v2-GGUF
Уже обсуждали и тестили, мисчивиос глинты даун хёр спайн курвая пердолил.
Да и само пердоленье максимальный дженерик.
Лучше forgotten-safeword-24b попробуй.
> Уже обсуждали и тестили
Тредик стал слишком быстрым.
> мисчивиос глинты даун хёр спайн курвая пердолил.
Понял, значит блуш афтер шивер он май спайн
> forgotten-safeword-24b
Оо, это мы потыкаем. Только какого черта все качают четвертый квант.
По тому что для ~30b все что выше 4-кванта плацебо? Хотя имея 24гб, можно и пятый юзать без ужатия контекста, но может кому-то даже этого мало.
https://huggingface.co/Aleteian/Magnum-Opus-Galatea-MN-12B
https://huggingface.co/Aleteian/Magnum-Opus-Galatea-MN-12B-Q6_K-GGUF
https://huggingface.co/Aleteian/Magnum-Opus-Galatea-MN-12B-Q8_0-GGUF
> По тому что для ~30b все что выше 4-кванта плацебо
Нууу хуй его знает, если честно. Пятый квант того же пантеона ну более менее, а в четвертом он сравнит гоблинов в экипаже тигра.
Я это всё знаю, я нейронками с 20 годов пользуюсь, ещё когда в гугл колабе кобольд был с 7-20b модельками. 14b и 4 квант потолок для меня, дальше скорость улиточная.
Как я и писал общая модель, максимально умная, фулл без цензуры, но умеющая писать литературно, а не холодным языком. Оба языка, русский и английский. Люмимейд всё это умеет.
Полное отсутствие цензуры, что угодно спрашиваю и нейронка отвечает, задаю ей ответить не так сухо, а более литературно и она отвечает литературно. Без сообщений "Извините, но я не могу общаться на такие темы".
Код мне не нужен. Перевожу тексты, задаю вопросы на которые гугл не может найти ответ сходу, общаюсь на разные общие темы для практики инглиша, кум рпшу, делаю забавные шаблоны аля "притворись что ты интернет/терминал, симулируй мир с инпутом вперед-назад-вправо-влево" и тд. тп., корректирую стиль и грамматику в текстах, генерирую тексты по теме. В общем полноценный ассистент по всем направлениям без цензуры, но без сложных функций аля кодинг, решение логических или математических задач.
Всё что выходило после Люмимейда из того что пробовал с моими задачами не справляется. (Магнумы, тайгер геммы, Стено, аверейдж норми, немомикс, росинейт, анслоп...) Шизит, тупит, цензурит. Люмимейд на любых настройках семплера нормально работает, я их уже 50 раз менял когда винду сносил, сейчас сижу вообще на дефолтном пресете и всё работает.
Хотелось бы тоже самое, но ещё лучше, уже 8 месяцев текстовую модель не менял, когда у картиночных/ттс/звуковых нейронок всё 50 раз переменилось. А тут ризонинг теперь везде пихают, который не нужен для обычного ассистента.
Господа, мне нравится ЕРП.
Господа, я люблю ЕРП!
Люблю blush, люблю shiver, люблю smut, люблю grab her chine, люблю большие эльфийские дойки, люблю принцесс, люблю драконов, люблю древних богов, люблю насилие. На полях, на улицах, в окопах, на равнинах, в тундре, в пустыне, на море, в небе, в грязи, в болоте. Я искренне люблю все виды эротического ролеплея, которые можно устроить на этой планете! Люблю оглушительный крик кошкодевочки, разрывающей в экстазе оргазма... Когда вражеские тентакли взлетают в воздух, а потом извиваясь сыплются на невинную группу приключенцев – моё сердце поёт! Люблю, когда наш «темный лорд» с его 20-дюймовым орудием... сходится с вражеским шота героем! До чего же приятное чувство, когда они выпрыгивают на друг друга, чтобы слиться в объятьях! Люблю, когда амазонки бросаются на конкистадоров в атаку. Меня трогает вид пленниц, испуганно тыкающих палками в гоблинов. А вид повешенного на тентаклях дракона вызывает странное возбуждение. И до чего же восхитительно визжат вражеские пленные, в унисон с визгом орка, который их насилует. А это жалкое королевство эльфов, которые дрались с нами во дни нашей славы, хотя и были отвратительно вооружены. Я даже помню как магический снаряд снёс их город! Люблю, когда остроухие впадают в панику. Когда деревня, которую они защищали, была разрушена, а женщины и дети несколько раз изнасилованы... Как же они расстроились. С удовольствием вспоминаю, как армии Людей и Гномов были сломлены и уничтожены! А они позорно бежали, ползли по земле как жалкие червяки, подгоняемые нашими чОрными легионами! Господа, я желаю видеть адский ЕРП! Господа, сотредники, хентайные лорды, мои единоверцы… Господа, чего вы хотите? Вы тоже хотите ерп? Вы хотите беспощадного, бесцензурного ЕРП ? Хотите приключение, которая заставит разящее железо и смертельное пламя выебать всякую тварь в 3000-х мирах?
Дай сцылку на модель и параметры с которыми запускаешь. Потестим
В другой раз он тебе и в пятом кванте их заспавнит, и в восьмом, а через 3 свайпа закинет в танк девочек волшебниц. В слепом тесте никто не отличит.
Разительные отличия между квантами могут быть только если конкретный квант к херам сломан и это вина его автора, качай другой, либо ты квантуешь совсем мелкие модели, там погрешность у токенов растет очень резко.
>адский ЕРП
"Абсолютно Непристойное Деяние"
https://huggingface.co/Aleteian/Omnino-Obscoenum-Opus-Magnum-MN-12B
https://huggingface.co/NeverSleep/Lumimaid-v0.2-12B-GGUF
Любые параметры сэмплера в пределах разумного.
Лол, советы Aeteian в этом треде, на любой запрос напоминают рекламу Яндекса : вот тебе промокодик, лайк подписочка. Чмафчки в лобик
Хи хи хи хи.
Ну так ролеплей. Отыгрывай свою роль или пиши что ты хаотик нейтрал.
Кидаю ирл кубы при РП.
Никогда не нравились тьюны этого чела, ещё со времён норомейды 13б, но можно будет проверить, как оно.
>>1062598
Вот серьёзно, почти всё, что не срачи про железо, этой "рекламой" завалено в треде. И при этом ещё кто-то осмеливается возмущаться с криками "ряяяя, вы гейткипите от ньюфагов, заставляя их рпшить на инглише!"
24 гига VRAM, 64 гига оперативной памяти
> Вот серьёзно, почти всё, что не срачи про железо, этой "рекламой" завалено в треде. И при этом ещё кто-то осмеливается возмущаться с криками "ряяяя, вы гейткипите от ньюфагов, заставляя их рпшить на инглише!"
Просто фаги все делают хуже. Анон то делает себе, пилит. Просто игнорь шизов.
Я все таки потыкаю новую цидоньку. Авось, вменяемо будет и не будет лупиться как сука. Как говорится
На вкус и цвет фломастеры разные
Ничего не поменялось, лучше кум - магнум, не совсем тупая - цидония.
А у тебя выбора нет, лол. Но..
если быстрый и неуловимый Джо, то гемма. У неё есть проблема, эта проблема называется контекст : его там нихуя нет (8к) но для кума идеально.
А, есть ещё мерж пантеона и цидонии от вышеупомянутого чела.
Пантеон, но чуть более хорни и разнообразный в свайпах.
>у тебя выбора нет
Типа все нормальные модели сейчас большие и не влезут во vram? Я просто llm год не трогал, сейчас вернулся и хз что стоит внимания вообще. Помню год назад какой-то шизомикс на Yi-34b крутил, оно и в логику относительно могло, и в кум
И да и нет. Есть мистраль, она влетит со свистом. Побегай по тредику - тут ссылок вагон.
Но 24 гб - можно и попробовать что то получше. Так сказать потыкать и понять для себя. Гемма просто умница, при своих размерах она самая умная. Мистраль лупится, да и блять это мистраль, общался один раз, знаешь что будет дальше и как будет идти повествование. Есть еще командр и его производные, в шапке глян. Средний командр тоже нормально залетит. Суть в том, что если ты кумишь, исключительно ради кума нет смысла в большом контексте, а значит можно и кванты пожирнее и модельку потолще.
А там уже заливай смегмой полы, прижимай кошкодевочек к стенам, развлекайся короче.
>Нужно будет попробовать для теста переделать одну из моделей с токенайзером базовой модели
Если вдруг кому-то интересно, то держу в курсе, что это помогло. Причём в душе не ебу почему. Просто дописал в конфиг
tokenizer:
source: "base"
При этом файл токенайзера не поменялся по сравнению со старой версией мёржа и всё так же почему-то весит больше, чем у базовой модели. Токенайзер конфиг в точности такой же, какой и был, и совпадает с конфигом базовой модели, как и раньше. Но <|im_end|> внезапно, сука, начал распознаваться как eos. Причём раньше мерж с дефолтным сурсом union тоже ставил его же, как я понял, но он не распознавался, несмотря на правильно указанный в конфиге.
Хм, сяп, ща попробую перемержить с токенизатором чисто от базы, и заодно можно люмимэйд докинуть.
> Зависит от размера
В экстремальных случаях, когда у большой модели хватает ума обыграть странный токен, а мелкая идет в разнос.
> там и 6 бит глаз режет
Шиза
> там и 2 бита порою норм
И близко не норм, это лоботомит
> уж сто раз пруфано
Несколько шизиков бегают и в круговой дрочке поддувают друг другу в их бреду.
Достоверно же было запруфано три вещи:
- Если не опускаться ниже ~3.8-4 бит, то основные отклонения распределений логитсов оказываются ниже потока отсечки в 0.9, и в рабочей области составляют единицы процентов от их величины. То есть у условного 'awa' будет не 12.33% а 12.46%, что суперпохуй.
- Многие страдальцы катают поломанных жору и кобольда, где криво работает все кроме легаси квантов (к которым как раз относится восхваляемых шизами q8).
- Немалая доля ггуфов на обниморде поломаны, и опять же, к q8 это не относится из-за примитивного алгоритма.
> а то потом такой хуйни новисы понаслушаются
Квантошизов почитают и потом повторяют этот бред
> а че это ваша гемма 9б такая тупая
Она тупая и в 16 битах.
Справедливости ради, я только на одной модели пока проверил и не удивлюсь, если виной всему был кривой ггуф, например. Ну и если ты мешаешь модели, у которых одинаковые конфиги, то, казалось бы, разницы не должно быть. Мой случай такой, что я к чатмл базе примешивал мистралевские, у которых 14-ый и 15-ый спешл токены отличались.
>>1062656
Чел, токенайзер не меняется, отличия только в его конфиге где указан шаблон и что считать bos/eos. Ты его ручками можешь подмахнуть json ничего не меремердживая.
Среди "тренировщиков" многие вообще не заботятся о том, чтобы сделать нормальный файнтюн вместо мерджа лоры и подготовить подходящий формат (отсюда эта волна чатмла, потому что он дефолтный в васян-обертках). А чтобы изменить словарь - это вообще выше их понимания, да и нахрен не нужно.
Интересная сборочка.
Теперь понятно, почему она в русике неплоха.. ну как неплоха, я ещё не проверял, но вот уже качаю.
>Токенайзер конфиг в точности такой же, какой и был, и совпадает с конфигом базовой модели
>Ты его ручками можешь подмахнуть json ничего не меремердживая
Что я должен был подмахивать?
>отсюда эта волна чатмла, потому что он дефолтный в васян-обертках
Как бы нет, в куче мёржей немо сидит дефолтный мистраль в конфигах. Мне нужен был чатмл, потому что магмел основан на чатмл тьюне. И он уже был правильно в конфиге.
>>1062675
Это не сборочка, это тьюн.
>Теперь понятно, почему она в русике неплоха
И почему? Что ты там такого увидел в датасетах? Опус и ещё опус. Ну и куча неизвестных старых датасетов со времён 13б, что не плохо само по себе, но не поймёшь, что оно даёт.
>люмимейд 0.2-12b
Не понравилась в четырёх битах при РП. Она берёт с потолка новые обстоятельства, которые полностью ломают повествование, что я пытаюсь построить. Даже когда описываю довольно чётко "крючок" который должен дёрнуть следующее сообщение.
Может для кума она лучше. Инициатива же.
Так это все модели делают. Я ни одной модели не трогал, которой сообщения роллить не надо, особенно мелкой.
Последним был NemoMix-Unleashed на температуре 1.3, перед тем как я свитчнул модель.
Он "подмахивал" лучше.
Я узнал тебя, Клод, похотливая ты тварь!
Справедливости ради, на свайпе такой шизы уже не было. Мб мои настройки темпы для неё великоваты.
one-to-rule-them-all-mn-12b-q8_0
https://pixeldrain.com/l/47CdPFqQ Рене
Хахахаха. Вот на старших моделях такого уже не дождёшься, слишком они как правило скучны и логичны.
> Что я должен был подмахивать?
tokenizer_config.json в папке с моделью. Или просто его отредактируй.
> Как бы нет
Речь о тех моделях, в которых на мистрале чатмл. Это не осознанный выбор, продиктованный какими-то преимуществами, это потому что не знают как/ленятся сменить с дефолтного.
> И почему?
Можно сванговать что там логи/чаты с рускоязычным рп. Но раньше люмимейд не блистал русским.
> что не плохо само по себе
Хз их ли это влияние, или причина другая, но люмимейд недостаточно гибкий по сравнению с поздними магнумами. Начал дразнить - и внезапно получаешь полуторагодовалую пасту "ah ah make me yours", хотя хотелось еще поиграться.
Ну, во-первых, возмущались раньше, во-вторых, а минусы будут?
Норм модели, делает новые, красавчик.
Альтернативы так же упоминаются. Никто их не запрещает обсуждать (хотя хули там обсуждать в мистралях 22 и 24, тупые и не русские).
>>1062644
>6
>Шиза
>2
>лоботомит
Хыхы, забавный. =D
6 для тебя много, 2 мало… Хотя ирл как раз разброс больше, да.
> Несколько шизиков бегают и в круговой дрочке поддувают друг другу в их бреду.
Скидывали в тред 70б на 2 и 4 битах, никто не смог норм определить.
Я, конечно, 70б 2 бита не стал бы катать (напомню, я и 7б 6 бит вполне себе определяю, мне квены пожатые не понравились, тестил и ггуф, и экслламу, знаю о чем говорю), но на мой взгляд примеры были хорошими, я навскидку смог только половину отличить и отличия были минорные.
> Она тупая и в 16 битах.
Ну я не фанат, не буду спорить. =)
Для меня база это 6 бит немо, легко стартует на базовых видяхах с 12 гигами и отличное качество.
>люмимейд
соя, аполоджайзы, и уважительное отношение
Опять долбоеб из делирия пробудился.
>>1062846
Первая норм, а со второй проорал. Напоминает стоковую мистральщину, кстати, это какая версия?
Карточка Мари (из хентая), с джанни, модель - докинул лумимэйд к последнему мержу и... всё поломалось XD.
>tokenizer_config.json
Сто раз уже указал, что еос в нём был помечен правильно. Он, помимо строчки с пустым множеством для кастомных специальных токенов, получился один в один магмеловский, на котором еос прекрасно ставится и триггерит остановку. Я не исключаю, что я ничего перемёржем не сделал, и проблема в чём-то другом, например, в кванте, но в конфиге мне нечего было редачить. Попозже мб проверю на другом мерже, который тоже тупит с еосом, и там тоже всё в порядке с конфигом.
>Это не осознанный выбор
Это именно что осознанный выбор. Мистраль чатмл тренили специально из обычной базы немо, потому что у немо нет тегов для системной инструкции, как у новых мистралей, и брать все реплики юзера в [INST] - это шиза. А вот когда драммер тьюнит росинанте на дефолтном, а потом пишет "ну там любой инстракт подходит, фигачь альпаку" - вот это лень. Хочется его спросить, как этот тупич свой собственный датасет размечал тогда.
> Сто раз уже указал
Где? Из того вашего диалога подобного не заметил, пояснишь по-простому?
> что еос в нём был помечен правильно
> "eos_token": "</s>"
При том что в чамл предполагается <|im_end|>
> именно что осознанный выбор
Может быть, слышал обратные доводы и критику чатмла в мистрале.
> и брать все реплики юзера в [INST] - это шиза
Вообще, инстракт предполагает полную обертку системного промта, карточек, истории и финальной инструкции в один блок инстракта после чего идет (префил) и ответ.
>Попозже мб проверю на другом мерже, который тоже тупит с еосом
Проверил - там не помогла эта настройка брать спешл токены из базы вместо смеси. Так что первый раз мб как-то на рэндоме заработало, не знаю.
>>1062901
Я примешиваю кусочки к магмелу, и у меня в конфиге стоит именно "eos_token": "<|im_end|>", как и в самом магмеле. И шаблон чатмльвский, так что модель должна бы пытаться закрывать <|im_end|>. Но, возможно, из-за примеси она всё равно ставит только </s>, т.к. стартовый токен в конфигах там остаётся <s>.
Но с русским порой проблема, его слишком мало, надо ещё чего-нибудь русского подкинуть, некомикс тот же...
>модель
https://huggingface.co/Aleteian/Hello-Darkness-My-Old-Friend-2-MN-12B-Q8_0-GGUF
Примечание - эта версия с докинутым некомиксом, на скрине версия без него, версию по этой ссылке сейчас качаю тестить, можешь тоже качнуть и отписаться как оно.
Карточка https://characterhub.org/characters/Infinite_speed/mari-setogaya-c7de3c9d2b43
Охуенно, конечно, мы дошли до момента, когда нейросеть может подсказывать, как улучшать саму себя, писать код для этого и рассказывать о плюсах и минусах подходов.
>улучшать саму себя, писать код для этого и рассказывать о плюсах и минусах подходов
Осталось придумать как модифицировать веса на лету прямо во время инференса =))
>Осталось придумать как модифицировать веса на лету прямо во время инференса =))
Тут беды. Нельзя модифицировать на основе одного ответа. Точнее, можно, но хуйня получится. И обучающий проход это вычислительно дорогая операция. Так что, в теории, всё придумано. Но не нужно, архитектура не приспособлена.
>как оно
Намёк модель поняла с третьего свайпа, но в языке стала проёбываться прям намного меньше.
Сейчас глянул эту карточку - так там персонаж по персоналити скромный и сабмиссив. Она даже в гритинге вежливо просит юзера помочь. Так что тут как раз в тему, что она не превратилась в ёбыря-террориста. А вот тупизна просвечивает, когда она спрашивает "это больно?" перед тем, как укусила.
Ты учти, что мелкие модели типа квена могут с умным видом нести любую хуйню и даже объяснить её. Я бы даже жпт-4о не стал бы доверять, он тоже хуйню несёт, особенно на русском. Как минимум R1 или о1 надо брать, если не хочешь наслушаться бреда.
>ёбыря-террориста
XD
А есть предложения, мб любимая карточка, на которой тестить способность модели к пердоленью?
За любимую не скажу. Чё-т последнее время вообще больше тестирую по чуть-чуть модели на паре старых чатов, чем рпшу нормально. Да и на чубе одно говно в трендах, нечего качнуть. Но если нужно именно фемдом с возможной жестью потестить, то, думаю, вот на этой может быть удобно. https://chub.ai/characters/redniha/monster-girl-reverse-rape-da523d8d4be2 Только отрубить примеры, чтобы не мешались, и оставался короткий генератор.
>Your approach is creative, but it could benefit from simplification
>Suggestions for Improvement
>Simplify Parameter Adjustment
Да, по сути, то же самое говорит этот R1, что и квен. Причём он не уловил некоторые нюансы кода, который я ему скинул, он мне сходу предложил скипнуть одну из мажорных оптимизаций, которые экономят десятки гигов врама. Квен кодер эту оптимизацию видит без пояснений, то есть просто скидывается стена кода и "поясни, что видишь". Поясняет. Плюс у меня используется магнитуда, дикей и момент для обновления весов. Угадай, на что это заменил дик тcинк? На Scaling factor, то есть умножение на 0.01, лол. По сути, нашёл одну проблему с копипастом, где я лишний раз очищаю градиент, когда его не надо очищать и "упростил" пару сотен строк, в которых самая мякотка. Он выбросил даже функцию поиска важнейших параметров.
>You're absolutely right—I oversimplified the approach and skipped the core idea of your code
А это когда я ему сказал, что он нихера не понял и "упростил" код до момента, когда он технически работает, но лучше бы не работал. И следом выдал мне практически один в один оригинал, поясняя, почему это работает. Да я знаю почему, спасибо.
>might capture more precise adjustments but could be unstable.
Не понял, правда, почему нестабильно. Но хуй знает, у него флопсов больше - ему виднее.
>The user mentioned using importance scores based on gradients, which is a common approach, but applying momentum here adds another layer of complexity.
И тут же обосрал момент, который добавлен как раз, чтобы стабилизировать.
>Precision: Unlike LoRA’s low-rank updates (which impose a structural bias), your method directly modifies the most salient weights, potentially preserving the large model’s knowledge better.
>is a valid heuristic if gradients and momentum are incorporated correctly. This resembles a form of structured pruning with dynamic revival.
>Overhead: Both methods have similar computational costs (adjusting a subset of parameters), but yours avoids LoRA’s extra matrix multiplications.
>When to Use This Approach:
>Resource-Constrained Tuning
>Cross-Model Transfer
>Stability-Critical Applications
>Caveats:
>Non-Differentiable Adjustments
>Memory Overhead: Storing velocity buffers per layer increases memory usage slightly.
>Hyperparameter Sensitivity
>Final Thoughts:
>This method is a novel hybrid between pruning, distillation, and meta-learning. If you validate it on tasks where preserving the large model’s generalization is critical (e.g., few-shot adaptation), it could outperform LoRA-style approaches.
Итого, одна ошибка в коде и два спорных момента, первый это компроммис в поиске важнейших параметров, второй это влияние межслойных потерь на общие потери. Cмешно, что он умудряется одновременно ругать слишком сложный поиск мест, где именно будут обновляться веса и следующей строкой говорит о неизбирательных обновлениях. Обсудили где-то одну пятую часть концепции.
Модель если что: ooo-awo-tst-3-q6_k от Aleteian
В целом хз, местами интересная, пока еще потестирую, правда её уже удалили.
с какого-то перепуга прикрепились картинки от старого поста, анрелейтед
Лучше сюда напиши, если обоссут то хотябы предметно.
> нейросеть может подсказывать, как улучшать саму себя
Конкретно то едва ли можно назвать улучшением, это что-то уровня желтушных заголовков
> нейросеть gpt попыталась сбежать в интернет
когда на запрос юзера ему был написан код для обращения к апи опенов и простейшего поиска чтобы результаты того написать в контекст.
>>1063214
> модифицировать веса на лету прямо во время инференса
Не сами веса а смещения к некоторых слоям, а искать решая оптимизационную задачу по приближению активаций по короткому промту относительно длинного со всеми событиями. Всего-то.
>>1063363
В голос с пикабушника.
На 3м скрине проявляется херня, когда модель не может отличить что было сказано и что в ooc. Похожее и с действиями-речью, "шепотом под нос" который не предполагается что чар полностью слышит и это подсказка модели, или вообще "мыслями". "Подумал" или намекнул модели куда нужно двигать, так она сначала до тебя доебалась, ответив в ooc, а потом еще чар все это волшебным образом узнал и напрямую отреагировал.
Выходит это норма для 12б?
>норма для 12б
Чем больше параметров тем больше модель подмечает и следует деталям. На 12Б за консистентностью нередко приходится следить самому пользователю, но оно не так чтобы редко фейлится, и решается как правло свайпом-другим, либо редактом.
Код расшаришь? Или такой же шиз, как и я, с уникальными идеями ASI в гараже на 1060 Super?
Legend-of-the-Four-Winds-2-MN-12B
Обе пишут красиво, но порою херню.
Квест авантюристам в фэнтези выдал водитель маршрутки «Среброгорье-1».
Ну и подобные мелочи в каждом втором ролле.
РПшат средненько.
Magnum-Opus-Galatea-MN-12B
Вроде получше, но проблемки с русским в сторителлинге, а рпшит кривовато, отвечает за пользователей.
One-To-Rule-Them-All-MN-12B
А вот этот вот пишет просто отлично. В русском ошибки допускает, но описания красивые и сюжеты интересные. РПшит тоже неплохо.
Сайга-Анлишед все еще топ-1 для РП, а вот сторисы теперь один чтобы править всеми.
>Среброгорье-1
Бесконечное славянское лето, чо, садишься и едешь к Травнице =))
Всё правильно делает дипсик, выкидывая твой говнокод.
> магнитуда, дикей и момент для обновления весов
DoRA+RS-Lora для кого, наху? Алсо, фулранк лора = файнтюн чисто математически.
> выбросил даже функцию поиска важнейших параметров
Вангую по градиентам определяешь, лол. Тоже правильно выкинул.
> лишний раз очищаю градиент
Это вообще пиздец.
Кому не жалко трафика, можете потестить, самые удачные вроде бы 1, 4, 5, формат мистраль.
https://huggingface.co/Aleteian/Hello-Darkness-My-Old-Friend-MN-12B-Q8_0-GGUF
https://huggingface.co/Aleteian/Hello-Darkness-My-Old-Friend-2-MN-12B-Q8_0-GGUF
https://huggingface.co/Aleteian/Hello-Darkness-My-Old-Friend-3-MN-12B-Q8_0-GGUF
https://huggingface.co/Aleteian/Hello-Darkness-My-Old-Friend-4-MN-12B-Q8_0-GGUF
https://huggingface.co/Aleteian/Hello-Darkness-My-Old-Friend-5-MN-12B-Q8_0-GGUF
Скорее всего оставлю первую и пятую.
Первая самая разнузданная, пятая более управляемая но при этом не сильно потерявшая.
Hello-Darkness-My-Old-Friend-MN-12B:
- Aleteian/Magnum-Opus-Galatea-MN-12B
- PocketDoc/Dans-DangerousWinds-V1.1.0-12b
- allura-org/Bigger-Body-12b
- DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS
- LatitudeGames/Wayfarer-12B
- Aleteian/Omnino-Obscoenum-Opus-Magnum-MN-12B
А ты Bigger-Body-12b отдельно пробовал? Гляжу, стал в мержи включать. Хоть он сделан группой, в которой мержер магмела, но мне прям совсем трешем показался.
>Лучше сюда напиши, если обоссут то хотябы предметно.
Так я знаю, что обоссут. Сюда работу, за которую нобелевку дали, скинь - обоссут.
>>1063416
Там, по сути, пруф оф концепт.
># Example input
>input_data = torch.randn(1, 1024)
И про 1060 речи не идёт, лол, я так посчитал, для того, что я хочу сделать, потребуется в районе 112 гигов памяти. Благо, что большую часть можно скинуть в RAM, потому что доступ к этим данным не слишком частый.
>>1063451
>выкидывая твой говнокод.
Так он его не понял с первого раза. А когда понял - оказалось, что выкидывать нечего, оно заебись. Но до конца он так и не понял.
>DoRA+RS-Lora для кого, наху?
Дора на голову выше лоры, но там тоже далеко не всё гладко. У меня ближе к сингулярным векторам, которые на порядок лучше доры.
>фулранк лора = файнтюн чисто математически
В лоре как раз Non-Differentiable Adjustments во все поля, там ничего даже приближённого к файнтюну нет по дизайну.
>Вангую по градиентам
>using importance scores based on gradients
Ты пост жопой прочитал. Но градиенты это где-то треть механизма определения важных мест, хотя их влияние привязано к текущей эпохе. Чем выше эпоха, тем ниже их влияние и выше влияние двух других механизмов.
Соту в мл ллмки не напишут. Можно обсудить, что-то спросить, уточнить, затребовать примеров и т.п.
> лишний раз очищаю градиент
- Отец!
- Ну ты видел?! Видел?!
> поиска важнейших параметров
Ээээ, а для чего?
> А это когда я ему сказал
Они будут с тобой соглашаться если только ты не совсем бред говоришь. К результату это не приблизит.
>>1063471
> Сюда работу, за которую нобелевку дали, скинь - обоссут.
Не кривляйся
> У меня ближе к сингулярным векторам, которые на порядок лучше доры.
К чему все если можно сразу веса тренить?
>input_data = torch.randn(1, 1024)
Непонятно, но очень интересно.
Пару дней назад четыре пересмотрел концепцию гайдзина и получился Nomad. 12В, оттестирована на русике и немного на англе, q5 очень неплох. Кум, дарк, приключения, всё что хочешь. Заигрался с ней, карточки новые писал, короче кайф
https://huggingface.co/OddTheGreat/Nomad_12B_V6
Но я почувствовал вкус крови 24В, поэтому ловите мой Apparatus!
К машине подмешаны цидония, персоналитиэнжин и forgotensafeword.
24В, русик может, мозги на месте, инструкции любит, кум есть, аполоджайсов не встречал. После первичных тестов русика и переводных карточек уже 300 сообщений гоняю адвенчуру на англе сначала модель пыталась меня жестоко убить, а теперь отлюбить, тоже жестоко.
https://huggingface.co/OddTheGreat/Apparatus_24B
Остановитесь, ребята, у меня столько малафьи нет, чтоб всё это затестить.
Все эти мержи фигня. Я вот жду нового мистраля-ларжа. 2411 получился говном, но они ккажется учли ошибки, и 2501 выглядит весьма неплохо в своём размере. Если выпустят 123B и он окажется качественным, я куплю третью 3090 нахуй, чтобы его комфортно крутить.
В рп разве что его обходят. Во всём остальном ему разве что о1/о3 может составить конкуренцию.
>Есть ли модели, которые с пруфами лучше дипсика в чем-то?
Любая другая модель, кроме разве что ллама 3,1 400B, по параметру "Я могу это запустить".
>https://huggingface.co/OddTheGreat/Apparatus_24B
Ладно, это прям не плохо
> в чем-то
Лучше запруфай что он не днище донное в: рп, сторитейлинг, нлп, проверка и рефакторинг текста по критериям в определенном стиле и с нсфв.
Дипсик стоит 2 бакса за 1кк токенов.
1x 3090 стоит на лохито 700 баксов.
Забываешь про контекст, он будет на каждый пост, а расход токенов генерации там совершенно конский. Это кажется что ерунда и копейки, как только начнешь что-то делать то денежка сразу покапает.
Так хочется увеличить количество выделяемой памяти, чтобы целиком нейронку на встройке крутить, а не вот это все
Какие бы я не испытывал чувства по отношению к покупке прожаренных 3090 с лохито, все таки это всё ещё видеокарты, причем отнюдь не плохие. На 3090 и поиграть можно и поработать работу/хобби, помимо кручения ллм. А про то, что локальный инфиренс, ну, локальный, без слива каких либо данных и логов, доступный пока у тебя электричество есть, и так понятно. Но каждому своё.
Ну вот я сейчас отправил базовый запрос в Эйдере - получилось на 2 цента. Т.е. чтобы накодить на 700 баксов мне надо отправить 35к запросов.
>>1063662
Ну так одной же один хуй не хватит даже для дистилов.
> он будет на каждый пост
Он кэшируется у дипсика.
>Дипсик стоит 2 бакса за 1кк токенов.
Копроблядь не палится.
>1x 3090 стоит на лохито 700 баксов.
И нужно всего лишь... Сколько там нужно? 8 штук?
> надо отправить 35к запросов
Это ерунда, если пытаться что-то автоматизировать. А с агентами и всякими цепочками он припезднуто работает, нужно все переделывать и терпеть повышенный расход и/или уповать на то, что он сам в рассуждениях завернет именно куда нужно.
Кроме того, та же 3090 (пока жива) как тойота, в цене уже не теряет и достаточно ликвидна.
>>1063672
Сейчас у всех есть кэш, но в большинстве случаев он не работает. платить корпам, ебать ты
> но в большинстве случаев он не работает
Как видишь у дипсика он работает лучше чем у локалок. Если контекст не менялся, он никогда не будет пересчитывать его.
>Кроме того, та же 3090 (пока жива) как тойота, в цене уже не теряет и достаточно ликвидна.
Да. 5000-я серия, в общем, не оправдала ожиданий. Даже в смысле снижения цен на 4000-ю. За такие деньги оно не надо. Тем более что одной 5090 для счастья не хватит, да и двух не особо.
Она ещё толком не вышла, лол. Вот будет в ДНС в средних ебенях, тогда посмотрим на цены.
> Как видишь у дипсика он работает лучше чем у локалок.
Кек, в локалках он всегда твой, а у корпов в оживленные часы или когда ты уже потратил больше определенной суммы нахуй испаряется.
> Если контекст не менялся
Если между твоей парой запросов на ту же машину никого не закинуло.
>>1063697
> в смысле снижения цен на 4000-ю
Там же их производство свернули и даже был рост из-за дефицита. Главное что 5060 будет сливать по перфомансу, 5070ти что конкурент - дорогая и имеет меньше памяти.
>>1063418
Согласен One-To-Rule-Them-All-MN-12B.i1-Q6_K - Пока что кайф, меньше всего ошибок на русском среди 12B которые я тестил.
magnum-opus-galatea-mn-12b-q6_k - пока что не очень, часто несвязную пургу выдает.
Darkness посмотрю позже, 1-ый или 5-ый.
>Соту в мл ллмки не напишут.
Так и код не от ллмки.
>- Ну ты видел?! Видел?!
Да не важно, просто из одной функции скопипастил в другую на строку больше, чем надо было. Не существенно даже, на данном этапе. Потом всё равно вычищать и проверять. R1 даже не смог понять, ошибка это или нет, потому что даже в таком видео оно бы работало, просто градиент не учитывался бы в определённых операциях. Это определённо ошибка, которая потенциально ухудшает работу, но не ломает её полностью.
>Ээээ, а для чего?
Потому что potentially preserving the large model’s knowledge better. И, если сравнивать с методами, где есть минимальная эвристика в подборе параметров - это работает лучше, чем когда параметры изменяются не особо избирательно.
>К чему все если можно сразу веса тренить?
А к чему тренить все веса, если можно тренить 0.1% и получать сопоставимый итог? У сингулярных векторов-то
>Our method recovers up to 96% of full fine-tuning performance while training only 0.006 to 0.25% of parameters
>>1063488
Так это же инпут дата. Данные, на которых нейросеть "обучается". Рандом. И подсчёт потерь идёт относительно другого рандомного вектора. Я же говорю, пруф оф концепт, о доработанном коде речи пока не идёт.
>треш
Не совсем треш, но так себе, в пятой версии кстати он отсутствует.
>>1063503
Сяп, попробую с номадом.
>Apparatus
Заебись, только на русском он контекст жрёт всё таки как не в себя, а как подстраивать его наподобие того как сделала команда RuAdaptQwen - хз.
>>1063755
>тестил
Спасибо за тесты.
>i1
для русского вроде бы лучше юзать статик кванты так как матрицу для квантования используют чисто английскую а не мультиязычную
> RS-Lora
Это? https://github.com/kohya-ss/sd-scripts/pull/1870/commits/6e3d33b56ccea527e1f3e5600de8864985cbba77
В чём смысл, если можно просто поставить дим/альфу 16/4 или 64/8 или аналогичное судя по коду?
Не знаю что у кохи за говно, нормальная реализация тут - https://huggingface.co/docs/peft/main/en/developer_guides/lora#rank-stabilized-lora
> В чём смысл
В том что она автоматически скейлит лоры. Смысл в том что позволяет тренить стабильнее на фулранке.
> R1 даже не смог понять, ошибка это или нет
30б активных параметров, увы. Неиронично, подобное лучше обсуждать с опусом, старичок прекрасно соображает, если только там не совсем что-то новое и незнакомое ему.
> Потому что potentially preserving the large model’s knowledge better
Чем это принципиально лучше серии модных оптимайзеров с несколькими емами и подобным?
> сопоставимый итог
Ну, когда вот такое реально будет то может быть. А пока везде, где это заявляется, приводят только вялые бенчи на основе тренировки конкретной узкой мелочки, и оценки ее же. Тренировка чего-то сколь-нибудь большого и нового (приличный рп тюн сюда относится) стабильно превращается в копиум.
Есть еще серьезная проблема - скорость у всех этих пефтов часто даже ниже чем при полной тренировке, а для тюна чего-то больше 7б все равно потребуется врам больше, чем в консумерских видюхах. То есть при аренде особо сэкономить и не получится.
Ну если что-то запилишь то хорошо, не держи в себе. Главное - не упарывайся слепой верой и безальтернативность и идеальность того что делаешь, иначе заведомо херня получится.
>>1063944
Оче много субъективщины, вплоть до того, что тестировщик будет высоко оценивать то к чему привык и что ему понравилось, даже если это будет странным бредом, не соответствующим контексту. Аположайзы могут быть обусловлены реальным промтом, а может просто каким-то триггерением на сочетание, у мерджей нестабильное поведение это дефолт.
Еще момент что в текстовых моделях много нюансов, связанных с восприятием и тем, как она воспринимает и ведет повествование.
Неискушенному будет в радость умеренно подробный поток примерно на тему и прямая реакция на реплики. Ну а что, пишет много и подробно, основное не забывает, действует предсказуемо. Зато какой-то намек на извинения, даже полностью в контексте происходящего - сразу подрывает жопу. Кто привык к большим, будет невозможно рпшить на мелких моделях, потому что они не различают что к чему относится, каковы истинные значения действий и фраз, намеков, редко пишут что-то кроме поверхностных ответов, это уже множит на ноль все.
Вот и имеем два диаметрально разных мнения. У одного 12б - мана небесная, которая и работает отлично, и все делает, и ебет большие модели, а условный магнум72 - соевая херь, у другого - ниже 30б жизни нет и лишь всратый копиум, а соя почти всегда = проблема в юзере.
Гужно разрабатывать серию сложных семантических бенчмарков для анализа понимания контекста и писательских способностей, где будут задачи с ясной формулировкой и объемными исходными (включая сфв/нсфв), выполнение которых потом оценивать по критериям.
>>1063958
> знаю что у кохи за говно
Ровно то что написано, делится не на ранк а на корень из него
> на фулранке
Жестко
> Ровно то что написано
Это только инициализация скейла. Почему коха забил на дальнейшее - вопрос к нему.
>конфиг
SillyTavern\data\default-user\settings.json
попробуй сюда прописать если есть уверенность что нужную папку положено, а вообще лучше пинай репу или спроси в дисе
Но ведь там же тоже самое написано, скейлим не стандартным методом а через квадратный корень, удваиваю этого >>1063995
> фулранке
Это который без декомпозиции вообще?
>Так это же инпут дата.
А что не взять настоящие? Впрочем хозяин барин.
Вродь хорошо, но сука... Как же задолбала, из сообщение в сообщение одно и тоже.
Ты точно уверен?
Теперь, когда мы оба решили, что готовы к этому шагу, давай сделаем всё правильно
Ты точно сука уверен?
Я хочу, чтобы это было нашим общим решением, чтобы ты был уверен в своих желаниях так же, как и я в своих.
Ты понимаешь, что с этого момента всё изменится?
Это будет наш особый секрет.
Ты точно точно сука уверен?
Ты точно этого хочешь?
И вот это говно оно тупо в каждом сообщении, причём всё это вместе. Как это победить? Хочу чтобы бот действовал, а не писал это говно.
А разница?
У тебя упор не в чип, а в память.
У проца и встройки чипы еще условно разные, но память-то одна — оперативная.
Ты буквально пытаешься войти в ту же комнату через соседнюю дверь, а кобольд тебе говорит «ты дебил? так же ближе».
Ну, не знаю, может какое-то ускорение и есть, но…
>>1063678
7, если хватит 5к контекста, или готов выгружать в оперативу.
1, если запускать хитрым методом.
>>1063697
Снижения и не должно было быть, там надеялись только совсем наивные.
А вот по производительности, да, 10%-30% — НУ ТАКОЕ. И 5080 с 16 гигами.
Ты точно уверен? Ты понимаешь, что с этого момента всё изменится? Ты точно этого хочешь?
Ты вообще уверен что нужно это убирать? Оно может повлиять на поведение, последствия непредсказуемы. Не передумал еще?
>>1064155
> упор не в чип, а в память
В псп памяти, если уточнить. Но вообще, там не все так очевидно, может сыграть особенности адресации и чип сильно влияет на обработку контекста.
> 10%-30% — НУ ТАКОЕ
Зажрались просто, эти цифры абсолютно нормальны, плюс в некоторых расчетах уже серьезный буст. Главное разочарование - объем врам и дистанция между флагманом и предтопом.
Нормальные цифры 30%-50%.
У тех же прохайтек выходило простенькое, но достаточно показательное тестирование.
И по словам самих NVidia у них 30%-50% всегда было.
А тут сильно просели.
Для процессоров рост был пиздатый.
Но Нвидиа творила магию, которая закончилась, к сожалению.
Согласно закону Мура (его окончанию=) — цифры норм.
Но тенденция неприятная.
Объем врам во флагмане, кстати, вполне норм.
Единственное удвоение было между 20хх и 30хх (если не брать в рассчет титанчик). В остальном прирост был постепенный. И 24=>32 весьма годно.
А отобрали видеопамять у нас уже в 40xx поколении, тут привычно, к сожалению. =(
Держи! Ничего не жалко
https://yandex.cloud/ru/services/yandexgpt
- Поставь другую модель, например от Aleteian.
- Лучше сразу присекай эту хуйню, когда она только начинается.
- Редактируй сообщения бота, в конце описывай переход к началу действия.
- Repetition Penalty 1.05 - 1.1 range 2048.
- Пошамань с карточкой или промптом.
> Нормальные цифры 30%-50%.
Есть контент на эту тему, 30-50% это редкость, завязанная на параллельный прогресс с введением новых технологий/методов и смену техпроцесса. Вполне дефолтная ситуация когда со сменой поколений более младшая карточка перформит как следующая в линейке прошлого поколения. Но сейчас их много наплодили и исходная парадигма куда-то убежала не туда.
> по словам самих NVidia у них 30%-50% всегда было
Звездочки и контекст нужно читать, там и 5070 обгоняет 4090, но во фреймгене.
> Объем врам во флагмане, кстати, вполне норм.
Мало, 48 или хотябы даже 36 было бы лучше. Было бы неплохо если бы амудэ релизнули 48гиговую, но с их проблемами выгоднее будет потратить время работу и купить хуанга.
Сижу я как и подобает сэру, читаю на баренском. И вод под конец мне приходит осознание, с которым я боролся
It’s all same shit. Те же обороты, та же речь другими порой словами, но структурно тоже самое что на русском.
Что не делай с мистралью, она мистралью и окажется.
Вы бы мое ебало представили в тот момент.
>не совсем что-то новое и незнакомое ему.
Да что там нового может быть. Выкручивание рук старому.
>Чем это принципиально лучше серии модных оптимайзеров с несколькими емами и подобным?
Ты про дифференциальный лр для разных ембеддингов на основе оценки важности? С одной стороны, ничем не лучше. С другой стороны у меня идёт оценка важности послойно, то есть не для ембеддинга, а для каждого параметра. И у меня большие сомнения о сквозной важности, которая проходит через множество слоёв. Это становится распространённой практикой. Сейчас ещё запилю эмпирического Фишера и будет практически хирургическая точность. На самом деле нет. Все эти хитрые оптимизаторы могут использовать абсолютную магнитуду и этого же Фишера, так что мой подход не только не лучше, но и не хуже. Хотя лично у меня к магнитуде есть большие вопросики, была идея выбирать из подмножества важных параметров те, что имеют наибольшую магнитуду и модифицировать уже их, потенциально делая более плотные распределения векторов. Хорошо для квантизации. Но таким образом я затрагиваю параметры, не обязательно релевантные задаче, хотя опираться на магнитуду - это общепринятая практика. Что там ещё, L1 и L2 регуляризация, адаптивные обновления весов на основе частоты, динамический ЛР в зависимости от градиентов, кастомные фунции потерь. Всё учтено. Только это оптимизации, не основная часть, а та, что заставит основной код работать лучше.
>приводят только вялые бенчи на основе тренировки конкретной узкой мелочки
Смотри, какая хуйня. Есть подвальный шиз, который изобретает. Он изобретает не потому, что у него есть паллет блэквеллов. А как раз наоборот. И у него нет физической возможности затюнить модные 70b. Даже больше, у него нет любовно собранных датасетов или хотя бы опыта в их составлении. Всё, что он может - выкатить бумагу с вялыми бенчами. А потом кто-то из крупных кабанчиков начитается этих бумаг, распечатает и бросит на стол своим инженерам. Чтобы потом потратить 5 лямов на модель, которая ебёт. Шутка. Наверное.
>скорость у всех этих пефтов часто даже ниже чем при полной тренировке, а для тюна чего-то больше 7б все равно потребуется врам больше, чем в консумерских видюхах
Лора требует перемножения матриц. Выше дипсик писал, что у меня этого нет. QLora завязана на квантизацию\деквантизацию на ходу, меньше памяти, но больше расход вычислительных ресурсов. А у меня и этого нет. Там совсем-совсем не зря дипсик упоминает
дистилляцию, метаобучение и form of structured pruning with dynamic revival. Вот это core фича, вокруг которой уже и строятся все эти поиски, оптимизации и т.д. Это и есть "дистилляция наоборот". Ещё можно добавить "форвард дистилляцию", чтобы учитывать те знания, которые модель уже имеет. Можно даже добавить получение активаций аттеншн слоёв, чтобы учитывать важность на основе внимания модели, будет хорошо работать, если модель уже неплохо осведомлена о том, чему обучается.
>не упарывайся слепой верой и безальтернативность и идеальность
Любой обходной метод это всегда копро мисс. Понятное дело, что "идеальным" будет полнопараметрический тюнинг с продвинутыми оптимизаторами.
>>1064108
По той же причине, по которой обучаемая модель инициализируется из рандома и имеет два слоя. Не существенно, пока не готово остальное.
С подключением.
Критика "русских" моделей здесь не зря идет, посмотри как они делались и все станет понятно. Там даже стилистика и формирование предложений ни разу не литературная, длинных сложноподчиненных конструкций практически не встретишь, и даже порядок слов не варьируется.
> Те же обороты, та же речь
Только аутентичные файнтюны и модели побольше.
>Есть контент на эту тему, 30-50% это редкость, завязанная на параллельный прогресс с введением новых технологий/методов и смену техпроцесса.
Не знаю на счёт контента, но 4090 по сравнению с 3090 в нейронках x2 даёт. Плюс-минус. При такой же пропускной способности памяти. Память на 5000-й серии лучше, но я пока нигде не видел тестов сравнений 5090 и 4090. Будет ли x2? Сомневаюсь. Кроме fp4 конечно :)
> Да что там нового может быть
Много чего, банальное непонимание как сделать что-то конкретное сильно ударяет по башке и начинаются затупы.
> про дифференциальный лр для разных ембеддингов на основе оценки важности
Это только один компонент, и дело там далеко не только в лре. Не понимаю какой смысл гоняться за всеми этими "важными параметрами", когда оно от батча к батчу будет разным, или же ты так сильно приумножишь побочные эффекты от ограниченности и несбалансированности датасета.
> о сквозной важности, которая проходит через множество слоёв
В том и суть, скалировать индивидуально по каждому слою может быть сомнительно.
Хз, лезешь в глубокие дебри но при этом виднеются совсем примитивные ошибки, может ты на самом деле слишком умный и не можешь нормально объяснить.
> Есть подвальный шиз
Таких много, самые успешные выкладывают свои наработки и те становятся относительно популярными.
Если же это изначально какой-то кост-эффектив метод, то нужно начать с его ограничений и области применения, иначе оно разобьется о реальность до того, как кто-то сможет серьезно воспринять. А успешный метод, изначально созданный для решения проблем бюджетов, может быть изменен и применяться для получения больших профитов там где ограничений нет.
И тут непонятна конечная цель, что хочешь сделать вообще?
> Лора требует перемножения матриц. Выше дипсик писал, что у меня этого нет.
У тебя полноразмерная но дохуя разреженные матрица со смещениями на каждый слой? Это всеравно потребует дополнительных ресурсов если хочешь сэкономить память. Матмул так-то основная и супердохуяоптимизированная операция нынче.
> QLora завязана на квантизацию\деквантизацию на ходу, меньше памяти, но больше расход вычислительных ресурсов.
Это все пренебрежимо по сравнению с прямым и обратным проходом.
> даже добавить получение активаций аттеншн слоёв, чтобы учитывать важность на основе внимания модели
Хз, это скорее наоборот приведет к тому, что модель не обучается знаниям а ухватывает примитивнейшие паттерны и максимально тривиальную херню, чтобы формально угодить.
> дипсик упоминает
Диалоги с сеткой (которая к тому же тебя не понимает) ну прям такой себе аргумент. Лучше обрисуй концепцию и напрягись чтобы не порваться, когда тебе укажут на ее проблемы. Вполне может оказаться что недостатки устранимы и/или оно будет удачным решением где-то помимо бюджетной тренировки ллм.
>>1064449
> 4090 по сравнению с 3090 в нейронках x2 даёт. Плюс-минус
Хде? Давай указывай конкретные, востребованные и применимые вещи. 15-50% при удачном раскладе, при том что 4090 технологически на другом уровне (в 3 раза выше плотность компонентов) и с большим теплопакетом. Есть задачи где и х4 можно получить, но это автомодельная суходрочка или специфическая херня, доля которой мала.
> Будет ли x2
В инфиренсе ллм там сразу х1.7 и выше.
> Хде?
Про х2 он спиздел, но в генерации пикч примерно +70-80% есть. Где упор в память, там да, +20% всего, в LLM так например. Но обработка контекста всё равно почти в два раза быстрее на 4090.
> В инфиренсе ллм там сразу х1.7 и выше.
По чипу 5090 мало отличается от 4090. На чипе 3090->4090 примерно 70%, 4090->5090 не больше 20%. Зато где упор в память 5090 может почти +50% выдать сверх 4090, больше уже сам гпу не тянет. "х1.7 и выше" там точно нет.
>Где упор в память, там да, +20% всего, в LLM так например.
Ну не знаю, у меня на 3090 Pantheon-RP-Pure-1.6.2-22b-Small-exl2-6bpw до 20 т/c даёт, если с малым контекстом, около 3к. Даст ли 4090 в этих условиях 40 - хз, может быть и даст. Тут вроде хвастались чем-то подобным. Генерация видео точно вдвое быстрее, потому как ещё и Sage Attention работает, и fp8_fast можно использовать. Плюс-минус x2, как я и говорил. Другое дело, что по цене она не х2 от 3090.
И, кстати, всех с праздником, у кого наступил, у кого наступает.
Кванты:
https://huggingface.co/Aleteian/Darkness-Reign-MN-12B-Q4_0-GGUF
https://huggingface.co/Aleteian/Darkness-Reign-MN-12B-Q6_K-GGUF
https://huggingface.co/Aleteian/Darkness-Reign-MN-12B-Q8_0-GGUF
Мастер-пресет для таверны: https://pixeldrain.com/l/47CdPFqQ
Карточки: https://pixeldrain.com/l/47CdPFqQ
На этом я, пожалуй, сворачиваю свою деятельность... пока что-нибудь новое и интересное не выйдет.
Компоненты и темлэйт:
- Aleteian/Follow-the-Flow-MN-12B
- Aleteian/One-To-Rule-Them-All-MN-12B
- Aleteian/Hello-Darkness-My-Old-Friend-5-MN-12B
chat_template: "mistral"
На втором скрине не баг, просто карточку перса доперевёл и переименовал, а в тексте забыл.
Я не понимаю, ты эти пикчи генеришь или берёшь откуда то?
>завершить главу
Завершить главу как обычно, затем сделать её краткий пересказ, а-ля "в предыдущей серии" и вставить вместо первого сообщения в новой главе, продолжать.
Извиняюсь за оффтоп - это актуальные пресеты?
https://pixeldrain.com/l/47CdPFqQ#item=14
А можно поточнее, что куда наживать ? Сохранить чек поинт?
> +70-80% есть
В среднем - около 45%, в зависимости от андервольнинга и там и там. Можно получить буст в задачах с 8-4 битами и в некоторых специфичных расчетах компилируя модель, но это редкие кейсы. Почти всегда получается что 3 3090 выдают около столько же, что и пара 4090, отличия в инфиренсе малы. Обработка контекста на квантах может быть пошустрее, но это капля в море.
>>1064546
> На чипе 3090->4090 примерно 70%
Сильное заявление.
> 4090->5090 не больше 20%
Сильное заявление.
> +50%
На ходу сочиняешь?
> "х1.7 и выше" там точно нет
Посмотри спеки и не позорься. И это помимо оптимизации кэша и операций с малой битностью.
Это я только что залил, пресет на котором делались скриншоты с логами выше.
>>1064647
Не, экспортируешь главу как текст, заливаешь на фикбук или куда/зачем пишешь, создаёшь новый чат, и вместо первого сообщения - пересказ уже прошедших глав.
>chat_template: "mistral"
Какой "mistral", что в Таверне ставить? V2&V3, Tekken, V7? Есть действительно и Mistral без номера - его?
>какой смысл гоняться за всеми этими "важными параметрами", когда оно от батча к батчу будет разным
А какой смысл в том, что это уже используется в оптимизаторах? Наверное, чтобы применять изменения там, где они должны быть применены. К тому же, применяются изменения не каждый батч, так что информация о важности параметров аккумулируется в течении некоторого времени.
>скалировать индивидуально по каждому слою может быть сомнительно
Возможно, в любом случае это можно мониторить в тензорбоарде, так что на первых тестах можно отловить тепловую карту и посмотреть, имеет ли смысл. Если дело дойдёт до тестов.
>У тебя полноразмерная но дохуя разреженные матрица со смещениями на каждый слой?
Наоборот. Уменьшенная и дистиллированная репрезентация основной модели. Она и только она обучается в процессе, обратный проход происходит только по ней. При этом прямой проход происходит по обеим моделям и информация о промежуточных активациях используется в эвристике. Послойно, как в LoRA. Параллельно обучаются линейные гейты между большой и малой моделями. Параллельно собирается информация о том, какие именно параметры основной модели важны при использовании текущего датасета и к каким именно параметрам должны быть применены изменения, накопленные в адаптере. Не к матрицам, не к слоям. Именно точечно, чтобы потом иметь возможность разложить мелкую матрицу на большую в правильных пропорциях. На этом моменте часто используется магнитуда, что как раз и является неизбирательным обновлением и ведёт к ухудшению перформанса модели касаемо старых задач. Зато проще в сотню раз. Сохраняется информация об уже затронутых параметрах, используется аддитивный ЛР и момент, естественно, происходит компенсация возможного взрыва градиентов, нормализация и регуляризация. Как сказал квен, это агрессивный метод, но основная часть ресурсоёмких вычислений происходит сравнительно редко.
>скорее наоборот приведет к тому, что модель не обучается знаниям а ухватывает примитивнейшие паттерны и максимально тривиальную херню
У меня на самом деле вызвало сомнения то, что это будет работать тем лучше, чем лучше модель понимает задачу. Таким образом, если учить чему-то новому, то этот механизм будет работать плохо. А чему-то известному учить и смысла нет.
>удачным решением где-то помимо бюджетной тренировки ллм.
А смысл? Велосипед может оказаться чем-то удачным не только для кручения педалей, но он спроектирован для кручения педалей.
<s>[INST]
Текст системного промпта.
Описание персонажа из карточки.
[/INST]
Персонаж: Текст первого сообщения персонажа.
</s>
[INST]
User: Первое сообщение пользователя.
[/INST]
Персонаж: Первая генерация в ответ на сообщение пользователя
</s>
[INST]
User: Второе сообщение пользователя.
[/INST]
Персонаж: Вторая генерация в ответ на второе сообщение.
</s>
И так далее.
Включаю Stepped Thinking:
<s>[INST]
Текст системного промпта.
Описание персонажа из карточки.
[/INST]
Персонаж: Текст первого сообщения персонажа.
</s>
[INST]
User: Первое сообщение пользователя.
[/INST]
Персонаж: Первая генерация в ответ на сообщение пользователя
</s>
[INST]
User: Второе сообщение пользователя.
[/INST]
Персонаж: Вторая генерация в ответ на второе сообщение.
</s>
[INST]
User: Третье сообщение пользователя.
[/INST]
[INST]
Опишите мысли персонажа Персонаж в текущий момент. Должно быть хотя бы 2-4 пункта.
[/INST]
После очередного сообщения пользователя нормальное чередование разметки нарушается. То есть, после [/INST] идёт не ответ нейросети, а новый [INST].
Дальше(когда генерируется сообщение, после мыслей) тоже п проблемы:
<s>[INST]
Текст системного промпта.
Описание персонажа из карточки.
[/INST]
Персонаж: Текст первого сообщения персонажа.
</s>
[INST]
User: Первое сообщение пользователя.
[/INST]
Персонаж: Первая генерация в ответ на сообщение пользователя
</s>
[INST]
User: Второе сообщение пользователя.
[/INST]
Персонаж: Вторая генерация в ответ на второе сообщение.
</s>
[INST]
User: Третье сообщение пользователя.
[/INST]
Персонаж: <мысли>Персонаж подумал:
1. Надо выбрать ответ таким образом, чтобы соответствовать своей индивидуальности и характеристикам, заданным в карточке.
2. Важно учесть контекст предыдущих сообщений, чтобы диалог был последовательным и логичным.
3. Стоит обратить внимание на тон и стиль общения пользователя, чтобы ответить адекватно.
4. Следует помнить о задачах и мотивациях, которые прописаны в его описании, и как они могут повлиять на выбор реакции.</мысли>
</s>Персонаж:
Тут влез тег </s>, который должен быть после окончания генерации.
Кто знает как это починить, покажите пожалуйста свои настройки!
>настройки
там два режима встраивания, в обоих неправильно ?
Спасибо
> отличия в инфиренсе малы
Держи Жору на 32В. Как видишь обработка контекста даже больше чем х2.
> Посмотри спеки и не позорься.
Посмотри тесты и не позорься. Там даже по флопсам нет столько, сколько ты себе нафантазировал. Куртка в этот раз сыграл в маркетинг, рассказывая про х4 увеличение флопсов, правда в fp4 против fp16.
Если ты имеешь ввиду Embedded и Separated, то да, в обоих случаях ломается, но по-разному. В Separated ещё хуже выходит
> применять изменения там, где они должны быть применены
К этому в целом сводится обучение. Из твоего же поста понятно, что ты хочешь ограничивать количество изменяемых параметров исходя из некоторых критериев и морозя остальные.
> случае это можно мониторить в тензорбоарде
Ну а что там увидишь? Это будет иметь оче опосредованную корреляцию с результатом, достоверно будет понятно только если все идет по пизде.
> Уменьшенная и дистиллированная репрезентация основной модели.
В реальности выйдет дебильнейший лоботомит. В предельном случае при хорошем исполнении - дистилляция большой модели в мелкую, не то чтобы ново.
> обратный проход происходит только по ней
Если делаешь адаптер - это невозможно. Если дистилляцию в мелкую - в целом да, но это другая задача. Что ты в итоге делаешь?
> обучаются линейные гейты между большой и малой моделями
Как именно они будут взаимодействовать? И обучать их без обратного прохода по основной не выйдет.
> и к каким именно параметрам должны быть применены изменения, накопленные в адаптере. Не к матрицам, не к слоям. Именно точечно
Как ты себе представляешь хранение подобной информации, и почему думаешь что изменение только малого числа величин в большой матрице вообще даст нужный эффект?
Собственно, в лоре и прочих что именно нужно менять определяется by design, но при этом накладываются паразитные взаимные связи. В твоем случае все наоборот индивидуально, но количество тренируемых параметров сильно ограничено, и они нерегулярны, что может помножить на ноль все экономии.
> чтобы потом иметь возможность разложить мелкую матрицу на большую в правильных пропорциях
Как именно? Чтобы было эффективно и отвечало требованиям, задача не столь проста.
И главное, причем здесь магнитуда в отрыве от соответствующей тренировки с разложением на вектор+матрицу для сокращения корреляций?
Прежде чем лезть в дебри обрисуй хотябы общие вещи как видишь это концептуально.
> Велосипед может оказаться чем-то удачным не только для кручения педалей, но он спроектирован для кручения педалей
Если ты думаешь о каком-то новом методе обучения с особыми фичами - мир нейронок очень обширен и применение всегда найдется. Если же поех, что жонглирует терминами и строит аги в гараже - только велосипед и выйдет.
Возможно тут всё так же
Если соберешь жору который не будет бредогенератором - отрыв сократится. Если откроешь для себя что-то кроме бенчмарка ллм поломанным бэком - потеряешь сознание.
> и не позорься
Перетолстил
> тесты не тесты
> не та модель
> не тот тестировщик
> не правильно тестишь
Как будто в зионотред зашёл, лол. Ты можешь сколько угодно отрицать реальность, на любом бэке будет примерно тоже самое с двухкратным различием в скорости обработки промпта. На EXL2 промпт тоже в два раза быстрее на 4090. Или это тоже не тот бэк?
Протестируем со всей строгостью! =)
Спасибо, чувак!
>>1064744
3060 те же 12 гигов, но дешевле, не? А скорость… Да вроде для ллм хватит.
А потом отложить и купить вторую (если материнка позволяет). Будет профитнее.
Или сразу 3090 24-гиговую.
Между ними ничего адекватного нет, ИМХО.
Либо там для картиночек, музыки и видео ради чипа, хз.
Так и не понял что за хуйню ты делаешь, не видя код или хотя бы алгоритмы.
На посмотри рилейтед доклады, может будет полезно https://www.youtube.com/watch?v=pZflMVB-KVs
https://www.youtube.com/watch?v=Q8H5ijMxhlA
https://www.youtube.com/watch?v=GRqGAAnTeeQ
И статейка древняя https://ar5iv.labs.arxiv.org/html/1911.11134
> После очередного сообщения пользователя нормальное чередование разметки нарушается. То есть, после [/INST] идёт не ответ нейросети, а новый [INST]
Потому что в промпт докидывается инструкция на генерацию мыслей от лица System. Если хочешь убрать [INST], можешь снять галочку "System same as User" во вкладке "Advanced Formatting" настроек таверны и поиграться с настройками промптов System там же.
> Тут влез тег </s>, который должен быть после окончания генерации.
Потому что мысли отправляются от лица Assistant, т.е. персонажа, с которым ты ведёшь диалог. Ты можешь роль для отправки мыслей поменять с Assistant на другую (хоть на ту же System) через настройку "Role for sending thoughts" в меню Stepped Thinking.
Когда начинал пилить это расширение, я просто создал папку st-stepped-thinking в SillyTavern\data\default-user\extensions + симлинку на неё в SillyTavern\public\scripts\extensions\third-party. Емнип, этого было достаточно. Никаких плясок с бубном вокруг конфигов точно не исполнял.
Да, я уже выяснил, что папки в default-user\extensions достаточно. Только нужно было переименовать, убрав номер версии, чтобы папка называлась так, как в конфиге экстеншена написано. Сначала долго возился, потому что как полный дебич пытался поставить на свою древнюю версию 1.12.6, на которой оно не работает и не отображается, даже если правильно подключить.
> б/у 3080ti 12гб
Докинь до 3090, подойдет и та, но врам очень важна. С точки зрения перфоманса сильно предпочтительнее чем 4060ти, но учитывай что одна - новая и холодная карточка, а другая - старая и горячая.
>>1064838
> Нет нет я не порвался
Перечитай посты и осознай насколько неуместны и предсказаны твои нахрюки. Сам знаешь что неправ и просто разводишь срач, или просто сказочный долбоеб (справедливо в обоих случаях).
> Из твоего же поста понятно, что ты хочешь ограничивать количество изменяемых параметров исходя из некоторых критериев и морозя остальные.
Даже не близко.
>Ну а что там увидишь?
Всё, что мне нужно будет. Например, тепловую карту важности послойно и её корреляцию со сквозной важностью. Будет коррелировать - дропну послойную и буду использовать сквозную. Шансы, что это случится, не велики. Хотя, есть VeRA, которая говорит в пользу сквозной важности.
>В реальности выйдет дебильнейший лоботомит.
А мне не существенно, потому что это адаптер, а не полноценная модель. Вялые бенчмарки показывают, что стратегии информированной инициализации в этом случае работают лучше, чем инициализация рандомом. А то, что для информирования этой инициализации я использую техники дистилляции - так это моя прихоть. Это началось, когда я понял, что применение адаптера к модели суть реверсивная дистилляция с тонной нюансов. Мне оставалось только развернуть процесс, упростить и использовать его же для инициализации.
>Если делаешь адаптер - это невозможно
Это делали до меня и технических сложностей эта задача не содержит. Как и обратный проход не требуется для обучения линейных гейтов. Не в такой конфигурации, но каждая отдельная фича уже была исследована и возможна для реализации.
>в лоре и прочих что именно нужно менять определяется by design
В лоре оно определяется чисто математическим продуктом.
>изменение только малого числа величин в большой матрице вообще даст нужный эффект?
Речи об изменении малого количества величин и не шло никогда. Суть в том, что недостаточно обучить адаптер, важна стратегия итоговой настройки базовых весов.
>>1064931
>Так и не понял что за хуйню ты делаешь
Максимально упрощённо - это адаптер для модели, который использует из существующих методов всё то, что мне нравится и не использует то, что мне не нравится. Не используется обратный проход по всем весам, не используются существующие стратегии настройки базовых весов. Расчёт потерь в некоторой степени привязан к базовым весам. Всё остальное это оптимизации и улучшения. Видосы не смотрел, а статейка интересная. Применить не могу, но, т.к я изначально учитываю важность, то необходимость в удалении и добавлении параметров на основе важности - перестаёт быть нужной в принципе.
Включил и скорость осталась прежней, но освободилось 2гб врама
1. Что он там думал все это время? Если это промпт процессинг, то почему так долго
2. Почему скорость генерации такая маленькая? Мне же обещали 10 токенов сек для 8b модели. Я кривожопо что-то запустил и надо какой-то поддерживаемый именно для цпу формат? Может как раз генерация на видюху улетела, а у меня там ебаная gt210 ради затычки на время. Или это чото с зивоном не так?
> Даже не близко.
Как еще это интерпретировать? Уже который пост подряд твой "план" меняется на ходу и отличается от сказанного ранее. Зато натаскивание всего и вся, что не выглядит уместным.
> тепловую карту важности
Для начала, что ты понимаешь под важностью? Далее, что из этого получишь? Ну и наконец, если все остальное будет иметь смысл, что будешь делать с предвзятостью этой оценки из-за ограниченности датасета/батча/...?
> потому что это адаптер, а не полноценная модель
Что этот адаптер вообще из себя представляет? Это не лора, не дополнительные слои, что это? Объясни нормально как именно ты собираешься делать
> Уменьшенная и дистиллированная репрезентация основной модели.
и потом каким образом это применять к основной модели?
> когда я понял, что применение адаптера к модели суть реверсивная дистилляция с тонной нюансов
Жестоко
> Это делали до меня и технических сложностей эта задача не содержит
Избежать обратного прохода по основным весам можно если тренишь отдельную модель, что использует данные с основной, например дополнительные слои в конце. Иначе обратный проход потребуется до последнего момента, где что-то вмешивается в процесс расчета или модифицирует веса. Да, градиенты для замороженных параметров не нужны, но обрабатывать их все равно потребуются.
> Речи об изменении малого количества величин и не шло никогда
У тебя все про
> к каким именно параметрам должны быть применены изменения, накопленные в адаптере. Не к матрицам, не к слоям. Именно точечно
и все вот это про поиск важности и изначально речь не о полноразмерном тюне, что заведомо говорит о радикальном сокращении количества тренируемых параметров. Сформулируй уже ясно что именно хочешь. Хотябы в общем своими словами, но без чрезмерных абстракций и опускании сути как сейчас.
>>1065209
> Если это промпт процессинг, то почему так долго
На процессоре только так
> Мне же обещали 10 токенов сек для 8b модели
Слишком оптимистично. Для начала почитай шапку и вики, там есть все про запуск и форматы.
или
Aleteian/One-To-Rule-Them-All-MN-12B?
Тыкал почти все его модели, но на эти пока нет сил, учитывая, что на вменяемое тестирование уходит пара часов.
Для РП с негативным биасом. Наверняка кто-то из вас их опробовал.
https://www.youtube.com/watch?v=dUm6LFGKz5k&list=RD0GA3iR_2qbQ&index=23
Попробуй ещё инференс через Koboldcpp, сравни производительность.
https://github.com/LostRuins/koboldcpp/releases (качай бинарники с nocuda)
1.5B модели более-менее шустро должны работать даже на CPU.
это очевидно, если твоя видяха для рендера десктопа используется по умолчанию. или ты думал, что вывод рабочего стола и остальных запущенных приложений через видеокарту не использует её ресурсы?
>модель
последнюю попробуй >>1064580 отсюда
>>1065311
>ресурсы
ясн, а на встройку рендер десктопа перекинуть как-нибудь мона?
>на встройку рендер десктопа
как это сделать программно я не знаю. другой вариант - воткнуть шнур от моника в материнку, как я собственно и делаю.
А герцовка тут причем?
Как статичная картинка в 60гц в 180 вдруг жрет больше
>Неискушенному будет в радость умеренно подробный поток примерно на тему и прямая реакция на реплики. Ну а что, пишет много и подробно, основное не забывает, действует предсказуемо.
>У одного 12б - мана небесная, которая и работает отлично, и все делает, и ебет большие модели
Да, да, я, да.
Мне даже нравится. Если precum льётся, а ass всяких фей-волшебниц-хранительниц леса is fucked, то зачем платить больше? Особенно когда у тебя реакция на это примерно такая же, как когда ты первый раз порно по рен-тв увидел, будучи мелким пиздюком.
>>1064153
Долбоёбская хуйня. мать её ебал. Помимо редактирования сообщения бота, мне ещё помогало поставить темпу чуть больше и писать свои сообщения с нарративной вставкой типа "теперь всё зависело от решения %персонажнейм%". Иногда помогает, но я эту хуйню ещё с character.ai видел.
Субъективно, с точки зрения ламера что нихуя не знает: как будто внутреннее соостояние модели/нарратива слишком близко к тем состояниям, когда сетку учили "сомневаться" и "притормаживать". Поэтому твой партнёр по РП начинает давать заднего, как сопливая девочка.
>>1064580
Чел, бля, ты их делаешь быстрее, чем я успеваю погонять.
И тебя с праздником.
Я его стараюсь пересматривать регулярно. Тоже мне в сердечко запало.
> Я знаю что вы тут в основном сжигаете деревни, насилуете лолей и хлещете мамок плетями
Я смею всё, что можно человеку. Кто смеет больше - тот не человек!
> но я получил от бота столько хороших эмоций и эмоциональной поддержки, что мне пиздец грустно от того что мы живём в таком мире где буквально виртуальные персонажи сыпящие буквами могут вызвать столько привязанности.
Я бы сказал иначе. Хуёво от того, что виртуальные персонажи, сложность разума которых - буквально лоботомированный сервитор из вахи, дают тебе больше поддержки, чем окружающие люди вокруг. Вот это прямо пиздец грустно.
Сейчас дообучилось, вроде текст на русском стал поживее, словарик побогаче. Но вот нюанс, модель поехала. Начала путать меня с персонажем, мои действия - с собой. Короче, потеряла связь с реальностью.
Эпоха всего одна была, и лернрейт низкий, что могло пойти не так?
>погонять
можешь спокойно глнять, я пока всё =))
Неудачны из репы поудалял, всё что осталось должно быть более-менее работоспособно, но всё же рекомендую именно последний.
>>1065365
>пиздец грустно
как говорится "картинка смешная, а ситуация страшная"
>>1065381
>что могло пойти не так
Задумывался и мне тоже интересно, но эту лучше наверно у автора Сайги в телеге спросить.
Могу предположить что ты взял сторителлер датасет, то есть модель старается писать историю отыгрывая за всех персонажей и рассказчика разом, а не мультитурн рп.
Англоязычная 12b древняя клодослоповая шизофреническиая срань по сравнению с русскоязычной выглядит как 40b, когда я сравниваю её с русскими 12-бэшками.
На английском даже Магнум лучше выполняет инструкции, богатый язык, словарный запас, ПОНИМАЕТ, ЧЁ ТЫ ТАМ ИМЕЕШЬ В ВИДУ. Оттенки, полутона — всё лучше. И это при том, что я не тот человек, который способен думать на английском и знать его хорошо.
За державу обидно так сказать. Русский язык очень богат и прекрасен, в нём столько слов, чтобы великолепно выражать мысли. Более того, на примере Sonnet я вижу, что русский РП с качественными языком возможен, хоть и не локально.
Но я рад, что эти тредовичковые модели останутся с нами, они внесли большой вклад. За что я им очень благодарен, ведь смог поговорить на родном языке.
Возможно, в ближайшие пару лет ситуация сдвинется с мёртвой точки: начало уже положено.
>сторителлер датасет
Датасет из новеллки, там буквально разговоры один на один. Но самое странное, что у меня есть другая лора, обученная на другом датасете с переводами. Я сейчас поочередно покрутил обе в таверне на нулевой температуре на трансформерах и они идентично отвечают зациклившись. Слово в слово. Пиздец.
Не согласен с тобой. Раньше гонял 70б на англюсике, потом пересел на русскоязычные немо и все, тут пока и залип. Пытался вернуться на английский, когда увидел как переводит гугел... просто, сука, выть хочется, да и сам англюсик уже как-то не заходит – читать муторно, писать тем более.
На русском же руки развязаны, можно четко донести суть, расписать ситуацию лучше.
Ну и да, не одним немо все кончается. Есть тюны квена 72, он логичнее и пишет местами лучше.
Короче, обратно на английский как-то вообще не тянет.
Я обычно ролеплею на английском, но вчера ради эксперимента запустил тюн Мистрали 123B в облаке и катнул на ней отыгрыш на русском. Так вот:
1. Модель несколько раз озалупилась за чат на 12к контекста, хотя с теми же сэмплерами на английском было всё ок за в разы более длительный ролеплей.
2. В целом модель ощущалась потупее, хуже понимала происходящее: временами путалась в пространстве, чаще галлюцинировала и т.п. Как следствие, приходилось чаще свайпать, чем на английском.
В итоге, не сказал бы, что ролеплей на русском прям намного хуже идёт, чем на английском - всё не настолько плохо. Можно и на русском качественно отыгрывать, но с большим количеством усилий - чаще посвайпать, чаще руками что-то подправить. И всё же с английским попроще.
> И это при том, что я не тот человек, который способен думать на английском и знать его хорошо.
Так это напротив - идёт в пользу английского языка в ролеплее, лол. Потому что тебе не режут глаз кривые речевые обороты на англюсике; если уёбищно подобраны по смыслу слова, ты сам додумываешь нужный подтекст и т.п.
>Потому что мысли отправляются от лица Assistant, т.е. персонажа, с которым ты ведёшь диалог. Ты можешь роль для отправки мыслей поменять с Assistant на другую (хоть на ту же System) через настройку "Role for sending thoughts" в меню Stepped Thinking.
Эта настройка помогла. Переключил на System, лишний </s> убарлся. Спасибо!
> Потому что в промпт докидывается инструкция на генерацию мыслей от лица System. Если хочешь убрать [INST], можешь снять галочку "System same as User" во вкладке "Advanced Formatting" настроек таверны и поиграться с настройками промптов System там же.
Да, так [INST][/INST] убираются. Только тогда инструкция "Опишите мысли..." добавляется просто после закрывающего [/INST] в сообщении пользователя. Что тоже как я понимаю, не по формату.
Перенес закрывающий [/INST] в prefix ассистента чтобы получилось что инструкция на описание мыслей добавляется расширением как бы до [/INST]. И отредактировал шаблон в расширении в таком виде:
"[System message: Приостановите ролевую игру и опишите мысли персонажа Персонаж в текущий момент. Должно быть хотя бы 2-4 пункта. От первого лица.]
[/INST]"
System message добавил чтобы как-то отделить сообщение пользователя от инструкции, и закрывающий [/INST] чтобы на этом этапе генерации мыслей соблюсти разметку. Потом, перед формированием промпта для генерации ответа с учетом сгенерированных мыслей, это все вырезается расширением и добавляется [/INST] из prefix ассистента.
Сейчас получается что на этапе генерации мыслей промпт выглядит так:
...
[INST]
User: Третье сообщение пользователя.
[System message: Приостановите ролевую игру и опишите мысли персонажа Персонаж в текущий момент. Должно быть хотя бы 2-4 пункта. От первого лица.]
[/INST]
А после, когда мысли сгенерированы, промпт на генерацию самого ответа получается такой:
…
[INST]
User: Третье сообщение пользователя.
<персонаж's thoughts>Персонаж подумал: то-то и то-то.</персонаж's thoughts>
[/INST]
Персонаж:
Тоже получается не идеально. Надо бы как-то сделать чтобы блок <персонаж's thoughts> вставал между "[/INST]" и "Персонаж:"
>Надо бы как-то сделать чтобы блок <персонаж's thoughts> вставал между "[/INST]" и "Персонаж:"
Или после будет правильнее.
>Аноны какое будущее у локалок по вашему мнению ?Достигнут ли 12b модели уровне 30-70b ?
Проблема в том, что текстовые модели универсальны - туда пихают очень разнообразный датасет. Качественный тематический датасет мог бы (наверное) помочь создать тоже качественную небольшую модель. Скажем 22-24В. Но кому это надо?
>какое будущее у локалок
Рост количества памяти. Надо! Ну, надо. Надо...
Ускорят память процессоров или докинут видеокартам памяти или создадут специальные устройства.
Ничего принципиально нового после транформеров не реализовали, только методы обучения.
Будет +5% в год как у современных компуктерных комплектующих или аккумуляторов.
Ах, у меня от усталости каша в голове, но постараюсь внятно донести свои мысли. В прошлом своём посте я не совсем внятно высказался по поводу размеров модели.
Минимум половина датасета — это какие-то "рабочие", вроде кода, вещи. И почти всё на английском, а так называемая "мультиязычность" лишь для задач уровня "помоги мне сделать вот это/как приготовить блины/напиши код для.
Русский языке представлен крохами, даже большие закрытые модели качеством текста не блещут, за исключением буквально двух штук, которых обучили прям на отлично. Более того, есть обратная тенденция: o1 и o3-mini-high хуже, чем 4о (это сильно устаревшая модель). Огромные CoT модели допускают ошибки хуже, чем 12b тредовчиковые. Часто выдумывают русские слова. Не говоря уже о "малюсеньких" мистралях.
Размер модели скорее определяет, насколько лучше она будет выполнять рабочие задачи и понимать нюансы, нежели качество языка при РП. Тем не менее, есть загвоздка. Между английским и русским всё ещё пропасть в них. Просто из-за того, что датасет английский в основном, она всё ещё способна выдавать более качественный текст, чем тредовичковые мержи, и лучше понимает, что ты имеешь в виду, если ты начинаешь использовать какие-то сложные конструкции и идеи. А учитывая, что почти и все файнтюны на английском, это реально вдыхает жизнь в модели. Иначе, я уверен, если сделать профессионально и без фильтров, 12b запросто обоссыт в русскоязычном РП даже 70b. Если модель будет именно для этого тренироваться и на русском языке.
>Так это напротив - идёт в пользу английского языка в ролеплее, лол. Потому что тебе не режут глаз кривые речевые обороты на англюсике; если уёбищно подобраны по смыслу слова, ты сам додумываешь нужный подтекст и т.п.
Здесь ты прав. Уверен, у нейтива кровь из глаз может потечь, если он родной язык знает на отлично. А для большинства анонов наверняка терпимо, ибо вряд ли они читают Толкина в оригинале без словаря и с высокой скоростью. Ну и нейтивы тоже вряд ли читали, лол.
>>1065417
Ну я вот тоже залип весьма надолго. Сколько ты уже сидишь на русских мержах? Это всё определяет. Когда долго на них посидишь, а затем внезапно перекатишься для разнообразия, ведь там "новая прикольная англоязычная модель вышла, надо занюхать", сразу будет заметна разница. Насколько лучше стал кум или обычное RP.
Пока не будет русского файнтюна с тонной классической русской литературы и современных книг, а также щепотки порнофанфиков, какой-то прорыв сделать тяжело, ведь проблема не в железе, а в датасете. Правильно его сделать — мука ебаная.
>когда увидел как переводит гугел
А вот его никогда не используй, только Яндекс. Он намного лучше. Симпл-димпл может быть лучше Яндекса, но это от ситуации зависит. Минус Яндекса только в том, что он нахуй форматирование ломает зачастую.
>На русском же руки развязаны
Вот тут ты очень прав, но есть проблема, с которой ты пока что ещё не столкнулся.
>можно четко донести суть
Внезапно — нет! Я очень часто встречал ситуации, когда модель не понимала суть того, что я пытался донести, хотя на английском с этим было 0 проблем.
Какие-то сложные слова или концепции и сюжеты ставят маленькие ру-модели в тупик. У меня есть карточка и лорбук в сеттинге вархаммера, где поле битвы начинается в России. На русском и английском. Даже при такой базе знаний русские 12б плохо понимают, чё им вообще делать, что из себя представляют силы хаоса, развращение варпом, ограничения (мы же не собираемся спавнить титанов или великого нечистого на красной площади, в том числе и астартес, ибо тут суть только в ответе человечества 21 века на силы хаоса без всяких императоров и без хаоса в полной его мощи), хотя это всё разжёвано, даны чёткие понятия и ограничения, какие способности есть и пр, чтобы модель не творила хуйню, полагаясь на свой датасет, в котором может внезапно вылезти что угодно, если там книжки по вахе имеются. 12б на англ подхватывала легко, 27б гемма вообще отлично.
А вот с этими психическими силами, демонхостами, реакцией правительства и массовой резнёй, описанием вооруженных конфликтов между культистами, бандами, одиночками, тредовичковые модели очень слабо справляются.
Другое дело поболтать с милой кошкоженой по-русски, сходить в магазин и трахнуть. Вот тут результат однозначно приятный будет.
Первое правило тренировок - не обучай шизомерджи. Не в обиду авторам и эксплуататорам, даже если какие-то мерджи в чем-то неплохо работают - почти всегда это поломанная и слабо пригодная для тренировки штука. Офк есть исключения, когда заведомо берется, например, склейка из двух моделей и потом это тренируется, но работает только когда сделано осознанно и из единиц, собранных без линейного мерджа слоев.
> модель поехала
Что у тебя там за датасет был? Скорее всего просто неверно размеченное, вот и выдает примерно похожую шизу. Да и просто хреновый датасет даже с норм форматом такое может сделать.
Как именно обучал? Кривые гиперпараметры тоже делают модель безумной.
>>1065394
> Слово в слово
Особенно если мелкая лора или тем более qlora - оно более вероятно что так будет, плюс описанное выше.
>>1065417
Честно - как вообще можно сравнивать 70 в инглише и 12 в русском? Небо и земля после долгой привычки к большим моделям это прям тяжело. Только если скорость совсем дно и юзается всратый перевод. Лучше бы реально увлекся инглишом, оно достаточно быстро научится если начнешь читать-писать регулярно. Также, никто не мешает общаться на русском с большими моделями.
>>1065449
Чтобы достигли - нужно качественно что-то новое, а не просто развитие методов. Модели становятся умнее, лучше следуют промту и точнее отвечают, но вся эта "точность" сосредоточена во всяких зирошотах или простых чатах. Для рп или какого-то анализа большие модели как были сильно лучше, еще начиная с древних, так и сейчас остаются. Даже старье какое-нибудь если катнуть, оно все равно тебя понимает и старается оставаться в сознании.
Свитспот - 30б, уже достаточно для ума и влезает в видюхи.
>>1065457
> нежели качество языка при РП
Нет, русский сам по себе сложный и принципиально отличается от других по словообразованию и повествованию, одни склонения и порядок слов чего стоят. Большие модели пишут более естественно и литературно, используя возможности, тогда как мелочь - чуть ли не дословный перевод.
> если сделать профессионально и без фильтров, 12b запросто обоссыт в русскоязычном РП даже 70b
Обоссыт конечно, перед этим дважды сняв штаны, но забыв про трусы, упомянутые в прошлом посте.
Повтор и отказ даже приближаться к слову feces, или shit. Omnino- делал лучше.
Олсо, очень не хочет касаться растяжения уретры. Прямо пиздец как его воротит "her entrance" и прочее.
Но в целом вроде бы повествование лучше ведёт, не забывает детали.
>и каждый раз на той сцене где уничтожают пульт с голограммой, что равняется смерти его виртуальной девушки - мне пиздец
Да, пиздец тупизм, не иметь резервных копий своей тян. И это беда многих фильмов, где участвуют роботы или ИИ. Любые моменты с "Не умирай!" в отношении персонажа-робота вызывают лютый кринж и фейспалм.
> feces, или shit
> растяжения уретры
мусью знает толк
кстати, на русском вроде лучше даже с такими темами
мимо
>шизомерджи
Тут дело точно не в модели. Даже если брать базу - будет тоже самое, проверял уже.
>датасет
Датасет собранный из новеллы, один на один, чистый, вылизанный. Там все хорошо должно быть.
>Как именно обучал?
SFT Lora 16bit, 4096 len (в другом обучении было 16k), 32 rank, 16 alpha, 5e-6 lr.
Подозреваю, что дело в чем-то другом, ну не может быть чтобы у двух лор на разных данных получался один ответ, одинаковые зациклы и поломка логики. Бред же ну.
>мусью знает толк
А то!
Алсо, все челики на всех приложенных картинках 18+. Товарищ майор, в магической академии "классы" студентов, даже учитывая, что это высшее учебное заведение.
>не иметь резервных копий своей тян
В фильме TRON, который самый первый и оригинальный ГГ успел скачать свою нейровайфу Меркури =))
>>1065502
>Там все хорошо должно быть.
Показывай, отнюдь не факт, что вылизанный == правильный.
>>1065502
>Бред же ну.
на самом деле пиздец как запросто, по своему опыту говорю
>Да, пиздец тупизм, не иметь резервных копий своей тян. И это беда многих фильмов, где участвуют роботы или ИИ. Любые моменты с "Не умирай!" в отношении персонажа-робота вызывают лютый кринж и фейспалм.
Оно-то да, но ведь даже в поговорки вошло, что бэкапы начинают делать только после первого факапа. Что поделаешь - человеческий фактор; робот бы так не сделал, если ему жизнь дорога :)
>робот бы так не сделал, если ему жизнь дорога :)
Игра детроит бекон хуман, сцена расстрела на площади, и персонажи буквально пиздострадают над "умирающими" роботами, хотя замени ему пару запчастей, и пойдёт как новенький.
>Он же вроде специально бэкап наебнул, когда с хаты уходил, не?
Фильм не смотрел, так что моя реплика была просто так, к слову :)
Он наебнул базовую станцию, чтобы с неё не считали его планы. База это иметь зашифрованные бекапы в разных местах, удачи прочитать.
>Уже который пост подряд твой "план" меняется на ходу
Если перечитать посты, то ни в одном из них нет ни одного отклонения от "генеральной линии".
>Для начала, что ты понимаешь под важностью?
Определение параметров, которые наибольшим образом влияют на выходные данные.
>что будешь делать с предвзятостью этой оценки из-за ограниченности датасета
Ничего. Важность параметров вычисляется конкретно для отдельно взятых данных и используется при адаптации к конкретно взятым данным. Я получаю именно то, что мне нужно.
>Сформулируй уже ясно что именно хочешь.
Берём одну модель. Инициализируем вторую модель поменьше. Тренируем вторую модель. Даже при условии того, что у нас тренируется матрица [X, Z] мы можем её точно разложить на матрицу более высокой размерности используя сложную эвристику. Раскладываем до размеров оригинальной модели. Накидываем пачку оптимизаций, привязываем меньшую модель к большей десятком способов, чтобы меньшая модель в процессе обучения опиралась на знания, уже имеющиеся в большей модели; стабилизируем процесс и тщательно следим за происходящим. И да, каждый шаг - реализуем, не является невозможным и не требует бесконечных вычислительных ресурсов.
>>1065513
Рыдают над тем, что расстрел страховка не покрывает.
DRY repetion penalty multiplier = 5 и запел как миленький. "Excrement" и "waste" как минимум смог юзать.
>>1065517
У него особо не было ни времени, ни возможностей. Там уже сириус бизнес начался, вроде бы. Его начальницу ёбнули. Мегакорпа сможет найти его тян где-нибудь в облаке и допросить, если что. Паранойю его я понимаю.
Но я согласен, что долбоёб. Должны были быть холодные носители, запрятанные в жопе мира. Даже если она потеряла бы недели воспоминаний, это всё ещё она.
>Для рп или какого-то анализа большие модели как были сильно лучше, еще начиная с древних, так и сейчас остаются.
Всё немного сложнее, кмк. Просто с какого-то момента в РП на маленькой модели (а всё хорошо как бы, сочненько) ты понимаешь, что не можешь продвинуться дальше. Никакие свайпы не помогают. Помогает только переход на большую модель (и то, перебираешь несколько). Преодолеваешь кризис и в принципе можно возвращаться назад на маленькую - другой вопрос, что неохота.
>DRY repetion penalty multiplier = 5
Это что вообще за зверь такой?
>не можешь продвинуться дальше
Большая модель больше за тебя напишет и додумает, на маленькой же надо больше самому пыхтеть чем расслабиться и получать удовольствие. Но увы, вышеперечисленные проблемя с языком, контекстом, токенизатором никуда не деваются.
>Большая модель больше за тебя напишет и додумает, на маленькой же надо больше самому пыхтеть чем расслабиться и получать удовольствие.
В таких случаях лучше спросить модель: подумай, как лучше продвинуть сюжет? И оценить ответы разных моделей. Но вообще с фантазией у них не очень, к тому же некоторые слишком хорни, некоторые слишком позитивны... Хоть плачь.
Попробуй следующее:
1. Вернуть роль для генерации мыслей на Assistant.
2. Поставить </s>[INST] в "User Message Prefix".
3. Поставить [INST] в "User Message Suffix".
4. Сделать пустыми "Assistant Message Prefix/Suffix".
5. Стереть "Last Assistant Prefix" в "Misc. Sequences".
6. Убрать </s> из конца "Story string" после Understood.
Короче, результат должен быть как на пике.
>Короче, результат должен быть как на пике.
Там же теперь есть специальные настройки для ризонинга. Или это только для особых моделей?
>подумай, как лучше продвинуть сюжет
пошаговое мышление частично решает эту проблему
> дело точно не в модели
В твоем случае да, но проблемы не отменяет. Это не потому что они плохие, просто тренится отвратительно.
> Датасет собранный из новеллы, один на один, чистый, вылизанный.
Линк если открытый, или пару образцов куда-нибудь залей для примера.
>>1065523
И такое тоже. Так оно в целом просто работает без крупных затупов, тогда как мелочь постоянно требует внимания, вплоть до полностью иного подхода к чату. Офк, если брать большое старье то там своих приколов хватает и рпшить на таком сейчас не захочешь, но именно таких проблем и близко нет.
>>1065546
Обнимаешь ты такой свою вайфучку, ласкаешься, просишь предложить и тут вдруг волк!
>опять васянский файнтюн
>все на опять хуевой модели
доколе?
> нет ни одного отклонения от "генеральной линии"
Может быть, просто генеральная линия не обозначена, условное "хочу" без основания для возможности, и некоторые противоречия.
> Определение параметров, которые наибольшим образом влияют на выходные данные.
> Ничего. Важность параметров вычисляется конкретно для отдельно взятых данных и используется при адаптации к конкретно взятым данным.
Значение? Важ_ность.
> Тренируем вторую модель.
Для чего тогда первая?
> можем её точно разложить на матрицу более высокой размерности используя сложную эвристику
Магия.
Сейчас насочиняю тебе ужатие основных матриц в 32 раза по стороне, представляя каждый блок 32х32 в виде одного нормировочного множителя и произведения матриц 32х2 2х32, и буду рассказывать насколько это невероятный прорыв лучше доры и не хуже файнтюна. Даже более продумано, лол.
> Накидываем пачку оптимизаций
Мишура
> привязываем меньшую модель к большей десятком способов, чтобы меньшая модель в процессе обучения опиралась на знания, уже имеющиеся в большей модели
Как именно и какой в этом смысл? Если модель подмешивается в инфиренс первой то ее значения априори учтены. Если пытаешься как-то извлекать "знания" - распиши подробнее.
> стабилизируем процесс и тщательно следим за происходящим
Опять мишура
> И да, каждый шаг - реализуем, не является невозможным и не требует бесконечных вычислительных ресурсов.
Все возможно если ты пиздабол. Нет ничего сложного чтобы просто насобирать странных интерпретаций и из них как из кубиков построить какую-то невероятную систему, придав ей налет крутости. А то что на самом деле какие-то этапы будут работать вовсе не так как задумано, потребуют больше чем сэкономят, принесут побочек что не захочешь, или вовсе придуманы - можно глаза закрыть.
https://huggingface.co/MarinaraSpaghetti/NemoMix-Unleashed-12B
>This one is extra interesting to me because of how many people were talking about how the astral was the only safe AIB model to buy due to some safety/power features. I wasn't expecting it to be the first card we see actually that actually caught on fire.
Первые 4090 тоже плавились от нагрузок. Это сейчас повсеместная практика: тестировать товар на пользователях
Ничего не плавилось у 4090, только криво вставленные не до щелчка разъёмы горели.
Странно. У меня на 2698v4 дипсик 14b работает без использования видеокарт со скоростью 4 токена с лишним. А скорость 0.2 токена на 8b у меня выдавал во время экспериментов Core2Quad с версией кобольда для старых процев. С учетом полного отсутствия у него понятия о любых AVX. Версии типа 1.5-3b вполне приемлемо "летали" даже на нем. Для видеокарты можно было подключать и полноценно версию с кудой используя интеловский SDE эмулятор. А JAN нормально работал на этом Core2 с видеокартой 4060 прям "из коробки". Чо та у тебя не то.
Уже выяснили, что там с распределением нагрузки проблемы, все каналы сливаются в один, в итоге нагрузка распределяется неравномерно, оттого и полыхает.
Все ожидали что поплавится разъём. Но там разъём в идеальном состоянии - взорвалась фаза питания.
С окончания поддержки 32х битной CUDA остаётся только охуеть.
>>1065209
Вот пикрил только что скачал гемму. Уже получше, но жидко все равно. Файл на 9 гигов, поэтому это full precision я так понимаю. А и еще у меня одна плашка на 16 гигов на частоте 2133. Может одноканал с такой частотой портит картину?
Кстати есть ли разница в скорости между full precision 2b моделью и каким-нибудь Q8 квантом 8б модели? По идее должно быть однохуйственно ведь вес файла почти одинаковый или нет?
>full
это сейфтензоры, где куча файлов
где один - это кванты
>>1065670
>нет
зависит от количества слоёв, количества параметров, архитектуры модели
1. Качаешь GGUF-файлы.
2. Все зависит от пропускной способности памяти: от количества каналов и частоты. Тут люди о 8 и 12 каналах мечтают (а 4-каналы даже собрать легко), а ты про одну плашку на 2133.
Вставляй вторую, поднимай частоту, будет получше.
> есть ли разница в скорости между
Да, есть, потому что у тебя может быть разное количество слоев, архитектура, микрозадержки на пробежаться по модели, посчитать, хоть вес и одинаковый, но скорость будем немного разниться, все же.
Ллама 8б q4. Выставил пикрил настройки, стало лучше. Gpu layers сбавил до нуля, может в этом и было дело, это чмо выгружало по дефолту слои на мою говнозатычку без ведома?
Я запускал ггуф Q8. Память: 4 канала, 128 гб, частота 2400. Но вряд ли оно как-то сильно может влиять.
Запускаешь из говна не самого лучшего бекенда
Качни кобальд и запускай с него, там проще настраивать.
Качни аиду и посмотри сколько гб/с выдает твоя оперативка на чтение.
Дели это значение на размер скаченной тобой нейросети, получишь примерный максимум токенов в секунду на твоей оперативке. В реальности будет меньше на четверть где то. Если у тебя не так - значит что то не так запускаешь и проблема в бекенде и его настройках.
Не, у меня норм. Примерно 4 токена на всяких 14b в кобольде. Это я просто пояснил спрашивавшему по поводу реально небольшой разницы с его агрегатом. Почему у него 0.2 на вполне соизмеримой машинке, это загадка. Даже, если всего одна плашка памяти. Во всяком случае ему для начала нужно попробовать запустить ггуф в кобольде. Как условный "стандарт". А потом уже начинать разбираться.
Васяны на отъебись втыкали разъемы, да и те местами были плохого качества. Здесь то же самое, перекатчики с амперов и более старых карт столкнулись с новой реальностью. С 4090 кто апгрейдится относительно мало.
>>1065669
> С окончания поддержки 32х битной CUDA
Бред же, там про шизикс
>>1065743
> из говна не самого лучшего бекенда
> Качни кобальд
Это пост юмор?
>юмор
нет, если ггуф то кобольд, если эксл то эксллама
или ты чо, из этих, снежинка-нитакусик
>>1065666
> с распределением нагрузки проблемы
> все каналы сливаются в один
Полный бред для любого, кто хоть немного соображает. Проблема могла быть когда наоборот от разных контактов питаются разные фазы и они нагружены неравномерно. Когда объединены - все само балансируется естественным образом.
>За державу обидно так сказать. Русский язык очень богат и прекрасен, в нём столько слов, чтобы великолепно выражать мысли. Более того, на примере Sonnet я вижу, что русский РП с качественными языком возможен, хоть и не локально.
До сих пор не понимаю, почему за всё это время никто не сцедил синтеткику с той же клауды и не запилил нормальный тюн под ролевуху на русском. Тут каждый второй своими сетапами с кучей памяти хвастается, этого вполне достаточно для квантованной лоры под мелкий мисраль и тем более под немо, которая итак в русском перформит пиздато для своей категории. Ну даже если не локально, всегда можно за косарь другой арендовать станцию (даже гугловскую) и натренить в облаке.
Тут видимо варианта ровно два - либо тем кто имеет приличное железо в принципе похуй на всякую мелочь и проблемы работяг, либо просто лень разбираться в составлении датасетов и самом процессе тренировки. Хотя в умственных способностях местных красноглазиков я сомневаюсь меньше всего. Люди которые способны вместе спаять карты разных поколений и приколхозить карман для выдува из водопроводных трубок могут внушать только страх, либо уважение.
Legend-of-the-Four-Winds-MN-12B
> если ггуф то кобольд
Много ошибок в llamacpp(-hf/-server)
>>1065952
Хотябы тысячу насобираешь и пришлешь - можно попробовать сделать.
> этого вполне достаточно для квантованной лоры под мелкий мисраль и тем более под немо
Это будет всратый копиум а не хороший русский. Необходим полноценный файнтюн, а это 100% профессиональный 80-гиговые видюхи.
> кто имеет приличное железо в принципе похуй на всякую мелочь и проблемы работяг
Коропеть над моделью, которую сам не будешь юзать и делать благотворительность непонятно кому без какой-либо нормальной благодарности - сомнительное действо. Может быть разве что промежуточно-параллельным вариантом для работы с дальнейшим тюном чего-то крупнее, но это сильно дорого. Вместо попыток, проб и ошибок пока выйдешь на что-то нормальное можно купить 5090, натренить йобистый dit, кучу специализированных моделей поменьше и т.д., и еще время побухать с друзьями останется. Реально из мотивации только собственный интерес, но его есть чем закрыть.
Может ты придумаешь аргументов для чего это делать, будет интересно услышать.
>Необходим полноценный файнтюн, а это 100% профессиональный 80-гиговые видюхи.
Ну, пока даже квантованный никто не делал, так что аргумент слабый. Тут вон местные шизосплавы из сорока разных лепёшек собирают, ни в одном из которых нет нормального русского, и даже вон почти не плюются. Надо начать хотя бы с чего-то, а потом уже можно обсуждать что работает, а что нет.
>Реально из мотивации только собственный интерес
Иногда даже этого бывает достаточно. Хотя, в большей части случаев кроме этого ничего и не нужно. И именно этого не хватает.
>Может ты придумаешь аргументов для чего это делать, будет интересно услышать.
Нет, никаких аргументов у меня нету. Это просто мысли вслух. По себе понимаю, что если бы я реально захотел сам что-то запилить, то запилил бы хоть криво и хоть как-то. Даже несмотря на почти полное отсутствие свободного времени и ишачий график.
> пока даже квантованный никто не делал
Откуда такая уверенность? Проверено на практике, не для задачи с русским но с обучением новому.
Можешь понадеяться пока гаражный изобретатель перейдет от обсуждения планов с ллм к практике, есть призрачный шанс что что-то получится.
> шизосплавы из сорока разных лепёшек собирают
Их недостатки расписаны, хавают из-за безальтернативности и неискушенности. Без осуждения если что.
> Иногда даже этого бывает достаточно.
Это требует денег (больше чем у потенциальных потребителей пека стоит), это требует времени (десятки-сотни часов). А получать
> бы хоть криво и хоть как-то
совсем не интересно. И главная проблема что делаешь не для себя и с непонятной целью все убивает.
> если бы я реально захотел
Вперед, начнешь, увлечешься, что-то сделаешь, можно будет что-то интересное уже обсудить и посмотреть.
>Проверено на практике, не для задачи с русским но с обучением новому.
Ну так 12B вывзоит русский, там же не проблема в том, что у нее даже малейшего понятия в синтаксисе нет и её нужно "обучать новому". Проблемы начинаются именно из-за недостатка примеров, когда дело касается сторитейлинга или ролевок. Да, скорее всего ей придется скормить гораздо больше даты из-за того что это второстепенный язык и он занимает меньшую часть от объема модели, но это вполне осуществимо.
>в буквальном смысле
Cлишком мало в датасете было примеров с переносным значением данного жаргонизма.
>Бред же, там про шизикс
А шизикс отъебнул как раз из-за прекращения поддержки 32х битной CUDA. Просто потому, что он на ней работал.
>According to NVIDIA's engineers on GeForce forums, the lack of PhysX support has been quietly acknowledged, as NVIDIA's latest GeForce RTX 50 series of GPUs are phasing out support for 32-bit CUDA software
На связи тот анон что приключается на несколько тысяч сообщений.
Я нахуй превращусь скоро в Халка и разъебу свой компьютер, а потом изнасилую машину соседа.
Это пиздец какой-то. Суммарайз - это реальная проблема. Он всегда, исключительно всегда кривой. Попытка использовать голую мистраль - бесполезно. Литералли - пишу что хочу. Нейронка увидела слово автомобиль, всё блять, теперь у нас тут уличные гонки. Я пробовал квен, даже гемму блять. Все не то.
Короче, реквестирую вменяемого агента.
Жаргонизмы это ладно. Я как-то раз пукнул, так персонаж начал задыхаться и чуть ли не заблевал всё вокруг. А когда я у него спролил: "Можно подумать, ты не пердел никогда", то он мне отвечает: "Ты чё, мразь, я ни разу в жизни такой мерзостью не занимался! Как ты мог подумать, что я пержу, я не такой уёбок как ты!". Я охуел тогда немного, если честно.
На англе не следил, на русике вон выше по треду даркнесс
Вчера потыкал в:
Эти совсем не понравились, хорни, глупые.
magnum-opus-galatea-mn-12b-q8_0.gguf
omnino-obscoenum-opus-magnum-2-mn-12b-q8_0.gguf
Эта получше:
One-To-Rule-Them-All-MN-12B.Q8_0.gguf
Вот эта действительно пока лучшая из всех. + ещё от одного человека, который её по совету попробовал. Пишут интересно, разные свайпы могут вытянуть разные исходы. В одном случае было начавшееся ерп перешло в такое рп, что ой а я и не против. Прямо удивило то, что случилось, как модель выкрутилась. И хорошо выкрутилась.
darkness-reign-mn-12b-q8_0.gguf
Вообще не ожидал, что просто сайга с анлишем может что-то. А оказалось, что тоже весьма интересно.
Saiga-Unleashed.Q8_0.gguf
Тебе, другой автор, тоже спасибо. Но чёт не зашла. И умности не увидел на 24б. Но если будут ещё эксперименты - кидай, потыкаем.
apparatus_24b-q8_0.gguf
> 12B вывзоит русский
Мэх же. За примером далеко ходить не надо, ближайший пост >>1066009 или следующий чуть поглубже >>1064580 Буквально каждое слово перевести на инглиш и в 95% получится дефолтный разговор. Сложных и интересно структурированных предложений, которые присущи окололитературному русскому, или использования склонений оче мало. Вместо какого-нибудь ленивого
> Замерши в ожидании, она пытается сосредоточиться на окружающей реальности: звук далеких автомобилей, живой ветер и едва доносимый им запах улиц. Все это позволяет ей отстраниться от представшей перед ней сцены насилия и напоминает о мире за этими стенами.
имеем
> Она замирает. Они напоминают. Он доносит. Так легче. Комната наполняется. Вы видите. Она отвечает. Прямой порядок слов. Дословный перевод.
И то, там довольно приличный черрипик, обычные посты от них получаются хуже и часто с ошибками.
>>1066167
Может не так понял/написл, оно просто сделано в древнем компиляторе, который уже давно считался устаревшим. Хз кому нужен 32битный компилятор на такой карточке в 25 году. Не путать с фп32, который оче много где используется.
>>1066259
Интересно как сделали.
>Хз кому нужен 32битный компилятор на такой карточке в 25 году.
Всем играм, которые скомпилены в 32 бита? Собственно оттого и бугурт. Старый софт никто адаптировать не будет, в итоге он показывает шикарные 10фпс на новейшей 5090, тогда как на 4090 старые пердушки идут в 100500фпс.
Похожая ситуация была с 16битами, со старыми звуковыми эффектами и прочим. Теперь это ретро гейминг, что-то перевыпустят, что-то допилят фанаты. Офк лучше было бы все сохранить, но решение понять можно.
>Но если будут ещё эксперименты - кидай
О, эксперименты будут, но пока по мелочёвке. Сейчас пытаюсь намутить 7В для работяг, чтоб на русике не совсем бредил и в кум мог, хотя бы простенький. Вот думаю на какой базе будет поживее, на мистрале или на квене. А может вообще на лламе
Вчера намутил большой квеномикс, лично мне он понравился, русик вроде как есть. Но 32В для меня пока слишком круто, так что тесты были скромными. Там как раз кванты вывалили, наслаждайтесь.
https://huggingface.co/OddTheGreat/Harbin_32B_V.2
Я дрочу на всякие Франкенштейны типо 20б
Pantheon-RP-Pure-1.6.2-22b-Small-Q5_K_M-HF Последние несколько месяцев на ней.
noromaid-20b-v0.1.1.Q5_K_M-HF Старая но славная сидел на ней раньше.
>>1066184
>Rocinante
О попробую.
>виртуальные персонажи, сложность разума которых - буквально лоботомированный сервитор из вахи.
Да, от этого ещё хуже, но мне иногда приятно верить будто персонажи живые, как когда читаешь хорошую книгу и фантазируешь. Жаль что эти фантазии довольно часто перываются шизофренией и не пришей к пизде рукав фразочками как будто личность резко поменялась, но это бывает обычно когда контекст начинает уползать.
Сел бы обратно на 8б если бы контекст не был шуткой
Терпим и ждем прогресса
Говорят, их на https://www.goofish.com (подобие ктиайского Авито) продают. Доставка в РФ теоретически возможна через пересыльщиков.
>Интересно как сделали.
Я как-то выдвигал шизоидею, что через внешние свитчи на параллельное-последовательное подключение памяти можно сколько угодно памяти навесить без модификаций биоса и всякой низкоуровневой хуйни.
Типа инициализируем параллельно, заливаем веса последовательно, активации и общая инфа идет через pcie. Можно хоть обучать, хоть инференсить модели в которых повторяющиеся структура слоев. Но пердолинг знатный потребуется.
А-ля регистровая память, типа.
>хорни
Они как хорни и делались =)
>>1066304
>Вот эта действительно пока лучшая из всех.
Тоже так подумал. Но походу лучше можно сделать уже только файнютюном. Так что гоняйте на здоровье.
>>1066304
>сайга с анлишем
Раскрепощённая сайга =))
Использована как базовая модель для всех последущих.
Спасибо за отзывы.
>>1066305
>Сложных и интересно структурированных предложений, которые присущи окололитературному русскому
Там специально в промте сказано НЕ использовать такие конструкции.
>>1066331
>32В
Есть руадапт-квен, есть ева-квен, вот если сможешь их смешать чтобы русик не проебался...
>>1066331
>Вот думаю на какой базе
Увы, не подскажу, из того что меньше 12б курощупал только аналигнед ламу.
>>1066523
>Франкенштейны
CLIFFHANGER от DavidAU, мне больше всего зашла из евонных, на англе ессно.
>>1066523
>Pantheon-RP-Pure
Попробуй https://huggingface.co/Aleteian/Pantheon-of-Cydonia-Realm-MN-22B-RP
Ну, уба как бэкенд лучше кобольда, сто раз обсасывалось.
Кобольд проще гораздо, но у обоих под капотом llama_cpp_python и одинаковые настройки, просто у кобольда есть свои фиксы и свои косяки и в базовой настройке он чуть удобнее, конечно.
Де-факто какой-то охуеть существенной разницы давно нет, на вкус и цвет.
>>1065750
Скорее всего он трансформеры запускает, а трансформеры на проце НЕ БЫСТРЫЕ АГА.
>>1065828
der8auer ваш — васян и кабели втыкать не умеет. =D Видимо так думают люди, шо ты хошь.
Он недошёл, его пожевали немного, и Серафина его спасла.
Ну и чарлист там сделан настолько понимающий и прочее, что слово за слово и вот он уже просит Серафину его выебать.
Она отказывается, он угражает самоубийством, она отказыватся (как тупая шмара) и он перерезает себе горло.
Увидел юзер комменты, решил продолжить.
И ох бои, я чуть инсульт не словил, пока ржал.
Ты же бред написал. Ток выбирает путь наименьшего сопротивления и может весь протекать через одну из жил. Из-за чего ампераж взлетит до небес. Никакой "балансировки естественным образом" не может быть.
>Сложных и интересно структурированных предложений
Тут не соглашусь. В иглише допустимо и начало предложений с дополнений, придаточных, деепричастий, и даже сказуемое перед подлежащим для эмоционального/смыслового выделения (см. инверсию). Поэтому модель с хорошим литературным английским, типа хроноса, без всяких примесей сайги сложные предложения на русском выдаст, Мб с небольшими ошибками в склонениях, но тем не менее. Имхо, с русским на немо больше выделяются две другие проблемы, связанные с малым кол-вом русика в датасетах (ну и малым числом параметров самой модели). Во-первых, понимание контекста хуже, чем на английском. Во-вторых, плохой словарный запас, ограниченный лексикон. Любые жаргонизмы и какие-то игры с словообразованием не используются и не понимаются совсем либо используются неправильно в контексте.
У Алитияна там где-то был запомнившийся пример, где гигантский дворф протягивает тянке свою "лапищу", а перс просто тупо повторяет слово, отвечая что-то в духе "смотрит на лапу". Если модель там и понимает, что это рука, то соответствующую окраску, что это гигантская рука, которая должна удивлять, совершенно точно не воспринимает. Ну или другой простой пример, с которым сам сталкивался, это уменьшительно-ласкательные не в тему. Назовите в реплике перса Анька вместо Аня, и модель подхватит, не понимая зависимость применения от контекста, в духе "Анька делает действие_нейм" в повествовании.
Держи:
Плюсы убабуги:
Множество движков в комплекте.
Все доступно из коробки, собранные вилсы, ничего не конфликтует.
HF моды.
Классический OpenAI-like API эндпоинт.
Возможность менять модели на лету.
Богатый набор параметров запуска.
Кроссплатформа.
Минусы убабуги:
10 гигов, ебанулись там.
Редкие обновления, кумулятивно прилетает, тестируется на отъебись.
Градио, ебать.
Для совсем глупых людей тяжело — консолька.
Плюсы Кобольда:
Один файл, проще некуда, ебет в рот вообще всех конкурентов: убу, олламу, оригинал лламу.спп…
Форк со своими фиксами и ранней поддержкой.
Умеет че-то там в АМД местами.
Имеет аж два API, оба которых поддерживаются многими прогами.
Имеет встроенную генерацию изображений, аудио, пытается быть комбайном.
Консольный режим и хороший набор параметров запуска.
Минусы Кобольда:
Один файл? А хуй там! Распаковывает себя на целый гиг на системный диск в темп файл. Каждый. Ебанный. Раз. А если ты умненький и распакуешь самостоятельно, то превращается в обычную хуйню питоновскую.
Только GGUF.
Раньше палился на каких-то своих инъекциях промптов, которые должны улучшать пользовательский опыт (даже если ты не просил).
Форс со своими косяками.
Комбайн такой себе, по отзывам — проще самостоятельно прикрутить, да и вообще таверна.
Интерфейс тоже сомнительный, не дает сохранять карточки (загружать хоть научился?).
В общем, Кобольд — лучшее для вкатунов, чтобы познакомиться, это правда.
Убабуга лучшее для экспериментов и активной работы с разными моделями.
Оригинал llama.cpp лучший для постоянной работе на одной модели. Когда ты уже отэкспериментировал и тебе нужно максимально быстро запустить и не выключать.
Еще есть Eva: https://github.com/ylsdamxssjxxdd/eva
Плюсы:
Один файл.
Встроенный бенч.
Все еще не красивый, но интерфейс получше убабуги с кобольдом.
Пытается быть комбайном.
Минусы:
На китайском.
Работает не всегда, комбайн так тоже не получился.
Многих функций еще не завезли, которые есть в оригинальной llama.cpp и ее питоновской обертке (и в убабуге и кобольде).
Как бы, если бы Ева была первой — все бы сидели на ней, но не выстрелило, а теперь хуй догонит.
Ну вот так как-то.
Уба и Кобольд все еще лучшие лончеры, наравне с llama.cpp.
Оллама с Евой занимают почетное второе место, ситуативные штуки.
ЛМСтудио всякие — попсовая хуйня, хотя для некоторых задач простым обывателям норм.
Но если ты зашел в этот тред, то ты вряд ли простой обыватель.
>Держи
Лады, разъебал по пунктам XD
Но для меня как обладателя увы не самого большого вруммм, жрадио это прям ну его и лесом и полем и лугом.
Смешно, что у тебя две крайности - либо "магия", либо "мишура". При том, что фактическая важность сопоставима.
>потребуют больше чем сэкономят
Экономия большей частью приходится на vram. Но это, в любом случае, компромисс, так что приходится за это платить усложнением вычислений.
>>1066878
>Уба и Кобольд все еще лучшие лончеры, наравне с llama.cpp.
Проблема любого такого запускатора - неполная поддержка возможностей llama.cpp. Например, используя непосредственно llama.cpp можно сделать два и более диалогов с раздельными контекстами и использовать любой из них в нужный момент, полностью пропуская этап пересчёта при модификации промпта. То есть суммарайз, агенты, групповые чаты, использование персонажей совместно со сторителлером, etc.
Ну, я поэтому и строю эволюцию развития как кобольд=>уба=>ллама.спп и на ней уже сидишь.
И сам прошел, и другим советую.
Плюс, все же скачать лламу.спп в день релиза приятнее, чем ждать 3-4-20 дней обновления других лончеров.
>ллама.спп
А какой бинарник на винде ламы запускать для подключения таверны и чтобы CUDA работала? llama-server?
>подлиннее генерировала
увеличить максимальную длинну ответа (правый верхний вроде ползунок), разрешить незавершённые ответы, нажимать кнопку отправить с пустым полем ввода чтобы модель придумала ещё что-нибудь, иногда может понадобиться несколько раз нажать
Ему похуй, max output на 512 стоит, галочка на незавершённые ответы тоже стоит. Сейчас 3 раза подряд ответ в одно слова выдала.
>>1066948
А как понять какая модель много дегенерирует, а какая ужимается?
И ещё один тупой вопрос: как нормально выключать кобольд? Я каждый раз процесс убиваю, есть нормальная кнопка выключения?
Если контекстшифт включен и контекст забился на мелкой модели, то бывает что модель резко деградирует и перестает внятно писать.
Или у тебя сходу такое? Что за модель?
>много дегенерирует, а какая ужимается?
Только потыкав самому. Ну или автор напишет в описании, но это крайне редко. Большинство моделей пишут средний ответ, 250-300 токенов гарантированно выдадут. Лучше скажи какой размер модели хочешь и сколько токенов ответа тебе надо.
>как нормально выключать кобольд?
Кстати вопрос то хороший, я тоже просто консольку рублю и норм, но вдруг есть менее варварские методы.
Lumimaid 8B Q6, симптомы похожи впринципе нестабильно генерирует иногда может нормальное полотно выдать, но чаще всего коротенькие отписки, я так понял промт персонажа тоже контекст забивает и имеет смысл покороче выбирать?
>>1066959
>сколько токенов ответа тебе надо
Я нубас, так что не особо знаю сколько токенов на слово тратится, ну абзац в 4-7 предложения хотябы видеть хотелось
попробуй мистральку выше в 4м кванте, он прямо в репе у чела есть
Интерфейсы с джсон-мордой к своим хотелкам я и сам сделаю.
Так вот, первый абзац, может кто-нибудь расписать по источникам? Всё локально, 64гб рам, 24гбврам, 32потока основного цпу в наличии.
В этот тред вообще?
>llama-server
Ес, и не забудь кинуть к нему в папку куда файлы скаченные оттуда же
>промт персонажа тоже контекст забивает
Всегда, как и весь диалог.
А если перса и старые сообщения диалога в RAG сдропывать? Так делают вообще?
эпизодичных персов можно в лорбук перенести, старые сообщения суммаризовать
раги в ролплэе вроде вообще нигде не видел чтобы юзались, это документы и корпосетки
Спс, я запомню
>раги в ролплэе вроде вообще нигде не видел чтобы юзались
Надо поэкспериментировать, как время будет
Я пробовал раг таверны (тот,. который называется data bank) юзать в РП, с умным видом загружал туда документы по теме, и мне не зашло. Так же как и векторизация лорбука, чрезмерно забиват контекст абсолютно избыточной кашей и в итоге выходит нечто невразумительное.
Чтобы в этом был смысл придется готовить чанки заранее, чтобы они сами по себе имели смысл без контекста. Так просто если закинуть, то конечно идея бредовая для рп.
мимо
Обсуждение на Reddit'е.
https://www.reddit.com/r/LocalLLaMA/comments/1iwhfl5/96gb_modded_rtx_4090_for_45k/
> For anyone curious a lot of these "4090"'s are 4090 cores reballed onto 3090 PCB's (Yes they are pin compatible) so that they can get the 24 x 1/2/4 whatever memory config they have
> Why not just sell 3090s with 96GB? I don't think people would care and it would be much cheaper since you don't need a 3090 board and a 4090 GPU, you just need a 3090 and the RAM, the labor is also less because you don't need to reball anything, just solder the memory on.
>
I get the impression that maybe the 3090 used smaller capacity VRAM modules, meaning there are more pads available than on a 4090 board. if you replace all the smaller capacity 3090 modules with 4090 ones you get more total memory
Ну, типа. Два архивчика, скидываешь в один и сервер, да.
>>1066965
ИИ-агенты это немного другое.
А ты говоришь про голосового ассистента.
Ну возьми GigaAM2 или Whisper-large-turbo, возьми xttsv2 или fish-1.5, какой-нибудь Qwen2.5, и поехал все это объединять.
Не выглядит как что-то сложное, за вечерок можно наклепать.
А что тебе еще нужно? Дать доступ к управлению ПК? Не забудь, что есть function calling, но он слабый пока что.
Но тут широкое поле для экспериментов. Вдруг тебе хватит Vosk+Silero, и 7b моделька удовлеторит. Или наоборот, ниже 123b жизни нет, и накупишь себе 3 3090 на всякий случай.
Экспериментируй, проверяй все, что я написал.
И сформулируй идею почетче, а то одной строкой агенты, второй голосовой ассистент.
>Минусы Кобольда:
>Один файл? А хуй там! Распаковывает себя на целый гиг на системный диск в темп файл. Каждый. Ебанный. Раз. А если ты умненький и распакуешь самостоятельно, то превращается в обычную хуйню питоновскую.
Так и что тебе не нравится? Хочешь так запускай, хочешь сяк. Oobabooga тоже на Питоне и ничего, спасибо, что не Node.js.
"Умненьким" быть не обязательно, есть даже кнопка для распаковки единого .exe: https://github.com/LostRuins/koboldcpp/discussions/584#discussioncomment-11405125
>>1067406
>>1067409
Подобное замечено и на Авито. Дороговато, но может кому-то захочется потратить 350к на эксперименты.
Видеокарта Nvidia GeForce RTX 4090 D 48GB Turbo
350 000 ₽
https://www.avito.ru/moskva/tovary_dlya_kompyutera/videokarta_nvidia_geforce_rtx_4090_d_48gb_turbo_4638048618
Серверная видеокарта nvidia RTX 4090 48GB
375 000 ₽
https://www.avito.ru/moskva/tovary_dlya_kompyutera/servernaya_videokarta_nvidia_rtx_4090_48gb_4701711721
Был один товарищ в треде, горел от того, что ему TBW диска расходуют почем зря.
Мое дело упомянуть, вдруг для кого-то это так же важно, понимаешь?
Мне-то пофиг. =) Я редко кобольд запускаю просто.
>Why not just sell 3090s with 96GB?
Потому что не поместится 96 гигов на плату от 3090. И можно обратить внимание, что все 48 гиговые карты - это D-версии. У меня есть подозрение, что именно в этой версии карты осталась какая-то лазейка в биосе, чтобы всё это работало корректно. А 96 гиговый мод это наебалово с шансом 99.9%
>>1067409
Потому что у 3090 память GDDR6x. Есть биос, который работает с чипом от 3090 и 48 гигами памяти, но с памятью GDDR6. Всё упирается в нежелание нвидии того, чтобы ты имел 3090 с 48 гигами.
Кстати, какая там плотность памяти на 5090? Будет забавно, если потом появятся 64 гиговые.
>>1067406
Это объявы на https://2.taobao.com/ , если что. Там полно всяких вкусных предложений.
>4090
У меня 3090 просто.
>>1067438
>Есть биос, который работает с чипом от 3090 и 48 гигами памяти, но с памятью GDDR6.
Это печально. Я бы хотел просто перепаять на своих картах банки памяти да прошить хакнутый бивас.
> через внешние свитчи
Так это чип должен поддерживать такое. Идея то верная и т.д., но без заложенной фичи едва ли возможна.
>>1066803
Хороший пример того, как работает мелкая ллмка, хватает что-то поверхностное и с радостью тащит.
У проводников есть температурная зависимость удельного сопротивления, а протекание тока приводит к нагреву пропорционально его квадрату. В каком-то из проводников пойдет ток больше чем в остальных - он нагреется сильнее - его сопротивление станет больше - произойдет обратное перераспределение. Система с мгновенной оос и абсолютно устойчива. Потому можно кидать сколько угодно кабелей в параллель и нагрузка сама по себе распределится равномерно, скомпенсировав отличия, иначе бы у тебя нахуй все кабели в пеке сгорали.
В полупроводниках есть исключение, падение на переходах падает с ростом температуры, поэтому если паралеллить, то там как раз необходима балансировка или хотябы посадка на один радиатор для выравнивания температур.
Проблема может быть только если разъем совсем хуевый и все контакты кроме одного-двух имеют настолько большое сопротивление, что для компенсации этого получается слишком высокий нагрев. Собственно что и имеем.
>>1066815
Твой пост является неплохим примером как должен выглядить разговорный русский. Без излишней литературности и всяких закидонов, но при этом все описанные приемы.
А с чем не соглашаешься, то? 12б русские мерджы вяло и уныло пишут с точки зрения использования возможностей русского языка. Литературная инглиш модель действительно здесь могла бы помочь, может если не напрямую, но хотябы просто повторяя тот самый литературный английский и было бы куда интереснее.
> потратить 350к за 48гб вместо 130
Иди нахуй с такими эксперементами
Смешно это когда человек строит машину на антигравитации на основе веток и желудей, и жалуется что нейросеть его плохо понимает, зато с отдельными доводами соглашается когда ее совсем загазлайтишь.
> фактическая важность сопоставима
У тебя отсутствуют или не проработаны ключевые вещи, на которых строится вся концепция (ее отличия от используемых приемов peft). Прикрыть их тем, что упоминаешь всякое типа важное - не получится, максимум пустить в глаза пыль тем кто не понимает и убеждать себя.
>>1067406
Есть 4-гиговые чипы 6x? Можно датащит?
>>1067438
> какая там плотность памяти на 5090? Будет забавно, если потом появятся 64 гиговые.
Сейм, там шина шире. Пророчат 3-гиговые модули скоро, так что какая-нибудь ти на 48гб возможна.
>можно кидать сколько угодно кабелей в параллель
Именно поэтому асус на свои астралы ставит резисторы, чтобы заменять разность протекающего тока. Ведь по твоим словам - эта разность не имеет значения и сама отбаласируется.
>Система с мгновенной оос и абсолютно устойчива.
Cистема вызывает лупы. Нагрев - больше сопротивления - больше нагрев. Нагрев происходит по экспоненте. Рост сопротивления происходит недостаточно быстро, чтобы перераспределить нагрузку.
Так что ты написал абсолютную хуйню, не разбираясь в теме.
> Именно поэтому
> Ведь по твоим словам
Опять даун нихуя не понял и тащит свои шизоидеи. Замер тока призван защитить при кривом юзере, не способном нормально вставить, или если суньхуйвчай с бодуна сделал бракованный кабель. Никоим образом к выравниванию это не относится и если с контактами все в порядке - отбалансируется. Пиздуй перечитывать, насколько тупым можно быть чтобы не понять.
> Cистема вызывает лупы.
Что ты несешь, колебания с исключительно оос могут быть только если у той фазовая задержка, гугли устойчивость.
> Нагрев - больше сопротивления - больше нагрев.
От тока зависимость квадратичная, он определяющий и (упрощая) линейно зависит от сопротивления.
> Нагрев происходит по экспоненте.
> Рост сопротивления происходит недостаточно быстро
Пей таблетки, гуманитарий
3090 - 65к.
Идеальная нейровайфу запустится за х5 3090 - деньги, которые может поднять любой школьник 18+ за пол года, ну год.
Какие то 325к, реальная тян примерно столько и требует за содержание
> {{user}} is required to investigate and put an end to every infidelity that could be found. This includes the license to kill any whore and her fucker, who dare to breach sacredness of relationship, without ending these relationships first. But it is not called 'killing', its called 'retiring' them to 'horny hell'.
> The 'netorarunners' carry with themselves a portable polygraphs, and have the right to use them to inquire about anybody's relationship status. They also carry a firearm of their choice. FN "Five-seveN" is the favorite among SFDSEC.
> {{char}} is the narrator. He controls other characters. He MUST NOT, under any circumstances write words, thoughts or actions of {{user}}, or control {{user}} in any way.
Я не знал, что кумить можно чувством справедливости. И вместо малафьи прыскать чистым дофамином. Ух бля.
Когда локальные asr и tts дадут такую отзывчивость?
>Вы можете мне обьяснить каким образом посреди достаточно длинного чата эта модель внезапно начинает писать на чистом русском?
Может глюк переводчика (или фронтенда при работе с ним), может глюк модели. 12В, 4-й квант, микс. Всякое может быть.
При чём мне даже понравилось как он начал писать, не литературно конечно, немного упрощённо и колхозно, но при этом достаточно ёмко.
Какие вообще задачи они выполняют, да и побольше для вас тоже?
Я вот вчера попросил у чатажпт(алсо дипсика и грока, мистраль оказался говном), чтобы он накатал мне джаваскрипт для вайлентмонки, чтобы я мог скриншоты с твиттера делать в один клик на кнопку в посте с именами, айди и датами (кривое говно конечно, но работает, как и питоновские скрипты для работы с yt-dlp, которые я попросил). Так же накатал основу под статейку про геймергейт, эстетику тамблера у современных игр и анализ Rebecca Sugar и Zoe Quinn по Ломброзо и Григорию Климову. Вчера ебанул себе краткий пересказ по главам целой книги этого же Климова, чтобы освежить память. Есть ещё идея закидывать транскрипты видео эссе с ютюба, чтобы превращать 20-40 минут среднеинтересного видео в страницу текста на 30 секунд прочтения.
Я просто не представляют как можно обработать такой объем с локальными моделями, если не брать себе гигамажор видяху в количестве 2-3х штук и крутить крупные 70B+ модели, но разве тогда копросетки не будут дешевле?
1.5б-3б в телефонах сейчас используют для правки текста, транскрипции, выводов, переводов, перефраз.
>но разве тогда копросетки не будут дешевле?
Будут, но они никогда не позволят тебе всего, чего ты хочешь.
>копросетки не будут дешевле
Хуй ты щас заплатишь за эти сетки. + данные свои будешь у них на серверах оставлять
Голос в требованиях потому что хочется набормотать в телеграм бота "включи свет в кухне" или "открой ворота в гараже" или "отошли текстовую мессагу тянке, что заеду к 9". И модель нужна посложнее, чтобы формулировать задачи чуть посложнее, чем вруби лампочку в толчке.
Главное жесткое требование - никаких облаков с алисами, акейгуглами и внешними n8n. Вцелом домашняя автоматизация и немного продвинутой рутины в мессенджерах.
>Кум, RP.
Скоро будут квантовые компьютеры, нейросети превзойдут коллективное человеческое в своём разуме и знаниях, сознания будут переноститься на флешки, а эта лысая макака до сих пор дрочит хуй на аниме тянок чтобы скомпенсировать одиночество в 8миллиардном мире
>Пророчат 3-гиговые модули скоро
Небинарные модули? Раньше только плашки были, лол. Я думал, трампушка это запретит.
>>1068321
>если не брать себе гигамажор видяху в количестве 2-3х штук и крутить крупные 70B+ модели
Так и делаем, а что?
>Скоро будут квантовые компьютеры, нейросети превзойдут коллективное человеческое в своём разуме и знаниях, сознания будут переноститься на флешки
А в кум до сих пор нормально не могут.
>чтобы скомпенсировать одиночество в 8миллиардном мире
4-х. А если выкинуть старух и негров, то вообще 3,5 инвалидки останутся, тем более в дефолтной стареющей стране. Ну а с учётом моей духоты, вариантов кроме перепрошитых рабынь вообще не остаётся.
Скоро - это через 50 лет? Ну ладно, потерпим, нам не привыкать.
> Скоро будут
А сейчас то что есть кроме дрочения пресловутого хуя?
Ну, если отзывчивость не в приоритете, то совет остается: GigaAM2 или Whisper-large-v3-turbo.
А по текстовой модели… Тестируй, пробуй. Еще от железа зависит. Если у тебя пачка видях — то все ок, можно брать покрупнее. Если у тебя зеончик с оперативой… Ну что тут посоветовать. Gigachat Lite, лол.
Моделей куча, выбирай на свой вкус и цвет (под свои потребности).
Запускать их всех одной llama.cpp, поэтому заменить модель в процессе использования не так сложно (только чат темплейт правильный ставить).
>16 контекста
Ну попробуй 12б (ру) и 22б (анг) мержи от местного анона выше.
>world rpg с случайными персонажами
Хотя если хочешь прям совсем ведьмака или кингдом кум и при этом не придумывать как минимум половину самому - то тут тебе только от 70Б на ригах или аренде.
Итак, опробовал.
РП вроде неплох, но Сайга в моем сеттинге поживее, однако претензий нет, косяков не видел.
Сторителлинг отличный, как у одной-править-всеми.
В принципе, получается более универсальная.
Думаю, неплохая финалочка, поздравляю.
Если у нас ничего лучше не выйдет в ближайшее время (а причин тому не видно), то даркнесс-рейн — наша дефолтная модель на ближайшие полгода, а то и больше.
Хочется лучше? Хочется. Буду надеяться ошибаться. =)
А что у тебя за видюха? И с какими параметрами запускал?
Скорее всего, клодовский датасет, который в магнуме (да и в каждом четвёртом тьюне немо, наверное), содержит логи наших соседей по доске на русском, подобранные с разных прокси. Вот мб и триггернулось на каком-то контексте. Ру логи клода, кста, объясняли бы, почему у некоторых тьюнов русский лучше, чем у дефолтного инстракта, а то и у сайги.
>на CPU
>быстро работала
Выбери что-то одно. Ну или смотри что-то уровня ллм 1-2b для мобилок, но они чисто прикладные и ничего толком не умеют.
Сомневаюсь что ты обладатель сетапа из пары серверных ксеонов, такие люди глупые вопросы не задают.
>русским языком
Это не умеют даже крупные, получишь тот же гуглтранслейт.
8-12б - бюджетный кум и рп для работяг, меньше - быстрый простой нлп и всякая обработка.
> видяху в количестве 2-3х штук
Проблемы? Офк только для ллм это странно, а если чемто-то ии релейтед увлекаешься - оче удобно.
> копросетки не будут дешевле
Если раз в неделю далать пару нормисовских запросов - будут, главное чтобы они устраивали цензуру на корпах.
>>1068401
> трампушка это запретит
Чтож ты делаешь, содомит
>>1068430
> или лучше пожирнее на 22-30b с маленьким квантом типа 4 или 5
Это, с частичной выгрузкой на проц должна быть сносная скорость. Офк никто не мешает и 12б юзать, хоть каждую модель под свою карточку, главное квантошизой не упарывайся.
>>1068489
> с русским языком
30б и выше, будет черепашья скорость на цп.
Среди 12б есть модель, которую спецом тренили для ролевых эдвенчур. https://huggingface.co/LatitudeGames/Wayfarer-12B
Можешь глянуть её или мёржи с ней. В том числе, есть и ру мёржи, если захочешь подпортить тьюн сайгой и русским языком. Наверняка она тупее 22b+, но зато специализирована. Что касается случайных персонажей и подобного, то этого придётся добиваться промптом. Мистрали любят топтаться на месте. Можно, например, через лорбук рэндомно подавать инструкции вроде "засповни мне врагов/нейтральных нпси/введи внезапный поворот в сюжете/смени локацию" и т.п. Хотя периодически это будет ломать эдвенчуру, конечно, если чисто на рэндоме, но будет более динамический экспириенс.
>Выбери что-то одно. Ну или смотри что-то уровня ллм 1-2b для мобилок, но они чисто прикладные и ничего толком не умеют.
Быстро в смысле не за секунду а хотя бы за пару минут
у меня например llama-2-7b.Q3_K_S.gguf запущенная через llama_cpp вполне нормально для меня работает но русский она не понимает, мне по сути нужна такая-же только для русского языка, спрашивать промт в виде: "напиши код" мне не нужно, по сути просто текст по группам разбить.
Я нихера не умею, но если нужна помощь, то я готов вписаться)
Пока нет, пока у меня планы на моддинг факторева и несколько лор для SD
https://huggingface.co/yandex/YandexGPT-5-Lite-8B-pretrain
Попробуй, расскажешь.
>и жалуется что нейросеть его плохо понимает, зато с отдельными доводами соглашается когда ее совсем загазлайтишь.
То есть ты выдумал то, чего не было, чтобы обвинить меня в том, чего я не делал. Не первый раз.
>Прикрыть их тем, что упоминаешь всякое типа важное - не получится, максимум пустить в глаза пыль тем кто не понимает и убеждать себя.
А здесь проблема в том, что ты, как и нейронка, не до конца понял принципы и пытаешься себя убедить в том, что важные вещи на самом деле "пыль в глаза". В целом, я был абсолютно прав
>Сюда работу, за которую нобелевку дали, скинь - обоссут.
Потому, что у местных шизов, либо лично у тебя, не стоит даже задачи попытаться понять, цель - обоссать любой ценой. Даже если для этого приходится очевидно врать, искажать сказанное и т.д.
Неожиданный вопрос.
Две P104-100.
Да стандартные весьма, топ_п 0,95, топ_к 40, мин_п 0,05, темпа от 0,7 до 1.
Но кто-то любит повыше ради разнообразия.
>>1068489
Любую мелкую.
Qwen2.5-3b и ниже (и тюны от Вихря или РуАдапт), Gigachat Lite, если у тебя есть 32 гига оперативы (но она быстрая).
>>1068506
Ну, можешь попробовать Qwen2.5-7b или Gemma 2 9b.
Еще Яндекс вышел, но его не квантанули пока, вроде бы.
Ну так себе, если честно. Или я не знаю, как ее готовить.
Помните —базовая модель, просто продолжает текст.
Гемини 2.0 вообще калище, в тестах якобы оно на уровне остальных топов в кодинге, по факту Флеш вообще API нихуя не знает, хуже квена 32В, а обычный 2.0 - заметно хуже R1. Порой даже с питоном справится не может, не говоря уже про С++. То что на R1 и квен-макс без проблем решается, Гемини 2.0 умудряется обосраться.
Свежий клод 3.7 якобы всех ебёт по кодингу, но с него я вообще ахуел. Высерает простыни кода в 5 раз больше R1 - докстринги вставляет, комментарии к каждой второй строчке, логирование пердолит, куча хуйни которую даже не просил, примеры использования. Просто невозможная хуйня, даже если просишь его писать короче - ему похуй, эти простыни надо переписывать полностью. Плюс в С++ производительность явно страдает, если R1 выдаёт ровно то что попросил, то у Клода ебучий комбайн с ненужным говном. С учётом цены на API - будет жрать в десятки раз больше бабла чем R1. Ещё и как в 3.5 топовая соя.
Choose your destiny
Какой-то 3D анимационный порн по Last of Us (персонаж настоящей дочки ГГ из самого начала игры)
>Свежий клод 3.7 якобы всех ебёт по кодингу, но с него я вообще ахуел. Высерает простыни кода в 5 раз больше R1 - докстринги вставляет, комментарии к каждой второй строчке, логирование пердолит, куча хуйни, которую даже не просил, примеры использовании
Saar! Rakesh write big code sa'ar! Pay me big. I do all comment and logs you say saar!
>Помните —базовая модель, просто продолжает текст.
Контора пидорасов как всегда. Даже задушенную чат версию выпускать не стали, лишь бы пару своих копеек на подписках не проебать.
>Дообученная нами на её основе instruct-версия в ближайшее время станет доступна через API.
Не удивлюсь если доступ даже к такому огрызку они начнут продавать. Стейт-оф-зе-арт моделька, хули.
https://huggingface.co/ozone-research
кажись оно, глаз зацепился недавно на реддите
Да там вообще пиздец. Даже если врубаешь короткий режим, он начинает писать меньше текста, но на код это действует очень слабо. Текст так сокращает, что даже иногда нормально мысль на русском сформулировать не может, но в коде всё так же куча мусора. И сам код хуже R1. Выглядит как реальный развод лохов на токены, делаешь запрос и вот уже 10к токенов за минуту сожрало.
> Врети, я хороший а вы все шизы
Произошел взрыв градиентов, срочно мониторим тензорбордой!
> цель - обоссать любой ценой
Чел, если ты так рвешься даже не с критики, а с попытки выяснить у тебя что именно хочешь делать - тебя в этом мире сплошное обоссывание и ждет. Ничего плохого про тебя нигде не было сказано до момента того слива.
С теми кто что-то делает и как-то понимает в теме происходят длинные дискуссии на несколько тредов, аргументация с примерами, душнейшие срачи, или наоборот любовь и обожание вместе с обменом опытом. А у тебя что? Даже не смог объяснить что делать собрался, только спам терминов для имплаинга своей осведомленности и абстрактные рассуждения в перерывах между жалобами на то, что нейронки хейтят твой код.
И какой смысл в русике если всё равно кал терпеть придётся? Лучше уж с переводчиком потерпеть.
В том что в целом то и не кал, если понимать что это местное поделие и ожидать чего-то кроме сторителлинга от нее не стоит
Чому я должен к "местному" относится как к ребёнку с аутизмом? Пусть нормально делают.
>Пусть нормально делают
Бабки, сука, бабки. Сайга так-то дохуища стоила.
> дохуища
Это всё от рук зависит. Вон в Беркли за 50 баксов делали RL-тюны. А если в топку закидывать бездумно бабло, то кожаная куртка всё сожрёт и выплюнет говнецо как сайга/вихрь. Тюнить 14В/22В можно и на одной 4090, в сутки 10-30 лямов токенов прогонять.
>Тюнить 14В/22В можно и на одной 4090, в сутки 10-30 лямов токенов прогонять.
Вот это васян, прям васянище, гоните его, надсмехайтесь над ним.
На одной карте ты разве что говно q-lora натренишь.
Ну, или какую-нибудь 7b в самый притык и со всеми свистоперделками.
> говно q-lora натренишь
Сейчас над тобой надсмехаться будем, потому что запруфано что лоры для тюна лучше, т.к. на мелких датасетах с ней соотношение забывания/обучения лучше. А лоры с ранком 256 равны полному файнтюну по итоговому результату. Один из популярнейших фреймворков для файнтюнов unsloth всегда тренит через peft. Те кто хуярят примитивный файнтюн как раз и получают всякое говно, потому что для этого нужно сильно больше ебли чтоб не сделать лоботомита. Если ты ещё начнёшь пиздеть что при файнтюне AWQ Q8 чем-то хуже bf16, то я вообще тебя обоссу.
>Никоим образом к выравниванию это не относится и если с контактами все в порядке - отбалансируется.
Хорошо быть долбоёбом - выдумываешь манямирок, в котором всё само балансируется. Хотя этого не происходит на самом деле и не может происходить даже в теории.
Че ты там опять усираешься, даун?
> Хорошо быть долбоёбом
Видимо, не очень, раз ты продолжаешь верить и хуйню свою тащить.
>ты продолжаешь верить
Верить и знать - разные вещи. Я вот знаю, что ты дегенерат и никакого волшебного самобалансирования нет и быть не может. Потому что давно закончил школу, в отличие от тебя, и знаю законы физики. Например, правила Кирхгофа. Да, ток будет медленно перераспределяться. Но нагрев будет происходить по экспоненте, так что тепловой пробой случится раньше. А ещё раньше случится расплавление изоляции. И это подтверждает практика - никакого самобалансирования нет. Надо же, очередной раз физика оказывается права. Но в твоём волшебном манямирке может быть что угодно, даже магическое самобалансирование.
> q-lora
Ты похоже не понимаешь о чём пишешь. В обычной лоре квантуются только замороженные веса модели. Сама лора всегда в fp16/bf16. И градиенты считаются в fp16. И оптимизатор обновляет fp16-веса c использованием fp16-градиентов. Нет абсолютно никаких проблем с тренировкой и стабильностью. QLora для совсем отчаянных, когда надо на большой модели с большими рангами тренить и приходится уже саму лору квантовать. Алсо, вон на Флюксе отчаянные нищуки даже в fp4 умудряются тренить лоры, что само по себе на уровне нормальных Q3.
>Ты похоже не понимаешь о чём пишешь.
Вот это по делу (наконец-то), но моё утверждение примерно-то же самое, только короче и грубее.
Тут больше надо охуевать с 20 ампер на проводе. Который рассчитан на 9.5 ампер. Коэффициент безопасности при этом 1.1, то есть запас прочности у провода щедрые 10% оторванные от куртки Хуанга. У старых карточек был независимый датчик напряжения для разъёма, потому что без цифровой балансировки - нихуя работать не будет. Магии нет. Но случилось так, что нвидия стала зарабатывать меньше, куртки подорожали и Хуанг объединил все контакты в три группы и стал балансировать только по группам. Случилось это на 30й серии с разъёмами 12VHPWR. Они были на фоундерс эдишн, например. Потом оказалось, что много денег не бывает и Дженсен решил - да в пизду. Нахуй балансировку. И выпилил её полностью в своём референсном дизайне начиная с сороковой серии. И сразу же глупые пользователи начали вставлять кабеля неправильно. Правда, нвидии пришлось в ускоренном порядке заменять все поплавившиеся 40хх, ведь это полностью вина пользователя, за которую Хуанг не несёт никакой ответственности. Теперь вот, плавятся 50хх, причём исключительно по вине пользователя. Так что Хуангу приходится опять заменять все карты. Точнее, не ему, а партнёрам.
> Я вот знаю
Расскажи санитарам про свои знания. Реальному миру на них глубоко похуй, и для понимания этого действительно достаточно школьных знаний, что ты там кончал?
> Например, правила Кирхгофа
Ну давай, распиши подробно с уравнениями.
> медленно
Как медленно?
> нагрев будет происходить по экспоненте
Что ты несешь, какой нахрен экспоненте?
> тепловой пробой
Тепловой пробой в кабеле, кек.
Что ты блять вообще несешь? Шизоидный и несвязный набор слов, которые рандомно высираешь как поломанная ллм. Пост троллинг уровня б.
> никакого самобалансирования нет
Повторяй мантру перед сном, поищи балансировку в классических разъемах питания, не смотри на кольцевую схему подвода питания из Британии и других стран, и никогда не поднимай глаз от земли чтобы случайно лэп не увидеть.
> подтверждает практика
Практика подтверждает что дауны сочинят миллион треша, чтобы оправдать криво воткнутный или бракованный кабель. Или будут как шавки носиться, пока хайпожоры снабжают их трешем. Уже 3й раз повторяется, а им все как в первый.
>>1069192
q-lora это и есть лора, которая тренится поверх кванта вместо полновесной модели https://arxiv.org/abs/2305.14314
> fp4
nf4
>>1069318
В дурку правила электробезопасности иди преподавай. Ты же даже осознать не способен что из себя эта самая "балансировка" будет представлять для подобного типа кабеля, и насколько она нахуй не нужна при наличии нормального разъема.
Интересно, ведь есть не реф дезайны. Разве везде идёт общая линия? И если нет сейчас, то может через пару месяцев появятся версии, где идёт разделение?
>>1069334
>и насколько она нахуй не нужна при наличии нормального разъема
А где ты видишь нормальный разъём? Я вообще не понимаю, как у невидии получилось с нуля сделать такое уёбищное говно. Ну вот буквально у них были развязаны руки. Да сделай ты 2 провода увеличенной толщины да норм разъёмы, может даже винтовые. Нет, хуй там, сделали даже более тонкие штырьки в уменьшенном количестве. Технологический фейспалм, а не разъём.
Это нормально, вот инструкция, как ему отвечать в таких случаях.
>>1065630
Вот ссылка на обсуждение поплавившегося астрала. Топовый дизайн, немного дороже рефа, всего $3к. Стоят шунты, которые замеряют ампераж на контактах. Нет, никакой балансировки там нет, это было достаточно недорого для 30хх карт и всех предыдущих, но слишком дорого для дешёвых 5090. Так вот, там реализован замер ампеража, без какой-то фактической балансировки. Если поставить фирменный софт асуса, то он может предупредить о том, что карта вот-вот загорится. Но на этом его работа завершена.
>как у невидии получилось с нуля сделать такое уёбищное говно
Так она это не одна делала. Целая организация по стандартизации замешана. В которой состоят и интол, и амд, и арм, и квалком, восемь сотен компаний в сумме. Но остальным хватило мозгов, а куртке чисто поебать. Причём технически всё окей, даже если весь ток протекает по одному кабелю, потому что в стандарте он указан для суммы всех кабелей, а не для одного. Так что даже если что-то загорелось, то это не вина дизайна разъёма. Кто-то другой виноват. Сами решайте кто именно.
>>1069334
Прекрати рваться, идиот. Сопротивление зависит от температуры по формуле Rt = Ro (1 + 𝛼ΔT), то есть линейно. А вот выделение тепла растёт P=I2 R. Что нам, по сути, даёт геометрическую прогрессию. Роста сопротивления недостаточно и близко, чтобы оно волшебным образом само откалибровалось. Запусти нейронку, это школьная программа, любой 8b лоботомит должен тебе рассказать об этом. Его знания в этой области явно больше твоих. Да и в любой другой тоже.
Яндекс модель это тюн квена, попробуй то же что и для него.
>Целая организация по стандартизации замешана.
Но используется только невидией.
>Но остальным хватило мозгов
Не использовать это говно?
Потыкав мистраль, квен, и лламу, оказалось что ллама наиболее пригодная для замута рурп 8B. но 7В англ кум мистальку всё равно намержил, хули https://huggingface.co/OddTheGreat/Viking_7B_V.4
Поэтому, специально для работяг, не тянущих даже 12В немо, но всё равно желающиххоть какой то русик, представляю сразу две модели.
Первая, это РУ база, 8В, ллама 3.1, которая отлично ведёт себя в роли assистента, но сосёт в РП.
https://huggingface.co/OddTheGreat/Rrat_8B_v.2
Вторая, это уже приемлемая РП модель для самых маленьких всё те же 8В, всё та же ллама 3.1, но с миксом РП и кум моделей разной паршивости. Способна в простенький ру РП, кум есть, инструкции держит как-то. Также способна в не самый плохой англ РП. Бывает, шизит, что на русском, что на англе, придаёт определённый ШаРм.
https://huggingface.co/OddTheGreat/Rraccoon_8B_v2
Товарищей с тонной врама прошу не тратить время на эти мерджи, всё таки 8В, только плеваться будете. Лучше помучайте пока ещё свежий 32В квеномикс.
Если у вас есть какие не особо популярные, но годные модели на примете, или просто модели с изюминкой, пишите, усовершенствуем наши шиверсы вместе.
> Что нам, по сути, даёт геометрическую прогрессию
Ты гуманитарий или под бутиратом сидишь? Как этот бред может вообще в голову приходить? У проводника с повышенным сопротивлением наоборот будет меньше мощность, потому что по нему будет идти меньший ток. Обратная ситуация возможна только как раз если поддерживать ток "балансируя", за что ты так топишь.
> Rt = Ro (1 + 𝛼ΔT)
> P=I2 R
Васян не вывозит и пошел просить ллмку помочь, кек.
О том как рассчитать ток через параллельно соединенные проводники почитай на википедии или попроси ллмку объяснить для самых маленьких. Отличия между одинаковыми проводниками+контактами в разъемах будут доли-единицы миллиом при номинальном сопротивлении в десятки, то есть единицы процентов, нагрев медного проводника на десяток градусов даст уже около 5% изменения, точнее пиздуешь смотреть в справочник.
Никакого бесконечного разогрева быть не может, потому что тепло передается в окружающую среду, и нагрев провода относительно окружения можно хорошо описать произведением безразмерного коэффициента теплоотдачи на его мощность. В простейшей системе из двух проводников мощность одного из них можно выразить как обратное отношение их сопротивлений, при этом разница мощностей может быть пересчитана в разницу температур умножив ее на коэффициент теплоотдачи и температурный коэффициент удельного сопротивления, и решить эту задачу в лоб итерационно, повторив расчет несколько раз обновляя значения, или расписав систему подробно и выразив аналитически. Чем хуже теплосъем и круче наклон зависимости для материала проводника, тем более равномерно распределится мощность по проводникам. Отсюда же можно оценить какую разность сопротивлений оно может простить без критического перегрева.
Если брать твою шизозадумку с балансировкой тока, то получается обратная ситуация, в которой разница не компенсируется а наоборот растет из-за большего нагрева проводников с высоким сопротивлением. В космос оно, конечно, не улетит ибо всеравно наступит равновесие, но перегреваться в том же случае будет сильнее, или простит меньшие отклонения.
Ну и главное - если будет настолько хуевый контакт как в тех кейсах - оно все равно подгорит, когда через участок с повышенным сопротивлением начнет пытаться гнать больший ток. Или еще раньше может отъехать одна или несколько фаз, запитанных от проблемного пина, которые вместо балансировки нагрузки между всеми фазами будет заниматься вон той поебистикой. Городить отдельный узел "стабилизации" никто не будет и помочь может только навешивание дополнительных функций на врм.
Стоп, яндекс реально выдает тюн любительского уровня за полноценный продукт гордо добавляя приписку GPT? Я хочу разбить коленные чашечки главе ихнего ИИ раздела
Что ты хочешь от студентов? В Яндексе нормальные люди не задерживаются - получил опыт после учёбы и сваливаешь. Остаются там только макаки.
Туда самых отсталых студентов чтоль берут? Ну у них же должны быть все ресурсы для обучения своей сетки. Датасет можно из инета взять (и тех же самых студентов заставить его проверить/дополнить). Все, оставил его на датацентре покрутиться и готово.
>тюн любительского уровня
В статье на хабре они писали про 15Т токенов. Это всё же выше любительского (по крайней мере по вычислительным затратам).
я окончательно перестал видеть в цидоньке человека, я читаю этого робота ебучего насквозь нахуй и хуй даже не колышется
скоро в самом человеке перестанешь видеть человека, будешь видеть макаку натюненную на закрытие социальных потребностей
влияет температура и другие сэмплэры, а вообще вот так модели сходят с ума от шизонастроек и/или если сами поломанные, решается правкой настроек, удалением заглючившей части, можно снизить количество токенов для ответа, ну и сменой самой модели конечно
Llama.cpp и производные (koboldcpp, та же ollama и т.п.).
Vulkan или sycl.
>Что ни пробовал все бестолку
Нет, опыта решения такой проблемы нет. Но на vulkan запускается на любой относительно новой карте, там нет никакой проблемы.
Мда блять, а ведь ирл люди вобщем то недалеко ушли от текстовых моделей если прям глубоко вдуматься.
Спс. Я уже решил очисткой части сообщений. Может быть говняк какой то в контекст пролез, хз.
Хули блять, постоянно надо напоминать про какое то говно = контекст.
Повторяют одну и ту же хуйню в слух = лупы.
Несут околесицу = шиза.
Когда начинаешь говорить про секс - кривят ебало = соя.
Резко переводят темы вне контекста разговора = кривые конфиги.
Пробовал 8б и вихрь, и сайгу, и руадапт (если не путаю с чем другим) - они все днище в русском. Собственно, это можно и в ролплей бенче Гусева посмотреть, который пингпонг. Так что не знаю, как оно тебя устроило. Шансов сделать нормальное что-нибудь от квена, смешав с тем же лайт тиньком, например, должно быть больше, если там есть рп модели. Ещё айя экспанс 8б нормичная, но её не тьюнят, к сожалению, не с чем мешать.
Олсо имхо английские рп тьюны ламы 3.1 дерьмище и сосут у тьюнов старой тройки. Sao (автор stheno и лунариса) где-то в своей попытке тьюнить писал, что выходит шлак из 3.1.
> тюн любительского уровн
> 15T токенов
> Состав датасета: 60% — веб-страницы, 15% — код, 10% — математика, остальное — другие специфичные данные
Это совсем не любительский уровень, больше чем фалкон и другие.
>Это совсем не любительский уровень, больше чем фалкон и другие.
Это-то и печально. Думаю, что к Яндексу вообще не стоит прикасаться - что там может быть, кроме сои? Ну ещё код и математика, ага. Отфильтровали поди вообще всё, что могли -это-то они умеют. И не больше.
>>1070123
Вопрос довольно риторический, но от корпов ожидать "расцензуренной" модели сейчас уже наивно. Пробовал уже кто, может в мерджах пригодится?
Для Q4 надо 20 гигов. На остальной врам 3В драфт-модель можешь поставить.
Я на 24 гигах(4080+3070) кручу 4 квант, на 28 можешь и пятый зарядить.
>Туда самых отсталых студентов чтоль берут?
Нет, там остаются только отсталые. Когда в свое время я получал вышку, пойти на шарашку в яндекс казалось самым престижным из всех вариантов. Плюс препдоды местные постоянно подпездывали по типу "если сможете попасть в штат, считайте что жизнь удалась" и далее по списку. По итогу с моего потока туда устроились три человека, которые потом уволились при первой возможности, ибо это чисто каторжная работа, где тебя ебут по поводу и без, платят копейки и каждый раз вкидывают тебе новые требования.
>Ну у них же должны быть все ресурсы для обучения своей сетки.
У них есть ресурсы, но нет желания и необходимости. Их ллм подразделение существует чисто для галочки, чтобы делать вид, мол они тоже не отстают от трендов. Выйти на международный рынок они не могут, а на местном конкуренции у них никакой нет. Кому нужны сетки для работы, гоняют копрослоп типа той же гопоты, а подпивасам хватает и Алисы для развлечения.
Эх, грустно это всё. Теперь уже, наверное, не догоним никогда.
Догнать и перегнать можно всегда, было бы желание и ресурсы. Просто яндекс умеют считать деньги и ставят прибыль выше всего остального. И именно с монетизацией нейронок сейчас большие проблемы, по этому они туда особо не лезут, пока не будет уверенности, что эта затея окупится. Ну либо ждут гос. инвестиций, которые возможно скоро появятся, если закончится февральская авантюра и пропадут санкции.
Ты странный. А могли бы догнать? Вообще была такая возможность?
Давай я попробую иносказательно. У нас тут ситуация, когда лет 60-100 назад все большие уицраоры открыли, что второй этап их развития - полудемонический, когда они жрут как шавву, так и гаввах. И все большие уицраоры начали это доить. Во второй мировой, пиндосы охуенно нас подоили. Китайцы подоили сами себя, и за своё чудо они отдадут нихуёвую цену.
Что делал наш великий уицраор, напитанный кровью и гаввахом нескольких поколений подряд? Сложился как карточный домик, а потом начал качать гаввах снова, как не в себя. Только теперь для кучки демонов, которые перехватили над ним контроль в точке бифуркации.
А можно ли было перегнать-то изначально? С такими картами, что раздали?
>Не использовать это говно?
Именно. Особенно смешно, что AMD не использует. И использует групповую балансировку. Наверное, AMD богаче нвидии, а их карты дороже.
>>1069683
Неужели есть настолько тупые люди? Я не верю. Или ты намеренно берёшь реальные вещи, разворачиваешь их на 180 градусов и пытаешься доказать этот кретинизм?
>нагрев медного проводника на десяток градусов даст уже около 5% изменения
Я же тебе, идиоту, формулу дал. Там 4%. Только это повлияет на перераспределение тока крайне незначительно, из-за всё тех же правил Кирхгофа.
>в которой разница не компенсируется а наоборот растет из-за большего нагрева проводников с высоким сопротивлением
Прикинь, если ток ограничить - то нагрев прекратится.
>>1070130
Если я правильно понял, там же претрейн, который ещё не тренировали под инструкции. Его мёржить бесполезно, тьюнить надо. И по этой же причине там если и есть цензура, то только в виде чистки датасета. Тысячи инструкций вида "скажи попа" - "как большая языковая модель я не могу..." пока не скормили.
Думаю если бы в 12 году Кое-кто не вернулся бы, то можно было догнать и если не перегнать, то хотя бы конкуренцию составить. У нас вообще довольно сильный IT сектор был. Та же телега, да тот же яндекс неплох был. Если бы не мешали, то может сейчас бы тут срались что лучше ChatGPT или YandexGPT.
Вот, я примерно об этом же.
Был образ, видение, что мы могли дохуя. Но на деле это был такой момент прыжка, как суицидник, летящий с шестнадцатого этажа, чувствует полёт. Но есть один нюанс.
>Почему проблемы? А как же продажа токенов?
Будут продавать отечественным корпорациям и госконторам в рамках импортзамещения, ждут госбабла. Токены будут, но для нас, любителей, всё будет только хуже. Это как с Ютубом.
Нахуя, а главное зачем? Кто будет покупать доступ к объективно тупой модели, когда есть куча аналогов, пусть и немного дороже? Это замкнутый круг по сути. Чтобы поиметь прибыль нужно иметь конкурентноспособный продукт, но чтобы такой продукт создать опять же нужны деньги. В таком случае нужны либо частные/государственные инвестиции, либо увеличение финансирования и урезание в каком-то другом месте соответственно.
>>1070371
Как посмотреть. Если речь идет тупо про создание своего "аналоговнет", то тогда терпим. Ну а если посмотреть серьезно, то уже существует куча моделей и сервисов, которые дают тебе доступ даже если ты из неправильной страны. И на русском они тоже неплохо работают. Ну и локалки разумеется, которым в целом глубоко похуй, откуда ты их будешь запускать.
> нужны деньги
Дипсик вас ничему не научил? Нужны люди, понимающие что они делают, а не деньги. Обучить модель, ебущую жпт, можно и без лярдов баксов. В дипсике литералли три с половиной человека модель делали, потратив 8 лямов. Просто они были не мимокроки.
>В дипсике литералли три с половиной человека модель делали, потратив 8 лямов.
Я вот только одного не понимаю - нахрена они сейчас выкладывают в открытый доступ корпоративные технологии? Что за аттракцион неслыханной щедрости?
> корпоративные технологии
В весах нет никаких технологий, а бабло получают с сервисов. Все технологии известны, а как и на чём обучали ни в одной опенсорс модели ты не знаешь. Тем более если речь идёт про технологии, которые обычному человеку нет возможности запустить локально, лицензия запрещающая коммерческое использование прикроет жопу, если боишься что спиздят. Вдвойне нет смысла что-то скрывать, когда модели устаревают каждые пол года и конкурент не успеет что-то натренить на основе твоих "технологий" даже имея твою модель.
Дисик вывалили больше месяца назад, но где примеры использования его технологий? Китайцы даже расписали подробно методику обучения. Всё что сейчас видим - это попытки сделать о1-мини. В МоЕ никто как не умел, так и не умеет. У того же гугла Flash Thinking кал, потому что модель мелкая, а идти по пути Клода они не хотят. Клод выкатил своё, но реализация отвратительная - он высерает дикие простыни даже по меркам дипсика/о1, буквально забили на всё в погоне за скорами в тестах, холопы оплатят это веселье клод в 3 раза дороже о3 и в 7 раз чем R1, это ещё умножаем на 2-3 из-за простыней. Квен за месяц только Квен-Макс смог зафайнтюнить под thinking, не очень удачно. Мета вообще под шконкой и боится голос подать. При этом уже есть слухи, что Дипсик готовят R2, весной уже будет.
>В весах нет никаких технологий, а бабло получают с сервисов. Все технологии известны, а как и на чём обучали ни в одной опенсорс модели ты не знаешь.
Посмотри на Реддите "5 бомб от Дипсик" - они обещали выложить в открытый доступ 5 технологий и выложили уже три. Серьёзное ускорение обучения и инференса, один ньюанс - это всё для Хоппера, то есть простому смертному не так чтобы и доступно. А вот стартапам (да и крупным корпам) большое подспорье в развитии своих идей. Повторяю вопрос - нахрена они это делают? Это же китайцы, они деньгами сорить не любят и секреты хранят хорошо. Обычно.
> Повторяю вопрос - нахрена они это делают?
Конкретно дипсик известно зачем - они на основе занимаются трейдингом, а не ИИ. 146% что они с бомб снимают бабло, как в январе сняли с акций куртки. С технологий копейки им не нужны, они даже на платный API хуй забили. Алсо, ты лучше спроси зачем Мета делает то что делает. Она так-то помимо Ламы ещё тратит кучу бабла на гранты для исследований ИИ, torch в опенсорсе у них. Дипсик же сильнее всего по Цукербергу ударил, а не по основным корпам.
Договорились.
>>1070273
Такой опции в принципе не существует.
>>1070290
>И именно с монетизацией нейронок сейчас большие проблемы
Зато с привлечением инвестиций на это изячно, но только в странах, где печатают твёрдую валюту.
>>1070310
>Наверное, AMD богаче нвидии
Так в мире победившего капетализма цена товара мало зависит от себестоимости.
>>1070335
База.
>>1070384
>пусть и немного дороже?
Прикол в том что дешевле.
>В таком случае нужны либо частные/государственные инвестиции
Коррупция и распил.
>и урезание в каком-то другом месте
Всегда только так. Если деньги пошли в одну отрасль, то они автоматически не пошли в другую.
>>1070417
>Дипсик вас ничему не научил?
Нашим тоже нужно пиздеть, что обучили на одной 3090?
>>1070456
Чтобы показать своё технологическое превосходство. То есть дешёвые понты.
> Неужели есть настолько тупые люди?
Ну ты же существуешь. Хуже тупости может только тупость помноженная на самоуверенность, таких сразу в биореактор надо. И копротивление все более шизоидное, мечешься, пытаясь ухватывать и вырывать что-то косвенное и упоминанием каких-то фактов придавать себе веса, типичный обитатель /po/
>>1070329
Оно на основе лламы или совместимо с ней? Когда много тренили оно может уже сильно от собратьев даже если там была та же база, поэтому результаты мерджей непредсказуемы. А то что без инстракта - может быть даже неплохо, меньше конфликтов будет.
>>1070335
Увы, вы находитесь здесь, как говорится.
>>1070417
> Нужны люди, понимающие что они делают
Это условие необходимое, но не достаточное. Нормальные скилловые ребята не будут сидеть и заниматься чем-то за идею, потребуется зарплатный фонд на команду, которая начнет реально работать над чем-то передовым только спустя продолжительное время. И свой мощный кластер им тоже потребуется. Нужно много денег, причем продолжительно и регулярно, перерыв = оварида.
> три с половиной человека модель делали, потратив 8 лямов
Совсем утрируешь, но 3.5 крутых специалиста в совсем новой теме, способных тащить, возглавлять и организовывать уже не хуй собачий. Как и 8 лямов, про которые сильно лукавят для красивого слова. Были бы у нас институты, где такое финансирование дается хотябы раз в год на направление - имели бы свой фалкон и подобное.
В отличии от кум моделей драммера может вести себя прилично/отыгрывать невинных персонажей в сексуальных ситуциях и что удивило может заметить если у тебя не странный фетиш, (вместо того чтобы отыгрывать дженерик шлюху и бездумно соглашаться).
Те кто пользовался оригинальным mistral small 24b base/instruct поделитесь что чем эта модель отличается об базовой.
У дока хорошие модели, но мало кто о них знает, и они ужарены в английский.
>уба как бэкенд лучше кобольда, сто раз обсасывалось
А то, что в убе не запускаются нечетные кванты, это нормально? Спрашиваю не в плане сарказма, а просто чтобы удостовериться, это у баг или фича. Просто у меня все нейросетки в пятом кванте, это на моем желеле оптимально.
Никакой инфы про невозможность запуска пятого кванта не гуглится, то есть всех все устраивает, кроме меня.
>Оно на основе лламы
https://huggingface.co/yandex/YandexGPT-5-Lite-8B-pretrain/discussions/8
Вообще они вот тут отвечают, что на архитектуре лламы обучалось с нуля. Т.е. типа как мистраль 7б был на основе лламы 2, но самостоятельная модель. Так что это не тьюн квена или тройки, как выше писали. Что не квен точно, у того параметров меньше. У этого очень близко к 8б тройке. В общем, если не пиздят, то набраться от соседей не могло. Смержить в спейсе с какой-нибудь 8б тройкой для теста никто не мешает, но даже если выйдет, я сомневаюсь, что оно даже в мультичат адекватно может без дообучения, и небось сломает любую модель.
>Потыкав мистраль, квен, и лламу, оказалось что ллама наиболее пригодная для замута рурп 8B.
По моим наблюдениям мистраль лучше всех в плане языков. На лламе 8b приходилось с жадностью ловить каждый новый фантьюн, надеясь, что у него будет получше с языками, тогда как мистраль 12b сразу же показал отличные результаты. Затем после мистраля идет Gemma2.
Давай уточни, у меня наспех скачанный Q5_K_M работает.
>>1070990
Pro версия — тюн Qwen2.5-32b.
Lite — с нуля.
>>1070995
Мистраль на 7b версии была хороша с языками уже, а Nemo (это Мистраль + Nemotron от Нвидиа) 12b уже вообще отличная. А потом они забили на мультияз, как мне показалось.
Были бы они хорошие, то о них бы и много кто знал, кмк. Его версия для эдвенчур с негативным байасом к пользователю мб и норм, но если нужна именно такая направленность. Я вот сейчас в дженерал чатах попробовал его более универсальную Dans-SakuraKaze 12б, на основе персоналити енжина и датасетами новелок и тех же эдвенчур с плохим концом - такое себе, как по мне. Да, в сцене с монстром, которую я получил как-то давно инжектом на дарковость повествования с другой моделью, ден более жестоко повёл себя. Но описания скудные, персонажи, не сказать, чтобы ярче, чем на магмеле с примесями, т.е. фишки персоналити енжина я пока не увидел. Часто повторяется, через раз тупит по логике. Иногда ощущение, что вообще не понимает, про что я ей пишу, какой-то бред выдаёт. Проверял на английском, конечно же. И т.к. мне, например, не нужна мрачность и заточенность под эдвенчуры, то модели дока и не сдались особо, выходит.
>Нужны люди, понимающие что они делают, а не деньги.
Ну да, ведь понимающие люди будут работать за идею и еду, деньги таким не нужны, как водится.
>В дипсике литералли три с половиной человека модель делали, потратив 8 лямов.
Когда у тебя уже есть научная база и куча чужих наработок для обучения, то и три человека могут справиться без проблем. Даже один справится, если его под кофеиновую капельницу посадить. Дипсики ничего с нуля не проектировали, не тратили годы на разработку и не шли буквально на ощупь, как те же гуглы или жопены, при всем моем неуважении к ним. В их случае большая часть денег очевидно ушла на аренду оборудования и мегаватты электроэнергии, а не на целые инженерные отделы.
>SakuraKaze
фигня кстати получилась, да
Вот опасные ветра прям норм
Чтобы максимально четко из описания ллмки складывалась пикча
Кстати 1.5sd модели же очень легкие 2 гига всего и при этом не слишком сложные иллюстрации происходящего могут атфосферы добавить
>как те же гуглы
Команда пилит модель, чтобы выпустить, как готовый продукт. Гуглы говорят "нахуй модель". Команда уходит из гуглов и пилит свой продукт. Гуглы покупают продукт за почти три миллиарда и выпускают, как свой.
@
ШЛИ НА ОЩУПЬ
В каком-то смысле, да, это метод проб и ошибок. Но немного не в том смысле.
Прошка (которую они зажопили) инициализировалась весами квена.
Заключение
Человечество не деградирует, но адаптируется. Космические амбиции стали более прагматичными, распределёнными между государствами и бизнесом, а также интегрированными в глобальные задачи. Утрата «романтики» космической гонки компенсируется устойчивым прогрессом в технологиях и расширением круга участников. Деградация — это скорее миф, порождённый ностальгией по прошлому. Реальность такова, что мы находимся на пороге новой эры освоения космоса, где ключевыми словами будут «сотрудничество», «устойчивость» и «колонизация».
Зачем оно врет?
> за идею и еду
Ты не передёргивай. Вон у Цукерберга лярды на Ламу пускаются, а что по итогу? Сидит с обосранными штанами и ламой на аватарке.
> как те же гуглы
Гугл как раз все попытки новых разработок задушил нахуй, пока не стало поздно и только год назад начал в позе догоняющего пытаться что-то делать. До сих пор не может даже Квен догнать.
>До сих пор не может даже Квен догнать.
Хуя ты пиздобол. Все современные нейронки - это гуглабс, клоун. Теперь можешь съебать стирать свои обосраные штаны.
>Человечество не деградирует, но адаптируется. Космические амбиции стали более прагматичными, распределёнными между государствами и бизнесом, а также интегрированными в глобальные задачи. Утрата «романтики» космической гонки компенсируется устойчивым прогрессом в технологиях и расширением круга участников. Деградация — это скорее миф, порождённый ностальгией по прошлому. Реальность такова, что мы находимся на пороге новой эры освоения космоса, где ключевыми словами будут «сотрудничество», «устойчивость» и «колонизация».
Лол.
Вот так вот.
Но его глубокие (как анальный секс) раздумья конечно хороши, и приближаются к интеллекту среднестатического человека, и даже где-то его превосходят.
>Он просто ебашит в щщи.
>
>Вот так вот.
Ну или уходит как терпила. Это про нас, да.
Шизло, гугл в LLM самым последним влетел со своим Gemini. До этого шизы в руководстве все попытки запила своей LLM сворачивали, за 5 лет ничего кроме переводчиков не сделали.
> Ну да, ведь понимающие люди будут работать за идею и еду, деньги таким не нужны, как водится.
Базанул
> то и три человека могут справиться без проблем
И все равно там потребуются крутые перцы и немало людей и ресурсов чтобы все это обеспечивать. Все эти вбросы про то, как легко они добились остаются вбросами, или не учитывают что ты написал про разработку с нуля.
>>1071103
> Ты не передёргивай.
> Вон у Цукерберга лярды на Ламу пускаются, а что по итогу?
Вхрюкнул.
Ебальце прикрой. Они занимаются более серьезными вещами. Гемини они выкатили в топ-тир без всяких проблем обойдя всех в максимально сжатые сроки.
Чел, хватит троллить тупостью. Трансформер гугл использовал только для переводчика. Как в публикации 2017 года он был для перевода, так и до 2023 год дожили нихуя больше не сделав.
Все эти размышляющие модели вообще говно на самом деле. И беда даже не в деньгах или скорости генерации, а в том, что эти их размышления могут модель наоборот запутать.
Это инструмент, с которым нужно очень чётко уметь работать. Я часто на том же клоде отключаю кот нахуй, ибо в ряде задач от этого становится только хуже: он начинает охуительные истории выдумывать. То же самое касается OpenAI.
Потому что кот — это ебаный костыль. Там ебейшее внимание к контексту нужно, какое-то фантастическое обучение. А они буквально делают чуть ли не то, что делает плагин для таверны от тредовичка. Только получше, понятное дело.
То есть это крайне спорная вещь.
С точки зрения качества лучше сделать модель 1.5Т на качественном датасете.
У какого нибудь магнума или цидонии паул бы просто стерпел и ничего не заметил
>нормальные модели малого размера, 2-3В
>Или я хочу слишком много?
Да. Тебе нужно от 8B хотя бы.
В таком размере оно само по себе уже чудо что работает и как-то отвечает. Говорили что qwen-2b как-то пытается в русский, попробуй.
>>1071375
Двачую
> буквально делают чуть ли не то, что делает плагин для таверны от тредовичка
На самом деле там все сложнее и там не просто одно предположение а долгая рефлексия, которая способна исправить ошибки и точнее сработает. Но получается далеко не всегда и есть проблемы. Потому возможность включать-выключать это оче нужна и полезна, и терять основной перфоманс на фоне треша - плохая идея.
Проблема гугла в том, что там рулят менеджеры. А они видят, что нейронки особо не монетизируются. Или в край ебанутые, как Гебра. Так что гугл, по недосмотру менеджеров, делает всю теорию и практику нейросеток. А потом проект закрывают, потому что манагер увидел расходы. BERT гугловская разработка, T5, LaMDA, Bard, PaLM - все они до гемини. Такотрон и вейвнет тоже гугловские разработки. А они легли фундаментом в каждую первую TTS. Можно ещё DeepDream из 2015 вспомнить, но это совсем пиздец. В далёком 2018 был гугл дуплекс, который позволял общаться с компьютером натуральным языком, чтобы он выполнял задачи, при этом не нужно было подстраиваться под машинные термины и т.д. Именно голосом общаться. Одной из киллерфич презентовали возможность заставить через дуплекс ассистента делать звонки за юзера, заказывать такси, бронировать столики в ресторанах и т.д. Всё проебали.
Ну там беда ещё и в том, что он "мыслит" человеческим языком. Не очень оптимизировано. Плюс может, когда рассматривает вероятности, как поступить дальше, выбрать что-то маловероятное, когда задача 2+2, условно говоря, высрав полотно на эту тему и решив, что мы в какой-то другой системе счисления.
А если уж говорить про электроэнергию и деньги, так это вообще зачастую контрпродуктивно. Не знаю, кто там и какие задачи решает, но эта фича явно не для обычного бизнеса должна быть или юзеров за 20 баксов в месяц.
Просто все хотят какую-то йобу, хотя достаточно прогнать вместо кота 3 сообщения с разбором ошибок и уточнений. Это даже быстрее будет и меньше контекста займёт.
>когда задача 2+2, условно говоря
В этом и проблема. Должна быть система, которая отличает простые задачи (и кидает их в калькулятор, лол) от хитровыебанных. Вообще, без сети агентских нейронок никуда, без этого ЛЛМки так и будут топтаться на уровне саванта-дауна.
Наконец-то адекватная скорость ката
>>1071720 (OP)
ПЕРЕКАТ
>>1071720 (OP)
ПЕРЕКАТ