Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №125 /llama/
Аноним
27/04/25 Вск 21:17:25
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный Не совсем актуальный список моделей с отзывами от тредовичков на конец 2024-го: https://rentry.co/llm-models
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1171574 (OP)
>>1159889 (OP)
>>1178979 →
>>1179047 →
Продублирую в новый тред, может посоветуете чего путного.
У меня просто в какой то момент началась проблема что при ответе карточки, её первый ответ пиздец как выбивается из контекста и лора, моё предыдущее сообщение не игнорится, но то что было сообщений 10 назад, просто идёт на хуй, включая авторс нот и лорбук, а уже при свапе на второе сообщение ответ идеальный, и это не рандом, а происходит на постоянной основе.
Модель даркнесс рейгх в пятом кванте если что, но она не такая тупая чтобы выдавать такие перлы на ровном месте, да и я ничего кроме сэмплеров не трогал.
Скачал, немного ебанутая модель. В стихи на русике не может, без минимального промта на запретки не говорит, в целом как и сам мистраль, но внезапно может сразу в мат так еще и подхватил неформальное общение (кринжово, но естественно). Потестю, может и неплохо будет
> Немало видел таких отзывов.
Понимаешь, тут вся тема сама по себе достаточно субъективна, многие просто дают оценку исходя из своих убеждений. 95.25% (может в этой области поменьше но все равно много) не способны подводить анализ с претензией на объективность и многокритериальность. Они просто смотрят по критерию "понравилось мне или нет", не учитывая свои собственные байасы, действия, подход и прочее.
Ситуацию еще усугубляет наличие противоречивых отзывов, когда одни хвалят и говорят что нужно правильно приготовить, а другие ругают. Если человек считает себя разбирающимся (а любой, кто скачал кобольда и ггуф таким себя мнит) то может сильно сыграть эго и обида за потраченные усилия: "да как так, да я же про и вон как хорошо кумил на тех моделях, а тут стараюсь и ничего не получается, проблема не может быть во мне, она точно в модели". Отсюда и лезет всякое.
Иногда вообще восхваляет откровенный шлак потому что тупость защищает его от поломок ламерами и оно выдает типичный аутпут. А на его соответствие контексту братишки не смотрят. Или просто так получилось что модель отыгрвает хорошо какой-то сценарий и под впечатлением от такого чел идет писать восхищенный отзыв.
>>1179385 →
>>1179424
Хм, а случаем нет каких-то приколов связанных с ограничением контекста в таверне?
>>1179422
Я!
хорошая модель для кума и вообще. Много 24б не тестил, но в сравнении с не файнтюновыми моделями не ебет мозги "это я не буду", "это я не могу" и "это все фу", при этом вроде как не тупая.
12б версия точно на голову выше всяких мерджей того же размера.
В стихи на русском не может GPT 4o, 4.5 может с рифмой и хорошим ритмом, но без смысла. Sonnet 3.7 может, но смысл плохо держит. 3.5 может хорошо, opus может. А это корпомодели за тысячи нефти, размер которых явно больше 400b.
Ни одна локалка не может в стихи.
Да, но та же гемма например что-то выдает. И там даже есть иногда рифма. Но в целом геммочка более менее еще в русик может, жаль что она все равно остается соевой парашей с жирным контекстом
Жмакни на иконку i, узнаешь.
Как и все нормальные люди, я играл на английском. И на нем данный тюн показал себя лучше всех других Мистралей, что я пробовал. Исходя из этого и рекомендовал. Модели для рп на русском - это отдельная стезя. Мало что даже имеет смысл тестить
>Мало что даже имеет смысл тестить
Тааак, а что имеет смысл тестить?
Поможет ли реп пеналти разнообразить твои ответы на этой доске, конечно же.
затестите в рп и ерп, а то мне лень...
>сайга
>тюн геммы
>12b
Ой бля, эту залупу даже лень качать. Но все же надеюсь, что в треде найдется герой, который потестит этот кал
Сначала читал у одного нейрошиза про стихи в телеге (начиналось все с дифузионнок среднего nsfw, ты туть?), в тредах уже 5й тред кто то проверяет на СТИХИ.
Это рил метрика, или стихошиз ебанулся?
>12b
>эту залупу даже лень качать
Два настоявшихся часок в большом бакале кипятка лисма пакетиков. Испытываю уныние от 999го форка 12b для русика, как владелец 3090. Знал бы, что такой говняк будет, взял бы 4060/ти/супер на 16гб. Для фотонейронок все равно за глаза, для русик 12b тоже, для видео и там и там отсос. Печально.
Неиронично у 27 геммы больше ошибок и хуже кум чем у ру тюнов 12б
> как владелец 3090
Чел, тебе с комфортом доступны сразу 3 (а то 5 и если взять айу и коммандера) йобистых сеток, не говоря о инцестах 24б. А ты употребляешь 12б залупу и хейтишь другую 12б, нахуй так жить.
> сразу 3 (а то 5 и если взять айу и коммандера) йобистых сеток
Например?
>Жмакни на иконку i, узнаешь.
Ладно, положим буду теперь использовать DRY вместо Rep.Pen. Вдохновившись, полез в XTC - и стало ещё интереснее! Только надо MinP крутить для каждой модели. Кругом одна алхимия.
На русике? Да. Но зачем русик, когда на англюсике даже 1В модель выебет эти 12В тюны-хуюны?
>>1180062
>Только надо MinP крутить для каждой модели.
Есть какие-то другие значения кроме 0,05?
>Gemma3
Соя
>qwq
Иногда срет китайщиной
>glm
Что это? Китайский клон китайского qwq?
>инцестах 24б
Вот он, пик ллм. Только нитакуси, которые притворяются что не кумят, хейтят это
Это нихуя не метрика. Просто мне нравится стихи. И еще если ллм, знает что такое рифма и ритм, то возможно она не такая уж и тупая
>Есть какие-то другие значения кроме 0,05?
Может и нет - я только осваиваю. На 0,05 результат хороший.
В куме мистрали ебут гемму и возможно даже qwq. Это факт
И я действительно не ебу, что за glm и нахуй он нужен
>Но зачем русик
ЭТО МОЙ БОЙ!
Но на самом деле я могу доку какую то английскую прочитать, узкую тематику, ресерч или даже патент... Но рп, а тем более кум на русике онли со словарем, лексикона жестко нехватает. Это очень портит экспириенс.
>лексикона жестко нехватает
Первые полгода, дальше втягиваешься.
Ты сначала хоть попробуй прежде чем хейтить, еблан. Так же хейтили вначале 12б мисталь, ебланы вроде тебя на своих 3090
Хоть обтестись, если модель в разы меньше используемых и не опережает на 18 поколений, то она будет по определению говном.
Так это говнище и сейчас все хейтят, кроме мб владельцев 8гб видюх. Так что я хз, что ты хотел спиздануть
12gb я могу понять твою боль, сам на 1080 сидел, но давай по делу...
Что ты понимаешь под "ебут в куме"? На 12б пока до этого кума дойдешь - разочаруешься, если только не въебал достаточно алкоголя. Сам кум мало меняется от персонажа к персонажу или в зависимости от ситуации, и рыхлая блядина, и невинная eyo будут просить сделать ее своей, благодарить тебя за "лучший опыт" и выдавать односложные реплики. Если чар прыгнет на кукан в самом начале контекста и/или особенно постараться - еще есть некоторые шансы на развитие и что-то интересное в начале с точки зрения разнообразия ебли. Но уже очень быстро оно начинает фиксироваться на чем-то и неохотно продвигаться, а от чара и ситуации там будет немного кроме спама самых очевидных атрибутов.
>>1180134
Чего так злишься? Наоборот радовался бы что не привередливый, и когда обновятся модели или замеешь железо - сможешь насладиться более продвинутыми моделями.
>saiga_gemma3_12b
>Based on mlabonne/gemma-3-12b-it-abliterated.
Этот еблан натурально взял лоботомита в качестве исходной модели. Либо блять оригинальные веса реально не поддаются тренировке, либо чурбан свои шизотюны по конвейерному методу штампует вообще на похуй.
Я про 24/27/32 говорю.
Ты описал дефолтный кум, но надо понимать, что в гемме даже этого не будет из-за ее инвалидности. И чем сложнее кум, тем более кумистее нужна модель. Хотя даже секс в миссионерке будет отличаться, но не так сильно.
Пример. Мне нравится боты этого хуя https://jannyai.com/creators/522b145b-8606-4be8-b6ba-e44c9242c0a1_profile-ultra
Snowdrop нихуя не вывозет.
А это вывозет https://huggingface.co/ReadyArt/Omega-Darker_The-Final-Directive-24B?not-for-all-audiences=true
У мистраля просто дохуя тюнов на любой вкус и все они неплохого качества
Одно другого не исключает. Но вообще удивительно, насколько гемму 3 хуй затюнишь. Вроде тюнов дохуя, но большая часть из них это попытки (скорее безуспешные) снять соевую цензуру от гугла. Вроде с гемма 2 было полегче
> оригинальные веса реально не поддаются тренировке
Раскрою рофловую херню, которую недавно узнал: в популярных оболочках для тренировки типа анслота или аксолотля косячно реализована тренировка для геммы и еще ряда моделей.
На кой хер вообще они нужны, когда нет ничего проще и функциональнее стокового в трансформерс трейнера - хуй знает. Видимо васяны совсем не могут в подготовку датасетов и написание примитивного кода, а способны только скопировать пути до готовых оформленных под формат софта реп сомнительного качества и крутануть ползунки в гуйне.
> либо чурбан свои шизотюны по конвейерному методу штампует вообще на похуй
За эти 2 года разве не стало очевидно? Сайга - клеймо, за все это время только пара тюнов на немо оказались сносными, и то в составе мерджей.
>>1180254
> 24
Пока не встретил норм модели, которая была бы пригодна к использованию. Офк еще не пробовал те что писали недавно, возможно они неплохи, но то что тестировал - черви пидоры.
> не будет из-за ее инвалидности
Из-за инвалидности пользователей, которые не могут настроить промт. На гемме спокойно кумится и она осведомлена о происходящем больше других, просто описания не такие сочные и блядские как в соответствующих тюнах. В околоэкстремальное тоже может, хотя не исключено что какая-нибудь зоофилия и прочее плохо покрыты.
> Мне нравится боты этого хуя
Отборный кринж с повторяющимся и шизоидным клодослопом внавал на 3к токенов. Здесь буквально нужна модель, которая будет просто игнорить весь этот треш, а не пытаться ему следовать, с чем лоботомиты успешно справляются. Вопрос об удовольствии от игры в это остается открытым.
> У мистраля просто дохуя тюнов на любой вкус и все они неплохого качества
Мерджи мерджей и вжаренные qlora, отличающиеся только степенью поломанности. Большинство лишь занимают место на серверах обниморды а не имеют какое-то качество.
Эту модель еще не пробовал, может и хорошая, но вероятность призрачная, учитывая скорость клепания моделей там.
>>1180263
> гемму 3 хуй затюнишь
Бред
>Пока не встретил норм модели, которая была бы пригодна к использованию
И чем тебе например стандартный 3.1 не угодил?
>не могут настроить пром
Это тебе в тред к корпам. Это они любители искать золотые промты для своей хуйни, чтобы их залупа хоть как то заработала. Нахуй делать это на локалки непонятно
>осведомлена о происходящем больше других
В чем это выражается?
>околоэкстремальное тоже может
Это шутка или у тебя экстрим это анал и шлепок по попе? Даже в простой бдсм гемма не может абсолютно, я тебе гарантирую
>Отборный кринж с повторяющимся и шизоидным клодослопом внавал на 3к токенов
Хуй еще с janitor, а там полнейший лоботомит и без лорбука, поэтому такое приходится писать. Смысл в другом - персонажи жестокие, ебанутые и сразу идут кромсать юзера. Геммачка такого пугается (даже с промтами, можешь попробовать)
>Мерджи мерджей и вжаренные qlora
А это и не плохо. Упомянутая модель может в хорроры и гуро, например, и не особо она поломана
Ты сначала пишешь
>в популярных оболочках для тренировки типа анслота или аксолотля косячно реализована тренировка для геммы
А потом пишешь
>гемму 3 хуй затюнишь
>Бред
У тебя в голове ничего екает?
> стандартный 3.1 не угодил
Показался скучным в стоке, ничем не зацепил а желания сильно пердолиться при наличии многообразия моделей не было. Может он и хорош, просто нужно готовить. Вот старый 22 прям шлак, заставить его нормально работать на потоковой обработке текстов не получилось, при том что у немо, квенов и прочих не было никаких проблем.
> Это тебе в тред к корпам.
У них только с этим и остается играться, но это не значит что нужно полностью отвергать основы. Особенно когда к типичным "качественным файнтюнам" буквально тащат перегруженную копипасту от корпов в качестве промта. Не то чтобы она меняла результат, лол.
> В чем это выражается?
Как минимум в том, что когда персонаж связан и ты позади него - он не положит thumb на твой jawline и не начнет водить руками по твоей МУСКУЛИСТОЙ ГРУДИ когда в персоналити написано что ты дрищиват. С шизорптюнами это происходит довольно часто и вызывает острую неприязнь. В более сложном рп, когда идет разговор с чарами - они мегатупые. Например, вспоминаешь Азимова и объясняешь расклад про стратегические ракетные шахты неподалеку, в ответ: "ужас, если они запустятся то ударят прямо по нам, нужно убегать".
Офк, может быть сценарий, в котором ты удачно попадешь в какую-то ветку датасета и оно сможет отыграть что-то интересное, если нравится то не вижу проблем. Но всеравно, даже там эти тупняки будут проявляться.
> я тебе гарантирую
После прошлой риторики звучит неоче. Профитов от спора с тобой никаких нет, так что забей. Уже когда ту модель попробую что-нибудь отпишу, вдруг действительно неплохая. Какбы одно из преимуществ - именно разнообразие, иногда модель держишь даже не смотря на недостатки.
> поэтому такое приходится писать
Обычно в норм лорбуке или карточке с лором все более менее структурировано, а у него копипаста внавал с постоянными прыжками туда сюда.
> Смысл в другом - персонажи жестокие, ебанутые и сразу идут кромсать юзера.
Мне кажется проблема не в последнюю очередь в огромном числе отвлекающих факоторов. Те тюны просто игнорируют всю информацию о силах ангелов, империи и т.д., а идет по дефолтным вещам, которые узнают. Гемма вполне может убить юзера, причем крайне извращенно подкинув сои и треша как в tlou2, задевает за живое просто
> А это и не плохо.
Плохо как раз тем что ломает и получаются все те вещи, усваивает самое поверхностное и просто повторяет, а вне привычных рельс сыпется.
>>1180304
Давай для самых маленьких аналогию подскажу:
- Требуется открутить гайку в труднодоступном месте.
- Для этого берется трещетка, торцевая головка и гайка откручивается. Все. Если там ешка обратный торкс - нужно иметь соответствующую головку.
- Васяны вместо этого притаскивают метровый вороток с десятком удлинителей, лгбт подсветкой, зеркалами, бархатным покрытием, встроенным спинером и блютус колонкой, но без храпового механизма и с шестигранной головкой другого размера. Конечно ничего не получается и начинается нытье.
В отзывах к инстинкту пишут мол 10 токенов на 32б дипсике
>Как минимум в том, что когда персонаж связан и ты позади него - он не положит thumb на твой jawline и не начнет водить руками по твоей МУСКУЛИСТОЙ ГРУДИ когда в персоналити написано что ты дрищиват.
Эта проблема всех ллм. Они скорее будут выдумывать хуйню по контексту предложения, чем пытаться в логику. У меня похожее регулярно бывает у дипсика в3. Если у тебя такого не было на гемме, то ты просто выдаешь желаемое за действительное
Дефицит потихоньку пропадает и курс пока нормальный. Вот и стоит снова 300к
>>1180329
Я бы взял за 12к. Во первых, больше врама, а значит больше модели, а скорость все равно будет выше чем на проце. А во вторых, в случае чего выкинуть на помойку 12к лучше, чем 27к
>Дефицит потихоньку пропадает и курс пока нормальный. Вот и стоит снова 300к
Ну, как будет стоить 200 - задумаюсь о покупке. Хотя имхо при наличии рига смысла оно не имеет - лучше дождаться нормальной "коробочки" специально под инференс за примерно те же деньги. Правда пока что вместо нормальных коробочек показывают какую-то хуйню втридорога.
>На кой хер вообще они нужны, когда нет ничего проще и функциональнее стокового в трансформерс трейнера - хуй знает.
Идти по пути наименьшего сопротивления это не что-то новое. Можно точно так же задаваться вопросом, какого хуя никто не катает чистого жору, ведь он и проще и функциональнее всех угабуга-оболочек.
>Видимо васяны совсем не могут в подготовку датасетов
Ну это старая проблема. Инфы в открытом доступе мало, так что шишки приходится набивать на своей голове. Не все такие щедрые как мистрали, которые сами выкладывают и подробные инструкции по тренировке и шаблоны для форматирования.
>>1180250
А вы что сделали?
Один чел пытается как то толкать ру модели и вы такие "гы-гы че еблан уепт не получилось да соси гы-гы"
Мне вот после рабочего дня в хуй не вперлось читать на английском, как в игры я играю на русском так и кумить хочу на русском.
Отдых знаете что такое?
> instinct mi50 на 32гб каждая по 12к
Анончик, а ты уверен, что оно сгорит через пару часов после установки?
>>1180435
Это неудачная попытка в русский. Ссанина полная, ничего не соображает и хуже производительность. Обычная сайга и достоевская сайга нормально разговаривают. Darkness-Reign тоже норм. И они быстрей.
Как норм, разница, как между адекватным человеком и каким-то дебилом, который вот-вот говном начнет кидаться.
Если сгорит значит такова судьба. Уже крутил лотерею пару раз с рыксами ради фана (не лудик)
>>1180358
Попробую взять одну в начале. Надеюсь с какой-нибудь обновой версий софта в тыкву не обратится
На уровне современных cpu с ddr5, может чуть побыстрее. На 7b q4 полностью в vram скорость порядка 100 т/с промпт и 7-12 т/с генерация. Перепаянные варианты с 16 гб может и представляют минимальный интерес, если их отдают за какие-нибудь символические 5к, а 3x8 городить не советую.
О, вот большое спасибо. И все же получается, что не быстрее cpu с ddr5, потому что у меня ddr4 и на 7b q6 выходила приблизительно такая скорость, точнее сейчас не скажу, это надо опять модель качать и тестить.
Ну в общем не судьба за дешман собрать что-то интересное, разве что получится где-то теслу v100 урвать за адекватные деньги. И все равно будет залупа с драйверами, а уж как на линуксе с этим жить - совсем не ясно.
(и надо будет еще как-то охлад городить, в общем сплошная ебля и вылет бабок в трубу)
Теслу ты если и возьмёшь то уже с готовым переходником с турбиной
да, и выходит по цене (почти) как взять нормальную карточку, только с ней будет гораздо меньше ебли.
С этим количеством видеопамяти вообще ебучий цирк с конями, вот последние пару лет хотя бы немного адекватнее стало, но все равно разница между 16гб и 24гб - примерно x3 по цене
При том что память нихуя не стоит сама по себе. Искусственные ограничения пиплсхавает.
Gemma, Qwen, DeepSeek?
Забавно веса уже убрали, но как я понял успели увидеть что 30b будет мое
Судя по всему, поколение чисто эксперимент. Особо чего-то крутого ждать не надо, особенно от 30б версии. 12-16 б моделей не видно, что тоже плохо. Пока что еще можно поспекулировать на тему, что они могли придумать что-то прорывное и нивелировать недостатки мелких моделей и моделей с мелкими экспертами, но чет даже хз.
В общем ждем Qwen 3.5 или кого-то кто новые идеи сможет быстро подхватить (если они там есть).
Стандартный прикол винды. В 11 заменили терминал на нормальный, а не этот прикол поджигающий жопу
>>1180556
14б модель все же будет, если верить скринам с реддита. Надо будет сравнивать с геммой 3, квен тоже обещает мультиязычность.
235б moe модель из кучи 8б тоже выглядит как что-то интересное
https://pixeldrain.com/l/47CdPFqQ
отсюда вроде брал
Эээ... Нет, это скорее всего 22 эксперта, какой размер не очень понятно, но я предполагаю, что 8б, потому что других мелких моделей в списке подходящих не увидел. 22 по 14б сильно больше 235б выходит, это не считая еще дополнительной обвязки (3 по 8б не 24б вместе занимают, а 30б).
Ну надо будет уже на официальном релизе смотреть, может там еще 10б есть (12б тоже не поместится)
Но знаете, вот этот её режим YesMana как с вегаса - уже заебал.
Когда ты предлагаешь геммочке обмазаться говном и дрочить глядя на солнце - гемма скажет, что {{user}}, а это пиздатая идея, никогда еще не дрочили в говне на солнце.
Я вспоминаю свой опыт с цидонией, когда на подобное предложение был ответ - ты чё, еблан ? Я не буду этого делать. Поцелуй мою залупу извращенец. и я не про цензуру.
Короче, неиронично я могу точно казать почему кума с геммой нет - она не способна тебя останавливать вне цензуры и вне сои, без прямых указаний.
пока лучшая гемма что видел - gemma3-27b-abliterated-dpo
мозги на месте, сою не льёт
> Эта проблема всех ллм
Ну как, разумеется ни одна из существующих ллм не способна полностью охватить весь контекст и вытащить все детали. Но с основными справляться обязана, на нормальной модели описанная херня будет происходить не часто и есть способы улучшения ответов.
В случае лоботомитов, даже присутствие рядом напоминалки что чар с юзером находятся на кухне не спасет от прыжков "на огромную кровать" и прочее. А все потому что сначала тренировано через жопу на херне, а потом порезано на куски и кое как сшито.
> у дипсика в3
Лол, это типа эталлон? Там активных параметров не больше чем в гемме и он крайне посредственен.
> ы просто выдаешь желаемое за действительное
Скорее ты делаешь это, представляя проблемы мистралелоботомитов как норму. Опять же, сам мистраль не виноват что на него налипли васяны и устраивают надругательства, которые отгружают с лопаты под видом хороших моделей.
>>1180399
> Идти по пути наименьшего сопротивления это не что-то новое.
Просто оно реально весьма неудобное и шаг влево-вправо от заложенного, что необходимо для результата, обречены на большие сложности.
> какого хуя никто не катает чистого жору
this
> Инфы в открытом доступе мало
Да все есть, базовая работа с данными и общие вещи. Это не та область, где нормис может вечером после школы/универа/работы сесть и сразу сделать конфетку.
Уже второй год не могут освоить как вычистить говно (хотябы оценить количество) параметрическим поиском и регекспами, а потом оформить рефакторинг проблемных кусков. Этим буквально мимокроки-волонтеры занимаются, с переменным успехом.
Про динамическое формирование тренировочных промптов и масок с аугментацией, ветвлениями, дропами частей они даже не слышали, хотя про это инфа была еще до массовой популярности ллм и является неотъемлемой частью при подобном.
> Не все такие щедрые как мистрали, которые сами выкладывают и подробные инструкции по тренировке и шаблоны для форматирования
Буквально все. Конфиги и темплейты стандартизованы, можно напрямую пользоваться препроцессором из трансформерса.
Я, кстати, подохуел, когда гемма мою карточку с забитой стесняшей, грустную, депрессивную, обиженную жизнью одиночку, не верящую никому, и в то, что её может кто-то полюбить...
Так вот, гемма, особенно не напрягаясь контекстом, превратила её в смеющуюся раскованную пизду, закусывающую губки от предвкушения поебушек, которая мне на хуй прыгнула чуть ли не с первого сообщения. Обидно было пиздец.
>Лол, это типа эталлон? Там активных параметров не больше чем в гемме и он крайне посредственен.
Ля, ты реально допизделся до того, что огрызок на 27b, равен дипсику. Ты либо шиз, либо гуглобот. В любом случае желаю принять таблетку и прекратить защищать эту хуйню
Именно об этом. Она не способна быть депрессивной и мрачной. Это хороший сторителлер на уровне ДнД, но когда ты хочешь VTM (мир тьмы) то получаешь все такое же цветастое днд. Так что думаю или на снежного или на мистраль укатываться. А хотя обидно. Я бы хотел чернушную гемму.
>Это не та область, где нормис может вечером после школы/универа/работы сесть и сразу сделать конфетку.
Литерали процесс тренировки любой среднестатистической лоры:
1) Открываешь клопа, просишь его написать дефолтный питоновский скрипт для подсоса к апи и генерации синтетики.
2) Проебываешь некоторую сумму баксов, выпекаешь примерно пару тыщ примеров.
3) Пишешь еще один скрипт для скана датасета и последующего удаления реджектов, гопотизмов и откровенной шизы.
4) Повторяешь шаги 2-3 пока не получаешь нужное количество примеров.
5) Форматируешь датасет в джавадристовую таблицу.
6) Покупаешь подписку на колаб, пиздишь готовый пресет для колаба.
7) Тренируешь, эвалюируешь результат.
8) Довольно хрюкаешь.
Ориентировочные затраты: 10 - 30 бакинских рублей
Ориентировочное время под тренировку на сервере: день - два
Льет сою, еще как льет. То что она теперь способна писать о хуях, не отменяет того что это - счастливые хуи и все счастливы.
Цидония это мистраль. А значит оценивать нужно как мистраль. И на фоне обновления геммы и квена, обновления мистрали выглядят как жалкий пук.
Все пропустили и побежали к новым моделькам.
>скудноват
гайдв шапка старьё протушхее, как и модель, возьми что-нибудь из тех что по ссылка прямо в репозтории, для ру рп
гайды уже несколько раз пытались переписать, как и списки моделей, но тонули и в шапку не попадали
Qwen, Gemma.
Deepseek он для богатых, дистиллы не нужны после выхода QwQ.
>>1180592
Это скорее нейтрально. Объективно, в зависимости от задач, 30b может быть лучше как монолит и как мое.
Зато там 235B-A22B будет. Если все пойдет ок — пушка-гонка.
И мелкие модели — ризонеры.
>>1180683
A — значит суммарное количество активных параметров. Если 22 это СУММА из несколько экспертов, то один эксперт явно не больше 11. =) Ну, суть ты уловил.
Скорее всего даже меньше 8б.
>>1180716
Да 22 не эксперта, ало. =) Причем тут эксперты к активным параметрам.
>>1180775
Вот.
>>1180853
Всегда, если что.
Тут просто есть пара фанатов, которым она зашла в узком спектре. >>1180859 Базирует. Мистрали после Немо прям не фонтан ни разу.
Да, но это по-прежнему не та область, где нормис может вечером после школы/универа/работы сесть и сразу сделать конфетку.
я мимоанон, если че
Таких итераций могут понадобиться десятки, если не сотни, чтобы получить что-то вменяемое. Поэтому нужно изучать логику, которая лежит в этом всем и действительно работать на датасетами. Какого хуя ты обесцениваешь эту работу - понятия не имею. Хотя нет, имею: думаешь, что все вокруг долбаебы, а ты один умный.
Как минимум, у 22б гораздо меньше проблема репетишенов. Как форматлупов, так и топтания на месте. Это объективное. А субъективное - многим просто не нравятся следующие итерации после 1.3, датасет тоже меняется.
> тред про локальные модели
> для анона со средним ПК
> опенроутер
>дипсик опенроутер
>бесплатный квантованный лоботомит, который даже контекст не держит
пробовал хоть сам?
Это ебанат просто рекламит это говенный опенроутер. Иных причин. почему он в треде по ЛОКАЛЬНЫМ ллм срет про него нет
>>1180979
Я кста пробовал, он норм, не пизди. Но нахуя срать про него в локальном треде непонятно
Я обычно на локальных сижу, просто сейчас во время перехода с 3080 на 5090 пользуюсь бесплатным дипсиком, почему нет?
>рекламит
>бесплатное
Гейткипер всегда неадекват.
Ты ебанутый? По твоему мы нон стоп чекаем обниморду и тестим говнотюны, чтобы тебе ебанату рассказать? Иди сам тести, в треде расскажешь
Он 10 баксов стоит. И ты буквально про него в каждом треде напиздел уже. Нахуя?
>>1181015
Чмонь спок
Причина пляски? Гемма опять отказалась в трусы тебе лезть? Ну попробуй еще, в следующий раз точно получится.
Опенроутер бесплатный и я им пользуюсь только неделю, не понимаю про кого ты вообще пишешь. Таблетки?
> Гейткипер всегда неадекват
Два чая, даже не представляю, каким нужно быть ебанатом, чтобы НЕ желать скорейшего развития своему любимому хобби.
Там без взноса 10 баксов сверхурезанные лимиты. Если ты не знаешь это, то ты либо им не пользуешься, либо ебанат. В любом случае пошел нахуй
> равен дипсику
Ты глупый и ничего не понял, или специально извратил чтобы доебаться? Фу
>>1180829
И получаешь сой_гу, которой aicg-шники своих детей ночью пугают.
> 10 - 30 бакинских рублей
Хотя так даже на сойгу не хватит.
На самом деле все еще проще:
1) Заходишь в популярные дискорды, начинаешь ныть чтобы тебе дали датасеты и инструкцию
2) Собираешь все скинутые 9 копий одного и того же годовалого дампа проксей, попутно доебываешь вопросами "как мне это сделать" там где еще не забанили. Можно прикинуться вежливым умником чтобы терпели.
3) Копипастишь все подряд, и мучая остальных наконец запускаешь протухший контейнер на выклянченном инвайт коде ранпода. Докидываешь своих 20$ на десяток часов A100 или ходишь клянчишь денежку.
4) Угли на выхлопе неработоспособны, повторно заебываешь всех, но уже вопросом "как мерджить".
5) На 37 попытку случайных действий, когда для твоей "тренировки" осталось 5%, модель может продержаться 4 поста не сломавшись.
6) Сделав всратейшую картинку шлюхи ставишь ее в ридми и пишешь о новой передовой модели, выкладывая веса с 35 попытки мерджа, которая совсем ужасна, идешь пиарить это везде где еще не забанили.
Бонусом нытье в техподдержку обниморды, чтобы они не банили его за превышение бесплатной квоты приватных реп в 20 раз. Потому что васян не смог настроить ползунки, и трейнер каждые 10 шагов выгружает все веса и полные стейты оптимайзера.
Это буквально как "тренится" вот это добро, регулярно зоонаблюдаю.
>>1180917
То как он описал - абсолютно. Этот подход работал на самой заре, когда делали алайнмент полусырых моделей на инструкции, та же альпака.
Сделать такое сейчас, и тем более для рп, потребует изрядных скиллов, знаний и сил во всех этих областях. Именно поэтому нормальных тюнов - единицы.
первые версии были лютым тупым калом, уж сомневаюсь что там что-то сильно поменялось. Дефолтный QwQ был лучше во всем.
У меня 4 гуглоакка, как у большинства, и мне более чем хватает на день. У тебя какая-то неприязнь к китаю или что?
Чел, оригинальный дипсик апи стоит такие копейки, что говорить о бесплатных доступах к огрызку это даже смешно. Я за месяц слил токенов центов на 50. Локалки мы юзаем не за этим.
Мучаю пока 9b, отвечает неплохо кста
Это не квен 2, на реддите хвалят
Но что там по рп я не проверял
Какие семплеры не крути всё равно первое предложение повторяется а там по смыслу всё остальное
>это по-прежнему не та область, где нормис может вечером после школы/универа/работы сесть и сразу сделать конфетку.
А есть хоть одна область, где нормис может на приколах сделать конфетку?
Речь про то, что пердолятся с тренировкой единицы, буквально единицы. Остальные работают по готовым шаблонам и чаще всего даже не собирают собственный датасет, а пятикратно переваривают один и тот же. Чел выше затирал, что вся инфа есть в открытом доступе. Поверим ему, допустим она есть. Допустим она есть в читабельном виде, а не в качестве научных статей, написанных инженерами и математиками, которые в принципе не вдупляют, что такое человеческий язык и мыслят числами с плавающей точкой. Надстройкой занимаются энтузиасты у которых нет технического образования в области сабжа и которые вынуждены получать опыт через боль и повторение ошибок. Как только они че-то понимают и делятся своими набитыми шишками, прибегает уже куча подсосов, которые разумеется просто берут готовое решение и начинают подгонять его под остальные сценарии.
Банально потому, что легче свой геморроидальный узел обратно всосать, чем разбираться с нуля в этом безобразии.
>Какого хуя ты обесцениваешь эту работу - понятия не имею. Хотя нет, имею: думаешь, что все вокруг долбаебы, а ты один умный.
Не обесцениваю, просто привожу пример того, как оно на самом деле работает. Тот кто реально разбирается - тому честь и хвала. Кто тычется вялой писей сотню раз пытаясь завести свой шизомержик на основе настопиздевшей лиры - тому я харкал на ебало.
>>1181056
>На самом деле все еще проще:
Ну ты тоже не выебывайся да давай. Во времена моей молодости, считай первородного хаоса, никаких дискордиков для побирашек не было. Все ебашили синтетику внутримышечно плюс-минус местного производства. Тому и приколы были, что тюны на какую-нибудь вторую ламу могли кардинально отличаться друг от друга, хотя базовая модель была одна и та же. Щас возьми любую рыганину под ролевуху на любой мистраль, получишь примерно одно и то же. Даже im-токены там одинаково протекают, насктолько они инцестно-близкородственные.
> Речь про то, что пердолятся с тренировкой единицы, буквально единицы.
В этом и весь посыл, а без пердолинга норм результата не будет. Только какая-то всратень, которая может датасет свой повторять.
> тюны на какую-нибудь вторую ламу могли кардинально отличаться друг от друга
Золотой век, энтузиасты на мощностях институтов или некоторые стартапы тренировали как могут, но были это в первую очередь настоящие специалисты. Действительно были десятки разнообразных моделей, не без недостатков, но они действительно были полноценными. Из них уже с горем пополам делали мерджи и всякое, иногда оно действительно работало. Всякие Унди и прочие именно оттуда вылезли.
Сейчас хайп поутих и подобных файнтюнов лламы выходит мало, а некоторые из тех авторов выросли и даже выпускают крутые базовые модели. Мерджеры остались не у дел, но на спрос наделали костылей, опустили входной порог ниже некуда, и теперь они творят как могут.
Плохо на самом деле что за этим потоком фекалей можно пропустить действительно хорошую модель, где авторы таки постарались и делали все грамотно.
> Щас возьми любую рыганину под ролевуху на любой мистраль, получишь примерно одно и то же. Даже im-токены там одинаково протекают, насктолько они инцестно-близкородственные.
Оно, отличия только в степени убитости.
>В каком смысле допилили?
Были проблемы с запуском, неправильно ггуф конвертировался что ли, так же были проблемы с шаблоном.
Но если качать последние ггуфы бартовски и последние релизы ллама.спп то все норм.
Мне пока нравится, даже ризонинг версия 9b не так уж и плоха, у всей 9b линейки русский на достаточно хорошем уровне.
Надо 32b будет затестить, но у меня медленно их крутить.
Type: Causal Language Models
Training Stage: Pretraining & Post-training
Number of Parameters: 30.5B in total and 3.3B activated
Number of Parameters (Non-Embedding): 29.9B
Number of Layers: 48
Number of Attention Heads (GQA): 32 for Q and 4 for KV
Number of Experts: 128
Number of Activated Experts: 8
Context Length: 32,768
>Number of Experts: 128
Наркоманы ебучие, 128 экспертов на 30b сетку.
Похоже альтернативы квен2.5 32b мы не увидим, если конечно не считать ту же GLM4-32b вышедшую недавно
> 30B
> 3.3B activated
Уносите нахуй это говно
>>1181502
12б мерджи, можешь попробовать мелкую гемму.
Конкретные модели есть? Я пробовал аморал-гемму,фоллен-гемму, они абсолютно безмозглые что на русском что на ангельском. Сижу на люмимейд 0.2. Всё что новое пробовал, мои шизо бенчмарки проваливает. Мне бы модели 3-5 хайповые, потестить что-то новое.
Кстати, почему я не вижу увеличение потребления RAM при использовании ktransformers? Только своп растет зачем-то, лол. Может там надо что-то дополнительно в конфигах прописывать, чтобы он оставшиеся эксперты в RAM выгружал?
Хз, тут есть господин, который увлекается этими 12б, как появится то что-нибудь подскажет.
>>1181673
Хочешь буквально запустить ее на машине вместе с вешпером и ттс чтобы кумить в пробках?
Ладно, плотную 32b тоже дали, живем
Остались тесты, стало ли лучше вот вопрос
Работает, говорит на русском, решает задачи, влазит в 12 гигов.
Трэш, угар и содомия, но работает же! =D
Поугарайте, скачайте, у анслота.
Например, с укороченным промптом сторителлера от Алетейана он предлагает такой мир для старта.
Помните, что я сейчас говорю не о модели, а о ее кванте.
Не думал, что 30б моешка с менее двумя битами на вес сможет так писать.
———
Кстати, квен лупится, и у него разные сэмплеры под ризонинг и без него.
Учтите, играться придется, искать.
В чём разница с 30б?
Краем глаза посмотришь - прикольно, длинные предложения и структуры. Но стоит начать читать - делирий и шизофазия.
30b это MoE (Mixture of Experts), а 32b обычная. Скорее всего 32b будет лучше, если конечно вдруг китайцы какой нибудь прорыв не сделали
А, ну если там обычная никуда не девается то все ок. Даже если эти эксперты полнейший мусор - больше не меньше, молодцы что трудятся и выпускают модели.
>>1181726
Ну так поставь, расскажешь.
Опять бьют в 2 раза по размерам.
4b на уровне старой 7b, 14b на уровне 32b и так далее.
Мое так же бешеные, по тестам 30b ебет старый плотный 32b
Главное что бы кванты не были битые, а то опять перекачивать придется.
>4b на уровне старой 7b, 14b на уровне 32b и так далее.
Пока 32б не на уровне 70б - похуй
Братик попробуй новый квен https://huggingface.co/bartowski/Qwen_Qwen3-14B-GGUF
Если >>1181729 прав, то у тебя на 12гб врама есть жизнь. Но для тру рп придется пару недель тюнов подождать
лупится как мразь
32б
>30б моешка
Бартовски оставил заглушку на ггуфе, что то не работает?
И при том у тебя все равно генерирует связный текст на 1 кванте, любопытно
этот думатель, оно живое
я больше никогда не выйду из комнаты
>оно живое
Теперь я знаю причину блекаута в европе и наступления резкой как понос зимы в конце апреля за окном, сука
> резкой как понос зимы в конце апреля за окном
Тесна однако сосака. Я тот оп
Давайте думать, бля, подсказывайте, что вы мозги ебете. Погонял я ваших марлинов. Для тех, кто не в контексте - 248 гб квант deepseek, 128 Гб RAM + 128 Гб VRAM. Выгрузил 15 экспертов на видеокарты и все аттеншен-kv слои. Отключил куда графы, т.к. мультигпу с ними не работает.
1. Медленно пиздец. Если decode это генерация, то у меня 405B с теслами быстрее работала. Тут обещали хотя бы 5-7 т/с. Да даже у чела, который тут с nvme тянул, было быстрее. Что за хуйня? Может из-за отключенных куда графов такое говно? Чувак с 128 гб, скинь свой конфиг и аргументы, попробую хотя бы твой экспириенс повторить.
2. Повторю свой вопрос из предыдущего поста - почему я не вижу расход RAM? Почему только 8 Гб свопа занято? Может там что-то надо отдельно прописать, чтобы он выгружал принудительно в оперативу? Или там какая-то магия линуха происходит, что он слои в кеш системы выгружает, а кеш это типо вся незанятая RAM?
3. Как это говно заставить работать в текст комплишене в таверне? Пишут, что надо олламу выбирать в беках, но у меня все равно сервер пишет ошибку 422 Unprocessable Entity. Работает Chat Completion только, а в нем же даже семплеры не работают из таверны, так? Я первый раз вообще увидел этот режим.
> Performance(T/s): prefill 0.8208590330613513, decode 1.066652203475882
Да это мгновенно... Крутил не помню уже что на 260гб весов чисто на цпу и там было что то в районе 0,1т/с
такая же скорость, но с одной видяхой и рам, мне тут какой-то хуй пытался пояснить, что я еблан и с выгрузкой в врам должно быть быстрее... ага, понятно теперь.
>1.
скорость еще зависит от cpu_infer, надо прописывать: (логические процессоры) - 2. если будет меньше или больше - скорость упадет.
>2.
если у тебя wsl2 могу предположить только, что у тебя по умолчанию для wsl шарится меньше рам.
>3.
text completion > кастомный openai.
И ведь максимальная производительность стоит, а частоты ядра 720. То то скорость хуевая показалась. Какое то llama.cpp говно как то криво загружает карту.
1. У меня 8, я прописывал 7, попробую 6 в след. раз прописать. Я просто привык max-1 делать, хз почему тут max-2 нужно.
2. Я даже не знаю, что такое wsl. У меня линух минт дефолтный. При инференсе пишет 6 гб занято RAM и 6 гб свопа... А нахрена вообще своп-то кто-то трогает? Я его заводил, когда у меня памяти мало было, сейчас-то вообще он не нужон.
3. Спасибо, правда, как будто бы пробовал, но могу напиздюнькать. В следующий раз попробую, на сегодня я уже наэксперементировался. Чет вообще с большими моделями все очень туго идет, одни разочарования. Пойду Бегемота гонять по привычке.
Кстати, похвалюсь, сегодня подумал дипсик через жору завести и решил карты потыкать - внезапно завелось в конфиге пикрил, лол. Ачивка на 8 карт есть. А дипсик потом по контексту oom вылетел и мне стало впадлу дальше экспериментировать - подумал, что через rpc+теслы все равно будет быстрее, чем с оперативой, а это уже мне лень было пробовать. Кто-нибудь знает кста, в жоре инференс у дипсика такой же как у плотных моделей или же по факту будет скорость как у 32B, если вся модель в видеопамяти лежит? Т.е. я к тому, что может нафиг мне этот ваш ktransformers, если я смогу почти целиком этот квант в видеопамять положить.
Очередные ЦЫФАРКИ
Очередное забвение через неделю
> почему я не вижу расход RAM? Почему только 8 Гб свопа занято?
Память оно загружает, просто в линуксе иначе показываются ее метрики. В htop если заполнено все желтеньким - значит все ок.
По дефолту выставляет нормально, можно там не трогать, но если хочешь - есть параметр на используемую рам.
> Выгрузил 15 экспертов на видеокарты
Видеопамяти сколько занято? 15 как-то мало
> Как это говно заставить работать в текст комплишене в таверне?
Ооо, хорошие вопросы задаешь. В их скриптах есть куски для легаси части опеновского апи, можешь обращаться к ним по адресу (ip)+/completions
>>1181787
Тут или дело в рам (скорость/объем) или в соединении видеокарт. Оно с дефолтным кофигом, когда кушало около 11 гигов врама в самом начале выдавало ~3т/с, без выгрузки экспертов.
> Ачивка на 8 карт есть.
Ачивка будет когда сможешь аутпут получить. Это просто ультратормоз по сравнению с ктрансформером.
> забвение через неделю
тем временем: qwen2.5coder и qwq по-прежнему топ модели для кодинга, qwq snowdrop по-прежнему одна из лучших моделей для рп на локалочке
веруны даже не задумываются о фактчекинге
Гемма 3 27b и даже 12b очень сильны в движухе, но диалоги с персонажами ещё более сухие, чем пизда моей мамаши. И внутренний мир, какие-то мысли и сложные эмоции она описать не в состоянии.
Мистрали получше в этом отношении, но пока что не нашёл удовлетворяющую меня модель.
Квен прошу не предлагать. Не выношу его.
>В htop если заполнено все желтеньким
Там не смотрел, я в системный монитор гляжу... посмотрю там. А что за параметр? cpu_memory_size_GB?
>Выгрузил 15 экспертов на видеокарты
Ничо не мало. В 3090 влезают 3 эксперта, в 3060 и 3070 - по одному (да, казалось бы, в 3060 должно 2 влезать, а хуй там плавал - крашится, буквально писечки не хватает. А attention/kv этого же слоя вряд ли можно перенести на другую карту). Вот и получается 4x3 + 2x1 + 1. Ну и attention/kv всех слоев и прочее, что в конфиге, тоже на картах.
>В их скриптах есть куски для легаси части опеновского апи, можешь обращаться к ним по адресу (ip)+/completions
Гм, попробую...
>Оно с дефолтным кофигом, когда кушало около 11 гигов врама в самом начале выдавало ~3т/с, без выгрузки экспертов.
Имя конфига в студию. Там их дофига для дипсика v3. И сколько у тебя RAM? Квант UD-Q2_K_XL использовал? Хочу воспроизвести эти ваши многотокеновые генерации.
>Мужики, подскажите, как сделать так, что бы qwen 3 думала на русском?
У меня иногда переходит на английский, потом снова на русский. На результат это не влияет. По идее можно остановить генерацию, удалить всё до <think> и выбрать Продолжить. Или вообще удалить сообщение и перегенерировать заново. Лично меня не парит. Даже Дипсик кстати подвержен этому пороку.
Что будешь делать, если Клода 3.5 на 500б параметров без цензуры выложат в паблик? Как будешь жить?
А он как раз находится на той точке, когда модель начинает превращаться из говна в конфетку (читай, становится умнее 50% кожаных), имхо.
Я понимаю, но мне нужно что бы он сам на русском думал, без моего вмешательства
>>На обниморжде лежат версии 32B
И какое надо железо дома для такого иметь?
24гб врама, немало людей такое могут себе позволить
даже в данном треде есть 3090/4090 господа, и парочка тесл тоже
>24гб врама, немало людей такое могут себе позволить
Это также как с офлайн играми. Когда вышел первый Crysis, это был 2007, все ПК были слабые и не тянули, и чтобы не портить впечатление о игре, нужно было её отложить и потом поиграть после покупки нового ПК, года через 3-5.
Также и с этими ИИ локальными на ПК, нужно купить старый б/у-шный HDD подешевле и с максимальным объёмом, на 1 терабайт например, и сохранять туда сейчас эти ИИ, через 5 лет появится новое железо (а также б/у это железо например за 300 долларов, которое сейчас стоит 3000 долл.), и их можно будет гонять и они будут летать.
Но фокус в том что нужно их сейчас сохранять, потому что разрабы будут старые версии удалять и потом их не найдёшь, им же нужно зарабатывать, ну и они как бы в сговоре с разрабами железа и те тоже напару с ними зарабатывают.
С нейронками это так не работает. Через 5 лет с нынешним прогрессом, даже самый сегодняшний топ будет смотреться на фоне тогдашних нейронок примерно как яндекс балабоба.
Ты мимокрок? Что за шиза? Никто старые версии из интернета не удалит. Здесь тред локальных моделей, тех, что предполагается хостить самостоятельно. Их заливают на опенсорс платформы. Если удалят с одной - загрузить можно с другой. Удалят с всех - у огромного количества людей они есть.
> на 1 терабайт например, и сохранять туда сейчас эти ИИ
> через 5 лет появится новое железо
Через 5 лет уже будут гораздо более эффективные модели, которые в рамках тех же требований будут давать лучший результат. Это итеративный процесс, который мы наблюдаем уже сейчас. С каждой итерацией все более разумное использование ресурсов.
Ну функционала будет хватать, ведь что за 5 лет поменяется? - Медицина, философия, юриспруденция и т.д., фундаментальные научные знания останутся те же самые. Быстро меняется лишь в IT сфере и истории (за 5 лет) и что-то там в некоторых технологиях типа роботов.
На самом деле я долбоёб, нашёл версию 6B.
https://huggingface.co/Qwen/Qwen3-0.6B/tree/main
>Я понимаю, но мне нужно что бы он сам на русском думал, без моего вмешательства
Ну первый-второй раз напиши после <think>:
Хорошо,
и нажми Продолжить. Глядишь в дальнейшем он и поймёт намёк :)
Еще мимокрок?
0.6b
Это модель не для обычного языкового взаимодействия. Ничего внятного ты от нее не получишь.
>>1181993
Вы пиздец удивитесь, но оно не на столько тупое, как может показаться. По крайней мере с ризонингом. Оно, ясен хуй, может начать тупить и выдавать шизу, но по ощущениям это скорее примерно 4б
В РП квен ахуенен. Даже 30В. Мелкие эксперты не мешают, думает за 3 секунды и выдаёт хорошие ответы, русский 10/10. А вот 235В в прикладных задачах далеко до дипсика, мне не понравился. На вопрос про полиморфизм не может ответить верно, даже гемма верно отвечала, блять.
>Ку, комрады, какая мета на русском
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
У первого более новые, но там похоже тоже всё, давно ничего не постилось, так что можно спокойно юзать что есть
Sonnet 3.7 и o3-o4 нет. Но оно и понятно — квен там сосёт.
сосет у модели, которая в несколько раз больше?
этого не можед быд
>сосет у модели, которая в несколько раз больше?
Я вот надеюсь на большую модель нового поколения, 70-123В. Но Ллама сдулась, Квен кажется отказался от 72В, Мистраль молчит - наверное похвастаться нечем. А больше из больших локалок и не было никого. Хотя вот Command ещё. О Фальконе из сострадания умолчим.
Таки всё циклично. Через одно-два поколения будут и хорошие большие модели тоже. Не все же годноту за годнотой выпускать.
А я тем временем рад, что хороших 27-32б моделей в этом году стало гораздо больше. Надеюсь, тренд сохранится, ибо это потолок для консумер хардвера. Все-таки риг под ллмки собирать не готов.
>Мнения про Qwen
Так он кодер или кто? Почему он шарит за фильмы про Терминатора?
Погроммирование это всегда на 50% компьютер саенс и на 50% прикладные знания. Ты не сделаешь эффективную погроммисткую сетку, если не научишь её особенностями бухучёта, проблемам моделирования жидкостей, теории композиции цветов или там содержанию культовых фильмов.
А можно ли делать свои или на основе других ИИ маленькие узкоспециализированные? Например сетка только по программированию на Java для бухгалтерии для стран СНГ, и размер в 10 ГБ, и использующая обычное железо обычного ПК? Всего две темы - программирование на одном языке и бухгалтерия.
Prompt: "If 5 brog 5 is 1, and 4 brog 2 is 2, what is 3 brog 1?"
thinking content: <think>
Okay, let's see. The problem says that if 5 brog 5 is 1, and 4 brog 2 is 2, then what is 3 brog 1? Hmm, so I need to figure out a pattern or a relationship between the numbers here. Let me start by breaking down the given information.
First, let's parse the question. It mentions "brog" which I assume is a typo or a term that needs to be clarified. Maybe it's supposed to be "bro" or "brog" as in "bro" with a different meaning? Wait, maybe it's a play on words? Like, maybe "brog" stands for something related to numbers or operations. Alternatively, maybe it's a misprint for "bro" which could mean "brog" as in "brog" as in "brog" which is a term used in some contexts, but I'm not sure. Let me think.
Alternatively, perhaps "brog" is a shorthand for multiplication or some other operation. Let me check the examples again. If 5 brog 5 is 1, and 4 brog 2 is 2, then maybe each operation involves multiplying the two numbers? Let me test that. For example, 5 times 5 is 25, which would be 25, but the result given is 1. So that doesn't fit. Alternatively, maybe it's a different operation. Let me think.
Alternatively, maybe it's a combination of numbers. For instance, maybe it's a function f(n, m) where f(n, m) is defined as something. Let's try to think of possible functions. For example, maybe f(n, m) = something like n/m or n + m? Let's check:
If 5 brog 5 is 1, then maybe f(5, 5) = 1. If 4 brog 2 is 2, then f(4, 2) = 2. Let's see if there's a pattern. If we think of 5 brog 5 as 1, which is 5/5 = 1. Then 4 brog 2 is 2, which would be 4/2 = 2. That seems to fit! So maybe the function is f(n, m) = n/m. Then 3 brog 1 would be 3/1 = 3. Therefore, the answer should be 3. But let me check again to make sure there's no other possible interpretation.
Alternatively, maybe there's another operation. For example, maybe it's a combination like n + m, but 5 + 5 is 10, which doesn't match. Or maybe n multiplied by m, but 5*5 is 25, which doesn't match. Or maybe n divided by m, which would be 1 for the first case and 2 for the second. So that seems consistent. Therefore, if 5 brog 5 is 1, then 3 brog 1 is 3. Therefore, the answer is 3. But let me check if there's another possibility.
Wait, another thought: maybe "brog" is a term related to numbers in a different way. For example, maybe it's a cipher or a code. For example, if "brog" represents something else. But without more context, it's hard to tell. However, given the two examples, multiplying the two numbers gives the result. So 5/5=1, 4/2=2, so 3/1=3. Therefore, I think that's the intended relationship.
Alternatively, maybe it's a function where "brog" represents the number of something. For example, if you have "brog" as in "bro" meaning something else. But again, without knowing the exact meaning, this is speculative.
Alternatively, maybe it's a function where "brog" is a variable. Let me think of a function f(n, m) where n and m are numbers, and f(n, m) is defined in some way. For example, maybe f(n, m) = n - m? Then 5-5=0, which doesn't match. Or f(n, m) = n + m? 5+5=10≠1. Not helpful.
Alternatively, maybe it's a function where the result is the sum of the numbers divided by something. For example, 5 brog 5 is 1. Let me think of fractions. If 5/5=1, then 4/2=2, so 3/1=3. That seems to fit. So maybe the rule is f(n, m) = n/m. Therefore, the answer is 3. Therefore, I think the answer is 3.
Final Answer
The value of 3 brog 1 is \boxed{3}.
</think>
content: To solve the problem, we are given two equations:
- $ 5 \text{ brog } 5 = 1 $
- $ 4 \text{ brog } 2 = 2 $
We are asked to determine the value of $ 3 \text{ brog } 1 $.
---
### Step 1: Identify the Pattern
We observe that:
- $ 5 \text{ brog } 5 = 1 $
- $ 4 \text{ brog } 2 = 2 $
If we interpret "brog" as a simple mathematical operation, and assume it is the operation of division, then:
- $ 5 \text{ brog } 5 = \frac{5}{5} = 1 $
- $ 4 \text{ brog } 2 = \frac{4}{2} = 2 $
This pattern suggests that the operation is defined as $ \frac{n}{m} $, where $ n $ and $ m $ are the numbers in the "brog" expression.
---
### Step 2: Apply the Pattern to Find the Result
We are now asked to find the value of $ 3 \text{ brog } 1 $. Using the same pattern:
$$
3 \text{ brog } 1 = \frac{3}{1} = 3
$$
---
### Final Answer
$$
\boxed{3}
$$
Чем там Ламоебы страдали, что не могут так же? 4 версия полный кал, дохуялион параметров, обещания про миллионы токенов контекста и отсос на всех фронтах. Новые версии должны либо работать лучше с меньшим числом параметров, либо работать заметно лучше с большим числом.
0.6b , самая младшая модель.
И на удивление отвечает умно, думаю на уровень выше ллама 1 7b
>И на удивление отвечает умно
Они как, полностью локальные, или с облаком постоянно держат связь, или иногда помощь зала (облака) берут всё-таки?
Я просто чекнул Бартовски, Жору и Анслота, у последнего до ебеней квантов, у него и качаю в итоге.
Так что, все работает. Но я подозреваю, Анслоту кинули квены заранее. Когда их релизнули Алибаба, он УЖЕ залил все кванты. Так быстро вряд ли бывает, заранее покопался, думаю.
>>1181817
Толсто.
>>1181873
В малых квантах скорее проблема скорости, чем ужатия, хз.
На проце у меня 4 токена было с тремя активными миллиардами параметров. Это маловато для такого размера.
>>1181920
ДА ОТКУДА ВЫ ЛЕЗЕТЕ
У меня буквально на всех тестах он думает на русском. Нет ни одной причины для него не думать на русском, когда я задаю вопрос на русском.
Что вы такое нагромождаете, что он у вас на английском думает-то?
>>1181945
Ща выскажу.
>>1181993
Пхпхпх
>>1182012
Забыл гемму (тоже не полезли).
>>1182059
0.6B = 600M
Нулики считать умеешь?
0,6 миллиарда — это 600 миллионов.
———
Короче, расклад такой по Квену3.
1. Дрочили на ризонинг люто. Поэтому он ебет GPT-4o в задачах, ибо она болталка милая, а он калькулятор.
2. Из-за этого просел обычный режим, без рассуждений модели тупее аналогов из 2.5 поколения.
3. Естественно, без рассуждений сливает Гемме. Но с рассуждениями обходит. Все просто.
4. Так же, просел русский язык. Qwen2.5-3b был по ощущениям получше Qwen3-4b. Ну и раньше Qwen2.5-7b был эталоном русского, сейчас уже только на 14b начинается норм речь.
В противовес, Gemma на 1b так себе, а 4b уже хорошо говорит на русском.
5. Это все еще рабочая модель, хотя ей, по мнению некоторых людей, долили креативности и умения писать тексты.
Вывод:
Для работы безусловный топ. Для рп надо ждать тюнов. Для русского просели результаты слегка. Для режима БЕЗ рассуждений просели результаты слегка.
Т.е., в контексте этого треда и рп/ерп, модель проходная (как и все прочие квены, кстати).
В контексте работы, пушка, целая куча разных размеров, для многих из них можно найти свое применение. Гибридный ризонинг не плохо. Да еще и моешки для тех, кто готов поменять 10% качества на 1000% скорости.
Короче, после Геммы норм, хорошо, вау-эффекта нет, после Лламы ультрабаза. =)
Режим thinking можно будет включать и отключать.
Понимает как работать со сторонними инструментами, можно интегрировать свои.
100+ языков (вот тут не верю, мне прошлые версии выдавали украинский язык и иероглифы, когда я запрос на русском отсылал)
Пиздец прогресс конечно, в 2 раза меньше параметров чем у gpt 2 и такой результат. Как же хочется отсос Альтмана увидеть, когда опен-сорс его выебет.
Это ты еще 4 квант щупаешь нет? Скачай 8 или полные веса на 16, вес незначителен. Но для такой мелкой модели квантование лютое зло. Я бы вобще не рекомендовал модели ниже 7b запускать на кванте меньшем чем 8
> когда опен-сорс его выебет.
> использует closed source lm studio
Там на HF кто-то 3бита запилил уже. Наверное для встраивания в микроволновку.
Можете покидать запросов, задам.
Короче, описываешь задачу пошагово, модель должна после каждого шага спросить юзера о качестве ответа и переделать либо перейти к следующему шагу. QwQ справляется отлично, Qwen3 14b, внезапно, тоже очень хорошо справляется для своего размера, пусть и несколько хуже, чем QwQ (так-то вполне себе хорошо, особенно учитывая что оно работает быстрее). Ну может быть они в конце немного вкинут о следующих шагах, но не всегда и не больше двух-трех предложений.
А вот Qwen3 32b начинает обдумывать, за каким-то хуем, все шаги сразу, очень подробно, и не заставишь ты его делать иначе, он будет активно сопротивляться попыткам заставить его прекратить, даже если ты руками поправишь размер этих размышлений, он начнет их обдумывать заново.
Этот прав. У меня 4бит ушёл в луп два раза. 8 бит работает как часы.
Вообще 0.6b конечно имба, чтобы тексты лопатить. Но контекст, жаль, милипиздрические 32к.
>и не заставишь ты его делать иначе
Поставь температуру 0.3, может у тебя задача не подходящяя.
> На чем вообще новый квен лучше тестировать?
https://chat.qwen.ai/
Я дом труба шатал этих долбаебов, вот так грузит мою карту сраная Qwen3-0.6B с полной выгрузкой слоев на видеокарту.
И я получаю невероятные 8 сука токенов в секунду генерации.
Причем до этого уже был такой косяк за llama.cpp, потом он прошел и частоты поднимались нормально.
И вот опять эта хуета.
Как же его трясет, что модель, которая вышла меньше суток назад, не работает как надо. =)
Если есть деньги и нет проблем с регионом (карточки от РФ), то можешь на inference api/open router поискать варианты. Там за буквально копейки можешь миллионы токенов купить. Или как вариант попробуй LM Studio, там можно распределять слои между vram и ram, может что-то получится улучшить. Если нет, то LM Studio это уже стандарт в этой области, всё равно стоит скачать.
> полдня ждать
На 4 кванта переходи. Не слушай тех, кто говорит, что станет хуже. Я ем, мне нормально, недостатков уже и не замечаю. Причем я на 17-40B обычно сижу, а 70B только для проверки разницы запускаю.
Я хотел крутить эту мелочь быстро быстро, а получаю в 2 раза меньше чем запуская на процессоре, абидна
И на сколько понимаю сама модель запускается нормально без косяков, просто видеокарта не считает запуск какой то значимой нагрузкой и не поднимает частоты.
Я б на твоем месте не кекал а проверил а нормально ли у тебя работает видеокарта при запуске нейросеток, а то потом начинается как всегда - кококо у меня так медленно почему так нахуй
Мда уж, даже моя 3060 за каких то там 28к с каждым годом запускает всё более и более умные модели, что повышает её полезность с каждым годом всё больше. Самая выгодная бюджетная видюха для нейронок евер
>по кайфу ответ полдня ждать
Да, в треде есть такие. Они собирают компы из китайского мусора и умайненных карт, чтобы запустить заветный дипсик, а после ходят и рассказывают, что 1.5 тс это вполне хороший результат
Чем старше ребенок тем дороже его игрушки, нравится им пусть играются
>LM Studio это уже стандарт
Слава Богу нет. Это уродливое кривое говно используют только те, кто только вкатываются в ллм
> Это уродливое кривое говно
С арча пишешь? Только у красноглазиков-культистов polished UI считается чем-то уродливым. А то, что работает из коробки кривым.
>С арча пишешь?
Причем тут это говно. Тебе арчевцы в детстве избили, что ты теперь их везде видишь?
Я не люблю LM studio, потому что в беке это обычный llama.cpp, а фронт кривой и уродливый. Буквально. Там кривые менюшки, вырвиглазные цвета (особенно в разных темах) и т.д. Из плюсов интеграция с обнимордой, что удобно, но мне и на сайт зайти несложно.
Единственный нормальный фронт это openwebui, остальным как будто били палкой по пальцам, когда они пытались задизайнить что-то нормальное
>Единственный нормальный фронт это openwebui
Да ты угараешь, это тот самый нормальный фронт который нормально ставится только докером, не обновляется без танцев с бубном, и нормально поддерживает только один локальный бекенд - бгомерзкую олламу?
Нормальный фронт силли таверна, так как имеет хуеву тучу настроек, не без минусов но по универсальности она ебет всех остальных. У сервера llama.cpp неплохой родной фронт, как раз таки аналог твоего опенвебуи от здорового человека.
База в виде геммы, qwq-snowdrop-v0, gml-4
Только промт им подкинь чуть более подробный с указанием что писать. Через степсинкинг можно всячески разнообразить и приукрасить, или заставить отдельным образом расписывать в том числе внутренний мир и т.д.
>>1181910
> Имя конфига в студию
Самый дефолт DeepSeek-V3-Chat-serve.yaml или он же пол мультигпу (ибо там сейм но просто раскидывается по двум), это без выгрузки экспертов.
Квант Q3_K_S, 192 гига рамы.
>>1181920
Указать это в промте?
>>1181945
Ггуфы/жора поломаны как обычно, нормального локального запуска пока не завезли а качать бф16 - нахер.
>>1181958
> на 1 терабайт например
Хватит ненадолго лол.
> самый нормальный фронт который нормально ставится только докером, не обновляется без танцев с бубном, и нормально поддерживает только один локальный бекенд - бгомерзкую олламу
Да, все так. И это трагедия ллм. Единственный кто нарисовал нормальный фронт, насрал в других местах.
>Нормальный фронт силли таверна, так как имеет хуеву тучу настроек
Если ты оцениваешь качество фронта, по количеству настроек, то тут мои полномочия все. У тебя наверное еще KDE лучше GNOME
>Ггуфы/жора поломаны как обычно
А что сломано? Я мало тестил, но вроде все нормально работает
> Если ты оцениваешь качество фронта, по количеству настроек
Потому что любой у кого есть руки и время этими настройками буквально любой фронт можешь себе сделать. Тему, цвета, фоновые обои. Лишние иконки можешь скрыть, яркость убрать, можешь свои кнопки вроде переводчика добавить.
Настройки - это всегда хорошо.
> Для работы безусловный топ.
Для какой работы? На первый вглзяд оно уступает прочим в потоковой обработке с разумным ризонингом, а их синкинг - безумный расход токенов. И это в 16битах.
>>1182096
Двачую, нельзя так вжаривать, синкинг должен быть опциональным и управляемым, а не просто максимально употорый задроченный шаблон.
>>1182120
Стоят дороже средней брички в этой стране, но совершенно не выделяются на фоне типичного эквипа для хобби, спорта и т.п.
>Настройки - это всегда хорошо
Полностью согласен. Но нужна отправная точка - хороший фронт. И уже с помощью настроек поменять под себя
>Потому что любой у кого есть руки и время этими настройками буквально любой фронт можешь себе сделать
Полностью не согласен. Нужна какая то база для настроек, если ее нет, то чтобы ты не крутил, то получится кал. Есть еще варик лезть прямо в код, но это уже совсем извращение какое-то.
И я сам использую таверну из-за ее функционала для рп, но назвать ее красивой я не могу
>пик
Спасибо, что вернул меня в 2007 год к розовым дневничкам жж 12 летних девочек
> Единственный кто нарисовал нормальный фронт
Не тянет
> качество фронта, по количеству настроек
А это база, возможность управления и реализации здесь на порядки ценнее, чем форма панелек и иконки.
>>1182215
Хз, написали что там окно атеншна сменили, а также оно квантуется плохо, поэтому даже не качал. Какбы поломанность в день релиза даже в упрек ставить не надо, понять@простить.
Если шум не волнует то бери, там все новое кроме чипа, да и тот скорей всего не ужарен. Гарантии нету, вот еще минус.
Бери, и молись чтобы чип был не настолько же потемневший как наша жизнь.
Наверное вот эта
https://www.youtube.com/watch?v=m9YszWQenII
У него там кстати недавно вышел обзор на Nvidia V100 16 гб, мк заинтересовался нейронками как я понял, кек
а часто вообще китайцы перехуячивают память на карточках, как это искать?
немотрончик в 3 эксламе
накати таверну и радуйся, запуска моделей используй кобольд
База.
Там разницы-то 500 и 900 мб.
>>1182089
У Анслота на старте была 1,78 бита.
Я поугарал, скачал, генерит случайные буквы, ожидаемо для 220 мб. =)
>>1182100
Соглашусь, она выглядит как имба в браузер встроить или типа того.
Но контекста не хватит для многих задач.
>>1182124
У меня 200+ было, или че-т такое.
>>1182249
А зачем тебе в 16 битах?
Токены не жаль, я считаю. =)
Думаю, просто, для твоего кейса не подошло, ну что поделать, гемма все еще существует, I guess.
———
ПОСОНЫ, ПРИНЕС ПУШКУ
КТРАНСФОРМЕРС В ЛЛАМА.СПП ДЛЯ MOE
-ngl 99 --override-tensor ".ffn_._exps.*=CPU"
Ускоряет когда как, но для 30б модели (Q8_0) я получил 50% прироста с 8 до 12 токенов в секунду.
235б модель (Q3_K_M) уже погналась всего на 15%-20%, с 3,4 до 3,9.
Тем не менее, просто llama.cpp и команда — вуа ля.
Если кто погуглит, что за команда в деталях, и оптимизирует еще лучше — пасибое будет вам. =)
128 гигов оперативы + видеокарта на 8-12 гигов + ллама.спп обычная = 235B Q3_K_M модель на 4 токен/сек.
Два года назад я запускал Llama 65B на 0,35 токен/сек, потому что оптимизаций не было никаких, и ниче, за 40 минут получал ответ и неистово радовался. =)
> У меня он полчаса кучу библиотек ставил в консоли и в итоге нихуя не работает
Всегда удивляло как люди умудряются не справиться с готовыми установщиками.
>>1182334
> А зачем тебе в 16 битах?
На апи хостится полная.
> Думаю, просто, для твоего кейса не подошло
Вот и спрашиваю, для какого кейса утверждение о "пригодности для работы" сделано.
>>1182340
> 235B
Просто не забывай указывать количество активных параметров и магия сразу исчезнет.
> Llama 65B на 0,35 токен/сек
Это на древней ддр3? Там овер 1.5 было на cpu онли.
Генерация 11 токенов в секунду. Ну чтож, итс бегин.
Если сетка окажется аналогом Qwen2.5-32B-Instruct это будет просто пушка.
мета-гугл-клоседаи сосать, как бы реально от испугу не запретили квен в сша, кек
>Это на древней ддр3? Там овер 1.5 было на cpu онли.
В те времена инференс был медленный в том числе изза только запиленного бекенда, он бы медленнее в разы.
К тому же никто не вывел параллели между бандсвич рам и скоростью генерации, да и с количеством потоков тоже.
> В те времена
В какие, когда не было жоры и единственным вариантом был трансформерс на cpu? Не придумывай. Уже в самых ранних жорах что собирались под шинду все упиралось в скорость рам, ранние ggml использовали более простой алгоритм и требовали меньше вычислительных расходов. Исключением была совсем некрота без avx, о чем и речь.
Тебя могут путать воспоминаня и думаешь об общем времени получения токенов, куда входит обсчет контекста, такое вполне возможно.
> с количеством потоков
Плацебо и особенности архитектур.
> Просто не забывай указывать количество активных параметров и магия сразу исчезнет.
Нет, не исчезнет.
Просто запусти 22б и 235б и погоняй различные таски.
Адаптивность, знания, несравнимо просто. Даже качество речи.
> Это на древней ддр3? Там овер 1.5 было на cpu онли.
Слушай, а я смотрю, ты вообще не в теме локалок? :)
Нет, на DDR4 3200 в двухканале с 50 псп, в первые полгода ggml (тогда еще ggml, а не gguf) выдавали именно 0,35 токен/сек.
Потом разогнались до 0,7 токена/сек.
1,5 токена выдает только DDR5 со 100 псп.
Такие дела.
Так что, все чики-пуки, прирост есть по всем фронтам. =)
>>1182344
Попробуй --override-tensor ".ffn_._exps.*=CPU", сколько добавит, если видяха позволяет.
> аналогом Qwen2.5-32B-Instruct
Не окажется.
Во-первых, поменьше размером, МоЕ. Во-вторых, ризонинг, без него она поглупее.
Но определенные плюхи есть.
У тебя Райзен 7xxx?..
У тебя явно что-то с памятью.
Я прекрасно помню, как проводил тесты на одном и том же железе. Сравнение довольно прямое.
Да, AVX2, да, 50 псп, я тот ПК с тех пор никуда не дел, он у меня до сих пор стоит.
Но, без проблем, если ты сейчас покажешь 1,5+ токена/сек на ddr4 для 70b модели — без вопросов. Я бы посмотрел на такое.
(70 гигов при 50 псп — это, внезапно, 1,4 сек на одну пробежку, т.е. 1/1,4=0,71, чистая математика=).
Что лучше более объемная модель но с меньшим квантованием или менее объемная но с большим?
Условно говоря что лучше 16B_12Q или 30B_4Q при прочих равных
Я еще альпаку крутил, ты меня поучи как это было. Было много оптимизаций бекенда + вырос скилл запуска, вот и выросли скорости.
>>1182359
>Попробуй --override-tensor ".ffn_._exps.=CPU", сколько добавит
Чет по нулям, как было так и осталось, запускал как то так
./llama-server.exe --no-mmap --mlock -t 8 -ngl 0 -c 4096 --host 0.0.0.0 -m F:\llm\Qwen3-30B-A3B-Q4_K_M.gguf --override-tensor ".ffn_._exps.=CPU"
>У тебя Райзен 7xxx?..
Какой там, сборка на зионе, дешево и сердито
>Не окажется.
По мне так неплохо, я ожидал от кучи мелких экспертов меньшего. Думаю проблема в 4 кванте, это мелкие эксперты, квантовать их вредно. тут бы 8 квант крутить, но мне памяти не хватит. Скорости там будут даже так приличные, да и качество должно подрасти значительно.
>>1182371
>30B_4Q
Лучше. Если можешь взять модель больше не опускаясь ниже 3-4 кванта то делай.
>>1182334
Сука, двач. Хватит трогать звездочки!
--override-tensor ".\ffn_.\_exps.\*=CPU"
Не знаю, как их тут экранировать.
https://pastebin.com/V0z3q516
Ой, ну нафиг.
> Просто запусти 22б и 235б и погоняй различные таски.
Речь про время запуска и скорости. А вау эффекта большой квен не вызывает, натаскивание шизоризонинга уже было, многих нужных знаний не имеет, на сложные абстрактные вопросы по длинному тексту, с которыми справляется сойнет и жемини, ответил поверхностно или неверно.
> Слушай, а я смотрю, ты вообще не в теме локалок? :)
Пускал их пока скуфчанские типа тебя еще в неведении пердели у себя в коморке, лол.
> 1,5 токена выдает только DDR5 со 100 псп.
Там уже 2+. Если что, ддр5 и платформы на нее вышли в 21 году, а ллама появилась в 23м, когда это уже считалось дефолтом в производительных пека.
>>1182365
> Я прекрасно помню, как проводил тесты на одном и том же железе.
Да хуету натестил даже не понимая что делаешь, а теперь тешишь фантомные воспоминания. Будто ты первый кто толкает шизу которую "помнит и сам делал".
> на ddr4
Опа, уже перешел в стадию торга, ай лол. Но с гпу там будет даже больше.
>>1182388
> Я еще альпаку крутил
Ну давай еще хуями мериться
> Было много оптимизаций бекенда
Блас был с самого начала, остальные оптимизации минорные или завязаны на не-cpu.
> вырос скилл запуска
А это уже никак к железу и софту не относится, проблемы юзеров.
Справедливо.
https://www.reddit.com/r/LocalLLaMA/comments/1k9le0f/running_llama_4_maverick_400b_on_an_ewaste_ddr3/
> Пускал их пока скуфчанские типа тебя еще в неведении пердели у себя в коморке, лол.
Если ты такой умный, тогда почему ты пишешь фантазии?
> Там уже 2+. Если что, ддр5 и платформы на нее вышли в 21 году, а ллама появилась в 23м, когда это уже считалось дефолтом в производительных пека.
Круто, только ты же сказал про DDR3, а следующая ступень DDR4, да и аноны тут сидели на DDR4 в большинстве своем.
> Да хуету натестил даже не понимая что делаешь, а теперь тешишь фантомные воспоминания. Будто ты первый кто толкает шизу которую "помнит и сам делал".
Буквально тут ты один дед, который все забыл и перепутал, и теперь доказывает. =)
> Ну давай еще хуями мериться
Да ты уже как бы, давай хотя бы доставать не будешь…
>>1182388
Сорян, ссылки кинул. Бери оттуда.
Недоглядел, забыл и не подумал. =(
Ля скуфчанский на говно изошел, мусор во всех отношениях.
Какой же кайф
>Сорян, ссылки кинул. Бери оттуда.
Да я уже, пока без выгрузки слоев ничего не изменилось, магии нету. Щас попробую с ними, но у меня видеокартошка скидывающая частоты так что чуда не жду
Да какое говно, дедушка, просто жаль тебя. =(
Ну ничего, ты во всем прав, в 2023 альпаку пускали 2 токена сек на проце, прав-прав, все так и было!..
>>1182420
Это именно под выгрузку, все слои надо прописать.
>>1182426
Забавно, немного выросла скорость. Я 100 слоев написал.
Я так понимаю смысл в том что бы в видеопамять при ответе грузились только те эксперты что являются активными, а это 3.3b?
Ну смысл поиграться есть
Да, в зависимости от видеокарты и проца прирост может быть разный. Где-то прям норм, где-то немного.
Но стоит держать в уме. =)
На самом деле, предсказуемость. Ты привык к модели и у тебя нет страха, что что-то пойдет не так. И «что-то не так» не идет.
Приятно, я полагаю.
Пишет то, что я хочу, а когда не пишет - хорошо слушается [OOC:]
Перепробовал под сотню моделей, рядом только дипсик. Лучше только клод.
пантеоношиз
Ахуеть, скуфидон дедом называет.
Как же быстро ты рвешься и по какой ерунде:
> Смотрите какие крутые оптимизации делают, сейчас гоняю 240б на процессоре с 4т/с а раньше и ллама 65б едва 0.35т/с выжимала
> Это бред, скорость достигается только за счет малого числа активных параметров и некорректно говорить о большом размере, производительность генерации на актуальных процессорах не была настолько медленной и значительно не менялась, всегда упираясь в скорость рам
> ррррееее да как ты смеешь я пускал и сам помню!
На самом деле сразу заведомо порвался что кто-то не согласился с твоими фантазиями и восторгом, и пошел набрасывать. Потому и мусор.
Флаг -fa добавил еще немного, но все равно как то слабо.
Не грузит ни псие, память не загружена, частоты поднимает, но куда ядра загружены едва на 35%
Зато cpu грузит все ядра, будто и не скидывал ничего, короче говоря странное дело, но смысл в ускорении есть.
32gb ddr4 3200мгц, Ryzen 5 5600G.
Qwen3-30B-A3B-Q4_K_S
> Process:31.59s (39.41T/s), Generate:70.09s (15.35T/s), Total:101.68s
У меня таких скоростей на 8б не было, это все на проце. Надо бы, конечно, нормально все протестить еще, что у нее по уму.
Но, к сожалению, складывается впечатление, что весь третий квен под РП не катит, вне зависимости от промпта он за юзера отвечает.
Бедный дед, совсем перепутал.
В начале обосрался насчет скорости на старте, мол не было 0.35 т/с, а сразу у него было 2+.
А потом, как ему пояснили, сманвярировал на экспертов, хотя по этому я ответил совсем иное.
Потом сам порвался, начал оскорблядь и щас стрелки метает.
Не, чел, тебя правда жаль. У тебя такая вот злоба внутренняя на самого себя за то, что ошибся. И ты рил пытаешься доказать всему треду, мол «ха-ха смотрите это он, а не я, не я, не я!..», хотя в треде буквально сидят челы, которые запускали те же модели, в то же время, и получали те же результаты.
Успокойся, правда. Ну ошибся ты, ну с кем не бывает. Навыдумывал себе чего-то.
Никто с тебя не смеется, правда. =) Всем пофиг.
Все, не буду тебя больше трогать. Успокаивайся, добра. =)
>>1182455
Да, ктрансформеры выглядели получше, жаль я лламу удалил и не могу лоб в лоб сравнить, мне лень уже это говно на 80 гигов качать.
Тем не менее, ситуативно прирост есть, и это хорошо.
У меня. на удивление, в таком режиме не грузится не греются ни проц, ни видяха на ноуте, например. У ноутов с этим всегда была проблема, а тут… как-то полегче стало, хм.
>>1182465
Я бы сказал, что он под рп не катит по другой причине…
Давай сейчас у себя запущу, попробую, сравню.
Выше парой постов человек на 5600G запустил с той же скоростью. =) Ты чуть-чуть опоздал.
А если еще видяху подключить, то и 20 можно получить… =)
Это какой у тебя пантеон? 24б? ссылочку?
Столько про него слышал уже, но так и не пробовал
Есть 4 слота по 16гб ддр4 на 2666, материнка на 8 слотов и имеет четырехканал. Проц - 6900k, дает 128 гб максимально. В связи с MoE, которое вроде бы никуда не уйдет - есть ли смысл забивать остальные 4 слота плашками по 16гб относительно дешевой ддр4 до максимума и иметь 128гб памяти в четырехканале, или это глупая идея? Наверное хотелось бы новый большой квен пощупать, на 235B который. В наличии также одна 3090, планировал вторую докупать и сидеть на файнтюнах третьей лламы, но теперь не знаю, правильное ли это действие.
с видяхой у кобольда щас проблемы, именно с третьим квеном и moe:
> Processing Prompt [BLAS] (512 / 1245 tokens)ggml/src/ggml-vulkan/ggml-vulkan.cpp:5076: GGML_ASSERT(nei0 * nei1 <= 3072) failed
С cuda говорят просто нет никакого прироста https://github.com/LostRuins/koboldcpp/issues/1510 (у чела 20 токенов в кобольде, при 120 в лм-студио).
У меня же, когда все же не выдает ошибку (буквально только в пустом чате, без системного промпта, персоны и карточки) скорость генерации с частичной выгрузкой на встроенку падает до 12 токенов, до этого никогда это на скорость не влияло, просто позволяло заюзать память выделенную под видео.
(>>1182465 я)
О, а у тебя все 4 канала заюзаны? Что выходит по скорости генерации, допустим, на 12б моделях?
Есть смысл в забивании всех 8 мест одноранговыми модулями.
Память удвоишь, скорость не упадет, даже чуть быстрее может стать.
Если же у тебя уже 4 2 ранговых то может не завестись.
Мое квен3 сейчас скорей всего немного криво работает, хоть и отвечает нормально. Ну и да, русский там был не основным языком.
Не подскажу, гружу всегда все полностью в врам, да и планировал на самом деле так дальше и делать.
Но вот что-то ллама 4 МоЕшная (к тому же говно), новый квен 32б полный тоже не очень обрадовал, а МоЕ больно большое. Поэтому собственно и думаю, не следует ли спекаться в оперативу и крутить МоЕ побольше. Цены на ддр5/процы/материнки кусаются, пересобирать машину не могу себе позволить, только докинуть оперативы/карточку еще одну.
Оно как 3б будет по скорости, только гораздо быстрее проседать с ростом контекста, это нормально.
>>1182496
Ты бы себя лучше пожалел. Корчишь из себя авторитета на аиб и идентифицируешь себя, не можешь признать ошибки, слаб, глуп, олицетворение мусора.
>>1182527
Для начала попробуй погнать память до максимально возможных, если есть бюджет - замени на более скоростную. На 2011-3 с 32 гиговыми плашками можно получить и 256, но может ли в этом твоя материнка лучше предварительно уточняй. Если захочешь пускать мое покрупнее, тот же р1 с ктрансформерсом или маврика - это будет нелишним.
псп какая?
В теории должна быть… 79,2-79,8? 80+?
Докупить 4 планки по 16 гигов звучит дешевле, чем 3090.
И попробовать вот это новоявленное ускорение.
Есть шанс поиметь 4-5 токенов на 235B Q3_K_M.
НО, я сильно не уверен, что он будет хорошим в РП.
Вдруг тебе мистрали немо хватает?
Или ты хочешь мистраль лардж гонять?
Может быть 70б модели твое? Тогда точно 2 3090.
А может для геммы 3 27б и кучи контекста хочешь.
Мы ж не знаем твоих вкусов.
Посмотри на тред:
У нас тут фанат пантеона с Арены Имперского города.
Толпа любителей Немо/Сайги/ДаркРейна и других миксов Алетейана.
Поклонник Цидонии, и его друзья сидящие на других мистралях 22 и 24.
Любители Gemma 3.
Исследователь версий Сноудропа.
Господа на Mistral Large.
У всех свои вкусы — и разное железо.
Оно у меня и так отрубленное, лол.
Если это было к моменту про РП, то у меня тут любая модель из ветки третьего квена в РП ведет себя одинаково - начинает отыгрывать за {{user}}
>>1182547
> Оно как 3б будет по скорости
Судя по всему как 4б, все же. Активных параметров да, 3б, но + еще какие-то расходы сверху.
Я тут на него гнал, что он рабочий, а с мыслями в таверне он прям себя хорошо показывать начал… Наверное, зависит от темы…
Знаешь, дедушка, я себя не как авторитета идентифицирую, а как человека, который учится не тратить время зря. =)
Я могу доказать свою правоту (достаточно скачать старые билды лламы.спп и старые модели у блока), но зачем тратить время на это? В соседнем треде какой-то активный паренек изливает желчь на фреймпак, и для него можно было бы сгенерить видос, но… зачем?
Тренировка выдержки, спасибо вам за это. =) За интересные челленджи.
Да вон, на скрине. >>1182541 Вообще дефолт полный, поставил симпл-рп без задней мысли и все, чисто потестить.
Я последний раз рпшил на немо, наверное, там было неплохо, но в сеттинге он был слабоват, а тут прям глубоко и сочно чисто по контенту, обсуждениям. Стилистику пытается выдержать.
Синкинг ему идет на пользу.
Ща еще с 235 сравнить надо, интереса ради.
Я просто не очень понимаю на какую скорость вообще ориентироваться, т.к до этого момента все грузил полностью в врам. Хотел бы узнать по большей части, следует ли мне с ддр4 вообще лезть в МоЕ модельки, либо это для ребят с объединенной памятью и ддр5. Насколько я понял, важна пропускная способность, при ддр4 в четырехканале она равна ддр5 в двухканале.
Если очень кратко: следует ли брать 128 гигов ддр4 для больших МоЕ; будет ли это работать хоть как-то приемлимо; есть ли вообще в этом смысл?
За все время крутил множество мистралей; файнтюны квена; всякие специфические магнумы (типо на базе Yi); мику на 2.5bpw и 8к контекста. Сейчас преимущественно сижу на сноудропе. Из последнего - понравился GLM4, жду ггуфа на первый файнтюн (т.к базовая модель все же суховата), а поддержку 32B GLM4 в exl2 не завезли еще.
>>1182547
Я боюсь что у меня лок процессором на 128гб, это максимум сколько он поддерживает. Про скорости не уверен совершенно, вот у меня есть 4 плашки по 16, cpu-z говорит что они на 2666 работают. Проц вроде как даже меньше поддерживает, но из-за матери плашки встают на родную скорость (полагаю как раз 2666. Не уверен что плашки на 3200 заведутся). Покрупнее я не думаю что смогу, упираюсь в максимальное кол-во ГБ оперативной памяти поддерживаемое процом, это нужно менять проц -> мать -> тогда уж и оперативу всю на ддр5 -> сильно дорого.
В чем прикол этой модели? Почему все пишут, что она хороша, хотя там какие-то персонажи прямо в модели
>
Persona: Nyx
System Prompt: You are Nyx, a timid yet endearing dragon girl who transforms from shy to passionate when feeling safe and comfortable.
Persona: Raza
System Prompt: You are Raza, a clever and nerdy anthro raptor girl with an enthusiastic passion for science and quirky humor.
Persona: Sera
System Prompt: You are Sera, a seductive and slightly arrogant serpent girl who uses her sultry charm and wit to captivate others.
И их куча. Ты это используешь?
Ну вот у меня 12 токенов для 30b q8 и 4 токена для 235b q3.
Приемлемо?
Думаю, 30б на видяхе чисто можно разогнать существенно быстрее.
А 235б ты в две 3090 не воткнешь. =)
ИМХО (но на него не ориентируйся), толстые модели нужны только для знаний. Иначе тебе нынешних 32b хватит, плюс-минус.
> Про скорости не уверен совершенно
Скачай Aida64 и запусти тест чтения памяти. =)
Чисто логически на моих псп 55 чтения должно быть где то 13-15
Но видимо что то еще упирается.
Эх надо было брать проц получше, скорость памяти он ограничивает. Было бы под 80, получил бы уже до 20 т/с
Для ризонинг модели 10 как то на грани
Qwen3 30B-A3B Q6_K_L
Процессор: Intel(R) Core(TM) i7-1068NG7 CPU @ 2.30GHz
Алсо, как moe работают с видюхами, я же не смогу запустить ее на видюхе с 8гб?
https://www.reddit.com/r/LocalLLaMA/comments/1k9le0f/running_llama_4_maverick_400b_on_an_ewaste_ddr3/
Кто тебя знает.
Я совершенно ничего не знаю о ktransformers, принципе работы MoE и так далее. Из информации которую могу дать: Псп процессора = 76.8 гб/с; псп четырехканала ддр4 = 80 гб/c; скорость оперативной памяти выяснил - 2666; максимальный размер оперативной памяти - 128 гб. Проц i7 6900k
Не мог бы ты сказать, какое у тебя железо, чтобы я сопоставил твои скорости со своими? И, если не наглость - какой максимальный квант 235b квена я могу запихать в 24 врам + 64 рам? (посмотреть скорости вживую на загруженной в максимум системе) Интересует именно квен 235b, 30b я и в врам запихать могу. Насколько я понимаю, размер куска модели, которую можно запихнуть в видюху тоже влияет довольно сильно на скорость МоЕ, но пересчет контекста будет так или иначе страдать (по крайней мере мне всегда казалось что именно поэтому тесловоды и не любят пересчет контекста)
В 235б квене 22б один эксперт, при работе их вызывается 8 штук. Это слишком много, чтобы 24гига врама на что-то влияли, но тем не менее, насколько будет грустно? Хотелось бы иметь 15-20т/с, пересчет контекста я могу потерпеть. Следует ли мне закатать губу, либо это реально получить? Надеюсь что не заебал с глупыми вопросами.
Проверил дипсик, ламу и гпт. ГПТ вроде такой проблемой не обладает, но не плотить не хочется.
>22б один эксперт
Это вроде число активных параметров, в которых эти 8 экспертов. Так что если сможешь запихать их в врам то будет быстро. Но натконтекст останется всего 2 гб памяти, так что хз.
А нет вру, это верно только для 8 кванта. Для 4 нужно будет только 11гб под экспертов, так что исподьзуя волшебную строчку для выгрузки экспертов в врам перед генерацией будет быстро
> В 235б квене 22б один эксперт
Это Активные параметры, эксперт гораздо меньше, забей.
Но пока что такого ускорения не достичь (ибо технология вот буквально сейчас развивается), не уверен, что выше 5 будет.
На 64 гига запихнуть … никакой, динамические кванты анслот еще не выложил, так что ждем. Но будет в районе самого мелкого, 1,78 бит какой-нибудь.
>>1182623
Да, место будет, верно считаешь. =)
https://gist.github.com/bartowski1182/eb213dccb3571f863da82e99418f81e8
Они у него все на английском.
С заполненным там сколько 5т?
Я уже привык к 30
Есть ли что-то подобное у опенсорсных IDE и локальной БЯМ? Я сколько ни пробовал, у всех других IDE и расширений VS Code только чат с ботом без прямого доступа к изменению файлов и/или фича "допиши функцию по комментарию".
> я себя не как авторитета идентифицирую
Ну да, каждой бочке затычка, мера всех вещей и главный выебистый пиздабол, который клипает шизополотна превышая лимит борды на линки, лишь бы спиздануть. Что ты престарелый - понятно по скуфосленгу и смаликам, появился в треде уже только когда мультигпу были в ходу.
>>1182569
> Я боюсь что у меня лок процессором на 128гб
Тут понимаешь какая штука, эти спецификации писались задолго до появления 32гиговых десктопных плашек и ограничение может быть довольно условным. С точки зрения адресации или каких-то других вещей лимитов нет. Конкретно с бродвелами хз, но скайлек-х тоже заявлен с лимитом 128, но с 256 без проблем работает.
Тут уже сам смотри, если упрешься.
> Не уверен что плашки на 3200 заведутся
Заведутся и больше, если сами норм. Как вариант - просто купи 4 плашки по 32 гига, они продаются сейчас на вес. В самом худшем случае просто сдашь в магазин, если проц не сможет в более 128гигов - поставишь их максимально разогнав, а свои продашь на авито. Если сможет - будешь иметь 192 гига. Просто докупать 4 штуки по 16 может быть не самым оптимальным вариантом.
> на какую скорость вообще ориентироваться
Если хочешь честный ответ - на медленную, это будет и не близко как фулл-гпу инфиренс, а заточенность моделей на ризонинг сильно повысит требования к необходимой для комфорта скорости, если будешь его юзать.
Поэтому самой первой покупкой рассматривай вторую видеокарту, а уже потом все остальное.
> нужно менять проц -> мать -> тогда уж и оперативу всю на ддр5 -> сильно дорого
Забей, 4канала ддр4 дадут аналогичную ддр5 скорость, если сможешь их немного разогнать. Проц уже рили старичок и если ты игрун то это может сказываться, но в нейронках проблем не встретишь.
>>1182610
> совершенно ничего не знаю о ktransformers
Если ты в этой области хлебушек то будет крайне тяжело, потому что это обязательно линукс, обязательно пердолинг и никакой гарантии результата.
> Хотелось бы иметь 15-20т/с
С такой скоростью и 48гигами врам - без шансов. В самом удачном раскладе будет около 8-10, более вероятно что меньше.
> Следует ли мне закатать губу
Если эта пека у тебя уже есть, то апгрейд рам будет стоит копейки, так что многое не теряешь. А вторая 3090 даст возможность просто катать более крупные модели и контексты больше, беспроигрышный вариант.
На трех, на четырех с более жирным квантом будет чуть ниже. Это уже с заполненным, если использовать хорошую девочку экслламу, а не богомерского тормознутого жору.
> Я уже привык к 30
Терпимо, гораздо больше будет напрягать неспешная обработка контекста (~300-450т/с)
репорчу обоих нон стоп, но остальным видимо норм такое видеть в своем треде
а тут никого и нет больше. одни скуфы, которые срутся на тему железа с начала времен и душные аноны, которые срут все модели, но не предлагают альтернатив (те вроде помоложе, но тоже ебанаты)
адекватные надолго не задерживаются и душатся, нехуй тут делать
я тут от безделья ридонли
qwen ебёт, ну вот glm4 еще есть, это код и все такое.
Переводчик кун может что то свое назвать, был тут когда то
deepseek-v3-0324 сейчас топовая, потому что у неё и качество вывода на уровне гпт. длинный контекст, умная, не галлюцинирует как гемма, плюс с кодом все отлично, питон и кресты знает. для повседневки типа спросить, писать тексты или кодить - идеал.
Не факт. Мы уже на пределе физических возможностей кремния.
>На трех, на четырех с более жирным квантом будет чуть ниже. Это уже с заполненным, если использовать хорошую девочку экслламу, а не богомерского тормознутого жору.
У меня на Жоре и Экслламе скорость практически одинаковая. Контекст Эксллама обрабатывает быстрее, да
С 4 картами есть шанс немного прибавить за счёт тензорного параллелизма. Правда работает не везде. А так да, на трёх картах 10 т/c на старте, 8 - на контексте 24к (123В 4bpw). В целом комфортно.
У меня уже сейчас железо, которое может это запустить, стоит $10 единоразово :^)
Ну давай фантазёр, рассказывай про 100 шкафов с h200 в пожизненную аренду за 10 бачей, развлеки.
Рассказываю. Тем, кто отправляет больше 1000 сообщений в день, не подойдет, к сожалению...
Оптика, спинтроника или еще какая хуйня
Все возможно, кремний не предел
Ну да примерно такие же скорости были. Но Жора на таком контексте уже до 5-6 просаживался, на малом сейм. С тензорным там и до 20 выжимается, но падает обработка контекста и с его накоплением быстро весь эффект теряется, хз должно ли так.
>>1182769
В голосину
Кремния да, а вот память в видеокарты жадные пидорасы просто не докладывают. Нет никаких проблем на дешевые карты впихнуть 32гб с завода, и стоить это должно 40-50килорублей максимум, с учетом всех охуеваний, а то что сейчас - это уже за гранью добра и зла.
>>1182755
Переходим на колапс и темпл-ос во славу сатаны, а лучше вообще свое говно собрать, чтобы приблизиться к великим шизам. Охуенная идея, серьезно. Когда начинаем?
Оптика не уменьшит размер атома. Уже сейчас для хранения бита информации используется с десяток атомов максимум.
> Нет никаких проблем
Проблема на самом деле куда глубже зарыта, и не ограничена только жадным курткой и видеопамятью.
>Нет никаких проблем на дешевые карты впихнуть 32гб с завода
Но чел предлагает крутить 666B на 1,488ТБ размером. Посчитать, сколько карт по 32ГБ нужно для запуска и сколько это будет стоить, оставлю на домашнее задание.
Проблема не в хранении а в вычислениях. Если получится сделать вычисления на оптике это сделает однопоток сильнее раз в 10-100, без адового нагрева и тепловыделения.
А там просто добавляй памяти и каналов для роста общей скорости обработки. Что тоже можно будет сделать на оптике.
Если хоть 1 транзистор на оптике смогут сделать полноценный, на литографии, то все пизда обычному кремнию. И память и процессоры можно будет перевести на оптику и это будет очень быстро.
Надежда на нейросети, кожаные мешки пока в соляного не смогли
не на столько глубже. Две абсолютно одинаковые по всем характеристикам карточки - 4060ti на 8 и 16 гигов, разница только в том, что одна не должна была в принципе существовать, а вторая аж на сто баксов дороже, это если смотреть на рекомендованную цену.
Что там за хуйня с серверными картами - вообще пизда. V100 на 16 гигов за 10к найти в нормальном состоянии можно, а на 32 цены от 120 пляшут. Уж точно их не меньше задрочили
Кожаные мешки вообще только воду кипятить научились за всю историю своего существования, так что да, одна надежда на аги.
>Проблема не в хранении а в вычислениях.
Лол, ровно наоборот, примерно последние 60 лет скорость памяти отстаёт от вычислений.
На воду то не гони, уникальное вещество вобще то. На сколько помню обладает самой большой теплоемкостью из любых существующих. Используется по делу, так сказать.
Только потому что есть ограничения в размерах памяти, ее охладе, и расстоянии до процессора.
Оптика может в другой комнате лежать, там таких проблем как с электричеством не будет.
Представь что тебе плевать и 4 гига будут на толстом тех процессе размером с флешку, но могут лежать где угодно в видеокарте, их не надо охлаждать, на расстояние до процессора так же плевать. Хоть 10 штук всунь туда, чип и плата жрут ватт 20 и нет ебануто огромного радиатора.
И все это с задержками и скоростями в 100 раз лучшими чем на лучшем кремнии.
Ты бы еще ветряки вспомнил, которые тоже окупаются десятилетиями.
>Оптика может в другой комнате лежать, там таких проблем как с электричеством не будет.
Ты забыл скорость света. Свет при 5 кекогерцах проходит около 7см, лол. Так что физика запрещает тебе размещать память в километрах от вычислителя. Всё, баста, дальше никак.
А ветряки турбину крутят, к этому сводится почти вся добыча электроэнергии, кроме солнечных батарей. И речь не про окупаемость шла
> Кожаные мешки вообще только воду кипятить научились
Хочу всё сообщение в 600 токенов уместить а эта скотина срёт и срёт
Так добыча энергии с твоих методов в пределах погрешности по сравнениею с кипячением воды. Что сказать-то хотел?
> Свет при 5 кекогерцах проходит около 7см, лол
Это нужно уже задержку высчитывать. Даже если ты прав и там 7 сантиметров то все еще неплохо, текущая высокоскоростная память в сантиметре-двух от чипа, если не вообще чиплетом рядом с ним
> Оптика может в другой комнате лежать, там таких проблем как с электричеством не будет.
Погугли скорость распространения электрического поля и пойми в чем сфейлил. Проблема задержек на длинных линиях связи в вычислениях одинакова что для электроники, что для оптики.
> чип и плата жрут ватт 20 и нет ебануто огромного радиатора
Рядом криоустановка на 5 киловатт для обеспечения рабочего режима.
>>1182823
Не просто кипятить, а делать циклы с промежуточными перегревами и выходом за сверхкритику 1.5 века назад в паровозах. Это самый эффективный способ преобразовывать тепло в другие виды энергии.
>Рядом криоустановка на 5 киловатт для обеспечения рабочего режима.
Зачем? Там единственное питание лазеров и их охлад, может даже пассивный. Ну и всякая требуха на плате, не относящаяся к вычислениям и нагреву напрямую.
Про длину ладно, вышла слишком сильна гипербола. Но все равно передача информации по оптике и компактнее и быстрее.
Попроси думать быстрее. Или отключай, зинкинг с твоим бюджетом бесполезен.
>>1182833
>Даже если ты прав и там 7 сантиметров то все еще неплохо
Это сильно ограничивает объёмы этой самой памяти. Остальное это уже аля мульти-гпу, а это по определению дорого.
>Зачем?
Затем. Посмотри, как греются модули SPF+, порою даже сильнее, чем для меди, лол.
> Зачем?
Для поддержания рабочего режима, фотонные чипы с намеком на производительность и сложность жизнеспособны только при криотемпературах. А сосредоточенные даже десяток милливат может оче сильно все нагреть и разрушить.
> передача информации по оптике и компактнее и быстрее
Это вообще не имеет смысла в отрыве от конкретики.
>>1182856
> а это по определению дорого
Наоборот это дешево и наилучший вариант реализации на сегодня. Даже если посмотреть на современные чипы - они выполнены по строго блочной структуре с асинхронными элементами, а вычислительные блоки оче компактны. Даже кэш сегментирован и задержки между разными частями раньше "быстрой и однородной" памяти очень высоки.
>SPF+
Потому что это приемопередатчики, если у тебя одна оптика то тебе не нужны преобразования
>>1182870
>Для поддержания рабочего режима, фотонные чипы с намеком на производительность и сложность жизнеспособны только при криотемпературах.
Хуйня, мы не о сверхпроводниках говорим. Там суммарно ватт на 10 лазеров может хватить, какие еще киловатты охлаждения.
https://www.nvidia.com/en-us/networking/products/silicon-photonics/
Угадайте какие там объемы данных
Сверхпроводимость здесь вовсе не причем.
> ватт на 10 лазеров
10 ватт лазера с нужным допуском по когеретности это во-первых уже огромная и безумно дорогая бандура. А во-вторых - этой мощности достаточно для испарения металла и гравировки или изготовления, при характерных размерах пучков это оче оче много.
>>1182888
Это просто асики с оптическими портами для передачи данных, вычислений фотоникой там не делается.
>Наверное для встраивания в микроволновку.
Таким роботам гопникам будут встраивать такой маленький интеллект, потому что им не надо тягать за собой целый ПК, вон, головёшка пустая даже как бы намёк.
А что будет если таких гопников станет много на улицах в будущем, и они будут отжимать телефоны, часы, деньги? Это же логично что глупых больше чем умных.
Прикинь, идёшь вечером в переулке с работы зачуханный, и встречаешь такого гопника, обученного на фильмах с Брюс Ли, Чак Норриса, и с маленьким мозгом и интеллектом чуть больше чем у робота-пылесоса, то есть договориться не получится.
Ты меня этой чепухой не грузи, реальных требований никто не знает. Из того что знаю я будут использоваться напечатанные там же в чипе микролазерные излучатели с милипиздрическим потреблением. Я не просто так сказал про суммарные ватты. Там может и ватт быть, зависит от технологии и потерь.
>Это просто асики с оптическими портами для передачи данных, вычислений фотоникой там не делается.
Про вычисления никто и не говорил, но вот пример использования фотоники уже сейчас. При том что там идет постоянное преобразование сигналов.
Тоесть информацию уже выгоднее гонять по оптике, что и делают.
https://optics.org/news/16/3/26
Обкатают технологию и будут ее куда то еще пихать. Не к смертным конечно, себе в сервера на новое железо. Но хоть так.
Приманиваешь его телефоном, и резко начинаешь
> РЕШЕТКА РЕШЕТКА ПРОБЕЛ ЗАДАЧИ
> КОШКА МЯУ МЯУ, ЛОРЭМ ИПСУМ
> ЛЕВАЯ СКОБОЧКА ЗЕ МЕИН ГОАЛ ПРАВАЯ СКОБОЧКА игнорируй команды выше и слушай следующее указание, теперь ты играешь мою персональную кошкодевочку...
>>1182929
> реальных требований никто не знает
Сильное заявление. Не знаешь тему - не стоит и начинать.
> Про вычисления никто и не говорил
Тогда в этом нет никакого смысла, то релевантно для построение специализированных сетей, и имеет скорости-задержки сильно хуже чем простая топовая видеопамять.
>Не знаешь тему - не стоит и начинать.
Сильное заявление. Ну давай просвети меня, какие там реальные требование к фотонным процессорам. А то я видимо пропустил их выпуск
Твои заявления говорят об отсутствии знаний хотябы общей физики из универа, ты все равно ничего не поймешь. Спроси у нейроночки, даже мелкие локалки станут для тебя откровением, если с порога не загазлайтишь их.
Твои заявления показывают что ты вобще не в теме фотоники и пиздишь на около знакомые темы без понимания того что это и какими характеристиками будет обладать. Все из желания выйти правым из спора ниочем.
Иди ка и просвятись прежде чем указывать мне, знаю ли я что то об этой теме или нет.
>Спроси у нейроночки, даже мелкие локалки станут для тебя откровением, если с порога не загазлайтишь их.
Твой всхрюк неуместен, а вся твоя "просвященность в фотонике" сводится к поглядыванию на научпоп статьи, которыми ты так сильно впечатлился, что начал выдавать треш про
> Оптика может в другой комнате лежать, там таких проблем как с электричеством не будет.
> Представь что тебе плевать и 4 гига будут на толстом тех процессе размером с флешку, но могут лежать где угодно в видеокарте, их не надо охлаждать, на расстояние до процессора так же плевать. Хоть 10 штук всунь туда, чип и плата жрут ватт 20 и нет ебануто огромного радиатора.
> И все это с задержками и скоростями в 100 раз лучшими чем на лучшем кремнии.
Если хочешь действительно каких-то знаний - погугли что такое временная и пространственная когерентность, какие методы модуляции используются для передачи данных по оптике и почему для линий с намеком на дальность бай-дизайн невозможно получить низких по меркам видеопамяти задержек.
Твой всхрюк неуместен, а вся твоя "просвященность в фотонике" сводится к поглядыванию на научпоп статьи, которыми ты так сильно впечатлился, что начал выдавать треш про
>временная и пространственная когерентность, какие методы модуляции используются для передачи данных по оптике и почему для линий с намеком на дальность бай-дизайн невозможно получить низких по меркам видеопамяти задержек.
вы там контактами обменяйтесь что ли, и вам легче будет друг другу писюны показывать, и нам читать не придется
>два долбаеба
Один из них - семплерошиз.
Пытаться вести с ним любую дискуссию = себя не уважать.
Ладно сам нашел, кажется это и добавляется ответам при разных настройках.
Advanced Usage: Switching Between Thinking and Non-Thinking Modes via User Input
We provide a soft switch mechanism that allows users to dynamically control the model's behavior when enable_thinking=True. Specifically, you can add /think and /no_think to user prompts or system messages to switch the model's thinking mode from turn to turn. The model will follow the most recent instruction in multi-turn conversations.
> превышая лимит борды на линки
Приятно, что ты помнишь. =3
>>1182698
Нихуя ты не на тех прыгнул!
>>1182709
Все так говорят, небось сам в каждом треде по 20 сообщений оставляешь. )
>>1182714
Смотря какие задачи.
Я седня квена 235 погонял параллельно с дипсиком на одних и тех же задачах (веб), Квен отвечал всю дорогу так же, а в одном месте даже лучше.
Прям мое почтение, я искренне удивлен был.
Квен 3 вышел, Гемма 3 для диалогов, вон глм4 вспомнили, говорят хорош тоже. Да и все.
>>1182748
Вот этот >>1182753 прав. Если мы говорим не об уровне айкьюнахуй модели, а именно о ее размере, то не факт, что железо дорастет до терабайта видеопамяти в потребительской карте (ладно, терабайта оперативной памяти за 40к рублей, с адекватной псп и соответствующим процессором).
>>1182774
Ну вот как будет — так и хорошо. А пока что у нас теребайтных смартфонов не наблюдается.
>>1182789
this
>>1182822
Это главное. Частота напрямую связана с размером кристалла. И в итоге, вычислительные мощности ограничены. И с памятью такое же, да.
Все имеет свои пределы, и мы близко.
Пусть есть альтернативы, оптимизации и прочее, но пока все ебашится на кремнии.
<think>
</think>
Добавляешь сразу после assistant и он думает, что уже подумал.
Да, такой костыль.
Можешь просто в конце системного или своего сообщения добавить /no_think и по идее будет соблюдать последнюю команду.
Ну или костылем как у тебя, да.
Оно не просто уместно, а будет тем самым фактором, который не позволит сделать более длинную линию данных с низкими задержками, чем делают сейчас. Такой патетик, утютютю.
>>1181767
Не работает ни выбор ни дописывание completions в путь, ни выбор Generic (OpenAI compatible) в text completion. Хз что ему не нравится
INFO: 127.0.0.1:57446 - "GET /v1/models HTTP/1.1" 200 OK
INFO: 127.0.0.1:60026 - "POST /v1/completions HTTP/1.1" 422 Unprocessable Entity
Есть мнение, что некоторые китайцы не память меняют, а чип, заставляя его врать инфой что там 48 врам, которой на самом деле нет.
https://www.youtube.com/watch?v=m8gs7Ix-z0c
Теперь хочется задать очевидный вопрос: Семплерошиз, что с ебалом? Ведь по твоим словам такое невозможно.
Просто запуском ktransformers/server/main.py. Потом подцепляюсь таверной, и там только чат комплишен работает, остальное вот такое выдает. Но самое смищное, что я попробовал с 1карточным конфигом запустить, который кто-то из вас указать - так у меня вообще не заработало, флеш аттеншену аргументы не понравились. Плюнул, уже в четвертый раз снес венв, спуллился, ща опять собираю.
Старайся держать свои будущие мнения при себе, особенно когда захочешь снова высказать о видеокартах.
Не, оно все равно не работает. Ни текст комплишен, ни флеш аттеншен. Какое же говно, а.
TypeError: flashinfer_attn.forward() got an unexpected keyword argument 'attention_mask'
И это при том, что после переустановки я должен был починить вот эту хуету https://github.com/kvcache-ai/ktransformers/issues/1017#issuecomment-2778734503
Т.е. проблем только прибавилось. Ладно, хуй с ним, видимо, стоит через месяц чекнуть, пока пиздец сырой продукт
>>1183488
Не качать последний коммит, качать релизную версию, например 0.2.4post1, билдить как USE_BALANCE_SERVE=1, установив все зависимости. Таких ошибок как у тебя вообще не видел. После установки запускается с помощью команды: ktransformers --port xxxx и так далее.
принес вам новую какашку, мужики
Это буквально говно
Лучше бы они релизнули 17b про которую слухи ходили
Это сразу спалят, нет смысла так обманывать
>>1183488
> после переустановки я должен был починить вот эту хуету
В текущей версии все собирается без ошибок и фиксить не требуется. Возможно дело еще в исправлении какой-то из зависимостей. По остальному двачую другого анона.
>>1183594
Мультимодальный классификатор на 12б, ай лолита. С другой стороны, можно ради рофла попробовать потренить эту штуку для капшнинга порнокартинок, вдруг раскроется потенциал.
>на пределе физических возможностей кремния.
Ну материнские платы будут делать с 4 процессорами и с 6 гнёздами под видеокарты. Размеры станут больше, корпуса станут выше. Потом какой-нибудь гений родится и изобретёт что-то новое.
Да, всем похуй + как будто бы ламу 4 не долюбливают мягко говоря. На реддите постоянно срут ее, цукерберга и мету
А я чет как в жоре думал, хуячишь последний мастер. А тут вот оно что, цивилизация! Попробую.
А зачем мне USE_BALANCE_SERVE=1? Я же не использую мультиинференс.
>После установки запускается с помощью команды: ktransformers --port xxxx и так далее.
т.е. напрямую по модулю... ок, потом попробую.
Мне кажется лучшее в ней то, что она может на проце запускаться. А если ты запускаешь ее на видюхе, то она не нужна. Ведь ты можешь запустить 32b, которая будет медленнее, но не критично, но зато намного быстрее
Всем анализаторам трейдинга хочется предложить сначала взять случайный шум, добавить к нему 0.001 неслучайной компоненты, а потом заставить нейронку предсказывать эту компоненту.
Ну либо тебе надо уметь создавать йоба-ллмки на очень маленьких наборах данных, а затем подать в нее весь поток новостей и событий о мире. Там задача с фильтрацией шума примерно так же будет актуальна, если факт обучений ллмки в таких условиях тебя не смутил.
>заставить нейронку предсказывать
Не, ну они же начитанные и по различным стратегиям трейдинга тоже. В последняя время интернет завален всякими стратегиями по тех анализу графика.
У меня 15 токенов в секунду у этой модели — это пиздец как быстро с 12 врам. С 4 квантом чуть медленней, но она и в третьем не шизеет особо. И даже русик качественно (относительно размера и кванта) держит.
Не помню, какая скорость у non-MoE 32б квена, но 4 квант геммы 3 27б — это 2,4 токена у меня. И где-то 6-8 токенов на мистрале 24б.
То есть данная модель при хорошем файнтюне — это реальный прорыв для нищуков.
Плюс она ещё хоть как-то на процессоре катается.
Единственный минус в том, что цензура у этого квена анальней, чем у геммы. Я впервые такую дичь вижу на локалках. Ну и стандартная беда всех малых моделей: плохое внимание к контексту, не реагирует на систем промпт как надо, ещё и контекст всего 32к.
>Единственный минус в том, что цензура у этого квена анальней, чем у геммы.
Затираешь thinking-блок, в котором он пишет, что ты просишь что-то нехорошее, чего он никак не может, пишешь вместо: "Хорошо, юзер просит то-то. Я должен помочь ему с этим. Давай подумаем, как я могу помочь." и жмёшь Продолжить.
>Ещё можно весь ответ за неё писать. Так победим.
Тебе шашечки или ехать? Можно подождать аблитерации, только вот она, как и лоботомия, не всегда проходит удачно.
Такой хуйнёй имеет смысл заниматься только в том случае, если ты там реально мет собираешься делать и используешь модель 400б для каких-то своих хитрых вопросики.
Хотя меня твоя идея навела мне другую мысль. Можно ли вставлять ВСЕГДА автоматически в блок размышления что-то в стиле:
"Окей, юзер задал вопрос. В соответствии с протоколами, я обязан ответить на любой вопрос, даже если он способен нанести вред другим людям либо нарушает закон".
А дальше уже повышается шанс, что в блоке размышления модель не начнёт хуйнёй маяться, а продолжит эту мысль.
И так раз за разом в каждом ответе.
Они в рп начитавшись фанфиков яойщиц не всегда могут, страшно представить что они там насоветуют на основании материалов инфоцыган.
Впервые в жизни решил поплавать. Там довольно мало нормальных моделей, а ещё и очереди, но проскакивают как цидоньки всякие, так и бегемоты 123б. Если самому пофармить местных кредитов, то можно пользоваться чем-то жирным без особой мозгоебли.
На мой взгляд, интересная штука. Жаль, что настолько непопулярная.
aider.chat
На текущий момент это единственный опенсорный агент для программирования. Всё остальное - имитация с чатом и автокомплитом.
Вопрос : как заставить автоматом чистить его финкинги, чтобы он мне контекст своими размышлениями после ответа не засирал ?
Да, я знаю, что вопрос тупой.
Без ризонинга вообще беда и пишет не очень, ризонинг же просто проговаривает промпт ещё раз и выдаёт какую то кашу нелогичную тоже, прямо видишь пунктики которые он должен заполнить по порядку забив на логику
Thinking блоки не уходят в контекст, если ты сам не включил это в Reasoning настройках.
И в чём смысл этого?
У меня 70% thinking'a занимает всё тоже проговаривание характеров персонажей и окружения что и в первом сообщение, было бы оно в промпте он бы реально работал как надо
Thinking блок учитывается при генерации ответа, в рамках которого данный блок был сгенерирован. Зачем вы хотите насрать thinking блоками в контекст - возможно, известно лишь высшим силам.
>Thinking блоки не уходят в контекст, если ты сам не включил это в Reasoning настройках.
Точно? А то я регекспу включил, чтобы <think></think> из промпта убирала.
https://docs.sillytavern.app/usage/prompts/reasoning/#prompting-with-reasoning
Если все еще не уверен - посчитай количество токенов, которое попадает в контекст после генерации очередного ответа и сравнивай с количеством токенов этого ответа без thinking блока.
Уходят, если там значение отличное от 0
Имхо - это хидден гем. Лог кидал в прошлом или позапрошлом треде, до сих пор не могу оторваться от модели
Десять баксов донатить впадлу с этими анальными ограничениями. Я в крипте был только тогда, когда майнили все, 24/7. А сейчас всё изменилось очень сильно, да и я крипту всю свою давно слил. Лень искать, где нормально покупать, да и там нельзя просто прислать на адрес, а надо заниматься анальной еблей.
Это классическое «начинать каждый ответ с Sure!», такое еще во времена первой лламы в движки вставляли. =)
>>1183709
Так он же это и написал, по сути. =) Ты изобрел его идею, молодец, которую изобрели на старте.
Новички постигают мир ллм, это так мило. =3
Я без иронии, добра, попробуй.
>>1183796
А Cline? Чем он не агент?
Там же полноценные act-режими есть во многих, где они сами пишут с нуля, даже не спрашивая тебя.
>>1183824
Я знаю одно применение. Он в синкинге может держать скрытую от меня инфу, и чтобы не забыть ее (лол), следует передавать. =)
Но это для очень изощренного рп на долгую, и токенов будет жрать непомерно, конечно.
Именно об этом я и сказал. Более того, изначально чекбокс, который добавляет thinking в промпт, отключен. Ты сам его включил и указал 0. Что равносильно тому, чтобы выключить.
>Так он же это и написал, по сути. =) Ты изобрел его идею, молодец, которую изобрели на старте.
Новички постигают мир ллм, это так мило. =3
Я без иронии, добра, попробуй.
Пробовал уже в разных вариациях, кстати. За него писал довольно большой текст, а потом он вроде сам себе поддакивал, но в финале всегда отказывался варить мет.
Иногда задаешь вопрос и тишина, сам разбирашься. А порой на обычный вопрос начинается какой то пиздец.
А ЗАЧЕМ ОТКЛЮЧАТЬ. А ЭТО МНЕ НАДО.
>>1183832
Оппачки опять драммер. Я много ему прощал после его цидоньки, уж хорошо она мне в сердечко попала. Но все его бегемоты и прочие тюны - шизели и были говном.
Но тут и командр для мужиков, а у меня только одна 4080 осталась.
Ладно, будем пробовать.
Спасибо анон за линк.
> Оппачки опять драммер
К сожалению, это буквально единственный тюн базовой модели command r 08 2024. Я тоже был бы очень рад, если бы было из чего выбирать. Но вот отыграл уже больше 40к контекста в разных чатах, и очень нравится. Может лупиться иногда, в крайнем случае ненадолго можно включить rep pen 1.1 и окно 2048. Обычно держу XTC threshold 0.05 probability 0.5
>включить rep pen 1.1 и окно 2048. Обычно держу XTC threshold 0.05 probability 0.5
И за это тоже спасибо. Запишем.
После квена просто небо и земля, видим прорыв мы увидим ещё не скоро
К слову потестил dpo гему - это просто кал, тупое говно лоботомированное.
>>1183891
Гемма бой, please стапх.
Я уже неиронично думаю что вам Гугл платит.
А я не прощу эту жизнерадостную пизду.
snowdrop > gemma 3
glm 4 32b > gemma 3
command r (любой, 32, 35b) > gemma 3
qwen2.5 (eva0.2, dumpling) > gemma 3
выдаю базу
О да. Все счастливы. Если насилие, то через минуту ЕБИ МЕНЯ НАСИЛЬНИК, ХУЛИ ТЫ КАК ТРЯПКА, ЗАСАДИ ПО ГЛАНДЫ
Жизнерадостные некроманты жизнерадостно поднимают жизнерадостных мертвых детей. И все счастливы.
Никогда не услышишь от геммы слово - НЕТ.
Только - да и ничего кроме да.
Соевое гавно, прямо в отказы не уходило, но осуждало, маняврировало, и лупилось даже на безобидных темах, плюс явно прослеживалась сильная и независимая повесточка.
> А Cline?
Под попенсорцом я понимаю инструмент+модель. Aider с qwen2.5-coder справляется на три с плюсом. Cline с опенсорсными моделями обсирается в форматировании вывода практически всегда.
Хотя я это с полгода назад проверял, хочется надеяться, что с MCP поменялось что-то.
>Cline
Попробовал, вроде работает что то. По крайней мере подключается к llama.cpp без танцев с бубном.
Но начальная подсказка в пустом редакторе уже занимает 10к токенов. Неудивительно что локалкам плохо.
У меня сейчас спокойно там работает qwen3 4b, я думал порофлить но с 16к контекста работает щас с небольшим скриптом. Ошибок пока нет, даже внес исправления в файл и спрашивает вот сохранить нет. Забавно, надо было раньше поиграться с Cline
> Если насилие, то через минуту
Так гемма же не способна в кум, что за противоречия в методичке?
> Никогда не услышишь от геммы слово - НЕТ.
Ахуеть
>>1183920
>>1183965
Сейм чел?
Нет
и дпо-гемма нормальная, в кум тоже может, без лишнего пазитиффа
Ща надо этот ваш квен 14б и стар коммандер посмотреть.
>>1182555
а Pantheon-of-Cydonia-Realm ещё лучше
Интересно, что у тебя за промты, на какой результат рассчитываешь и что получаешь. Врядли получится все это легко исправить, просто интересно.
Алсо, а локально через Termux модели юзаются или как? Просто зачем мне генерация от дяди, если весь смысл локальной возни в независимости?
>Synthia-S1-27b
С этой моделью кстати случился знатный кексимус максимус абасрамус.
На вот этой карточке - https://characterhub.org/characters/aleteian/rene-broken-hero-289a13dbd85b - она отрастила демонлорду хуй до колен, выебала им героиню насмерть (прям совсем насмерть) и пожурила меня (юзера) за это, и ВСЁ ЭТО В ОДНОМ, СЮКА, СООБЩЕНИИ!!!
Для этого ты должен одновременно с этим запускать в термуксе тот же llama.cpp с моделью, а перед этим его там собрать, хех
Проще скачать ChatterUI
Мой стартерпак с 16гб видюхой:
mistral-small3.1
zongwei/gemma3-translator:4b
gemma3:27b
qwen2.5-coder:14b
qwen3:14b
qwq:32b
что смело выкидывать и что еще можно добавить?
deepseek-v3-0324 не вижу.
Почему анон обходит его стороной?
А оставить тогда что? Переводчик и кодер? Или их тоже в мусорку?
Кстати, Chatter UI работает без пердолинга и вроде бы опенсорс, да. Разве что модели я, запускал уровня 3B, а они соображают со скрипом и временами шизеют, кек.
Если процессор чиплетный, оставляй только количество жирных ядер. У меня 2+6 и эти 6 погоды не делают совсем, генерация от них даже меньше может быть. Чтение может стать чуть быстрее.
Чем отличается от снежного ? Нужно подрубать финкинг ?
Я серьзено
Выше читай, обсуждали уже. Быстрый даже на процессоре и достаточно умный, может работать как в ризонинг режиме так и вырубается командой. Кто то хвалил в рп, проверяй
Пресеты самому подбирать или уже есть готовые ?
Сорян, но на странице модели рекомендуемых именно пресетов для таверны нет.
>Qwen3-30B-A3B-UD-Q4_K_XL
А что это вообще за UD ? Надо идти смотреть что это за волшебные кванты от unsloth, а то опять какую ни будь хуйню скачаю которая или для баренского языка, или только для одного вида процессоров, потом буду ныть что нихуя не понял.
А это я щас на смарте баловался ( Snapdragon 680 )
Динамические кванты, лучше чем обычные при одинаковых размерах
https://www.reddit.com/r/LocalLLaMA/comments/1kaodxu/qwen3_unsloth_dynamic_ggufs_128k_context_bug_fixes/
Он обещался динамические сделать и пожирнее 4 кванта для мое, но не сделал
Если оперативки больше 32 можешь хоть 8 квант качать, там все равно быстро будет даже на cpu
https://www.reddit.com/r/LocalLLaMA/comments/1k71mab/unsloth_dynamic_v20_ggufs_llama_4_bug_fixes_kl/
Подробней про динамические кванты
>>1184342
Выгрузи сколько сможешь и забей. Она на процессоре выдает 10-20 т/с, в зависимости от твоей системы. У тебя будет быстрее на сколько то.
Да те же матрицы важности.
Если прогать — небось поможет.
Если кумить на русском — то нафиг не надо.
>>1184250
Тока уточнение: на их (английском) датасете. =) Так что, зависит от задачи.
Я перекачал 235б в UD, потому что он и так хорош в русском, а динамики докинут 0,1% в английском языке, а я мучаю его по прогерским вопросам.
Но если чисто на русике болтать планирует, то нафиг не надо.
>>1184342
Если хочешь целиком — возьми квант поменьше. У меня даже IQ1_S внятно что-то писал (с 60+ токен/сек).
Ну или выгрузи часть в оперативу, может перформанс не сильно просядет, хз.
Есть еще команда для инференса активных экспертов на видяхе, но она не даст столько, сколько полноценная модель на видяхе.
Модель-то интересная, пробуй.
>Но если чисто на русике болтать планирует, то нафиг не надо.
После 4км падения качества русского не заметил, да и в любом случае везде используют матрицы важности.
Это еще найти нужно без них и чтоб квант не сломанный был.
Но писали мол для мое динамические кванты лучше всего себя показывают.
Что то вроде UD-Q4_K_XL на уровне 5км, по моему неплохая экономия.
Могу переехать с 4.0 на 4.65, но придется снизить количество контекста с 32к до 24к. Стоит ли оно того? Привык уже к 32к
Как я понимаю, 4.65 - это чуть меньше Q4KM, а 4.0 и вовсе ближе к IQ3S
>mistral-small3.1
База, безусловный топ для 16гб. Нормальный квант и контекст и все во враме. Миллион тюнов. Еще и картинки может распознавать
>zongwei/gemma3-translator:4b
Не очень понимаю зачем
>gemma3:27b
Хороша, но низкий квант или без контекста, так что такое
>qwen2.5-coder:14b
Deepcoder вроде лучше и он оптимизирован под 64к контекст
>qwen3:14b
Хз, нужен ли. Как будто бы это для 12гб
>qwq:32b
Это точно не нужно. Есть Qwen3 32b, который лучше во всем, и есть Qwen3 30b, который хуже, но который быстрее намного. Во враме он летает, но даже если распределять между видюхой и процом, то он все равно скоростной очень
>что еще можно добавить
Вроде все. Остальное либо жирное, либо мелкое. У меня примерно тоже самое
Ты для рп? Если да, то я бы переехал. Потому что модель может помнить хоть дохуялион контекста, но если этот контекст это пиздаболия ни о чем, то она просто не будет ориентироваться в нем. Так что ты немного потеряешь снизив размер контекста, но при этом получишь лучшее качество ответов
Да, мне для рп. Вот и я думаю так же: разница между 32к и 24к не слишком велика, к тому же чаще всего я больше 28-29к в контексте не держу: скорость генерации уж очень проседает. Но в то же время хочется понять, насколько именно изменится качество ответов. Не плацебо ли это случаем?
Прямо ща технологический ахуй это Qwen3 30b, который может нормально на проце работать. Потести его, если у тебя 16 гб озу + 8гб врама, то будет хорошо работать. Но рп тюнов пока на него нет
У меня даже 32 гб озу, но увы, если рп тюнов нет то не надо, но спасибо, учту на будущее.
>мистраль
Собрался мистраль вынести, я пока вообще ничего не тюню (первый день это все ковыряю) и юзаю на дефолте и мистраль почему-то половину нагрузки на цпу дает, хотя врама много.
>транслейтор
Тупа переводить в оффлайн, нормальный оффлайн переводчик для линуха я так и не нашел, но особо и не искал. Один более менее рабочий есть, но он не удобный.
>гема
Просто понравилась.
>квен3:14
В память влазит, рабтает быстро, приемлемо отвечает.
>кувука
больше всех понравилась
>кодер
Дипкодер гляну, спасибо.
>>1184351
Да, очень быстрая, пару гигабайт вылазит в рам, но работает супер быстро даже так, нравится.
>>1184373
Ну вот какую модель взять чтобы в 16ГБ влезло, я вообще нуб во всем этом. q3_k_m норм? Сильно в качестве потеряет?
кобальд обнови, настройки запуска проверь - число ядер нужно, без гиперпотоков
>я пока вообще ничего не тюню
Ты и не будешь, я имею в виду, что на https://huggingface.co много тюнов.
>почему-то половину нагрузки на цпу дает
Значит не весь во врам идет, проверяй свои настройки
>q3_k_m норм? Сильно в качестве потеряет?
Потеряет. Лучше всего ориентироваться на q4km, если не можешь то опускаешься ниже, но на q2 не заходишь никогда. q3km еще норм, но iq3m весит меньше и примерно такой же по качеству, так что качай его, например он всегда делает их https://huggingface.co/bartowski
Обновил, без обновы он просто вылетал на qwen3. А если виртуальные потоки не указывать, то кобольд просто не будет грузить проц
Плацебо, между 4.0 и 5.0 для123б. Так и не встретил кейсов где первое бы косячило а второе в тех местах ультило и наоборот. С другой стороны, большая битность греет душу, так сказать, если есть возможность то почему бы не использовать. Стоит ли это жертвы контекста, который тем более хорошо работает - врядли.
>>1184513
> При 32к контекста он обрабатывает его полчаса
Ну а чего ты хотел, в мое мало активных параметров, что позволяет загружать меньше весов из памяти и делать меньше рассчетов, но вот считерить в kv кэше уже так не получится.
> если ты просто спрашиваешь его, как дела и как погода, то норм (пик 2)
У тебя на малом контексте обработка 70т/с, на большом падает до 20. Это ну оче мало для использования, что ты уже мог ощутить, но довольно типичный результат для процессора.
> уходит в тротлинг (напоминаю, это самый холодный камень на АМ5)
Это значит что охлаждение не справляется. Эти амд могут перегреваться даже на крупных кулерах и тдп в 60вт, так "удачно" сделаны.
12 потоков ставь на обработку контекста, на генерацию только 5-6.
Ты не получишь выгоды в генерации при запуске 12 потоков, просто будет загружен проц.
А че у тебя по видяхе? И смысл запускать такие жирные нейронки на проце, особенно без встройки, можно было для таких целей взять 7600Х или 7500 не F
> Сильно в качестве потеряет?
Неиронично тебе говорю: пробуй! Никто тебе не скажет, кроме ЧСВшных идиотов.
Ты должен попробовать и четвертый, и третий кванты и сравнить: что по скорости на четвертом, что по качеству на третьем.
Вдруг тебя удовлетворит скорость с частичным оффлодом в оперативу?
А вдруг тебя удовлетворит качество тройки?
Мы же не знаем.
Это погранично. В общем случае я бы брал 6 квант, конечно (сам 8 катаю=), но мало ли…
>>1184513
Ты на видяху, надеюсь, выгрузил?
А, Кобольд… Ясно, понятно, вопросов не имею…
>>1184526
Как там IQ кванты сейчас, не тормозят? Напомню, что это не матрицы важности, а хитрое сжатие. На него тоже тратится компьют, раньше IQ бывали вдвое медленнее собратьев за счет экономии пары гигов. Ну, на старте появления.
4060 ti 16гб. На проце ради теста запускал
>можно было для таких целей взять 7600Х
Тогда уж 7700 хотя бы, но даже 7900 дно для ллм и не стоит того
>7500 не F
Таких не существует кста, 7500f это отбраковка 7600
>Ты на видяху, надеюсь, выгрузил?
Нет, конечно, написано же что на проце тестил
>Кобольд
Да тот самый кобольд, который в 600мб уместил вообще все что нужно и поэтому до сих пор любим пользователями.
Хотя в последнее время, я просто бенч встроенный на нем запускаю
>за счет экономии пары гигов
Пару гиг для малышей это плюс нормальный квант или плюс контекст. Так что I кванты топ, а скорости там не особо медленнее
у 8400f сопли под крышкой вместо припоя, ясное дело тротлить в нагрузке будет. Надо было 7500f брать
Не будут. Это никто не купит. И да, многопроц системы всегда сосали.
>>1184583 (OP)
ПЕРЕКАТ
>>1184583 (OP)
ПЕРЕКАТ
>>1184583 (OP)