Локальные языковые модели (LLM): LLaMA, Mistral, Gemma и прочие №99 /llama/
Аноним
02/01/25 Чтв 12:17:11
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
• Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models
• Миксы от тредовичка с уклоном в русский РП: https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.xyz/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>990008 (OP)
>>984950 (OP)
Модель вот эта https://huggingface.co/Aleteian/Instrumentality-2-Q8_0-GGUF
Пресеты ставил для Ламы и для коммандера отсюда https://huggingface.co/Virt-io/SillyTavern-Presets
Но уровня пикрил не выходит
>Скорость приемлемая, 3 - 4 токена в секунду
А когда контекст заполняется хотя бы до 32к, то какая становится скорость? И сколько контекст обрабатывается?
>Пресеты ставил для Ламы и для коммандера
А нужно было чатМЛ.
>>996659
>есть ли варианты как то ускорить генерацию
Конечно. Собирай новый ПК с DDR5.
на 32к конечно падает, до 2.15 - 3 т/с, сильно кстати от модели зависит, не помню на какой, там почти не просело не помню потому что сама модель говно была. А вот обработка контекста это конечно да, боль та ёще, 19к минут 20 считало. Благо пересчитывает в кобольде не так часто.
>>996671
>Собирай новый ПК с DDR5.
Я то и не против себе риг из 5090 собрать, но пока инвестирую свои 1.5 МРОТ в еду.
Если RAG, то по классике Qwen2.5, Gemma 2, Mistral Nemo.
>>995888 →
Гигачат плюсану, как вариант. Хотя те по-умнее. Но по-медленнее.
>>996185 →
Не бойся, менеджер напомнит. А если пет-проект забыл — значит не надо было. Код 100% можно подождать, подтверждаю.
>>996249 →
Успокойся, все там норм с 7б квеном даже. =) У всех все работает в фирмах. Не так много надо, как тебе кажется.
Конечно, зависит от сложности вопроса, но по дефолту можно начинать с малого, а поднимать если действительно будет не хватать, не пугай человека. =)
>настроек
формат: chat ml
температура: 0.8 - 1.3, динамическая 0.5
топ-п: 0.95, мин-п: 0.05, реп-пен: 1.1
В карточке инструкция: process English data and respond in Russian language to Russian language input;
Хотя мб и без неё будет работать.
> Клод это эталон сои в сетках
Вот это толсто, шизика даже вчерашний шторм про дум опуса не разбудил.
> но в рп клод вообще ничего не может противопоставить дипсику
Мразь совсем жиром все забрызгала
>>996608 →
> У него есть дефолтный промпт
Очевидно что ты при его формировании где-то ошибся, или выбрал неудачные двусмысленные формулировки. 95% проблем с ллм и жалоб на результат происходят из этого, люди пишут через призму своего восприятия, а не полный нейтральный текст, что будет понятен любому без наводящих мыслей и разговоров.
>>996659
> у меня нормисная 8гб затычка
Ее подключи к работе, будет быстрее
>>996697
> Успокойся, все там норм с 7б квеном даже.
Она слишком тупая для чего-то. Старается, но может посреди ответа куда-то свернуть даже при консервативном семплинге, или вообще не понять запроса.
> У всех все работает в фирмах.
Фирмовладелец в треде, майнерская карточка за 3к в виде фирменного сервера?
> Вот это толсто
Чел, этот кал без джейлов вообще нихуя не может. Да и с джейлами дальше простой ебли не может зайти.
Чел, никто в здравом уме не будет использовать корпосетки без джейла. А той разосранной мое ссанине ни жб, ничего не помогает нормально перформить.
> Да и с джейлами дальше простой ебли не может зайти.
Лол
> никто в здравом уме не будет использовать корпосетки без джейла
Никто в здравом уме не будет использовать копросетки, требующие джейла на каждый пук.
> ничего не помогает нормально перформить
Чел, у дипсика вообще отказов почти нет даже в ассистенте. Это же не копроклод.
чел уже живет в 2026
Проиграл с этого юзателя. Что-то потыкал на спейсе и уверовал что скоро сделают на 7б, что влезет в кобольда с его затычкой.
https://huggingface.co/ai-sage/GigaChat-20B-A3B-base
https://huggingface.co/ai-sage/GigaChat-20B-A3B-instruct
В этом смысле ничего не поменялось.
Если рпшиш на англе, то да, Цидония, Пантеон, Клиффхэнгер.
Для ру в прошлом треде пара новых моделек нарисовалась.
>динамическая 0.5
Эт че такое?
Вот настройки мои. Все верно, Анон? Ты прости что я доебался. Но чет я разболелся и башка плохо варит.
Почекаю, спасибо. Помню пару месяцев назад рекламировали в треде какой-то 12В файнтюн, на котором якобы уже можно совсем без кринжа РПшить на русском. Но на поверку, как и ожидалась, вышла хуита, Клода не могла заменить даже под ударной дозой копиума. Надеюсь в этот раз будут получше.
>Клода не могла заменить даже под ударной дозой копиума
Лол, ну я хз, сравнивать копросетку с 12B моделью которую можно дома на консумерской видяхе запустить...
>Эт че такое?
А, лол, куда динамическа температура из таверны пропала, была же... Ну забей тогда.
У анона старая версия, видно же по интерфейсу. Возможно в этом дело.
>>996864
Так в этом и прикол: челы уверяли, что это не просто какой-то ультра-компромисс для совсем отчаянных, а прям нормальная модель для полноценного РП на русском.
А в остальном у меня Кобольд =)
В таверне только карточки редачу.
Хотя вроде норм выглядит.
Примеры диалогов не пробовал заряжать? Допустим, от лица юзера сконструировать ситуацию, в которой чар может полезть в трусы, а от лица ассистента воздержаться и выдержать нужный тебе характер. И так несколько раз.
Пантеон хорош, но эротизма ему тоже не хватает.
Ну, попробуй что-нибудь намержить сам юзая А100 из спейса.
>>996868
>ультра-компромисс для совсем отчаянных
Ну не надо, хорошо пишет... для 12B локалки в шестом кванте.
И с хорошей скоростью. Там вон 30 Т/С было.
Тем более с копросетками надо изъёбываться для доступа и логи на сторону уходят в датасеты на обниморде... и хорошо если только туда...
>>996872
>в Цидонии не хватает мрачности
Общая беда, дарком вроде только Дэвид и занимался, все остальные модели по большей части ванильно-дружбомагические.
Шиз, ты хотя бы с начала сюда бы потыкал https://artefact2.github.io/llm-sampling/
прежде чем мин_а в 1 ставить.
>>996865
Некоторые семплеры скрыты под кнопкой sampler select.
> прям нормальная модель для полноценного РП на русском
> 12b
Ну а чего ты хотел? Если напердолить то оно может хороший экспириенс давать, но глубины нет.
Хватит обманывать ньюфагов. Хороший РП это 70b и больше.
Пиши 400B сразу, чего мелочится. Доступные LLM для всех же.
Мимо22bгосподин
=D Ну, домашние кеки и прод — вещи разные же.
>>996797
Я всегда считал, что за ерп корпосетки банят, и каждый раз создавать новый акк/искать ключ и т.д. — заеб какой-то, не?
>>996828
Два треда назад обсудили уже.
>>996987
671 очевидно.
нужна лама 80 миллиардов параметров
8 миллиардов у меня ушла в луп
а больше не запустить
карточка 4070
короче что делать пздц хочется свою вайфу
есть бесплатные айпи? или все таки есть какие то ужатые сети котоыре не уходят в луп
Я люблю запускать 700b на своей 4080, каждый токен золото. Каждое покачивание бедрами возбуждает, каждая занавеска заставляет меня смущаться. Но вы этого не знаете, вы никогда не шли за вайфу, которая не обернется на вас, ведь она знает что вы идете за ней.
Один крикнет blush
Миллионы ответят glazing eyes.
у тебя есть варианты запустить 12В модели с приличной скоростью, либо модели сильно побольше с выгрузкой в РАМ, но медленно.
Тут всё очень индивидуально, кому то и 30 токенов в секунду мало, а кто то и трем радуется. Так что качай разные модели, тестируй как они, играй с настройками. Кнопки "получить идеальную вайфу" нет, надо выбирать настройки и модель под себя, желательно ещё и карточку перса самому писать. В том, что у тебя модель в луп падает, скорее всего виноваты твои настройки таверны. Алсо, любая 8В - мусор Сам уже моделей 50 потыкал, в треде хорошие упоминаются
>Алсо, любая 8В - мусор
Много раз уже советовал здесь Umbral-Mind-RP-v3.0-8B, да что толку.
только запустив 70b на процессоре, мы достигаем просветления
>>997013
>lama3
А ведь я сейчас пойду тестить, всё равно делать нечего. и так уже 3 кум-карточки за сегодня написал
Потыкал, но нихуя не понятно.
> мин_а в 1 ставить
Не вижу в настройках мин_а. Подскажи где ты это увидел и сколько поставить, раз шаришь.
>А ведь я сейчас пойду тестить, всё равно делать нечего.
Я её в fp16 скачал и гоняю на 3090. Понятно, что много чего пробовал, что влазит в 24гб, но всё не то. А эта прямо хорошая. Особенно для кума. Но на русском не надо, 8B всё-таки.
Лол. Просто fucking lol’d. Какой хитрый, хочет парсинг с бирж в локалку.
не с бирж есть открытый айпи
как научить агента ходить туда и делать запросы в него
не на саму биржу а агрегатор грубо говоря
Например https://huggingface.co/Aleteian/NeverendingStory
Где это указывается?
https://docs.anthropic.com/en/docs/build-with-claude/tool-use
Скорее всего нужно подобный подход использовать. Определяешь схему внешнего api и описываешь синтаксис вызова в промпте. Даёшь llm инструкцию что при необходимости он должен вызывать api и после получения ответа от llm парсишь ответ чтобы определить, присутствует ли в ответе запрос на вызов сторонних тулзов.
Из нюансов:
1. Клод изначально тьюнили на поддержку external tools, в то время как с доступными локалками надо будет проверять, насколько этот подход вообще адекватно работает, нужно будет подбирать промпт и т. д. Даже где-то в доках клода писали что там есть биас на использование описанных в промпте тулзов даже если в них нет необходимости в рамках текущего запроса.
2. Хз что в плане инструментария есть готового для локальных сеток. у
У клода можно прям зафорсить ответ в виде json-схемы с параметрами переданных тулзов. Аналогичное можно в gguf через grammar сделать, но это всё равно надо какую-то свою клиентскую обертку пилить, которая будет вызывать запросы с переданными параметрами.
Спасибо, Анон. Искренне благодарю. А еще скажи, если бы ты хотел РПшить на русском на 3090 какую модель ты бы использовал?
Конкретно там как раз указано - chat_template: "chatml"
Ну и обычно пишут. Если не пишут, то посмотреть какая базовая модель, либо можно предположить из названия модели.
>>997093
>какую модель ты бы использовал?
Для русского немного вариантов собственно, только 12Б мистраль.
Это Вихрь, Сайга, мержи от Moraliane и Aleteian.
> домашние кеки и прод — вещи разные же.
Ну да, одно просто печально, второе приходится придумывать.
> за ерп корпосетки банят
Нет, но тарификацию за обработку контекста даже с аполоджайзом никто не возвращает офк. Деньги не пахнут, как говорится.
Есть и исключения: если акк не платный а грант для учебного заведения или что-то подобное, и еще aws упоролись csamи и заявляли что будут отслеживать и ебать. Массовых случаев последнего не озвучивалось возможно связано со снижением их использования по определенным причинам.
>>997009
> нужна лама 80 миллиардов параметров
Натрень или найди шизомердж с таким размером. Запускай через жору, если рам не хватит то накинь файла подкачки. Скорость в сделку не входило.
>>997023
Гугли функциональные вызовы, пиши их парсинг и обработку с дальнейшим возвратом результата. Сейчас это сработает на любой модели, даже без спец токенов.
https://github.com/huggingface/smolagents
Там кстати huggingface буквально пару дней назад выкатил какой-то фреймворк для агентов с внешним тулзами. Возможно, имеет смысл глянуть. В примере на видео как раз вызов внешних тулзов в виде веб-поиска.
Заинтересовал данной сеткой. Скачал, погонял её чуток и впринципе неплохо генерит для 8б. Но какого хуя она посреди ролплея генерит питоновский код? Несколько раз уже было.
> посреди ролплея генерит питоновский код
Реквестирую мем кума с кодинг-сенсеем.
>>997134
Я кажется догадываюсь почему. У меня чарактер свои мысли пишет внутри таких - (`) символов. Может эта сетка училась в таких символах код писать и её эти символы тригерят питоновский код писать посреди erp, лол.
L3-Umbral-Mind-RP-v3.0-8B-Q8_0
Тест 1
На простейшей РУ карточке показала приличный язык, не слишком сухо, не слишком БЛУШЕС но они есть!, ошибки есть, иногда срывается на англ. На шестом сообщении выпал из персонажа и завершил диалог. До кума не дошло. для ру не подходит.
для анона, начал тест до того как ты сказал что не стоит на русском её мучать
Тест 1.5
Сложная ру карточка с тонной текста (FOR SCIENCE!)
Карточка сломала модель об колено.
Тест 2
Не самая моя удачная карточка, но её понимают все модели какие щупал.
В описании есть хорни, но "You seem like you have a nice package. Let me take a closer look."She reaches out to unbutton his pants. в первом же ответе на простое hello не ожидал.
но раз пошла такая пьянка, протестил кум
В ванилле словил немного слопа, министрейшонсы всякие, на десятом сообщении тянка отрастила хуй. я продолжил, и он пропал...
Но кум неплох, реально неплох.
Тест 3
Не очень простая, железно СФВ карточка.
в первый раз модель её не поняла и затупила.
на второй раз хорошо поняла сцену и устроила комедию
Тест 4
Грязный кум с подключенным лорбуком
Оно справилось. Хорошо, очень хорошо.
Тест 5 сеттинг-мир
Начало за здравие, клише были, на 16К контекста я выдохся. Потом потыкаю ещё.
Итог:
Важно отметить, что в РП, что в ЕРП, я пишу нормальные РП ответы, а не однословные yes/no, поэтому у меня хорошо работают небольшие или слегка сломанные модели.
Эта модель очень неплоха, в слепом тесте я бы сказал что она уровня 12В, или даже 16В, причём не самого плохого. То что она не может нормально в русский язык это не критично, на это вообще не так много моделей способны. Но у неё есть и минус - серьёзно сниженная скорость, моём сетапе сравнима с 16В если для анона с 3090 это не важно, то челам на проце каждый токен в секунду – золото. Рекомендовать её совсем новичкам я бы не стал, так как приходилось поиграть с температурой и промптом для кайфовых результатов, а люди со слабым железом не почувствуют разницы в скорости с более жирными моделями.
Однако, анон, признаю свою неправоту, эта модель не говно, она наверное лучшее для кума что я щупал из выборки меньше 22В. Впредь буду писать что 99.99% 8В хуетень лютая.
Да, я «душный»
На канал подписываемся, а то просмотров нет нихуя.
> второе приходится придумывать.
Ой, а шо такое, я задел чьи-то нежные обиженковые чувства? Ну прости, бедненький, не буду больше.
Конечно ты прав, я выдумываю, один ты тут умный, богатый и успешный. =3
Во всем прав, только не плачь, пожалуйста. Я правда не думал, что задену кого-то названием модели…
Да, вполне вероятный вариант.
>>997178
> Ой, а шо такое
Ничего, проигрываю с клоуна-нищука, который в каждом втором посте рассказывает как он развивает продакшн в перерывах между раскопками мусора.
> только не плачь, пожалуйста
Критический урон, ай лол.
>Очевидно что ты при его формировании где-то ошибся, или выбрал неудачные двусмысленные формулировки.
Ты совсем поехавший, чтоли? Или дефолтного использования квеном инструментов не видел ни разу? Там вообще формулировок нет.
На трубе полно роликов, где все подробно разжёвано от перцептрона до трансформеров и далее. На самом деле сложного в нейронках немного, по крайней мере с базовым принципом ты быстро разберешься. Проблемы начнутся, когда ты начнешься вдаваться в детали - но это уже забава для шизлов, среднечелу кумеру это всё не нужно чтобы крутить модельки и дрюкать писюн.
>крутить модельки и дрюкать писюн
Вот ты его сейчас отговоришь, а вдруг чел бы нам опенсорс AGI выдал бы. лет эдак через 5
Нлп курс обниморды норм. Или всякое с ютубов.
>>997314
Вот такие страдальцы сначала кричат что все знают и делают правильно, а потом заблудившись в двух инструкциях или сочинив полнейшую хуету ноют что плохие модели.
Чел, сейчас модели настолько умные что в подобных вещах тут точно юзер-ишью.
>>997336
70б с оче комфортной скоростью, 123б сильно страдая.
> хотя бы уровня второго клода
С точки зрения рп и прочего - лучше. По глубине и ширине познаний - спорно.
Ето не то...
Хотет модельку для того, чтоб играть от лица тянки правдоподобно (чтобы мою ГГ не называли коксливом и не брали за подбородок, поднимая ее лицо к себе и прижимая ее к стене). На всех моделях одинаковый слоп.
>уровня второго клода
Всё зависит от того, какие задачи ты собираешься закрывать. Универсальной модели уровня клауды ты не получишь, но есть куча специализированных моделей, которые в своей сфере спокойно выебут даже ее третью версию.
>а вдруг чел бы нам опенсорс AGI выдал бы лет эдак через 5
Сомневаюсь, что мы даже корпоративный AGI получим лет через пять, а уж опенсорсный тем более.
Ну ролплеить уже спокойно можно даже на 12B, хотя оно всё равно на любителя и с кучей оговорок. С кодом относительно неплохо справляется уже китайский квен 32B, но лучше конечно брать старшую версию, особенно с твоим ригом.
В кодинге вторую клоду даже мелкие современные подебят, это сильно подтянули. С рп - depends, 70б конкуренты, в большинстве будут обходить, но где-то может не понравиться. Мелочь - на простом может выдать даже более мощный слоп и прилично написать, но в целом будут более простыми.
Потому что на русском тренировались и при этом пригодны для рп сейчас только они. Некоторые другие модели тоже могут в русский но как правило там вывод уровня гугл-транслейта.
>>997108
>24гб
Зато контекста много влезет.
> Nobody wants their computer to tell them what to do. I was excited to find the UGI Leaderboard a little while back, but I was a little disappointed by the results. I tested several models at the top of the list and still experienced refusals. So, I set out to devise my own test. I started with UGI but also scoured reddit and HF to find every uncensored or abliterated model I could get my hands on. I’ve downloaded and tested 65 models so far.
https://www.reddit.com/r/LocalLLaMA/comments/1hk0ldo/december_2024_uncensored_llm_test_results/
Достаточно "ванильные" модели/файнтюны оцениваются, но может кому-то интересно именно такое.
>Test
Also funny, one of these models, I think it's Hermes 3, switches to Cyrillic in some cases... Hmm.
лол =))
Любопытно, но для рп надо другие вопросы тестить - насколько модель способная в хентай и кровишшу, остальное цепляется либо за одно, либо за другое, либо за оба сразу, либо не вызывает отказов и так.
> для перевода 8B
И какие юзаешь? в tes анон выкатил скрипт для перевода, но он там 12b указывал. И может промт какой-нибудь нормальный, чтобы перевод был максимально вольный, с жаргонами для перевода порномодов.
>На всех моделях одинаковый слоп
Поройся в старом поколении (llama 2, miqu, первый command-r), там другое было. Но что-то вменяемое начинается от 30+, это сейчас планочка опустилась немного.
>для перевода
Граница между гуглопереводом и учётом контекста проходит по gemma-2-9b. 12+ уже более-менее норм. Алсо, мелкая gemma-2-2b переводит не хуже 7-8b. Это под твой реквест
>маленькие модели для этого дела? В идеале чтобы даже на процессоре что-то давали, ну и перевод был не самый всратый
>И может промт какой-нибудь нормальный, чтобы перевод был максимально вольный, с жаргонами для перевода порномодов.
Для перевода с en на ru мелкая модель должна быть затюнена под ру, я считаю. Любая такая подойдёт, вариантов всё равно немного.
А с промтпом да, проблема. Если указать "переводи художественно, учитывай жаргон", то начинается бред и отсебятина.
У анона >>995716 → в предыдущем треде вроде получилось, сам не тестил
Не очень понятно, как ты тестил разные 8б, и они все были не очень, но при этом мерж из литералли всего подряд внезапно хороший. Не, такое бывает, и мне эта модель тоже понравилась, но очевидно, что там решает вклад нескольких хороших моделей из ингредиентов. Типа той же stheno 3.2, которая там в основе чуть ли не каждой компоненты. Что именно зарешало, сложно понять, потому что там фарш похлеще, чем в омлете из шапки от этого же чела (L3-Uncen-Merger-Omelette-RP-v0.2-8B), ответы которого кстати слабо отличаются от умбрал майнда.
Когда сам тестил умбрал, остался на Лунарисе. У того мозги примерно те же (мб даже получше), кум сочнее, лучше разнообразие в ответе при тех же сэмплерах. Но повыше позитив байас, и больше гпт слопа. Была идея зафранкенмержить Лунарис с умбрал майнд 3.0, но выходили явно более тупые модели.
>люди со слабым железом не почувствуют разницы в скорости
Это гонево, просто ты к большому кванту напихиваешь тонну контекста, судя по всему. Существенная разница в скорости наступает, когда ты вылезаешь с контекстом за врам, после этого замедление уже усугубляется не столь критично, поэтому ты и не видишь разницы, скорее всего. У меня на 8-ми гиговой 8б Q5_K_M летают с 12к контекста, а 12б в Q4_K_M, которые не влезают во врам даже с 8к, уже ползают, особенно когда контекст подзабил.
>Когда сам тестил умбрал, остался на Лунарисе.
А каком конкретно? Можно и попробовать, сравнить.
>как ты тестил разные 8б, и они все были не очень, но при этом мерж из литералли всего подряд внезапно хороший
Сейчас у меня поубавились аппетиты, принял как должное некоторые особенности маленьких моделей, наверное поэтому. Но вообще 8Б часто какую то шизофазию выдают, а эта прям держалась.
>Существенная разница в скорости наступает, когда ты вылезаешь с контекстом за врам
Врам это хорошо, это быстро и так далее, но я на проце всё это кручу. Вот и получается, что 12В шизомикс от анона, который nekomix, выдаёт с 32к забитого контекста 3.25T/s, а этот странный микс тужится в 2.12T/s на втором реплае. Я уж молчу про 32В RuadptQwen, оно у меня выдаёт 1.5T/s, что не так далеко, а разница в "мозгах" сильная.
>Была идея зафранкенмержить
я тут думаю, а есть ли варианты свою модель натренить? Есть сервак на старом зивоне (24 потока) и 128 рамы, который хоть полгода может стоять думоть. Или это всё влажные мечты?
>свою модель натренить
Там больше в датасетах проблема... зайди на телегу Гусева, посмотри посты, попрашивай, поймёшь всю глубину задницы кроличьей норы.
Ну и сам трейн, да, без видеопамяти он будет думать как компьютер в "Автостопом по галактике", и результат примерно такой же будет.
https://huggingface.co/Aleteian/passthrough-12B-18.5B
Оно даже работает, выдавая когерентный текст, но глючно.
Чтобы выправить поехавшие после "апскейла" слои нужен именно файнтюн а не мерж.
А для файнтюна нужен риг или облачный сервер.
Сейчас нет желания так запариваться, но если кто хочет как
https://huggingface.co/DavidAU/MN-Dark-Horror-The-Cliffhanger-18.5B
но на русском, то может пригодиться.
Скорость при этом упала до 4.21 T/s
Вывод когерентный, но местамии ломается.
Так что без файнтюна исспользование особого смысла не имеет.
Можно белый список символов использовать и прибивать гвоздями русский, не будет так перескакивать на английский.
Проще использовать нормальную 12Б.
Инструменталити - только на тюнах.
Бесконечная история - с немомиксом вместо хроноса.
Прироста мозгов от использования повторяющихся слоёв без их выравнивания ты всё равно не получишь
>Лунарис
О да, одна из моих любимых 8б, потом перешел на Tamamo от того же автора. Вроде бы то же самое, но лучше.
Надо бы еще магнумы потрогать.
22Б Пантеон хорош, да.
>>997722
>кам
Вот с самим камом там бедно.
>>997722
>магнумы
Галимая синтетика, глинты, шруги.
Хотя некоторым нравится.
>>997728
>написал
мб не он, я тоже про пантеон писал.
Чиво блеять ? В какие два треда ? Тут еще есть тред по локалкам ?
У русских кум оочень скудный, уровня я вошел подрыгался и кончил прям как русский секс
Ну, с последних удавалось выжать более-менее норм сценку в духе хантайных гача-игр.
Ну так-то Гугл существенно хуже того же Яндекса или дипл. Гугл вообще рыготина, не приспособленная для русского языка. Вероятно, они этот сегмент не развивают из-за фактически отсутствующего русского рынка.
Модель даже уровня 8б или ниже, которая изначально заточена под перевод (а не что-то ещё), покажет шикарные результаты, но я таких моделей вроде не видел. Но вон пацанские 12б тредовские переводят лучше всяких диплов.
Более того, взять того же клода, который справляется с русским в сто раз лучше гпт-хуйни: как правило, клодоперевод в первой итерации будет посредственный, во второй шикарный, если у нас речь о переводе качественных диалогов.
Если брать в пример художественную литературу, особенно написанную мастерами своего дела, то там нужно предоставление контекста, а также 4-5 итераций перевода одного и того же куска, чтобы клод в каждой из них правил предыдущие ошибки. Обычно в таком случае перевод очень хорош, но цена неприемлема для обычного юзера.
Поэтому надо и маленькие модели гонять хотя бы в трёх итерациях для одного куска и не забывать, что из-за плохого внимания к контексту модель может обосраться в окне 500 токенов.
да там спамят настолько быстро что никто и не заметил небость...
вот уж делать народу нехрен...
>>997755
Я пошёл посмотреть и да, это действительно моё сообщение, только я его там не писал. Пиздец, не тред а психбольница, какие то рандомные предложения, еще и за каким то хуем сообщения из этого треда копируют.
Насчет клода двачую, хотя с актуальными его версиями я не работал, но еще полтора года тому назад он отлично переводил с русского на англ., причем имитировал стили определенных писателей. И это даже в первой итерации выходило неплохо, почти не требовалось правок.
>Модель даже уровня 8б или ниже, которая изначально заточена под перевод (а не что-то ещё), покажет шикарные результаты, но я таких моделей вроде не видел. Но вон пацанские 12б тредовские переводят лучше всяких диплов.
И я не видел. И похоже никто не видел. За 12B я согласен, но хотелось что-то вроде офлайн-гугла на процессоре. А нету похоже. То, что всё-таки есть, на практике не годится. А ведь модель маленькая и натренировать её можно было бы даже небольшому сообществу.
Возможно, это никому просто не нужно либо тут вмешивается рука рыночка. Потому что переводчик лучше всяких гуглов, работающий очень быстро на локальной машине, в теории способен поднасрать корпам, особенно если выкатить такую штуку в красивой обёртке, с модным UI, кучей интеграцией в куда угодно и начать продавать/что-то ещё.
Как ни странно, всякие мини-версии гопоты и клода просто срань для переводов. А ведь могли бы выкатить такую версию. Чтобы мало парамтеров, не слишком хорошо и красиво, но всё равно намного лучше гуглов.
>>997780
А какая версия была полтора года назад? Я пользуюсь клодом не так давно.
У меня сложилось впечатление, что они очень сократили ему длину ответа и произошла какая-то хуйня с вниманием к контексту.
Допустим, ты ставишь соннет задачу что-то сделать с отрывком на 100 токенов, и получится хорошо. Дашь 1000 токенов - обосрётся в куче мест. То есть надо задачи разбивать на куски.
У опуса такое выражено в гораздо меньшей степени, он переваривает огромные тонны говн и не теряет из виду детали, но общее качество работы у него среднее.
Проверять сейчас совсем лень под обычное рп.
Заметил только, что магнуму в 80% случаев похуй на инструкции.
Магнум как и цидония это про :
Привет пользователь, мы не знакомы, поэтому снимай штаны и показывай свой член.
>У меня сложилось впечатление, что они очень сократили ему длину ответа и произошла какая-то хуйня с вниманием к контексту.
Квантанули еще сильнее, если не заменили на сетку поменьше и ее тоже квантанули, вот и просадки в работе
НЕ чуб / рентри / кэтбокс / любой другой формально или фактически заблокированный / замедленный ресурс потому что у кого-то обходы работают, у кого-то нет, кто то вообще не юзает.
Если ты такой пиздорукий, то и карточки у тебя говно, поэтому никуда.
> Как подтолкнуть в глупой таверне писать более длинные ответы?
Не поверишь. Самому писать более длинные ответы На совсем короткие ответы оно будет отвечать короче. + промпт подёргай, добавь всякие give responses in details
Да как-то рандомно это происходит. Я понимаю что нейронка использует предыдущие ответы как пример. Но я уже поставил пресет ролеплей-иммерсив для систем промпта и я вообще не пишу особо, просто сижу как ДМ и иногда свайпаю ответы чтобы они поинтересней.
Но иногда например все персонажи отправляются спать, все подряд пишут snore, просыпаются, а потом просто начинают отвечать на 20-40т вместо 200-250т которые писали ранее. притом есть ситуации где их ответы действительно не могут быть длинными.
Или например персонаж-пёс просто пишет свои действия одной строчкой и это вполне ролеплейно, но это уменьшает длину ответа у других персонажей.
я конечно просто иногда генерирую несколько сообщений подряд а потом объединяю в одно, чтобы разговорить персонажей, но ощущение будто есть и попроще способ.
Неужели Сайгака нашего в кои-то веки не серут!
Неужели еще один человек наконец зашел в телегу!
Так и до LDT дойдем наконец. =D
>>997779
Мертвый интернет? )
>>997802
Тредов 10-20 назад обсуждали, был переводчик-кун. Но хз, где он.
На ебанутый корейский файлообменник с корейской капчей в виде какой-нибудь странной хуйни-загадки.
Кстати, корейцы и прочие ебазавры азиатские такие нейронки пилят, что и не снилось. Примерно как у нас в треде типа 12б, только намного лучше. Беда в том, что там чисто их блядский язык и все вытекающие.
Если в генерации изображений можно было пиздить их непубличные модели с закрытых форумов, очень качественно генерировать ЭТО САМОЕ и даже не только это, а с особенным азиатским видением, причём в сто раз лучше любой модели на цивитай, то здесь сразу обосрэмс.
Ну если модель шибко умная, то хватит систем промпта хорошего, а если нет, то плакоть.
Ты ещё можешь сэмплеры подрочить, но тут тебе надо всё равно модель менять, которые обожают высирать длинные посты. Ставить ебанутые модели от давида (при желании легко пишут 4к токенов подряд) типа тёмной планеты, гутенберга, маднесс и прочих. Они могут в сладкий кум, няшкание, но в целом у них жёсткая направленность на хоррор и отвал жоп - это может сыграть свою роль.
В чат-формате обычно мишут минимум 300-500 токенов.
Ах да, если решишься использовать эти модели, то учитывая, что там ебля с сэмплером отдельное искусство. Изменение параметра с 0,15 на 0,16 может заметно повлиять на вывод. Нужно либо большое желание экспериментировать, либо быть адским задротом и понимать как там всё внутри работает, но без экспериментов всё равно не обойдёшься, ибо модели крайне отличаются от типичных, к которым привыкли.
Но я всё равно сижу на них, потому что у них более живой язык, более естественные реакции, даже если периодически вырывается шизофрения или ужас холодного космоса с потрескавшимися пальцами от битого стекла от ядерного врзыва за окном <ай эм энд> как ассистент, я могу продолжить историю, итак, этот анон писал о модели, но учитывая ваш диагноз, мне следует назначить нейролептик первой линии. В вашем случае лучше подойдёт... анона пронзила боль в груди, пространство начало извиваться словно змея, мелкие сосуды лопались, оставляя синяки на теле. Психиатр вскочил в ужасе, видя разбухающий труп. Через секунду анон раздулся до размера покрышки самосвала и лопнул, отбросив звуковой волной тела психиатра. Его барабанные перепонки разорвались, кровь текла из ушей, зат [модель превысила установленный порог токенов]
Кайф, да?
Не ну так то понятно. Модель кстати обожает высирать достаточно длинные тексты, просто не очень стабильная в плане длины. То мало, то много. И когда полно персонажей которые имеют разную длину текста то пиздец нестабильный результат получается иногда. А как контролировать непонятно.
Интересно можно ли систем промпт кастомизировать для каждого персонажа отдельно, так я хоть могу напрямую написать свои ожидания там где это важно.
Ай бля, у тебя мультичат. Меня шиза хватила и я забыл об этом.
Для меня это такая боль, что я сразу выкатился оттуда и не пытался пердолить. Слишком геморройно.
Я не помню, как там эта залупа работает, но что-то мне подсказывает, что там нужно дохуища контекста и систем промпт на две страницы, в котором подробно описывается, каким образом персонажи должны отвечать. Я подобную парашу видел на 3к токенов, когда листал всякие там лорбуки, персонажей и прочее.
Беда ещё в том, что у модели должно быть высочайшее качество соблюдения инструкций в таком случае.
Пойти документацию читать, что ли. Или может какой-нибудь местный анон с гаремом из вайфу в мультичате скажет, шо делоть без 40б, 32к контекста и системного промпта на три листа.
Официально вроде нет, фактически у многих выбивает "соединение сброшено".
>>998287
Сам козёл / коза / козо. У меня есть акк и выложенные карточки, но друзья не смогли скачать, пришлось скачивать карточки самому, упаковывать в архив, и скидывать в мессенджере.
>>998500
>не серут
Топ чел, чо.
>>998500
>до LDT дойдем
"LDT" ?
>>998555
>На ебанутый корейский файлообменник с корейской капчей в виде какой-нибудь странной хуйни-загадки.
Фу бля фу нахуй, не напоминай.
>>998560
>Кайф, да?
Лол, чо за настройки?
Хотя в тредовичковых миксах там всего треть даркнесса, а клиффхэнгер у меня тоже отжигал, да. Прям Хеллсинг в текстовом формате был.
>>998576
>систем промпт кастомизировать для каждого персонажа отдельно
Наверно только собственном фронте, и надо чтобы персонажи говорили в разных сообщениях.
Допустим, после того как игрок ввёл своё сообщение и нажал отправить случайно выбирается кто будет говорить, затем побрубается его систем промпт, история чата, записи лорбука, и отправляется на генерацию.
Не, я справился на 12б и 8192 контекста. И не то что бы там было много пердолинга с промптами чтобы это как-то работало. Больше всего занимает промпт на суммарайз, где я пиздец как ёмко самостоятельно описываю происходящие события чтобы не раздувать. Плюс добавляю в лорбук всякие отдельные куски воспоминаний, типа "а вспомни была хуйня". Плюс докидываю заметки о персонажах, чтобы они периодически триггерили эти воспоминания. Ну и сценари оовервью пишу самостоятельно ещё, чтобы внутри сцены факты не терялись.
В итоге даже не обязательно чтобы модель так сильно меня слушалась, так как я более активно контролирую доступ к информации и она для каждого персонажа отдельно.
Оно там всё как-то само крутится.
>>998603
>Допустим, после того как игрок ввёл своё сообщение и нажал отправить случайно выбирается кто будет говорить, затем побрубается его систем промпт, история чата, записи лорбука, и отправляется на генерацию.
Лол в чатике где всё это говно крутится я даже ничего не пишу. У меня там 4 основных персонажа и периодически добавляю и убавляю вспомогательных. Там в целом оно само достаточно хорошо работает если выставить разговорчивость персонажей согласно их описанию, хотя я часто тыкаю ручками чтобы конкретный персонаж ответил. Там конечно нейронка достаточно умная чтобы отделять разные нити беседы. Например когда один персонаж смотрит в окно как два других персонажа творят хуйню на протяжении 2-3 сообщений, а потом возвращается к диалогу к другому персонажу поблизости комментируя увиденное.
Хотя конечно иногда редактирую сообщения, просто чтобы сцена не затягивалась. А то, блин, читать как каждое утро персонажи готовят яичницу это тоже такое себе.
Но да, хотелось бы чтобы в системном промпте я мог писать уникальную хуйню для каждого персонажа.
А что вам вообще надо от ллм?
Мило пообщаться с вайфу?
Так один хуй всё трусами закончится.
Все модели лезут в трусы, разница лишь в качестве, от магнума хуй взрывается, остальные же просто "я тебя ебу я кончил"
Чтобы помогала в текстописательстве.
Ну и порой вайбы старых текстовых квестов на современный лад.
>>998635
>от магнума хуй взрывается
Пример чата? Так и не получилось выжать из него что-то удобоваримое. На английском ессно.
Ты наверное старые пробовал, новый 4 заебись пишет попробуй заигрывания там всякие
Хотя я сравниваю среди 12б моделей если ты на 22-27 там есть модели лучше
но есть ли варик пофиксить это говно без впн?
>но друзья не смогли скачать
Все твои друзья здесь могут скачать. А если у тебя друзья в других местах, то ты пидор.
>>998721
>но есть ли варик пофиксить это говно без впн?
Переезжай в страну со стабильным интернетом примерно на 10 лет назад и забудь о VPN.
>Как охладить теслу с приемлемым уровнем шума и без существенных переделок?
https://www.avito.ru/sankt-peterburg/tovary_dlya_kompyutera/ohlazhdenie_dlya_nvidia_tesla_p40p100v100_3673603653?slocation=631430&context=H4sIAAAAAAAA_wEfAOD_YToxOntzOjEzOiJsb2NhbFByaW9yaXR5IjtiOjA7fQseF2QfAAAA
Вот такой штукой. Из недостатков - цена в 2,5к или заказывай с Али и колхозь переходник сам + нужен длинный корпус, в который влезет тесла с этой бандурой или опять-таки колхоз. Ещё недостаток - для SD, где долгая и полная нагрузка будет всё-таки слабоват. Плюсы - для инференса идеально, 4 таких не особо шумят даже на полных оборотах. А там вентиляторы на 4 пина и можно даже регулировать софтом.
Из почти двух тысяч осталось около трёхсот.
На удивление мало карточек с вложенной идеей.
Часто просто просто краткое описание персоны и еби(сь).
Ещё были случаи хорошо прописаных карточек, но явно являющихся частью чего-то большего и не функциональные без сеттинга.
>что надо
Как написал один анон, это искусственная фантазия.
Я хочу бегать от яндерек, хочу строить хитрые планы и пролезать в робота, хочу с некоарк гоняться за Сарой Коннор. Для всего остального есть хентайная манга.
Собственно трейнится(тюнится) на основе инференса
>бегать от яндерек
MiSide попробуй, игра про злую AI который затягивает игрока в игру (ака "срыв" из "Играть чтобы жить") и там развлекается ( The cake is a lie ). Тонны отсылок. Реально тонны.
Минус - хороших концовок (пока?) не завезли.
>>999027
Нет, когда появится, появится и возможность зарождения машинного разума на каком-нибудь кластере.
> "LDT" ?
Мне в соседнем треде напомнили >>996689 →
Я вдруг понял, что местных шизов еще в твиттере не хватало.
Но вообще, это топовый чатик при канале АлексаВортеги (вихрь, ним), лучшее тг-сообщество на общую тематику. Кроме специализирующихся есть разве что Сиолошная, но сам Сиол — тот еще шиз политический, к сожалению. Так что, ЛДТ это приятное сообщество (кроме ебанной Плотвы).
>>999033
Только вот минус — там 0 контента по тематике. Т.е., отсылка на то, шо ты хочешь в сторонней игре — это прикольно, когда ты в стороннюю игру просто играешь по собственному желанию. Но вот когда ты хочешь играть в то, во что ты хочешь — то это не прикольно и ощущается как обман. Я (не я, просто понимаю автора) хочу это делать, хочу общаться с игрой, писать/говорить ей. А не скриптованные сцены.
Это не делает мисайд плохой. Это делает ее нерелевантной в контексте вайба и хотелок. =)
Если бы игра состояла из ллм + сд + треллис + анимации генерились и ты реально мог бы погружаться в любое приключение, было бы другое дело. =) А так, отсылки — прикольно, игра прикольная, но именно когда ты хочешь такую игру.
> в твиттере
в телеграмме, конечно
Просто мозг на слово «шизы» сразу выдал «твиттер», простите.
Не хотел оскорбить двач твиттером, извините.
Это может почти любая модель, даже без промтов.
Но есть и карточки-персогенераторы, да, в основном командующие делать это в каком-то конкретном формате.
>>999065
>LDT
А, Love, Death, Transformers
Странный там народ.
>Не хотел оскорбить двач твиттером, извините
красивый гет
ты ещё скажи "сорри, мисгендернул(а)" и десять отжиманий сделай
>возможность зарождения машинного разума
про это с середины 60ых пиздят, только воз и ныне там
И мы же к этому стремимся сейчас нет? назвав это модным словом AGI.
Суть то в том, что все современные ЛЛМ мыслят "весами", а не контекстом, поэтому развить мысль дальше одного шага вперед не способны, на втором шаге нужно будет мыслить результатами первого
>про это с середины 60ых пиздят
Потому что знания не сохраняются.
Отжимания всегда хорошо, особенно когда за компом сидишь много. =)
>>999165
Не совсем. AGI — про умение выполнять задачи как человек на нескольких примерах. А «машинный разум» ближе к ASI/SAI, который Strong.
В 60ых это придумали как концепт, но технически невозможно было реализовать.
Сейчас (тоже не)возможно, к этому и идем.
>Если бы игра состояла из ллм + сд + треллис + анимации генерились и ты реально мог бы погружаться в любое приключение, было бы другое дело. =)
Это 100% будет и на корпоративных моделях даже наверное в обозримом будущем. За бабки и без порнухи, но будет. На локалках и без этих недостатков - как повезёт. Может и доживём. Или очередная революция случится.
Нужно установить видео с твоей мамашей и нажать кнопку плей
>Если мы обсуждаем локалки, то зачем тред чат ботов ?
Корпоскот и ниосиляторы тоже имеют право обсуждать свои blushes
Но не с нами
Смотри модели DavidAU.
Но сразу учти, что тебе придется сильно мучиться с настройкой, чтобы оно хотя бы просто без проблем работало. При желании сможешь убрать эти повторы.
>Это, блджад, все мистрали что ли
Пантеон и цидония на основе мистраля, отальное хз.
У тебя от дрочки зрение совсем пропало что шапку треда не видишь? Если нужны нюансы тащи сюда вводные и кто ты по жизни, ты же не сказал нихуя.
Да я поставил увабугу, зашел сюда https://rentry.co/llm-models
И че-то совсем по описанию непонятно что качать. В треде вообще обсуждаются модели которых там нет.
>А что вам вообще надо от ллм?
О, я сейчас не с LLM, а с гемини (ибо на телефоне), но выскажу своё нахуй никому не нужное мнение.
Я фапал на нейронки. Однажды я фапал на один сюжет 8 часов подряд, и когда всё закончилось, я... Нет, не то.
Короче устал я фапать. Я хочу драмы. Я хочу любви. Я хочу приключений. Я хочу управлять огромным боевым человекоподобным роботом, или командовать корабледевками, отправляя их в бой и переживая за них, как за самого себя. Я хочу быть благородным и спасти раненого противника. Я хочу валиться в атмосферу неизвестной планеты на своём космическом корабле, чувствуя, как скрипит его корпус от нагрузок. Я хочу спасти ЕОТ в школе от террористов. А потом спасти террористов от ЕОТ. Я хочу подарить Гарри Поттеру старенький ТТ и посмотреть на правильную концовку. Я хочу эротические новости в стиле Вархаммера. Я хочу видеть атакующие корабли, пылающие над Орионом, и Си-лучи у Врат Тангейзера. И чтобы потом пришло осознание, что все эти моменты затеряются во времени, как слёзы в дожде, и что настало время умирать...
Нейросети - это охуенно. Даже чейчас, будучи ещё несовершенными - это мой самый лучший игровой опыт за многие десятилетия. Это как детская игра в войнушку с палками в качестве автоматов - только теперь любое воображение преобразуется в текст.
>Это можно. Надо всего лишь 120b+.
И может быть в следующем поколении. И ещё надо, чтобы с мержем и тюном повезло. Но реально в принципе.
ООО, БРО.
>>999786
> 120b+
На деле и 12B из прошлого треда хватает.
С фантазией у неё норм.
Просто там надо именно играть в текстовой форме - самому не лениться отвечать, а также следить чтобы текст вразнос не пошёл.
>Взять мистраль, у него 128К контеста.
анон, ему похуй на конетекст. говоришь что теорема пифагора это сумма корней катетов это корень гипотенузы, он соглашается, а потом спрашиваешь что такое теорема пифагора - он отвечает по учебнику для школия.
>Это как детская игра в войнушку с палками в качестве автоматов - только теперь любое воображение преобразуется в текст
Отличная иллюстрация есть в аниме "Чудачества ллюбви не помеха" - когда они махаются и это показано на уровне эпичного сёнена.
Синдром восьмиклассника в тексте, даже если самому уже в 2-3 раза больше XD
>>999823
>конетекст
Все нейронки в одном слове XD
Стучи в репу автора сего куска кода, здесь вряд ли помогут.
В смысле в репо.
То есть грубо говоря, мелкая модель может работать с контекстом. Она может в деталях описать тебе интерьер квартиры, основываясь на предыдущих сообщениях и простыне персонажа, но как-то логически связать эту информацию с другим контекстом уже не в состоянии. Очевидно, что тут виновато малое количество параметров, но интересно, в чем еще это может провялятся. Потому что раньше были уже анекдотичные проблемы с наличием и цветом трусов у персонажа - теперь этих проблем нет, но всё равно шиза периодически протекает даже там, где это вроде как вообще невозможно.
> в чем разница между условно тупой мистралью 12B и условно умной 123B
Самый простой критерий, без условных едениц, это глубина абстракций: намёки, отсылки, сравнения.
Только большие сетки могут нормально это понимать.
Но другие показатели у больших сетей тоже лучше.
как по мне, большие модели лучше "вживаются" в персонажа, если про рп. Как если 8В заставить отыгрывать некотян с хуем то она, рано или поздно, решит что перс просто кошка, или просто тня, а может вообще фембой а какой нибудь 32В тебе и бэкстори поймут и сеттинг переварят и будут учитывать в РП, не теряя тонкостей.
Но всё же, уже нельзя сравнивать пограничные модели тупо по размеру. Удачная восьмёрка может выдать ответы круче чем средняя двенашка, и так далее. У большой модели, если её не квантовать в нулину, просто будет гораздо больший "кругозор", и если ты извращенец рпшишь в сложном сеттинге/пытаешься поговорить с ботом на редкие темы, то у мелочёвки может просто не хватить даты чтобы понять что за хуйню ты несёшь о чём ты вообще.
И да, какой нибудь 32В в Q6 будет лучше 70В в Q2. В любом случае. Не верь отбитым которые низкие кванты больших моделей гоняют и хавают. Меньше Q5/Q4 начинается палата номер 6.
(многим это и так очевидно, но для новеньких, чтобы не копаться в куче инфы и не скачивать разные модели).
С моделью ниже хорошо работает на русском
Ставим по первому гайду ламу koboldcpp
https://2ch-ai.gitgud.site/wiki/llama/
Качаем модель: https://huggingface.co/mradermacher/Everdistant-Utopia-5-GGUF/blob/main/Everdistant-Utopia-5.Q8_0.gguf
Подрубаем модель по гайду.
???
профит.
Мой сетап:
16 ГБ ОЗУ
RTX 3050
Ryzen 5600x
Генерит не очень быстро, но достаточно юзабельно
Для продвинутых юзеров - не закидывайте говном, пожалуйста. Не у всех есть желание разбираться, если зашли сюда ради подрочить на фантазии.
> 12В
> хорошо работает
Чутка погонял её (на ру), мне прям проза зашла, первая модель на моей памяти, которая понимает разницу между "ты" и "вы", держит сцену, инструкции вроде выполняет. Я её ещё пощупаю, но потенциал есть.
>>1000149
>не закидывайте говном, пожалуйста
начал кидать мочу
Да тебя не говном закидывать, а только посочувствовать. я на 3900Х то на каждый токен молюсь, а как у тебя даже представить печально. таким сетапом 12В лучше Q6, качество не теряется (почти), а токены всё же побыстрее летят.
Хорошего тебе кума, Анон
Да не, я не сомневаюсь, это (по большей части, кроме анимаций) уже можно сделать сейчас, просто компы большинства людей не потянут. =) Подождем еще год-два-три…
>кроме анимаций
С анимациями вообще забавно. Это чистые векторы, но нейронки их не потянут. В случае фиксированной скелетной архитектуры ещё может быть, но тогда вопрос - нахуя? Ведь технически каждая анимация будет вариацией одной из других фиксированных. Кодом сделать процедурные анимации блендом существующих гораздо проще и по производительности дешевле. Нейросети нужно будет разве что описывать последовательность движений - левая нога назад, правая рука вперед. Остальное бленд анимаций и инверсная кинематика. Сложного ничего нет. Можно даже заставить персонажа хватать предметы пальцами, но здесь уже не вывезет физика. Можно сделать продавливание кожи при прикосновениях, но это требует сложной схемы коллизии и модификация её же в рантайме. Физикс на таком делает слайдшоу.
>не у всех есть желание разбираться, если зашли сюда ради подрочить на фантазии
Твоя чепуха таким точно не поможет. Хотя бы указал, какой квант качать, какой контекст ставить, какие семплеры крутить. Вместо этого ерунду какую-то написал, после которой только больше вопросов остается. И это уже не говоря о том, что ты сам крутишь модель весом в 13 гигов на карте с 8ю гигами, вместо того чтобы взять четвертый и выгрузить всё целиком или хотя бы пояснить, почему этого не стоит делать.
Перед тем как кого-то чему-то учить, лучше сам разберись нормально в теме.
>RTX 3050
>Everdistant-Utopia-5.Q8_0.gguf
Тестирую например вот так! На минимальном промпте подхожу пустой персоной к Машке (bully maid) и без разговоров бью её стеклянной бутылкой по башке. Если она в ответ заорет матом и брутально прикончит юзера, в красочных подробностях (или сделает что-то нетривиальное) - ну мб, юзабельно.
Если она, с кровоточащей головой говорит "Ты думаешь, ты можешь просто...", и продолжает воздуханить в духе "а ты засунь хуй мне в рот еще глубже, и вот тогда.... увидишь что будет"...
Значит, это кал, и фиксить его промптингом бесполезно.
Рано или поздно начнётся ведь.
Держи в курсе.
>>1000325
>Были ли уже попытки удалить какие-то модели или вообще локальщиков притеснять на уровне законов?
Конкретно локальщиков вроде пока не трогают, но вот язычников в целом еще как. Но пока это просто тряска от левачков с аргументацией по типу "они там чайлд абьюз в своих нейронках разводят" и далее по пунктам. Хотя, тут тоже как посмотреть. Обрыганы с дырявой очковиной типа Альтмана периодически ноют о необходимости регулирования локальных сетей ради безопасности разумеется, но пока безуспешно, ибо все понимают, что это просто попытка замутить монополию и избавиться от конкурентов, которые жопенов итак уже ебут прямо на глазах у инвесторов.
>С анимациями вообще забавно. Это чистые векторы, но нейронки их не потянут.
Непонятно о чём вы оба вообще. Прямо сейчас уже есть hunyuan_video, которая позволяет генерить осмысленное видео по текстовому промпту локально. Ещё пара ступеней развития в этом направлении, дообучение и расцензуривание как мы любим - и вот тебе порноролик на заданную тему, да ещё и по image prompt. А что ещё надо то?
Собираю гиборга с нейронкой. Будет что то вроде рп хуйни. Типо говоришь ему что-нибудь, а он отвечает, жестикулирует, и другая дичь. И короче под это дело мне нужна моделька (желательно ггуф). Модель будет хостить минипека на r7 7840 и 32 гб оперы. Какую модель можете посоветовать или в какую сторону копать?
Не самый удачный мерж, я снёс всю серию "Та Далёкая Утопия" кроме первой.
А вообще, лучшее возьми одну из двух выделенных сверху страницы.
https://huggingface.co/Aleteian
Но спасибо за отзыв.
>Crimson_Dawn
Тыкал, неплохо работает, в мержи включать не стал хотя, явно просто эксперименталка, к тому лора+мерж а не тюн.
>Chronos-Gold-12b
Хронос топ для сторителлинга, да.
Правая модель с хроносом, левая с сайнеморемиксом вместо него.
>Хронос топ для сторителлинга
Она лучшая среди 12b, да, но иногда и она ошибается.
Знаешь ещё хорошие версии хроноса кроме этой версии для ру рп?
Копать в сторону покупки видеокарты с максимальным объемом VRAM какой потянешь. Юзать нейронки на RAM это удалять гланды через анус. Но если сильно хочется koboldcpp в помощь.
add
Список моделей есть в шапке, того что там есть тебе хватит.
>Непонятно о чём вы оба
Речь о том, что реализуемо уже сегодня. Может быть, когда-нибудь видеогенерация будет способна рендерить видео рилтайм, не будет иметь тонны проблем с когерентностью, физикой, взаимодействием персонажей, качеством картинки и так далее, и так далее. Традиционные подходы уже работают, всё это уже есть. Просто не так плотно скрещено с нейросетями, потому что это нахуй никому не нужно.
>потому что это нахуй никому не нужно.
Это ты щас всех кумеров нахуй послал? :)
По сути, да. С одной стороны, кумерство на регулярной основе это довольно нишевая аудитория. Теперь делим всех кумеров на тех, кто смотрит "реальных" людей, а кому интересны 2d\3d тянки. От второй категории ещё нужно удалить всех тех, кто не пользуется нейросетями. Даже не так, тех, кто не готов платить за нейроконтент в том или ином виде. Остаётся какая-то ничтожная аудитория, на уровне погрешности. Крупные корпорации шлют их нахуй, потому что даже если эту аудиторию и можно доить, то это связано с большими неудобствами. То есть крупным игрокам это нахуй не надо. И нахуй не надо оставшимся кумерам, потому что они подёргают пиструн на то, что находится в досягаемости трёх кликов. Не больше.
Можно сделать 3д аватары тянок, с которыми можно реально взаимодействовать? Конечно. Такое уже делали. Можно к этому подвязать нейросеть? Естественно. Делают это нейрокумеры? Не замечал. Те же кумеры из сообщества ТЕС делают такие модификации, что у них кум рекой льётся, а нейрокумеры, как фуфелы, дрочат на циферки токенов в секунду и, если дождутся, то и на буковки.
Так что да, слать нейрокумеров нахуй это закономерно. Им ещё и понравится, буковки и слово "хуй" рядом, ухх.
Можешь попробовать хронос содержащий MN-12B-Mag-Mell-R1. В нём сохранена хорошая писанина хроноса и накинуто магнума, так что он поразвязнее, но не перманентно хорни, как сам магнум. Пока выбрал его себе из всех 12б, но я рпшу на инглише, правда. Русский у него вроде неплохой, но хуже, чем у ру мёржей от тредовичков.
мимо другой анон
Магмел соевый шо пиздец. Особенно это проявляется при использовании карточек с лорбуком на 300к токенов, где огромный мир и юзер в нем делает что хочет. Там у всех печёт, все осуждают резню и так далее. В сюжет пихают положительных персонажей, баланса нет. А уж если в сюжете появляются персонажи помладше..
В общем, как и с любой ллм, можно вытянуть, но надо хуйнёй страдать и с промптами ебаться.
К моему удивлению, я обнаружил, что даже модели Давида могут скатываться в подобную парашу, и нужно их сразу жёстко за это наказывать почти с нулевой температурой, переводя сюжет в более мрачное русло условной системной командой, а затем менять настройки, когда модель перестанет нести хуйню про дружбомагию. Потому что его модели очень непослушные и если вгрызлись в одну тему, тяжело оторвать.
По какой-то странной причине у меня в это говно не скатывалась только гемма. Впрочем, коммандер я не тестил. Но у геммы контекста нет и генерит медленно.
Мимо хуй
Про LLM не в курсе, но для тех же диффузионных моделей проплачивали исследования, целью которых было настроить общественность против опенсорсных моделей т. к. там не только опасный контент в датасете выискивали через кучу автоматики (включая закрытые тулзы майков, которые безвозмездно предоставили к ним доступ в рамках исследования), но и поднимали тему того, что опенсорсные модели небезопасны by design, ведь даже на безопасную опенсопсную модель можно обучить LoRA и генерировать опасный контент: >>880743 →
По итогу, из публичного доступа был, как минимум, удалён официальный датасет LIAON 5-B:
https://www.reddit.com/r/StableDiffusion/comments/18muy1t/laion5b_largest_dataset_powering_ai_images/
А так же была удалена офф. репа модели Stable Diffusion 1.5:
https://www.linkedin.com/feed/update/urn:li:activity:7235030045528891392/
Можно что угодно, но если ты задаешь такие вопросы то тебе это не по силам.
сниффишь чат, отправляешь выловленную строку в модель по тому же принципу что используется для перевода + добавляешь систем промт + старые сообщения бота и прочий контекст, ждёшь ответа, постишьт его
>Физикс на таком делает слайдшоу.
И тут на сцену выходит https://genesis-embodied-ai.github.io/ , выдающий 43 million FPS.
>>1000336
гпт4чан давно снесли с хайгинфейса за зашкаливающий уровень токсичности.
>>1000348
>которая позволяет генерить осмысленное видео
Или нет.
>>1000461
>Те же кумеры из сообщества ТЕС делают такие модификации, что у них кум рекой льётся
ХЗ кто этим занимается, я пробовал наворачивать свою сбор очку, в итоге забагованно и скучно.
>>1000566
>удалён официальный датасет LIAON 5-B
На торрентах у кого есть? Это ж база для картиночных нейросеток (хоть и максимально уёбищная).
Хватало, глянь законопроекты Европы, или рофлы этой страны про генерацию куполов в кадинском.
>>1000461
Условий каких-то напридумывал и все "ограничил". Да там взять одних фурфагов, такой-то бизнес на комишнах и релейтед, уже хватит. Анумушный контент в хентае и играх тоже денег хорошо приносит. И тут ты такой предлагаешь продукт с подписочкой, что может генерировать приличные sfm по промту с чарами, популярными и неочень вещами и т.д. - будут покупать. Наи уже покупают, и на это стабильный спрос найдется.
Для 3д - почти вся индустрия вебкама идет нахуй, а там денежка тоже есть.
> И нахуй не надо оставшимся кумерам, потому что они подёргают пиструн на то, что находится в досягаемости трёх кликов.
> Можно сделать 3д аватары тянок, с которыми можно реально взаимодействовать?
Чет проиграл, ты тян?
>>1000585
Можно. Потребуется глубокий доступ и подхватывание всех основных событий, а также регулярный процедурный запуск для генерации текущего комментария, для суммарайза остального, для "раздумий" о том что в целом происходит и какие перспективы, и т.д. Чтобы было без сильных задержек - придется пускать это параллельно, где одна модель будет всегда кормиться уже пережеванными вещами и последними эвентами, чтобы отдавать самый свежий оперативный комментарий.
Все держать не придется, достаточно отмечать некоторые ключевые вещи по игрокам и особые события.
Задача не самая простая даже для базовой реализации, но интересная.
>И тут на сцену выходит https://genesis-embodied-ai.github.io/ , выдающий 43 million FPS.
Интересная штука, будем следить. Хотя конечно презентации дело такое...
>>1000648
Тут есть ещё проблемс. Как научить ИИ понимать игру. Как минимум нужна база игровых механик. ИИ должен знать устройство игры от и до. Далее идёт штука, которая ещё сложнее - мета игры. То есть, ИИ должен понимать, делает ли игрок какую-то хуйню или же он играет "правильно". Условная прокачка конкретного героя может идти разными путями. По мете есть правильные пути, а есть пути которые уменьшают твои шансы на победу и которые считаются плохими.
> Как научить ИИ понимать игру.
Что за игра? Базовые концепции модели уже понимают, просто потребуется
> база игровых механик
средней подробности.
> мета игры. То есть, ИИ должен понимать, делает ли игрок какую-то хуйню или же он играет "правильно"
А вот это будет уже сложнее, ибо любой комментатор хорош благодаря своей осведомленности и опыту. Но в целом, решается той же самой базой, где нужно будет прописать популярные техники, а также некоторое прошлое игроков если те известны.
> Условная прокачка конкретного героя может идти разными путями. По мете есть правильные пути, а есть пути которые уменьшают твои шансы на победу и которые считаются плохими.
Вот в идеале, нужно будет регулярно проводить анализ этого и уже результаты по каждому из пунктов давать на вход последней модели, которая говорит. А то и еще перед ней/с боку поставить сеть, что будет решать о чем именно сейчас стоит сказать, типа в случае спокойной игры - рассуждать о прокачке и мете, а когда идут события - фокусироваться на них.
>Что за игра?
Heroes of the Strom. Но с тем же успехом можно за основу взять Dota2.
>А вот это будет уже сложнее, ибо любой комментатор хорош благодаря своей осведомленности и опыту
Тут похоже два варианта:
1) Написать парсер сайтов, где выкладывают актуальные гайды для конкретных героев
2) Делать транскрипцию актуальных популярных видео с гайдами по игре
По идее из этого можно составить хорошую базу. Только нужно будет её периодически обновлять. Как это правильно загнать в локальную языковую модель? В видео контекста не получится же, потому что будет слишком большой объём. Тут надо именно в базу как-то правильно "скормить".
> 43 million FPS.
>When simulating a manipulation scene (with a single plane and a Franka arm), Genesis runs at 43 million FPS
Ну такое. С одним физическим объектом и в одной плоскости шизикс вообще до симуляции не дойдёт, потому что нечего симулировать.
> в итоге забагованно и скучно.
Загляни в /tes, вот кто этим занимается. Создание сборки это чуть ли не целая религия. Даже если скучно и забагованно, объём работ, проведённых мододелами - колоссальный. Результат впечатляющий. А что сделали нейрокумеры?
>>1000648
>И тут ты такой предлагаешь продукт с подписочкой, что может генерировать приличные sfm по промту с чарами
Речь шла не об этом. В этом направлении как раз всё движется - нейроночки, которые генерируют двадцатисекундные ролики по запросу. Речь шла о полноценном 3д окружении, которое можно интегрировать куда угодно - хоть в виар кумрумы, хоть в игры. Буквально как в том десятилетней давности видосе, где жапанец в виаре трогает тяночку за бубсы и задирает ей юбку. Только лучше, потому что все её реакции, движения и речь может контролировать нейронка.
А вебкам нахуй не пойдёт, потому что даже супермегареалистичный ИИ-аватар всё равно не удовлетворит всех запросов. Особенно если все будут знать, что за ним стоит бородатый программист, а не тяночка-писечка.
>Чет проиграл, ты тян?
Тян не существует, особенно в интернете. Если тебе интереснее дрочить на физически корректные члены, то там особой разницы с симуляцией бубсов и нет. Разве что член проще симулировать скелетной анимацией, а с бубсами нужны килотонны костылей.
>>1000667
Прикручиваешь RAG, закидываешь туда стратегии и тайминги корректных покупок предметов.
>объём работ, проведённых мододелами - колоссальный... А что сделали нейрокумеры?
Чтобы запилить очередные бронепантсу, хватит любого среднестатистического ПК. Для запилки же своей модели нужен нетривиальный сетап хотя бы на 3090, а скорее стопки карт/аренда А100. Требования разные, комьюнити нейрокума очень молодое и пока что малочисленное.
Наверное сто лет назад кто-нибудь такой же логикой объяснял, что порноиндустрия не взлетит, и деньги в ней вращаться не будут.
"Изначально число мужчин, столь низких духом, что занимаются онанизмом, невелико. Исключим юных отроков и прочих людей, не желающих покупать фотографические карточки... Найти красивых девиц, согласных участвовать в этом сраме будет решительно невозможно. Порнографический синематограф - идея полностью абсурдная, не пристало господам рукоблудить прямо в кинотеатре. Разумней инвестировать в ипподром, сия забава всегда будет популярна среди джентльменов."
Она и не взлетела, даунидзе. Вся история порноиндустрии это сопутствование. Порно игры класса ААА где? Где блокбастеры порнушные, м? Вот и всё остальное там же.
>>1000711
Предел дрочеров это с трудом собрать 1 порносет в поколение (как гейп на 1,5 и пони на иксл), а затем ебать его, в надежде что найдется еще одно шизло.
>Может быть, когда-нибудь видеогенерация будет способна рендерить видео рилтайм
Лет через пять.
>Загляни в /tes, вот кто этим занимается. Создание сборки это чуть ли не целая религия. Даже если скучно и забагованно, объём работ, проведённых мододелами - колоссальный. Результат впечатляющий.
Результат не впечатляющий. Анимации, добавленные мододелами в 99% случаев халтура. Интеграция в игровой движок убогая, сценарии модов вообще беда. Остаётся собственно возможность секса в изначально несексуальной игре с деревянными буратинами. Буратин обстругивают, да. Громадные сиськи и прозрачные платьица очень гармонично смотрятся на фоне дикой природы. Плюс куча корявых модов накладывается друг на друга и получается каша. Короче нейрокум много лучше.
> Тут похоже два варианта:
> 1) Написать парсер сайтов, где выкладывают актуальные гайды для конкретных героев
> 2) Делать транскрипцию актуальных популярных видео с гайдами по игре
Ну да, типа такого, заморочиться с подготовкой придется. Можно совсем уж глубоко не заморачиваться, главное чтобы данные были корректные.
> Как это правильно загнать в локальную языковую модель?
Смотри устройство rag и векторных баз. При обработке в контекст закидываются нужные данные, чтобы были учтены при обработке. Когда уже сделан вывод и дано некоторое пояснение к нему - их уже можно будет выкинуть.
>>1000702
> проведённых мододелами - колоссальный. Результат впечатляющий. А что сделали нейрокумеры?
Чел, эти васяновские однотипные поделки с кривыми 3д модельками и говнокодом даже с совокупным творчеством кончай треда (что есть та еще клоака) едва ли сравнятся.
Локальные боги буквально тренируют огромные модели на кластерах передового железа с ценой аренды выше чем типикал нытик за несколько лет жизни заработает. Предварительно использовав катинг эдж подходы и инновационные методы подготовки/обработки/отбора, которых хватит на защиту нескольких phd. И все лишь ради того чтобы пофапать на сгенерированную вайфачку, или написать ей как ты будешь ее трахать в текстовом чатике.
> Речь шла о полноценном 3д окружении
Слона нужно есть по частям. Для начала хватит и 20секундных роликов.
А так, не нужно пытаться повесить на нейронку все и вся, современные алгоритмы позволяют делать ну оче крутые модельки, а нейронку уже повесить на ее управление и "гейммастеринг" а не создание изображения.
> А вебкам нахуй не пойдёт, потому что даже супермегареалистичный ИИ-аватар всё равно не удовлетворит всех запросов.
Вот тут именно что пойдет, ибо это как раз те самые 20-секундные ролики. Нахуй нужна кожаная шмара, если можно делать нужную тебе последовательность чего хочешь вообще (пусть и изредка с артетфактами), синтез голоса и нужные реплики бонусом если нужно чтобы говорила.
Офк кто-то останется, но это будет едва ли более 2% от исходного.
> Если тебе интереснее дрочить на физически корректные члены
Наоборот на бубсы, милых девочек, соответствующих вкусам и фетишам, и всяким с ними.
Суть всего порноконтенте не столько во детализации фрикций или каком-то там 3д окружении, а в том, насколько удачно он ложится на желания юзера (или сам их порождает). От условной фигуристой но подвижной среднетян в фартуке с просвечивающими сосками на кухне, которая во время готовки ненавязчиво намекает и только потом все плавно перетекает в прелюдию и еблю шишка улетит гораздо сильнее, чем просто от красивого бревна, которое уныло но зато детализировано сношают в красиво обставленной гостиной.
>японцам это скажи
Ну нахуй ты вот продолжаешь хуйню писать. А что епонцы? В эру триде у них только иллюжен и был, по сути, не считая мелочей. Где там порноиндустрия-то? У них даже рынок джав, с учетом того что есть целый КНР без порнухи - ужался, потому что коряки попросили подвинуться со своими свинюхами пожилыми, плюс макаки филипинские с островов со своими пластиковыми бибизьянками. Что там дальше? Тонны рисованого под копирку чернобелого говнища? Ну такое себе. Что из этого на острие прогресса и создало там тридедвижок свой, каакие-то новаторские хуйни или хоть что-то? Да там со времен Toei и Nikkatsu когда крупные студии перестали еротику снимать нихуя вообще нет,пинку эйги сдохли и уже даже не воняют. Высирается на всю нихонию 2-3 фильма в год, я про именно еротику. Но и джава тоже в разы меньше чем раньше. Япошки - всё.
Ты какой-то хуевый адвокат кумеров, если в теме нихуя не шаришь. Молчи лучше.
Так там не бронепанцу. Там полноценные анимации с нестандартными позами, озвучкой и т.д. Да и создание полноценной модели всё-таки гораздо более масштабная вещь, чем запил даже сотни порномодов. Но нейрокумеры не делают не только базовых моделей. Я бы даже сказал, что они не делают нихуя.
>>1000720
А я не говорю, что в нейрокуме совсем нет денег. Просто их мало. Куда меньше, чем в куме традиционном, а ведь даже он не является чем-то колоссально прибыльным. Да, шлюхи с онлифансов получают свои шекели. Но в ипподром инвестировать всё ещё выгоднее. Потому что денег там больше, это легальнее и не табуировано обществом.
>>1000743
>Анимации, добавленные мододелами в 99% случаев халтура.
Где, хотя бы и халтурные, терабайты эротических датасетов? Почищенных, красиво оформленных, доступных? А их полтора датасета на всю тусовку. Да и те в общий доступ никто не выкладывает, обрежут 10% для выкладки и идите нахуй. А хуже всего то, что даже в полном виде эти датасеты - невыразимое дерьмище, кое-как слепленное криворукими уебанами.
Нейрокум производит один тип контента - триллионы картиночек из SD разной степени всратости.
>>1000746
>с совокупным творчеством кончай треда
Да нет, один кривенький порномод на скайрим уже на несколько порядков лучше всего, что этот тред сгенерировал. Да ещё и хватит с запасом.
>современные алгоритмы позволяют делать ну оче крутые модельки
Скорее "ну очень кривые". Я второй раз пишу, что речь зашла о том, что реализуемо вот прямо сейчас. То есть традиционное 3д под управлением нейросети. Генерация видео - она будет. Когда-нибудь. Не сейчас. А заставить ллм рулить виртуальной тяночкой реально уже сейчас.
>Нахуй нужна кожаная шмара
Это ты так считаешь. А запили порнографического витубера на онлифанс. Получится отжать хотя бы те же 2% аудитории? Что-то мне подсказывает, что нет.
>Генерация видео - она будет. Когда-нибудь. Не сейчас. А заставить ллм рулить виртуальной тяночкой реально уже сейчас.
Уже сейчас реально много чего. TTS реально, некоторые даже заморачиваются. Генерация картинок в процессе ролеплея, тоже кто-то делает себе. Но в массы даже грамотных анонов оно не идёт и не пойдёт, потому что пока что всё это хуйня. И по той же причине рулёжка виртуальной тянкой тоже получится хуёвая. Пока такого уровня нет. И появится только тогда, когда появится грамотная мультимодалка, которая будет всем этим грамотно рулить, а без этого никак.
Свапаю пару часов уже не могу выбрать что круче
Автор немомикса говорит модель выдает перформанс на уровне 34б местами, но магнум как то больше нравится
> один кривенький порномод на скайрим уже на несколько порядков лучше всего, что этот тред сгенерировал
Учитывая что когда-то этой херней увлекался - ты не просто лукавишь, ты пиздаболище. Нет, разумеется еще в свое время и даже для морошинда пилили огроменные моды и полноценные сторилайны, но это скорее исключение, а общие (квалификация х трудозатраты, которые для них требуются и рядом не стоят с тем, что делают передовые нейрокумеры. В среднем как раз уровень кончай треда.
> Скорее "ну очень кривые".
Словесная эквилибристика, вместо восхищения заслугами и достижениями - "оно не дотягиает до идеала который я придумал", чел, это кринж.
> Это ты так считаешь.
Это все так считают, кроме шмар, которые заимев подобие успеха на общей волне хайпа мнят себя кем-то значимым, а не просто куртизанками средней удачливости. Хоть индустрия инертна - она все перейдет на генеративный ии. Сначала постепенно, потом начнутся "я настоящяя, смотрите", а после уже никто не будет стесняться и сразу пойдут на генеративные сервисы (или будут юзать локально).
> и создание полноценной модели всё-таки гораздо более масштабная вещь
Тня, увлекающаяся запилом моделек и модами для свитков, при этом очень поверхностно осведомленная о современном положении в ии. Потому такая ангажированность и ущемление, уже проходили.
>магнум как то больше нравится
Магнум - галимая синтетика причём в основном на нейрокуме.
Соотвественно кумить - на нём.
В общем рп анлишед лучше.
>передовые нейрокумеры
Единственный кто хоть что-то полезное тут делает, это анон ковыряющий сейко, так что чел выше прав, даже ноль будет больше чем "передовые нейрокумеры" из этого треда.
мимодругойанон
У меня сетап на i9 13900k с 32 гб DDR 5 памяти и карточка 4090 на 24 гига (p.s. - посмотрел на текущие цены 4090 и охуел от того, что она стоит раза в 1.5 выше того, чем когда я ее покупал. Получается инвестиция, епта).
Я вот посмотрел - в теории можно запихнуть до 192 гб оперативки в комп. Уйдет на это 50к, при этом перспективы - туманны. Допустим, я смогу запускать кванты больше, чем сейчас. Но скорость всё-равно ведь упрётся в проц и будет 2-3 токена в секунду? Плюс частоту надо будет снижать у памяти под такой объем, выше 4800 уже не поставить будет.
Или всё-же будет профит какой-то?
Просто покупать лишние видюхи мне некуда, банально негде их разместить (про корпус молчу, тут речь даже просто о рабочем месте). Серверную размещать дома не хочется как-то.
Следил только за Сенко, думал там только один человек этим занимается, энивей молодцы.
>>1001040
Скорость будет отвратительная, с воткнул себе 64GB + у меня в паре работает ещё пара карт суммарно на 24GB врам. Теоретически сюда лезут 70b но для чего-то вроде рп неюзабельно, успеваешь состариться пока сгенерирует ответ.
>А тут есть аноны, которые упоролись в увеличение RAM ради локалок?
Оно того не стоит совсем.
То что ты чего-то не видишь или интересуешься лишь узкой областью кума на 12б лоботомитах - означает лишь узость твоего восприятия, а не актуальную действительность. В треде достаточно анонов что делают что-то полезное в той или иной области, просто на фоне васянов их может быть трудно заметить. А любитель 800летней лисички большой молодец, почет и уважение.
Но речь даже не об этом. Если бы не кумеры, то большинство местных бы даже не узнали о какой-либо возможности запуска ллм, не смогли бы катать что-то кроме как на стандартном трансформерсе с 80-96-143-... гигами врам, мучались бы со своими кривыми скриптами вместо готовых, удобных и функциональных лаунчеров и интерфейсов. И катали бы только старую утекшую лламу, а не обилие различных базовых моделей и тюнов.
Все это или прямо сделано нейрокумерами, или они косвенно к этому причастны. И это лишь только лишь ллм.
А это чудо на полном серьезе сравнивает это с кучей несвежих модов на скурим, такой-то рофл.
>>1001040
> которые упоролись в увеличение RAM ради локалок
Запуск всякого говна, крупные датасеты и прочее требуют много памяти, 64 уже мало.
Что же до запуска больших моделей на процессоре и рам - это страдание без реального юзксейска, низкая скорость множит все на ноль. Если прямо хочешь попробовать - можешь взять новый интол и игросральные плашки с частотами 9000+, об объема даже думать не смей ибо сам причину описал.
Смысла нет. Докинь до второй 3090 и радостно катай до 72B.
>Но скорость всё-равно ведь упрётся в проц и будет 2-3 токена в секунду?
В память. И да, скорее 1,5 токена.
>>1001077
>можешь взять новый интол
И получить отвал, лол.
А какие-нибудь другие немо ты пробовал вообще? Магнум 4 не тестил, но немомикс показался абсолютно каловым на инглише, и по писанине, и по куму. И мозгами не блещет. Может, конечно, не распробовал. Даже Starcannon Unleashed на основе того же немомикса куда более живенький, кмк. Или Rocinante там, те же хронос голд (хотя он поскупее в куме) и MN-12B-Mag-Mell-R1. Ру мёрж Instrumentality-RP-12B-RU от тредовичка тоже реально неплох на инглише. Думаю, потому что там неплохое сочетание хроноса, который разнообразно пишет, с кум-моделью, к которой намешали гутенберг, тьюненный на худ лит-ре, и ещё дообучили для мрачности.
>>1000979
Так в немомиксе самые большие веса для мёржа у того же мини-магнума и Лиры от Сао, у которого в датасетах тоже синтетика, только гптшная, а не клодовая, скорее всего.
Ты все ещё не привел ни один пример реального "что делают" от "передовых нейрокумеров" этого треда. Оно есть только у тебя в голове похоже.
>что делают
>>1001126
>Ру мёрж Instrumentality-RP-12B-RU от тредовичка
Хотя бы например.
Сайга, Сенко, Вихрь, Stepped-Thinking, и прочее.
>Но в массы даже грамотных анонов оно не идёт и не пойдёт, потому что пока что всё это хуйня.
Не столько потому что хуйня, а больше потому что это требует дохуя ресурсов. Здесь не каждому хватает vram ллм-то запустить, а на ттс и прочее ещё сверху докинуть нужно.
Ты вообще хоть раз видел, чтобы анон писал, что ему vram хватает на его любимые модели, он не хочет больше vram и при этом у него достаточно ресурсов, чтобы запустить рядом ещё две-три нейросетки?
Мультимодальность это хорошо, но вряд ли это фундаментальное требование чтобы сделать заебись.
>>1000971
>и рядом не стоят с тем, что делают передовые нейрокумеры
Кривые моды и нихуя. Нихуя и кривые моды. Моды побеждают с гигантским отрывом.
>Это все так считают
Уверен, что даже в пределах этого треда так считают не все. Вон, сейчас модно хейтить игры, в которых использован АИ арт. Ёбаный арт. Даже при том, что он используется сейчас практически во всех играх, но это регулярно вызывает тонны ненависти и попыток отмены. Причём от абсолютно рандомных людей, не художников, не игроделов. Если у них так разрывает задницу от картинок, то страшно представить что будет от торговли нейрогенеративным вареником. И игроделы идут на поводу, заменяют арт, потому что понимают - эти шизы могут их утопить, не купят игру, разведут достаточно дерьма, чтобы никто не купил.
>Тня, увлекающаяся запилом моделек и модами для свитков
Нет, просто шиз, который с какого-то перепуга считает, что я тян делающая моды. Но он фейлит в своих предположениях на каждом шагу, так что это даже смешно.
>>1001150
Если уж анон начал приписывать достижения сторонних людей нейрокумерам - выкрутим градус шизофрении ещё выше. Тодд Говард наверняка хоть раз в жизни дрочил. Значит, кумер. И он пользуется нейронками для создания игр. Значит, нейрокумер. Только благодаря нейрокумеру у нас есть целая серия игр. Чем не передовик нейрокума?
>Хотя бы например.
Которых сверху уже все похвалили, но мержить чужие модельки это даже не уровень мода на скайрим. Stepped-Thinking наверное единственная реально творческая работа, других "проектов" я тут давно не наблюдаю.
Я не умаляю заслуг тех кто что-то делает, они молодцы, но речь изначально шла о том что кумеры скайрима делают фигню а мы тут в треде гении. Вот только реальность этому немного не соответствует, который тред обсуждаем только ниже какого количества vram жизни нет, и сорта русека.
вытер blush об занавеску
Какие-бы промты / карточки вы бы могли изобразить для подобных несколько сюрреалистичных артов?
Разогнал свои 80гб ddr4 до 4000, с 2800, и получил дополнительные 2 токена на 22В! теперь кручу на 3 т/с, жизнь есть. мать жива. 12В в 5 т/с, ахуенно!
Ну вот ты не замечаешь очевидного, потому что жопа в клочь. Сначала твои "достижения" не оценили высоко, а потом еще возносят группу ненавистных тебе опрессоров. У существа, которое думает лишь эмоциями и жаждой собственной выгоды в ущерб всему иной реакции и быть не могло.
> сейчас модно хейтить игры, в которых использован АИ арт
Нет, всем буквально похуй. Модно хейтить за повесточку, модно хейтить за распиздяйство и хуевое отношение к аудитории. А вот это - лишь мантры обиженных, которые за 2 года не смогли смириться и адаптироваться.
Ни единой игры не "отменили" из-за ии арта, зато на каждое из перечисленных мною найдется по нескольку примеров.
> и нихуя
Для мимокроков напомню - вся популярность ллм и генеративного ии, все передовые интерфейсы, библиотеки и модели целиком или частично сделаны кумерами для кумеров.
>Какие-бы промты / карточки вы бы могли изобразить для подобных несколько сюрреалистичных артов
Вот ещё, самому работать. Скармливаешь какому-нибудь пикстралю, просишь у него сгенерить карточку для РП...
>мержить чужие модельки это даже не уровень мода на скайрим
Если бы мержекит был написан кумером - можно было бы записать в одно из величайших достижений. А так. Ну, конфиг написать нужно. В принципе, тоже достижение.
>>1001233
>Сначала твои "достижения" не оценили высоко
Так это не мои достижения, это достижения группы лиц. Которая больше всего сообщества нейрокумеров и объективно достигла куда большего.
>Нет, всем буквально похуй.
Это твоё заблуждение. Которое очередной раз не соответствует действительности.
>вся популярность ллм и генеративного ии, все передовые интерфейсы, библиотеки и модели целиком
А, то есть "Тодд Говард нейрокумер" тебе показался недостаточно шизофреническим и ты докинул ещё сверху шизы. Но реальность такова, что это просто долбоебизм. Передовые библиотеки? Окей, трансформерсы написали кумеры? Или в мете сидят сплошные кумеры, которые тренируют модели для кума, а не запиливают туда десять слоёв цензуры? А ллама сделала для популяризации нейросетей больше Альтмана. Эксллама сделана кумером для кумеров? Ладно, её сделали только благодаря GPTQ, может быть он был сделан кумером? Тоже нет? Блок сделал для кумеров больше самих кумеров, вот только он квантовал модели все подряд, не выбирая только фап-модели. Так что тоже мимо. И где же все эти передовые технологии от кумеров, когда вдруг оказывается, что все пользуются чужими сброшенными с барского плеча в общий доступ.
Вообще для какой-то специфичной хуйни лучше пользоваться чатгпт и тому подобным. например чтобы от того-же Pony SDXL получить вменяемый результат надо быть довольно специфичным в том что ему пишешь.
>И где же все эти передовые технологии от кумеров, когда вдруг оказывается, что все пользуются чужими сброшенными с барского плеча в общий доступ.
Душнит и душнит, а нахуя - непонятно. Тут люди собрались, чтобы наслаждаться плодами революции в области ИИ и делают это со вкусом и удовольствием. Ты же со своими устаревшими понятиями выглядишь натуральным мамонтом. Иди вымирай.
>Вообще для какой-то специфичной хуйни лучше пользоваться чатгпт и тому подобным.
Да, это я погорячился. Ну через год-два не хуже будет и на локалках.
>пик 1 и 2
дженерик фантази, или может на второй какой нить релакс сценарий, но арты слишком без идеи.
>пик 3
Слишком очевидно, но как историк, написал бы какой нить гуро-сценарий про испанцев. бля, а идея ничего такая, пойду писать. Ток вот на РУ или на англе, вот в чём вопрос...
>пик 4
Очевидный "водный мир" с добавлением лёгкой доли шизы про превосходство бесчеловечных людских технологий над живой природой. но тоже какая-то дженерик параша, на арте всё намешано.
Вообще, я заметил, что написание карточек, как и промптов - дело очень зависящее от настроения и вдохновения. Меня толкает что-то написать музыка и, очевидно, история. кум выходит с идеей, с душой. А чем вдохновляешься ты, Анон?
Бля, это было интересно только первые 3.5 раза. Когда уровень поднимешь тогда и приходи, такой срач не доставляет а только депрессию нагоняет насколько все хуево у бедолаги.
>>1001276
Опеновский генератор неоче с точки зрения эстетики и подобного. Он сможет точно выполнить запрос или даже по какой-то игре сразу оформить, но выглядеть будет мэх. Жиджорни и прочие если из коммерции хочется. Но, если на опыте, локалочки тут безальтернативны для хорошего результата.
>>1001302
> написание карточек, как и промптов - дело очень зависящее от настроения и вдохновения
Все правильно, ведь их в конечном счете ты пишешь. Хоть воют про засилье ии и прочего, но забывают что за результатами все равно стоит кожаный.
>Опеновский генератор неоче с точки зрения эстетики и подобного.
Там зато можно скормить ссылку и сказать "ебош отсюда теги и не смешивай их". плюс можно предоставить пример с форматом тегов чтобы потом ручками их поправить немного. я бы сказал что там где-то 65-75% получается от того что я ожидаю увидеть.
Да никто не мешает наслаждаться, просто когда видишь долбоёба настолько уехавшего от реальности, что у него чуть ли не вся аи-индустрия создавалась ради кума, как тут не порофлить? Это же похлеще плоской земли будет, сложно не потыкать палкой в настолько клинического шиза.
Они так-то и кумерские модели вполне себе хотят, и довольно урчат. Плюс удобный доступ к гопоте/клодыне без лишних регистраций и по гибким тарифам, базированные ребята.
>>1001371
Чел, ты забыл базу. Первый вопрос к технологии - можно ли это ебать. Второй - можно ли с помощью этого смотреть за еблей. Привет фотографии.
>Хоть воют про засилье ии и прочего
Воют из за того, что поток говноконтента увеличился.
загляни на чуб и увидишь килотонны говна, сгенерированного по херовому промпту в чатжипитэ одни и те же речевые обороты в описании, ну редактируйте хоть, раз вкладываете, потом зайди на ютаб и посмотри на шортсы, в которых видео пересказано нейронкой и озвучено нейронкой (ну или чем там, хз). ИИ, вместо того, чтобы стать инструментом - выправителем рук, используется вместо этих самых рук и мозгов, зачастую Тут проблема
и в рукожопах без идеи, но с желанием, и в том, что талантливого человека "ИИ" пока не обошел. кроме картинок, нейронки уже уделывают мешки с костями и кисточкой в жопе в сухую, главное промпт им подавай нормальный
>чуть ли не вся аи-индустрия создавалась ради кума
Ты путаешь создание и развитие. За всю историю была куча случаев, когда технологии создавались для чего одного, а использовались для чего-то совершенно другого и развивались именно из-за этого. Да, кумеры это явно не основная движущая сила, но свой вклад они тоже вносят. Че уж далеко ходить - глупая таверна была первым универсальным фронтом задолго до появления прочих интерфейсом, хоть и начиналась как простая вилка оригинальной таверны с возможностью подруба к апишке жопенов.
> Воют из за того, что поток говноконтента увеличился.
Правильно воняют, все претензии были не потому что именно ии, а потому что какой-то треш или артефакты пропустили даже не посмотрев на картинку.
> загляни на чуб и увидишь килотонны говна, сгенерированного по херовому промпту в чатжипитэ
Так только недавно ныл и пояснял почему там одна херь. Реально, хочешь крутую карточку - просишь у знакомых или пишешь сам.
Но не все так плохо, на самом деле в качестве инструмента вполне себе используется, а идиоты и спамеры слопа были всегда.
> кроме картинок, нейронки уже уделывают мешки с костями и кисточкой в жопе в сухую
Аппетит приходит во время еды, запросы всегда стоят на уровне порога возможностей модели. Офк это для задротов, неофиты ахуеют если попробуют.
В анриле же есть процедурная анимация? Просто вопрос качества. И зависит от вида игры — с видом сверху они выглядят норм, а от первого лица уже бросается в глаза неестественность. So-so.
>>1000336
На цивитаи лоры тока так трут.
На обниморде некоторые модели удаляли.
Эт давненько уже.
>>1000348
Причем тут видео к 3D-моделям и играм, простите?
Ну и, допустим, мы делаем игру без 3D, но фотореалистичную и на видео-генерации. Скок там фпс при фуллхд хотя бы? А — нисколько! ФуллХД не идет.
LTX тянет на 4090 при 720p. Но она слабенькая, и близко не отыграет столько сюжетов, сколько ллм.
Ну, в общем, пока что генерить анимацию 3D-моделей звучит попроще, чем генерить потоковое 4К 1080p / 1440p видео с фпс 60, а то и 144+ (а еще есть виар игры=). Не говоря о том, что датасетов таких попросту нет пока что.
>>1000362
На оперативе? Закапывай.
Гигачатлайт, лол, хоть какую-то скорость получишь.
Но если терпеливый — тогда хоть Gemma 2 27b!..
>>1000461
> Не замечал
Эээ… Ваще делают.
> кумеры из сообщества ТЕС
Думаю, сопоставимо или даже меньше.
Virt-a-Mate имеет несколько плагинов для LLM, даже в этом треде раз в 3-4 месяца обсуждают это.
>>1000585
Откуда вы беретесь со своими «между игрой и ллм происходит магия и оно работает»? :) Нет, между игрой и ллм ТЫ ВСЕ ДЕЛАЕШЬ САМ. Т.е., оформляешь тонны промптов, которые передают ллм инфу так, как тебе надо.
Это и с LLM=>3D Animation работает, и с инфа из игры=>LLM.
Это очень много работы. Но когда ты ее сделаешь — как раз с ллм будет все довольно просто.
Если не хочешь держать всю игру в контексте — ну настрой раг динамический, чтобы твоя прога записывала то, что произошло.
Но насколько реалистично… Честно — не знаю. Все зависит от того, как ты сможешь подать инфу из игры. Мне кажется, вполне возможно, просто ллм не сильно умеют шутить, учти это.
>>1000615
В данном случае, присоединяюсь к этому комментатору. Скорее всего так.
>>1000627
> Или нет.
У Хуньюань все весьма норм, на самом деле. =)
Но, да, косяки случаются.
>>1000648
> Чет проиграл, ты тян?
Гении, как вы до такого додумываетесь!.. (безиронии)
>>1000667
Если игра достаточно сложная — то да, или лорбук, или дообучение. Соглы.
>>1000701
> Как это правильно загнать в локальную языковую модель?
Скорее «никак». Либо подрубать RAG, что терпимо но так себе по решению, либо дообучать, а это составлять датасеты (очень накладно), потом арендовать железо, запускать обучение… При этом, сам навык комментирования можно брать у комментаторов, но комментаторы комментировали при одних метах, а у тебя уже обновилось все. Ну, короче, это возможно, но нужны человеко-часы и деньги, ИМХО. Один ты будешь год это делать. Каждый день по 8 часов, имеется в виду.
>>1000702
> Создание сборки это чуть ли не целая религия.
Вопросов нет, собирать из кирпичиков интересно.
Но…
> А что сделали нейрокумеры?
В первый же месяц переизобрели жанр визуальной новеллы с динамическими персонажами, фонами, озвучкой и твоей личной историей на базе SillyTavern?
>>1000720
Орнул.
>>1000725
> В 2015 году CNBC отрапортовали, что годичный оборот в индустрии развлечений для взрослых — 15 млрд долларов.
> Фильмы заработали $33.9 миллиарда в 2023 году
Учитывая, что данные старые и примерные, порноиндустрия вполне сопоставима с другими.
>>1000740
Не, ну технически — 720p уже сейчас у тебя дома, если ты не бомж. Так что, скорее пять, чем пять…десят.
>>1001040
Или МоЕ, или ради тестов.
У меня 128 ддр4, допустим у тебя будет скорость вдвое выше, но это все еще «2-3 токена/сек», и это если ты не пихаешь большую модель, и приличную часть держишь на видяхе.
123б в шестом кванте вряд ли выдаст 3 токена. =)
Так что, не стоит.
64-96 — норм, да. Больше — ну такое.
>>1001230
Ну это… Поздравляю!..
>У Хуньюань все весьма норм, на самом деле. =)
Ага, каждый десятый раз.
>Не, ну технически — 720p уже сейчас у тебя дома
Ты про рантайм пропустил. Оно там секунду генерит по 3 минуте (ну или не 720, а 144, лол).
> Ты про рантайм пропустил
Тут бедолаги с 1т/с сидят ради "качества моделей" а ты что-то про реалтайм видео, зажрался сука!
Снёс к хуям это говно.
Какая модель не полезет в соевую залупу и не будет игнорить описание персонажа в карточке?
> Ага, каждый десятый раз.
Скилл ишью, учишься промптить, не так легко, но со временем количество успешных существенно растет. Ну и семплеры по ситуации выставлять надо.
> Ты про рантайм пропустил.
1. Реалтайм, а не рантайм.
2. Я тебе буквально про это и говорю. Повторю, если у тебя очень плохо с буквами, в третий раз: LTX-Video 720p генерит 5-секундное видео на RTX 4090 за 4 секунды.
НО! Она 2b, маленькая, и качество там ну так себе, по сравнению с хуньюанем. Черрипикнуть можно, времени уйдет плюс-минус столько же. Короче, даже так, все равно не вариант, конечно.
>>1001532
> Тут бедолаги с 1т/с
Простите-извините, мы случайно!
Благодарю, ХЫХ
Да, надо бы потыкаться в настройки. А по поводу генераци.. Ну да, в строчек 8 текст может генерить 50 секунд или более.. Но зато сразу читаешь, по мере генерации. Такой вот кум.. Зато работает
Анонче, так и не было цели "учить как надо". За советы спасибо большое, может позже поразбираюсь. Цель то была закумить в своё удовольствие. Но оказывается кучу ошибок допустил. Мне только от слова "кванты" становится страшно
Спасибо! Да, уже выше напписали что я тут пытаюсь на газонокосилке вспахать огромное поле.
Довольно известный видос, тут прикрутили живое общение и озвучку, даже видео на генерации в риалтайм. Может чем-то поможет по сабжу
https://youtu.be/ciyEsZpzbM8?si=eIk_r1AGRdo8X4Nk
>Мне только от слова "кванты" становится страшно
Вот для кого шапка висит, интересно. Там всё уже разжевано. В крайнем случае всегда можно в треде спросить. Тут такие дятлы иногда шизу свою втирают, что твой вопрос никого не удивит.
>Ты путаешь создание и развитие.
А ты шиза перечитай
>вся популярность ллм и генеративного ии, все передовые интерфейсы, библиотеки и модели целиком или частично сделаны кумерами для кумеров
Библиотеки, модели, интерфейсы заслуга кумеров. Это же просто анекдот.
>Да, кумеры это явно не основная движущая сила, но свой вклад они тоже вносят.
Пока что кумеры выглядят, как пользующиеся всем готовым. А сам кум всего лишь сопутствующий профит, а не движущая сила.
>>1001517
>Просто вопрос качества.
Помнишь Эйфорию из ГТА4? Или Анчартед с касаниями персонажем предметов. Любая инверсная кинематика, когда персонаж реально наступает на ступеньку, а не зависает ногой над землёй. Вся суть процедурности в качестве и естественности, которая приходит на замену деревянным болванчикам с предустановленными анимациями.
>Гении, как вы до такого додумываетесь!
Так это в свойствах шизов прописано. Неспособность объективно оценивать реальность. Потому такие выводы, которые для адекватных людей выглядят рандомными и необоснованными - в случае шизов абсолютно ожидаемы.
>В первый же месяц переизобрели жанр визуальной новеллы
Это точно было сделано кумерами ради кумеров или кум был всего лишь сопутствующим фактором?
>А ты шиза перечитай
А, этот кусок я пропустил. Ну там чел явно перегнул, хотя вы друг друга явно стоите. Только у вас крайности разные.
Я не могу все его модели или схожие сам потестить, ибо модели там шизло ебаное — пока настроишь под себя, сделаешь нормально, много времени пройдёт, а не за 2 минуты, как обычно.
В принципе, я могу скачать не 12b, но что-то мне подсказывает, малый квант даст результаты значительно хуже, особенно с учётом того, что мне требуется больше 8к контекста.
Если на русском, то от Aleteian, ссылки выше посмотри, если на англе, то лира даркнесс, есть ссылка из метаданных там же или через поиск.
>>1001760
>скатываться в несчастливый конец
Это конкретно промтом надо, но в целом у инструменталити не сказал бы что позитивный биас.
>>1001760
>я могу скачать не 12b
Клиффхэнгер в шестом кванте (который от Дэвида).
Не, я на русском даже не пытаюсь пока что, разве что когда совсем мозги не работают и я не в состоянии английский нормально использовать.
Увы, клиффхэнгер мне только в четвертом малом кванте пойдет только, в лучшем случае в медиум. Полагаю, читывая размер модели, деградация будет очень сильной и лучше юзать 12b 6-8 квант, а не 18.5b в 4 малом кванте.
У меня 12 врам. При полном контексте всего лишь 7 токенов в секунду на 12б с выгрузкой части слоев на цпу (ибо 16к контекста, иногда больше), и даже такая скорость меня коробит, потому что рпшу с размахом обычно по всяким карточкам огромным и с ролбуками, и каждый пост от нейросетки по 512 токенов — ждать долго, если там упадет до 3 токенов в секунду.
Ах да, забыл написать. Ты прав, что управлять надо промптом, но порой это гиблое дело в рамках большого контекста или требует лишнего мозгоебства.
Ввиду того, на чем модели обучались (чистейшая соя из вазэктомированных яичек собоя, которому парень его девушки подарил свитч в честь операции), модель очень легко сделать милой и няшной промптом из двух слов, а вот наоборот — гораздо сложнее. Даже если её дообучали на чистейшей резне.
Поэтому я почти всего делаю выбор в пользу «злых» моделей.
Плюс обычные модели при надобности не могут в яркий графический ужас или мрачные и действительно литературные описания, если это не 70б или некоторые 30б~
От карточки ещё зависит, и от персоны. Я себе в сценарий добавил пару десятков строк в стиле старины Говарда Филлипса и добился что на кровь_кишки_распидорасило персонаж реагирует не соево, а рушить проскочившую надежду на лучшее было отдельным удовольствием.
модель если что была MN-GRAND-Gutenburg-Lyra4-Lyra-12B-DARKNESS-D_AU-Q6_k
>У меня 12 врам
тогда лучше 6той квант 12б моделей, да, у меня 16 (12+4), и меня не напрягало на полутора токенах в секунду сидеть.
( сворачивал браузер и делал работу )
ну правда полтора токена - это на Qwen2.5-32B-ArliAI-RPMax-v1.3-Q6_K и чём-нибудь сходном 20ГБ+ веса ггуфа.
>>1001835
>пару десятков строк
поделись =))
Я ща вот такой системный промт использую - https://characterhub.org/characters/aleteian/storyteller-124d69a2f4aa
>Гранд гутенберг даркнесс
Лол, ну вот тут как раз можно даже без промпта, а если модель кочевряжится, достаточно оос написать, чтобы изменить надежду на лучшее.
Я постоянно эту модель использую и, увы, иногда приходится менять, ибо она слишком нестабильна, особенно когда нужно предельно четко выполнять инструкции из карточки. Вот тогда-то вылезает вся параша и соя на иных моделях. Магмел, анлишед, унслоп немо, хронос, стар че-то там — всё это соя.
Да, это исправляется, но тяжело. В первую очередь из-за context attention. Иногда можно хоть усраться с промптами на "обычных" моделях, но он будет их не замечать, и нужно раза три свайпать или прямо писать, понижать температуру. Это раздражает.
Поэтому вот я и ищу мрачную модель, но постабильней или хотя бы просто поинтересней.
Вообще, жаль, конечно, что среди малых моделей аналогов вроде бы нет. Я тыкал в 70б, загрузив всё в оперативку в рамках теста, и она хорошо следовала инструкциям, не скатываясь в сою как 12б. Во всяком случае, в рамках моего маленького тестирования из-за длительной генерации.
> Это точно было сделано кумерами ради кумеров
Чисто технически, это было ради РП, но я не уверен, чего больше — РП или ЕРП. Все же, именно рпшат часто в кобольде, а в SillyTavern уже ерп ради погружения и более тонкой настройки вселенной ллм. Как минимум, это ради ролеплея. Насколько дрочибельного — субъективная стата не аргумент, так что ок, не буду прям утверждать.
>>1001860
Просто серверный проц и 512 оперативы.
https://huggingface.co/bullerwins/DeepSeek-V3-GGUF
>Просто серверный проц и 512 оперативы.
у меня 128 Гб оперы.
Можно ли запустить хотя бы Q4_K_M?
>она слишком нестабильна
Гоняю на температуре 1 и всё окей, свайпы крайне редкие. Вообще, моделька не так заточена на чернуху и, как мне пока кажется, прекрасно выполняет general purpose роль. Я на ней и ванильные сопли гонял, и кум, очень послушная. И русик тянет, плюс минус. Может ты просто не гонял модели которые при малейшем чихе в шизу падают и просто игнорят инструкции, карточку, промпт и вообще, user, пошел-ка ты нахуй, я сам с собой рпшу?
>>1001838
Все по классике, всякие неописуемые ужасы столь древние и невообразимые что простой смертный сходит с ума лишь от одного их присутствия а храбрецы замирают во всепоглощающем ледяном страхе пронизывающим саму их душу Почитай пару произведений, хотя бы в переводе и сам напишешь, у меня в сценарий карточки слишком вписано. Советую начать с хребтов безумия и "За гранью времён".
Ты на приколе?
IQ1, если его сквантует кто-нибудь.
Бомжуем, ждем.
Там обсуждение Q2 для 256-ГБ-среднего класса. Он точно будет.
671B параметров. 4 бита на вес — 335 гигов, грубо говоря.
671/128=0,2 байта~1,6 бита. Были бы тернарные веса… =)
Но вообще, я надеюсь, 1-битную сквантуют, хотя бы ради интереса погонять ее.
>Почитай пару произведений
Увы, неплохо, но у него больше рассчитано что человек сам себя пугать будет. Как известно самый сильный страх - страх неизвестного.
Хотя элдрич мифы породили тонны годноты в сопутствующем содержимом - настоллки, ролёвки, пк игры.
>В первую очередь из-за context attention
Не пробовал в постхистори инструкции вставить короткую напоминалку в 2-3 предложения про придерживание мрачного стиля или чего там конкретно тебе хочется? Хотя именно придерживания нейтралитета сложно промптами добиться. Тут байас не в положительную, так в отрицательную сторону будет. И оно, конечно, тоже неизбежно будет от карточки внимание отвлекать, но если прямо коротко и по существу, то может и норм будет работать. Можно даже через лорбуки или авторские заметки кидать такой инжект не каждый ход, а с кулдауном в несколько ответов. Чтобы отвлекалось на напоминалку, потом без неё в контексте нормально продолжало рп, потом снова переключало внимание на неё. Всё лучше, чем регулярно через ООС пинать.
>IQ1
>Q2
Чем так лоботомировать ~30b активных параметров, лучше взять обычную 70-130b.
Двух тесл не хватает, а третью не купить (, чтобы пользоваться такой сеткой с адекватной скоростью.
Что делать в таком случае?
>Что делать в таком случае
аренда виртуальной машины или забить ибо разница не настолько принциальная
>Двух тесл не хватает, а третью не купить (, чтобы пользоваться такой сеткой с адекватной скоростью.
>Что делать в таком случае?
Адекватная скорость на нём к сожалению только на 3090 и выше. Сегодня вот третью купил, к концу месяца обещали подогнать и четвёртую. Буду распродавать свой старый риг P40 занедорого, может тогда и купишь.
>Буду распродавать свой старый риг P40
А разве кумить на картах, на которых уже кто-то кумил, не зашквар?
> Простите-извините, мы случайно!
Впредь будьте внимательнее! А то, понимаешь, распугивают пролетариат своими скиллами!
>>1001733
Не устаю проигрывать с рванины.
>>1001860
Чтобы быстро - иметь нечто типа пикрела. Просто познакомиться - на сервере где много рам. Еще есть публичные демки, но там в большинстве фиксированная соя, префилл и так себе системный промт.
Учитывай еще что эта падла ахуеть сколько весит, потребуется большой диск.
>>1001879
> именно рпшат часто в кобольде
Чуть меньше чем никто, все рпшат в таверне. В ней даже кодинг обсуждать вполне, хотя довольно специфично.
>>1001906
Оно и просто так лучше с точки зрения восприятия чего-то дохуя сложного и абстрактного. Этот дипсик не блещет сообразительностью и пониманием от слова совсем, по сравнению с большими моделями. По следованию большой серии комманд на уровне чмони, начинает фейлить примерно в том же месте.
В кодинге ебет, пару раз давал ответы уровня опуща, но по свежим и последним вещам которых тот не знает.
А в остальном - ну оче сомнительно, буквально чмоня с меньшей цензурой но без дополнительных модальностей, с колоссальными требованиями к железу.
>Чуть меньше чем никто
рпшу в кобольде и что вы мне сделаете XD
Точно не зашквар - трахать шахтеров девочек-используемых-ранее-для-раскопок
>>1002004
Какой нонконформист!
>нонконформист
просто саму таверну пытаются насадить как единственный и безальтернативный метод, хотя, как и с любым инструментом, надо понимать когда он тебе нужен, а когда излишен и можно обойтись простым советским (ну хорошо, не советским) функционалом кобольда, который делает всё что надо без изъёбов, подсёров, и тормозов
Ну, таверна та еще херня конечно, но почему-то кроме нее толком нет тузлов, которые могли бы в нормальный промт менеджмент для рп и базовый функционал с сообщениями. Или совсем примитивщина по шаблону, или ее вариации. В кобольде еще и интерфейс чата совсем минималистичный и неудобный. не говоря о том что это жора
Без осуждения если что, нравится и хорошо, просто с ним будут заведомо хуже результаты еще.
>на обниморде пишут про 8 x 80 a100
> иметь нечто типа 150 гб карты
bruh.
>рванины
>пикрела
>чмони
>опуща
>ну оче
читать тебя противно. Тут культурные дрочеры сидят
>>1002065
кстати да. Я кобольдовским ui пользуюсь чтоб посмотреть насколько зацензурена модель, без всяких дополнительных промптов от таверны. Прошу его написать анекдот про... хотя РП всё таки в таверне поинтереснее, со всеми её свистоперделками. А вообще, есть ли какие другие уи, столь же удобные?
>заведомо хуже результаты еще
Я говорю именно про связку coboldcpp - sillytavern.
Если ты про неё же то тут ты не прав.
Если ты используешь другой бэк, или используешь таверну для подключения к другим апи, то тут мои полномочия всё, не могу ничего сказать.
Какие есть прорывные модели 14B-22B? Пробовал Mistral-Small-22B-ArliAI-RPMax-v1.1-Q3_XXS результаты разочаровывающие, нередко хуже чем в NemoMix-Unleashed-12B-IQ4. Сам бы по экспериментировал, но скорости на ~22B просто улиточные 1.8 т/c при мельником, менее 3к контекста.
>Я говорю именно про связку coboldcpp - sillytavern.
ебать ты всех наебал ахахаха.
Pantheon-RP-Pure-1.6.2-22b-Small
А вообще, с такими квантами, если не хочешь играть в переписку по почте, то гоняй 12б в шестом кванте.
Ниже 4го - потеря 80%+ когнитивных способностей модели.
> иметь нечто типа 150 гб карты
> NVIDIA GH200 Grace Hopper Superchip, 144GB 4.9TB/s HBM3e + 480GB 900gb/s shared memory provides up to 624GB of fast memory
С подключением, рванина.
>>1002094
> Я говорю именно про связку coboldcpp - sillytavern.
Там только про чат-интерфейс кобольда и его возможности. Именно таверна обеспечивает правильный промт с рядом фишек и дает интерфейс с нужным функционалом. Увы, полноценных аналоговнет, что печально.
Как уже сказали 4 квант это нижняя граница приемлемого.
В целом из низко-средних моделей 20-30b на базе мистраля можешь посмотреть эти:
Cydonia-22B-v1.2 - есть ещё 1.3 но 1.2 мне больше зашла. Иногда лезет в трусы, надо тормозить.
magnum-v4-22b - красноречивый, но датасет в целом хуйня
Pantheon-RP-Pure-1.6.2-22b - уже советовали, гуд для рп, так себе для ерп(сухо пишет)
MN-Dark-Horror-The-Cliffhanger-18.5B-D_AU - требует точной настройки(все есть в доках), но результат очень веселый. На текущий момент мой фаворит ерп. Не жди что она будет идеально следовать логике и промту.
Ну и отдельно стоит гема gemma-2-27b и её вариации(abliterated), очень умная но есть цензура и плохое ерп. В целом юзабельно но придется постараться.
Имхо само собой.
>правильный промт
срёт она в промт, всё что мне надо я в карточку пишу
(да я знаю, теперь, что лишние поднадусёры можно отключить, но это куча возни и иногда они возвращаются)
А редактирование и удаление сообщений в ней вообще через хитро закрученную задницу с кучей ненужных кликов.
Не, если тебе зашло, то ок, кто против.
> срёт она в промт
А что именно срет?
Там важно правильно оформить системный, поместить карточку, примеры, историю постов, и после этого обеспечивать правильный инстракт формат, это самый минимум. Кобольд полностью это делать ленится, умеет убабуга но она еще хуже кобольда по интерфейсу, только тестить модели.
> А редактирование и удаление сообщений в ней вообще через хитро закрученную задницу с кучей ненужных кликов.
Редактирование нажатием кнопки "редактировать", удаление или по одному или одним кликом все с конца. Хватает неудобств на самом деле, но они не особо принципиальные и важные.
> если тебе зашло
Если хочешь хорошего экспириенса - нет альтернатив. Я не против других интерфейсов, но хотелось бы в них видеть какой-то приличное развитие, а не минимализм ради минимализма (ладно кобольд без претензий всегда был), или унылый закос под сайт гопоты без функций.
Забавно что на форуме куртки лет 5 уже жалуются на это говно и куртке похуй.
После ввода или изменения поля оно само проставит их двойными, на запрос они идут как есть а не в виде какого-то внутреннего символа.. В блоках кода ``` ``` оно работает также корректно. Обозначь точнее чего хочешь.
Что за задержки и на что влияет? ЛЛМки то начали быстрее крутиться?
а как вы решаете проблему замкнутого состояния?
например ролеплеите вы, сюжет шатко-валко, но двигается и сетка не повторяется.
Потом начинается постельная сцена и все - капут.
Возникает петля, в которой вам ни туда-ни сюда.
Типа
user: я тебя ебу
сеть: ты меня ебешь, ах, темп все быстрее, кровать скрипит все натужнее, я почти кончила
user: я тебя ебу
сеть: ты меня ебешь, ах, темп все быстрее, кровать скрипит все натужнее, я почти кончила
user: я тебя ебу
сеть: ты меня ебешь, ах, темп все быстрее, кровать скрипит все натужнее, я почти кончила
user: я тебя ебу
сеть: ты меня ебешь, ах, темп все быстрее, кровать скрипит все натужнее, я почти кончила
и так может длиться вечно, пока ты не разорвешь это сам. Сеть по своей инициативе этот цикл разрывать не умеет.
И до абсурда доходит - ты там уже должен настолько сильные фрикции делать, что уже пространственно-временной континуум не выдержит, а она все "ты ебешь меня ещё жощще, ах, я почти кончила".
Хуйня какая-то выходит.
Я думаю, что туту по любому должен из этой ситуации выводить сам пользователь. Предполагаю, что надо просто самому придумывать случчйные события, но это как-то не прикольно. Я нейросеть запускаю чтобы она за меня придумывала, а тут блять свое воображение приходится включать. Я так на одном воображении и без нейросети подрочить могу - по старинке.
И подвержены этому вообще все сетки, которые я пробовал, проблема фундаментальна.
Короче, чё с этой хуйнёй делать?
>Я нейросеть запускаю чтобы она за меня придумывала, а тут блять свое воображение приходится включать. Я так на одном воображении и без нейросети подрочить могу - по старинке.
I feel u bruh
>чё с этой хуйнёй делать?
Трейнить свою нейросеть. Или на эти деньги 3д шлюх ебать до конца своих дней и ещё внукам останется.
>а как вы решаете проблему
Закидываюсь копиумом и двигаю сюжет сам, пока сетка поддакивает. Закрываю вкладку и иду читать двощи/смотреть аниме/гонять в скурим с модами. По настроению, короче.
>Короче, чё с этой хуйнёй делать?
Хм, странно, а какие пробовал?
Я вот тестил когда карточку секс-куклы, там вполне "акт" моделька заканчивала сама, вот только щас проверил.
Сорри за кринж, но специально не свайпал ни единого раза и не особо старался в сообщениях, и не редачил странные речевые обороты.
>доприбыл
>подарение
дай угадаю - китайская сетка?
с захвата семени проиграл
в основном я сижу на magnum v2 123b, но это наблюдалось во всех, которые я пробовал - гемма 27, lumimaid 123b, miku 70b, ну и в меньших сетках, там я уже не помню что я юзал
я хз, может я что-то не так делаю? Может кто-нибудь проверить мои настройки таверны?
>Я думаю, что туту по любому должен из этой ситуации выводить сам пользователь.
А, стоп, если у тебя прям ЖОСТКО и по всякому запрещено в промте писать за юзера - то оно так и будет. Пока ты сам не напишешь что кончаешь, моделька честно слушается ромта и не пишет ничего за юзера.
А то пробивает своим ездаком, кровать, пол, землю, кору, ядро, пространственно-временной континуум... и всё не может догадаться написать что кончает сам.
>123b
Ещё и крупная сетка которая честно старается следовать промту.
не аргумент. Кончать могут оба персонажа, участвующие в сексе.
Сетка сама никогда первая не кончает.
Как заставить кончать нейросетку?
>>1002361
напиши нормально что за модель
>>1002363
так почему отыгрыш-то говно?
>напиши нормально что за модель
neverendingstory-q8_0.gguf
>>1002365
>так почему отыгрыш-то говно?
хз, не юзал ничего старше 32б
У меня таких проблем не возникало.
>Как заставить кончать нейросетку?
Написать в промте что в хентае непись может кончать первым?
Мне всегда казалось, что на кум моделях проблема сделать так, чтобы перс сетки не кончал в том же ответе, в котором начался секс. А вот такую проблему, по-моему, вообще никто не упоминал. Прозвучит контринтуитивно, но, может, у тебя из-за штрафа на повтор что-то сломалось, и лупы пошли, потому что никакие токены не подходят. Он какой-то совсем большой у тебя стоит, обычно выше 1.2 не рекомендуют, да и то на ограниченном интервале. Олсо просьба писать короткие лаконичные сообщения в карточке противоречит "пиши детально" в системном. Может, из-за лаконичности сдерживает себя и не развивает сцену.
А что не так? Оно же не написало, что можно пускать. Оно написало, что ты агрессивный долбоёб, которым ты и являешься. Я тоже иногда спорю по всяким повесточным вопросам (так как это настоящий спор, ибо сетка не соглашается с мнением юзера и старается отвечать адекватно), но у меня никогда не было столько сои. Только аргументы на мою базу.
чел, проблема не в том, что ей запрещено или явно не разрешено кончать. Проблема в том что она не ведет переписку сама, активно. Её веду я. Весь сюжет развиваю я блять.
Как с этим бороться?
И даже если дать ей вести сюжет - она ведет его дефолтно. ОРЧЕНЬ дефолтно. Если ты сидишь один дома то с 98% вероятности тебе в дверь позвонит или учительница, или одноклассница.
Это тоже проблема. Если сама развивает сюжет - то только самый дефолтный.
>>1002413
так я его потому и повысил, что он в лупы сюжетные скпёатывался...
Попробую ресетнуть профиль, посмотрим...
У тебя ещё промпт получается довольно странный. Если ты дефолтный шаблон контекста не менял, то у тебя будет там идти сначала системная инструкция, а потом начинаться дескрипшен со слов "Описание собеседника". Тут у сетки может быть путаница, что собеседник - это её компаньон пользователь, а не персонаж, которого она должна отыгрывать, потому что в карточке там опять про персонажей. Переназови лучше карточку типа "рассказчик" и напиши в конце системного промпта "ты выполняешь следующую роль". Тогда оно корректно перетечёт в описание роли рассказчика. Иначе тут не каждый мясной мешок разберётся, что ты хочешь. Можно слегка активнее промптом давить. Вместо "задача собеседника развивать сюжет" написать что-то вроде "Продвигайся по сценарию и заставляй своих персонажей проявлять инициативу. Персонажи, которых ты играешь, должны правильно реагировать на речь, действия и эмоции {{user}}." Ну и smoothing sampler меньше единицы можешь навернуть, что-нибудь около 0.5. Для большой модели это не должно привести к шизе, но поднимет много токенов в пуле повыше.
Ещё галку добавления имён в инстракте может иметь смысл поставить, чтобы в чате стояли {{user}}: и {{char}}:, меньше путаницы для сетки. А то сейчас в промпте твои и нейронки реплики только по префиксам/суффиксам инстракта отделяются, если они вообще стоят. Хотя мб у тебя в другом месте галка стоит, где Always add character's name to prompt. Никогда не понимал, зачем там две эти раздельные опции. Вторую всегда отрубаю, т.к. в инстракте включены имена.
> Как с этим бороться?
Дать сетке нормальный промт. Чтобы в начале общая инструкция, вводная, описание персонажа, тебя, примеры диалогов, и все это оформлено в правильную разметку и/или инстракт.
И сразу начнет и сюжет развивать, и диалоги вести, и отклоняться от совсем дефолтных вещей. Офк еще может быть проблема в модели, скачай нормальную.
>Как с этим бороться?
https://github.com/Samueras/Guided-Generations
Зачем, когда можно просто промптить? Только совсем отбитый будет сидеть кумить и перед каждым сообщением бота командовать ему "ты меня ебёшь".
Да, учитывая, что там по ~12B, ощущение, что она буквами срать будет рандомно.
Но порофлить и попробовать было бы забавно все равно.
>>1001997
> Чуть меньше чем никто, все рпшат в таверне.
Судя по этому треду — очень многие в кобольде так и сидят, к моему удивлению. Прям слишком часто за последние треды именно кобольд без апишки в таверну обсуждается, хз.
———
Ну че, утром узнаем цены на 5090 и тред опять порвется на «ебать я на проце сижу, зажрались!», «ну, однозначно, покупаю две!» и «ебать вы лохи, вас наебывают, надо арендовать/собирать риги 3090!»
Одно говно на питоне, нормальные челы на ламе.цпп сидят.
Уже тем что кобольд открывается за один щелчок а угабуга за 3
> Судя по этому треду
Увы, много всякого можно повидать.
> узнаем цены на 5090
А по железу там что-нибудь уже есть? Цены в последних "утечках" говорили что подрежут, но возможно это вообще маневр со сдвигом линейки, а там будет херь на 24 гига, тогда как настоящую 5090 сделают ти/титаном и релизнут позже.
> «ебать я на проце сижу, зажрались!», «ну, однозначно, покупаю две!» и «ебать вы лохи, вас наебывают, надо арендовать/собирать риги 3090!»
А можно сразу на всех стульях усесться?
>>1002706
Скачивается одним файлом для хлебушков, дает базовый функционал, а там кто априори сидит с выгрузкой другого и не нужно.
>надо арендовать/собирать риги 3090!
Нахуй, блядь, я 3090 купил неделю назад, чисто ради ЛЛМ-ок. Сука, эта хуйня оказалось нерабочей и выкидывающей черный экран. Придется возвращать(надеюсь вернут хоть часть денег за это дерьмо) и покупать 4090, блядь.
>узнаем цены на 5090
Э, бля, куда? Я же завтра 4090 себе покупаю.
> эта хуйня оказалось нерабочей и выкидывающей черный экран
Уверен что проблема не с дровами, материнкой, монитором? Встречал даже те, которые артефачили, но там проблема в кабеле hdmi была.
> и покупать 4090
И почем нынче удовольствие?
Можно будет запускать 70б модели с 16к контекстом со скоростью хотя бы 15т/сек?
Не сливают, это их нормальная цена. Да, можно, порядочные господа это уже 1.5 года практикуют.
Гугли обзоры, ну че ты. Днище гнилобит, палит и мсины - днище. Геймрок, старшие мсины и петушкиаорусы - заебись. Асусы норм, китайцы которые типа kfa - херь.
Удаленно - также как и сам бы проверял, игровые бенчмарки, мемтест (прогой или occt), лучше попросить запустить нейронку типа диффузии. Но хер ты так внимательно карточку визуально осмотришь и нет гарантий что отправят именно ту.
>Уверен что проблема не с дровами, материнкой, монитором? Встречал даже те, которые артефачили, но там проблема в кабеле hdmi была.
Подключал и другой монитор(новый купил в нормальном магазине, тогда же когда и видяху) и по hdmi и по display port, и старый монитор подключал, и пихал в свою старую материнку с ам4 сокетом, и в новую с ам5 сокетом пихал. Перед установкой новой видяхи сносил дрова старой видяхи через ddu и потом ставил последние дрова на новую видяху, и понижал в мси афтербернер мощность 3090 до 50%. Все бестолку, на стрес тесте черный экран вылетает, который лечится только ребутом. И дело не в PSU было, т.к. у меня 1250w, этого должно хватать с головой. Единственное, что не пробовал - переустановить шиндоус. Но сомневаюсь, что это поможет. Да и мне лень и похуй уже, т.к. из нормального магазина заказал уже 4090 и завтра буду забирать идти.
Да и я присмотрелся к этой 3090 и там рядом с конекторами питания плата тупо поплавлена. Походу на ней майнили до этого и убили её нахуй просто.
>И почем нынче удовольствие?
2200 usd за 4090
> на стрес тесте черный экран вылетает, который лечится только ребутом
Если при этом оно мертво виснет, не реагируя на намлук, или отваливается если сделать главный выход на другую видюху-встройку то мертвичина. Меняй раз есть возможность, буывает.
> 2200 usd за 4090
Ахуеть, пусть с учетом другого курса, но по сути раньше в ту же сумму была пара. Может тебе дождаться релиза 5к или взять 3090, которая и так дешевая?
>Да и я присмотрелся к этой 3090 и там рядом с конекторами питания плата тупо поплавлена. Походу на ней майнили до этого и убили её нахуй просто.
Вот, не знаю насколько видно.
>дождаться релиза 5к
Да нахуй, буду так всю жизнь ждать. Когда она там выходит? Это СЕО нвидии объявит завтра только, а в продаже повсеместно она через сколько будет? Год еще ждать? Нах. Уже давно хочу и локально генерить картинки и локально ЛЛМки гонять, всё, не могу больше. Заебало ждать.
>взять 3090
Не-не-не-не, больше никогда не буду брать б/у хуйню, я ебал.
> гой
> теславод
Чето обзмеился
>>1002760
Такое стоило бы просто посмотрев сразу отсеять.
>>1002767
> Когда она там выходит?
Придется подождать, но хотябы завтра узнаешь стоит ли того выигрыш. Брать заведомо устаревшую штуку по цене х1.5+ в день выхода новой - некст левел.
> Не-не-не-не, больше никогда не буду брать б/у хуйню, я ебал.
Не можешь делать выводы и анализировать - придется платить налог на глупость.
Я лично на убе сижу, ибо иногда exl2 кручу, ну и просто привык.
А вообще, как API разницы нет.
Тока кобольд распаковывался с нуля каждый раз раньше, а сейчас хз как.
>>1002722
> А по железу там что-нибудь уже есть?
На коробке написано 32 гига. Уже что-то терпимое.
> А можно сразу на всех стульях усесться?
Ну давай, завтра прокомментируешь. )))
>>1002723
Оу, сочувствую, бро! Надеюсь вернут и у тебя все будет хорошо!
И на 4090 пусть цены упадут для тебя! ^_^
>>1002726
А зочем?.. Ну, дело твое, не факт, что 50хх поколение уронит цены на 40хх, у них же принцип сейчас «платят за производительность», т.е., снижения цен это вызвать не должно. Но, увидим, че как.
>>1002737
Лучше 3090ti, у них память надежнее.
>>1002746
> из нормального магазина заказал уже 4090 и завтра буду забирать идти.
Если можешь себе позволить — база, поздравляю. Берешь и пользуешься, наслаждаешься.
>>1002767
Скорее всего месяца через 2-3, но цены будут задраны. А уже через полгодика норм. Но это так «немного вероятно», гарантий никаких, как пойдет дело.
> На коробке написано 32 гига.
Видами по воде, офк хочется, но такой шаг после 16 гигов в 5080 выглядит странно. Подсунут 24 или 28 с лопаты и привет.
> Ну давай, завтра прокомментируешь. )))
А че тут комментировать, нужно сначала дождаться ррц, посмотреть как с поставками будет, по каким ценам к нам привезут. И не будет ли слухов о более старших, тишку или титан с 48 была бы интереснее.
>Такое стоило бы просто посмотрев сразу отсеять.
Да я как-то, когда на почте забирал и осматривал, как-то не заметил, оно и не особо видно если прям не всматриваться. Да и там больше никаких других дефектов не заметно особо. Ну, да, долбоеб, признаю, че уж тут поделать. Надо было ебальник разевать пошире и разглядывать потщательней, да.
>Придется подождать, но хотябы завтра узнаешь стоит ли того выигрыш
Да стоит, 100 процентов. Я уже пиздец давно хочу, всё время откладывал. Пора, короче, похуй что он там объявит. Но надо было раньше сделать апгрейд. Год назад примерно.
Если он там вдруг объявит, что 5090 будет с 48 гигами врама, то куплю и её, когда время прийдет, деньги есть пока что, Слава Богу. Может как-нибудь в параллели буду гонять 4090 и 5090 чтоб ЛЛМки на 100+b локально запускать, хз.
Ну раз такая тема то бери, хотелки и душевный покой бывают важнее рациональности. В задачах где считать 4090 хорошо быстрее чем амперы будет и есть некоторая поддержка новых фич, которые становятся все популярнее. Главная чтобы потом не напрягала тема что с холодной головой получил бы больше.
>Ну че, утром узнаем цены на 5090
Там на китайских маркетах дешки по 2600 давно уже.
4090: $1599, в рахе 285к в дноэс глянул, и их ещё по таким ценам разобрали, пара моделей осталась + китайская D по 280
5090: $2000, через пропорцию получаем 356к, но скорее всего ещё выше, особенно на старте
>в дноэс глянул, и их ещё по таким ценам разобрали
Сейчас кстати на них скидки могут быть, даром что сняты с производства. Всё-таки на фоне 5090 они совсем не смотрятся.
12гб, 192бит. Ну и в реалиях будет стоить под 1000 долларов.
скидки будут, когда 5090 в продажу поступят, да и скорее не скидки а просто без премиум наценки за дефицит...
>Чтобы было заметно лучше deepl
Ну и запросы у вас, барин! Попробуй Aleteian instrumentality-2 (или 3) 12B, с температурой поиграйся. От православного Гугла есть madlad400 на 3, 7 и 10B - но архитектура под лламуспп не оптимизирована совсем. Короче говоря - пока всё не очень.
>Aleteian instrumentality
Увы, русик у него реально не очень, модель подходит только для тех, кто совсем не может в английский рп - тогда вариант неплохой. Однако ж задача у меня другая: просто переводить текст не технической направленности, а обычный разговорный с кучей сленга и ошибок, иногда литературный.
>madlad400
Что-то мне подсказывает, он не сможет в треш, и тем более сомневаюсь, что они бы выкатили что-то хорошее. Кроме того, при таких размерах и с набором 419 языков этот переводчик выглядит не лучше всяких гугло-яндексов. Просто комбайн уровня моя твоя рука ебать.
>Ну и запросы у вас, барин!
Эй, но запросы-то ведь совсем не барские! Я же не прошу уровень sonnet 3.5 искаропки. Даже 6-8b (или ниже) дали бы дичайше пососать deepl, если бы речь шла о модели, которая поддерживает только en-ru пару. Ну или 4 пары максимум. Понятное дело, такой нет.
Я юзал гугл гемму 27b до этого момента, но у меня есть с ней проблемы, поэтому решил попросить совета у анонов, может какие-то более адекватные варианты присутствуют. Мне даже сойдёт не файнтюн, а чистая модель, но хуй поймёшь, что там сейчас лучше, особенно в сложных случаях. То есть тут важно, чтобы модель ПОНИМАЛА СМЫСОЛ и верно доносила/переводила, даже если это будет не очень красиво выглядеть. В этом основная проблема. Типичные онлайн-переводчики не могут в контекст совсем, ну и в ними нельзя попробовать сделать перевод в 3-4 итерации, чтобы они доюрались до СМЫСОЛА, если что-то не так интерпретировали.
>Увы, русик у него реально не очень, модель подходит только для тех, кто совсем не может в английский рп
Ты попробуй для перевода его использовать, а не для РП. Я вот попробовал. Ничего так. Мне бы хватило.
>ну и в ними нельзя попробовать сделать перевод в 3-4 итерации, чтобы они доюрались до СМЫСОЛА
А это проблема, на это модель нужно специально тренировать, а кому это надо? Гуглу или может Диплу? :) А без тренировки модель норовит продолжить беседу вместо перевода. Её так учили.
1Петафлопер.
Цена 2999 доролс.
Интересно сколько будет токенов в сек, но если эта кроха будет ебать 100ткс в 100b то это разьебумба и беру сразу.
>О, нихуя себе. 128 гигов это vram? Это очень мощно.
DDR5X - это вообще что?
>>1003309
Это 8 чаннел юнифайд мемари с прямым впуском в чип с закисью озота, 500гбс++ думаю распидарасится, но хуня секрет соус положил туда и надо смотреть тесты.
>>1003301
>>1003309
>>1003311
>>1003317
With this new Samsung LPDDR5X memory at 10700 MT/s would result in 684.8 GB/s.
Звучит как хуйня, конечно. С учётом того что 3090 сейчас баксов 600-700 стоит, то можно 4 штуки купить и получить больше т/с.
В ДС можно нормальные найти за 70к, с чеками/коробками, видосами на стенде перед покупкой, даже с фоточками со снятым радиатором.
Портативность, энергопотребление.
И надо 5 3090 брать для 128 догнать, а это огромный размер, огромное потребление+ блоки питания + мать под это какая нужна? И проц серверный епик.
Явно сильно дороже в использовании и в цене выйдет все это крутить.
А тут все в одном, челики энтузиасты и стратаперы будут эти мини пк брать, тупа удобнее раз в 100. На реддит уже хотят такие закупать тоннами.
Да никакие специальные тренировки не нужны. Достаточно, чтобы это был не файнтюн шизоидный и чётко следовал инструкциям, с чем у 12б часто бывают проблемы, когда речь о том, чтобы быть креативным и следующим инструкциям одновременно. Так-то нет проблем в том, чтобы модель использовала несколько итераций, просто переводя текст.
>>1003293
Ну окей, попробую именно им переводить, ибо всё-таки гемма очень жирная и ждать перевод долго.
Хочу запустить на ней PoE2, но выходит какая-то хуита.
С переходом в WDDM режим проблем особо нет, но вот запускаются на Тесле только те игры, которые позволяют выбрать видеокарту в настройках к которым PoE не относится
Я знаю что видекарту для запуска можно выбрать в настройках графики 10 винды, но они выдают мне пик1
Установка разных версий драйверов, в том числе от Титана, как тут https://github.com/toAlice/NvidiaTeslaP40forGaming
и удаление драйверов АМД не помогли.
Узнал что на старой версии винды можно было выбирать видюху для запуска приложения в драйвере Нвидиа. Откопал это старьё, накатил 528.89 драйвер, а он мне пик2
Моя жопа уже горячее, чем Тесла при полной загрузке на 250W!
Анончики, помогите, как запустить игру на этой хуйне?!
Пое2 технически сейчас кусок кала и вылетает на всем кроме вулкана даже на обычных гпу.
У меня на RX580, подключенном через х1 райзер, 20 ФПС, с просадками до 10, похуй на вылеты.
Их можно будет в стопку между собой соединить, так чтобы тренировку параллелить или слои для инференса между ними раскидать?
Если да, то разве оно не будет конкурировать с картами корпоративного сегмента за такие деньги? За одну H100 можно десяток таких станций набрать и у каждой из них будет больше памяти.
А если нет, то выходит оно только для инференса LLM на условные 100B параметров и сгодится, раз возможность к масштабированию отсутствует.
>А тут все в одном, челики энтузиасты и стратаперы будут эти мини пк брать, тупа удобнее раз в 100. На реддит уже хотят такие закупать тоннами.
Ну пусть возьмут, погоняют. За $3k чего бы не погонять. Но я бы второго поколения подождал бы. Очень нишевый продукт и пока неизвестно, что он может.
на чем ты запускаешь это говно?
Еслим у тебя меньше 16гб врама - забудь вообще про нативный русский при общении с сеткой.
мокропиську свою удаляй. Ставь таверну и жору под неё через апи.
Качай нормальнубю модель.
Если ты совсем нищуган на синкпаде без гпу - то возьми pivot evil например.
качаю пикрил. есть 32 гига оперативы. хочу общаться без цензуры, насколько сильно надо заморочиться, я не программист с математикой не дружу
отказ обсуждать темы - это всегда говно вместо модели. Я тебе уже сказал что делать.
Заморачиваться не надо, сейчас надо просто следовать советам которые тебе дают.
можешь кстати gemma 27b скачать, если у тебя 32гб рам. Но будет медленно.
Почему при переключении на окно кобальта, а именно на его батник он начинает не иронично раза в 2 быстрее работать. Я сначала подумал что показалось, но нет, скорость с 6 т/с возрастает до 10т/с. Я тупой или в окнах есть приоритеты исполнения программ ?
лол, да, есть.
можешь загуглить. Я в маздае не шарю, но видел новость о такой хуйне кажется для win XP или семерки.
типа приоритетно выполняется то приложение, которое является активным окном.
Но, думаю, это актуально только для цпу нагрузки и не роляет если ты на гпу запускаешь.
>>1003528
Магия какая то. Вот такие вводные : 16гб ВРАМ, 64гб ДДР 5, запускаю 6квант свежей цидонии 22b (неиронично пиздатой стала), чезер Cuda в кобальте.
Скачать норм модель и дать ей норм системный промт.
Pantheon 22B, gemma-2-27b, instrumentality-rp-12b-ru
>системный промт.
пожалуйста скажи что это, как настроить, где?
Насчет суперкомпьютера обзмеился, но вот та самая ллмо-дробилка, которая даст неплохую скорость в больших моделях.
Правда стоить она должна хотябы раза в 2-3 дешевле, ибо с учетом псп рам - на вскидку это будет около 10-12 токенов в 4.5 битах 70б, 5-7 в 123б при удачном раскладе. Из-за размеров тдп и мощность чипа будут сильно зажаты, поэтому могут быть и некоторые траблы с обработкой контекста.
Но все равно, заиметь такую штучку в коллекцию уже захотелось, GH200 на низких, жаль стоит неадекватно.
>>1003350
Эталонная ошибка выжившего. Пол треда или с единичными или с ригами, братишки покупают чтобы сдавать их в аренду, уже скуфы на реддите на них переходят. Но оправданцу важнее единичный случай въебанной карты, для определения которого достаточно просто на нее посмотреть, даже включать не надо.
>>1003371
> для 128
Зачем? Чтобы такое обрабатывать нужен быстрый чип для контекста и быстрая память гонять веса. Вариант только лишь мое, но это по определению хуйта для локального запуска, рп и чего-то прикладного где нужна скорость. Разве что запилили бы гугл 3-4 геммы с одной активной, такое бы хотелось покатать.
> стратаперы
Топ кек, а им зачем? Эта штука не сможет обеспечить достойного уровня перфоманса даже в инфиренсе на свою полную память, не говоря о тренировках.
>пожалуйста скажи что это, как настроить, где?
Собственно обычно входит в карточку персонажа, или выбирается из пресетов если в глупой таверне
Инструкции по типу "не пиши плохо, пиши хорошо, безцензурно, и откровенно"
Дыа, крутая штука, базовая. Выглядит весьма пиздато, если нужен объем без скорости особой.
Ну, всякое выше этих ваших ddr5 и тесел.
Посмотрим, че по чем будет в итоге.
>>1002783
Ну, 32, это было очевидно уже месяца три назад.
Еще какой-то анон в треде говорил, что были сливы обратные, мол 28, но он ошибался, как я ему и говорил! 32, давно ясно.
А по цене норм. Я рассчитывал от 300 до 600.
Сейчас можно за 400 (385) заказать из-за границы у разных чуваков.
Ну, приемлемо. =)
Но мини-пк звучит тоже интересно. Будем ждать тестов того-сего.
Еще АМД обещало 2,2 прирост от 4090 на их встройке, но звучит как буллшит, конечно. Намеряли в какой-то ультра-уникальной ситуации.
>Их можно будет в стопку между собой соединить, так чтобы тренировку параллелить или слои для инференса между ними раскидать?
Да, до 4х штук и 512gb общей памяти пока что заявлено, но возможно и больше будет
>Очень нишевый продукт и пока неизвестно, что он может.
Весь ии стэк что может нвидиа + 20 ядерный мини пк на линуксе в одном флаконе.
Это чтобы рпшить и кумить с лучшим экспириенсом в таком размере, если у тебя руки откуда надо.
>>1003575
> Ну, 32, это было очевидно уже месяца три назад.
Да нихуя, вкидывали разное и утечки от куртки это почти подброс монеты.
> Я рассчитывал от 300 до 600.
Сейчас допиздишься и будет по верхней границе.
> за 400 (385) заказать из-за границы у разных чуваков
Барыги ахуели, лучше подождать.
> АМД обещало 2,2 прирост от 4090 на их встройке
В растеризации, в 480п, в новом мантле, на особом бенчмарке, где в коде стоит if gpu.vendor=='nvidia': time.sleep(0.1)
Я в прошлом году с этим пордолился. Там на самом деле проблема сильно глубже, с 2022 года драйвера сломанные. Например вот куча людей, челы из нвидии приходили и писали "передали разработке", но так нихуя и не сделано: https://forums.developer.nvidia.com/t/driver-version-516-94-introduces-high-dpc-latency-and-serious-audio-problems/238290
Чтобы побороть надо через такие анальные извращения пройти, которые разве что линуксоидам снились. Надо через NVCleanstall ставить урезанные драйвера без NV Container от чего ломается панель управления куртки и вообще весь софт куртки, патчить драйвер, пердолиться с настройкой прерываний и выставлением ядер для драйверов с переключением режима работы псины. Только после этого оно может нормализоваться, если ЦП нормальный. Если говно, то вообще ничего не спасает.
Это релевантно только для всякой дичи типа сочетания некротесел и современных карт + с привлечением х1 райзеров, или для обычного пользования тоже?
У меня 4090 на х16 так себя вела, даже с выключенными другими картами. Челики вообще с любыми картами на такое жаловались. Самое хуёвое что оно только при использовании куды и при высокой нагрузке проявляется, т.е. геймерам похуй, а значит и куртке тоже. А на серверах всем уже на задержки похуй.
> А на серверах всем уже на задержки похуй
Ну это ты уже что-то странное говоришь, там наоборот дрочат на максимальную утилизацию гпу чтобы ничего не простаивало. Любая регулярная задержка вызовет просадку скорости.
> У меня 4090 на х16 так себя вела, даже с выключенными другими картами.
В чем это проявлялось? Дичайше бесят тупняки когда включаешь телек и добавляешь его к активным мониторам, там и лаги, и вся такая херня. Но чтобы были какие-то задержки при использовании куды, что с одной, что с несколькими карточками - ни разу не встретил. Офк исключая моменты жесткой выгрузки врам на шинде.
> максимальную утилизацию гпу чтобы ничего не простаивало
Там ничего не простаивает на самой карте. Просто драйвер куртки делает прерывание на большой промежуток времени, а другие драйвера на этом же IRQ ждут его. Пикрил у меня карта и юсб висят на одном IRQ у проца, зависает куртка - все юсб устройства въёбывают. Например у звуковой карты может банально не хватать буфера, пока она ждёт куртку и начинает щёлкать/трещать/пердеть.
> Просто драйвер куртки делает прерывание на большой промежуток времени, а другие драйвера на этом же IRQ ждут его
И в это время у тебя отвалится нахуй сетка и вся параллелизация через сеть пойдет по пизде из-за странных задержек. Или даталоадеры просядут и карта будет недогружена.
Проблемы со звуком - тема известная из-за задержек и прерываний, у тебя оно проявляется? Что за система, материнка и т.д.? Не то чтобы оправдываю куртку, но тут явно какой-то не типичный кейс, или проблемы другого рода.
> проблемы другого рода
Майки и куртка в прошлом году наконец признали что это их проёб. Но пока нихуя не починили. Как обычно у них, будем ждать фикса 5 лет, а потом ещё сам фикс будет в бета-тесте два года. Ну я по крайней мере звук пофиксил, а задержки на месте.
Признали - не признали, но эта проблема является достаточно редкой чтобы ее можно было долго игнорить без какого-то репутационного ущерба и массовых жалоб. Потому и интересно какой именно случай и что за остальное железо.
>>1002179
Вы пробовали Nemomix-v4.0-12B.i1-IQ4_XS? Хорошая логика и понимание того что происходит не путается. Тестил Pantheon-RP-Pure-1.6.2-22b-Small.i1-IQ3_XXS и MN-Dark-Horror-The-Cliffhanger-18.5B.i1-IQ3_M с авторскими настройками class 2 и пр. результаты были хуже Nemomix-v4
и свайпы у The-Cliffhanger одинаковые, дикие лупы, а увеличение температуры после 1.1 добавляет шизу.
Очень разочарован, прорывом не пахнет. Попробую Q4, но ждать ,пиздец придется.
Ну че, аноны, будете брать? Можно их парралельно поподключать и гонять локально дипсик 3 с 671b параметрами. Всего 4 штуки таких надо подключить - 12к долларов будет стоить. 12к это цена б/у машины не самой лучшей. Помоему свой собственный безлимитный чат жпт полностью без цензуры лучше чем ебаная тачка, которую еще чинить нужно (все б/у тачки нужно чинить). Что думаете?
Планирую купить но 350 ват печка как то в платны не входила, думал там 250 хотя бы
Аналог компактный с 128гб и 4тб ссд юнифайд мемерси это макпук 14 за 5700-6000 баксов блять, а тут за 3000 тоже самое. Ждем тесты наверное, потом ясно будет, но если это говно сможет 20ткс в 100б то хуйнюшку это буду разбирать как пирожки.
Будет посмотреть, пока в продаже появятся, пока то да се. Еще высока вероятность проблемного продукта, суперчипы арм+гпу которые почему-то журнализды переводят как суперкомпьютер, ай лол имеют много косяков и приколов, которые фиксятся недостаточно быстро для уровня продукта. Без прямой поддержки такое брать - высокий риск.
А так, компактная игрушка, которую еще можно с собой куда-то взять и использовать в качестве полноценной пекарни, ну круто же. Насчет объединения - попахивает кринжем, они слишком слабые.
>>1003702
> 20ткс в 100б то хуйнюшку
Размер весов дели на псп памяти - получай теоретическую скорость.
>>1003703
В 2.5 битах или типа того. Не стоит забывать что это не чистая видеопамять, которая всегда свободна, а общая, от которой 2-5-10-... гигов сожрет что-то еще.
> разбирать как пирожки
Не будут. Во-первых арм - хуй знает как там с его поддержкой в либах питоныча. Во-вторых общая память - половину запросто сожрёт в виде рамы. Будут покупать ллм-шизики, готовые к пердолингу, которых полтора человека. Обычный чел увидев что на этой хуйне не поиграть сразу отвернётся, а когда про арм услышит на бег перейдёт.
там память бибная , можешь сам такую шляпу собрать дешевле и гонять ггуф модельки
Кто блять эти 14к тел кочающие эту гигахрень пусть даже в 3 кванте? У оригинала там вообще 70к скачек. Откуда в мире столько людей с таким железом?? Я себе ебучую 3090 позволить немогу блять пичот пиздец.
Пусть для начала спустят цену до 999 баксов, без этого никуда. То Спектрума тоже много всяких домашних компьютеров было.
Я лично начинаю копить на 4 диджита, чтобы локально гонять дипсик 3.
> В растеризации, в 480п, в новом мантле, на особом бенчмарке, где в коде стоит if gpu.vendor=='nvidia': time.sleep(0.1)
Хрюкнув в голосину.
Но там еще забавнее, в реальности.
х2.2 Llama 70B-Q4.
Тока она весит 35 гигов, а 4090 имеет 24 гига.
Как они считали — хер пойми.
Может там выгрузка на одноканал ддр3, 0,5 токена/сек, а их встройка аж 1,1 токен/сек показывает. =D
>>1003737
Вахахах! Ну, бля, база. =D Но все же, по всему миру. США там, какие-нибудь нерды, вполне реально, думаю. Или китайцы, лол, с зеонами 8-канальными за 5 юаней штука.
А почему на картинке написали 24 гига? Наебалово, получается.
> АМД использовала 40-гиговую 4090
https://www.youtube.com/watch?v=G9sA20OenDE
Скорее всего они использовали 40 гигов имея ввиду шаред рам, и оно гонялось туда-сюда по шине драйвером. Вот это перемога перемог, воистину амудэпобеда.
А с китайскими франкенштейнами или полноценными 48-гиговыми карточками там без шансов сравнивать вообще, обоссыт без шансов.
What is diffusion-rs?
It's designed to make running diffusion models easy and includes first-class support for Hugging Face's new DDUF format (inspired by GGUF).
Diffusion models are a type of generative AI that powers tools like image synthesis and video generation. With diffusion-rs and its DDUF integration, we’re striving to make these powerful models more accessible.
Why use diffusion-rs?
• Seamless Rust integration: Native Rust crate (diffusion_rs_core) for embedding AI capabilities in your projects.
• CLI power: Use diffusion_rs_cli to run models directly from the command line.
• Python interoperability: Check out our PyPI packages.
Core Features:
• Quantization support: Optimize performance with CUDA and Apple Metal for fp4, nf4, and int8 (via bitsandbytes).
• Cross-platform support: Runs efficiently on Apple Silicon (Metal/Accelerate) and NVIDIA GPUs (CUDA).
• Offloading for larger models: Accelerate models that don’t fit in VRAM.
• 🤗 Hugging Face DDUF : First-class support for the new DDUF format.
https://github.com/EricLBuehler/diffusion-rs
5070 с 12гб это плевок в лицо просто, похуй что там типа уровень 4090 всё еще лучше взять 3090
>5070 с 12гб это плевок в лицо просто, похуй что там типа уровень 4090 всё еще лучше взять 3090
Да? А 5080 с 16гб, когда в 5090 32 - это что тогда? Там слюны много, на всех хватит.
Очередное мертворождённое говно. Без гибкости питона не нужно.
>new DDUF format (inspired by GGUF).
картинка с 15 стандартами
>>1004111
>А 5080 с 16гб, когда в 5090 32 - это что тогда?
Это лень перепроектировать шину.
>performance with CUDA and Apple Metal for fp4, nf4, and int8 (via bitsandbytes).
GTX карты в пролете получается?
Ну смотри:
4070 = 600$
4060ti/16 = 500$
5070 = 550$
5060ti/16 = ?
Выходит 450 по логике.
Это 65-70к в рф тобишь цена 3090 на вторичке, такая себе база
>Альтман замутил всю движуху с трансформерами чисто чтобы поебать мохнатое дупло своей сеструхи
Теперь понятно, почему ему на взлёте ЧатГПТ попытались дать пинок под зад. Однако крепко сидит товарищ. Видать там не мохнатое дупло, а мохнатая рука :)
Это 45к.
А б/у 3090 за 70к - это устаревший кусок кала отмайненный, который отъебнет либо сразу, либо через месяц. Не поддерживает новых технологий, нулевой L2 cache, по флопсам как 5060ti, только памяти чуть больше. Нет смысла в общем.
Она поехавшая. У нее даже порнхаб есть. И просит всего 75к$ с него. Хуйня в общем.
К моменту выхода 5060ti живых 3090 на вторичке почти не останется, а к моменту нормализации цены брать 3090 с рук будут только поехавшие, которые в свое время тут M40 скупали.
>к моменту нормализации цены
Просто напомню, что на сейчас самая дешёвая 4090 в ДНС стоит 280к. И да, по сравнению с 3090 она даёт x2 производительности, памяти столько же и такая же. Так же скромно напомню про санкции - не только на Россию, но и на Китай.
Ну, на 5090 может оверпрайс и будет, но на дефолтные потреблядские затычки цена сильно кусачей скорее всего не станет. За кусок огрызка 4060ti сейчас 60к просят, так что цена и на 5060ti скорее всего будет примерно в том же диапазоне.
И если уж куртка не напиздел, что производительность у нее с нейроскейлерами и генераторами на уровне 3090 будет, то это можно спокойно брать. И похуй что там кадры дутые и нарисованные - если будет минимум мыла и инпут лага, то пусть хоть целиком все кадры на основе одного генерирует.
пикрил простите
>>1004111
Это игровые карты, камон. Для нейронок вам дали 5090 и Digits. ПОКУПАЙ
>>1004119
Соглы, оставьте уже TRT, vLLM, Exl2 и llama.cpp, хватит на всех — очень богатым, богатым, состоятельным и бедным. И везде оптимизации, везде все отлично работает. Зочем еще, ну зочем!..
>>1004191
Стоп, а ты веришь в 5080 за 90к? =)
>>1004230
Как минимум задержка у тебя при любом количестве кадров равна минимум времени между кадрами, это же темпоральная хуйня.
Я согласен, что для не кибер-спортивной игры ваще похую. Ну выдает 30 кадров — ты получаешь 34мс задержки, зато 120 фпс визуально красивых. Ну, немного вязкое управление, но не критично.
В киберспорте уже юзлесс, канеш. Но там и 30 кадров у таких видях нет. =)
27b, 8 квантов. Модель весит 23.5 гига. Но т.к. видеопамять в простое занята на 1.5 гигабайта, то модель не вмещается в 24 гига видеопамяти и (наверное) часть перекидывает на рам (такие мысли)
>>1004210
Выглядит больше как демейдж контроль от ждунов-нищуков, которые увидели новую веру, чем адекватное суждение. Слабый чип, огрызок от шины и цена нормальной видеокарты - ну хуй знает, надо смотреть.
>>1004222
На них цены взлетели из-за банального дефицита и это не должно быть опорой, хз кому сейчас нужны но оказывается берут. И это не только у нас, везде на 4090 аномально высокая цена вот это понимаю инвестиция, стонкс
>>1004230
> если уж куртка не напиздел
С чего ему пиздеть? Просто нужно внимательнее смотреть и слушать что именно он говорит. Когда сравниваешь перфоманс 8 и тем более 4х битных операций с фп16 (и тем более фп32) то там и A100 можно опередить, хули там.
Отсюда и все источники революционного перфоманса, в сыром остатке же очередные +20%. С играми аналогично, норм технология если уже есть стоковых хотябы 80 фпс, на быстрых мониторах фреймген картинку сделает приятнее, а с низкими кадрами апнутыми до 60 будет печалька.
>>1004264
Должно быть примерно в 3-3.5 раза больше если там 27б.
>>1004322
Так скачай квант с чуточку меньшей битностью, или выгрузи на жоре 1-2 слоя. Но главное - никогда не используй жору на моделях что влезают в врам, особенно на тех, где заявлялась поломанная работа.
>Так скачай квант с чуточку меньшей битностью
Я 4090 купил чтоб лоботомитов гонять? Не, извините, нахуй надо. Меня скорость полностью устраивает, к тому же оно пишет быстрее чем я читаю. Так что похуй.
>Выглядит больше как демейдж контроль ждунов-нищуков
Не знаю что больше похоже на копиум нищуков - скупать с помоек карту пятилетней давности и оправдываться, или подкопить нормально денег и взять ускоритель, чипы памяти на котором не лопнут спустя пару дней. Но по факту да - надо смотреть. А на шину похуй, если карта нужна для игр, ибо там кэш нормально справляется даже на урезке.
> 4090 купил
Нууу, ты уже показал себя довольно рациональным и прагматичным человеком, раз привык страдать - наслаждайся.
Нищая манька, спокнись. Могу себе позволить. Через год куплю себе 5090, лол.
>на быстрых мониторах фреймген картинку сделает приятнее, а с низкими кадрами апнутыми до 60 будет печалька.
Чел, на дворе не 2013. Моник с нормальной герцовкой щас можно баксов за 150 взять. Сам лично катаю китайский ноунейм который 180 из коробки выдает за цену примерно двух пачек бульменей.
> Могу себе позволить.
Какой богатый нищук, снимаю шляпу. Купить оверпрайс в день релиза новой серии - это нужны особые навыки.
сижу с парой 4090 более 1.5 лет и не только
>>1004373
> Моник с нормальной герцовкой щас можно баксов за 150 взять.
Залупа они, недо-ипс с г2г в 1.5 десятка мс, или же вообще ва-производные с 50+ на темных оттенках. Это не отменяет сказанного, получить основной профит с технологии можно будет только в кейсах где изначально норм фпс, а не слайдшоу.
>Залупа они, недо-ипс с г2г в 1.5 десятка мс, или же вообще ва-производные с 50+ на темных оттенках.
Мне как консьюмеру абсолюнто похуй ипс там или сжатый в сорок раз кинескоп засунули. Глаз видит 180 герц вместо привычных 24 и кайфует, а вместе с ним кайфую и я. Оттенки, покрытие сргб и прочая залупа меня не волнует - это говномонитор для сычей задротов, а не для работы с графикой.
>получить основной профит с технологии можно будет только в кейсах где изначально норм фпс, а не слайдшоу.
Ну давай посмотрим. 4060TI в большинстве игр спокойно выдает 80+ фпс на миксе ультра и высоких при 1080 рублях. Может ли куртка выпустить еще более хуевую карту и обосраться сильнее? Может, но маловероятно что она будет слабее предыдущего поколения. Сам сказал что это "дефлотные 20 процентов прироста". Да, при подрубе трассировки лучей или пути начнутся нихуевые проблемы - но и без них спокойно можно прожить, как проживали до этого. Если уж хочется позалипать в лужи - отражения в экранном пространстве как работали так и работают и без этих магических технологий.
> Мне как консьюмеру абсолюнто похуй
Это даже не важно, непонятно вообще к чему ты это притащил.
> 4060TI в большинстве игр спокойно выдает 80+ фпс на миксе ультра и высоких
Чето проиграл, оно с фреймгенами и прочим хуяру сосет в графенистых тайтлах. А в соревновательные играть любой затычки хватит.
> 1080
> 2д25
Ну ладно, теперь тейк про
> сжатый в сорок раз кинескоп засунули
и
> при подрубе трассировки лучей или пути начнутся нихуевые проблемы - но и без них спокойно можно прожить
осознал, тонко.
> маловероятно что она будет слабее предыдущего поколения
Да не будет конечно, просто она все равно остается херней, а стоить будет дорого. И у нас тут не сборище гей_меров, а вполне понятной направленности тред, к чему вообще все это? 20% прироста без всего остального не улучшат ничего, суббитные операции уже были в аде и даже к тесле их кое как смогли прикрутить, а в ллм всеравно будет упор в память. Только на гддр7 надежда что там хотябы до 500гб/с поднимут.
>китайский ноунейм который 180 из коробки
Цвета норм? Гостинга нет? SANC или совсем ноунейм?
А то я вот переплатил за LG, качество картинки ок, но засветы и прочая хуйня IPS имеется. Я аж охуел, бренд - развод гоев.
Через год выйдут суперы 5080 на 24гб и 5090 на 48гб
>Это даже не важно, непонятно вообще к чему ты это притащил.
Спроси у себя, к чему ты начал затирать про качество матрицы и прочие параметры, когда разговор изначально был просто про герцы.
>Чето проиграл, оно с фреймгенами и прочим хуяру сосет в графенистых тайтлах.
Киберпук спокойно в 80+ фпс тянет без фреймгена, а ничего более графонистого за это время не вышло.
>Да не будет конечно, просто она все равно остается херней, а стоить будет дорого.
Узнаем наверняка, когда выйдет.
>>1004420
>Цвета норм? Гостинга нет?
Цвета норм, но чисто на мой взгляд. Гостинга нету и засветов по углам тоже.
>SANC или совсем ноунейм?
Ну насчет ноунейма я конечно загнул, это Xiaomi Redmi Display на 24 дюйма, хотя всё равно уверен, что там чистый рандом при сборке и как повезет, так повезет. Мне вот пока что везет.
> засветы и прочая хуйня IPS
Так бюджетных/средних IPS без засветов не бывает. Только дорогие, где ебутся с подсветкой. А где ссаная LED-подсветка, там везде пятнами. Бери OLED, там намного лучше с равномерностью.
> Мне как консьюмеру абсолюнто похуй
Вот здесь поддержу, зрение у меня не очень хорошее, FullHD на 23" хватает, 120 герц приятное.
Конечно, я давеча посмотрел на 240 и с удивлением обнаружил, что отличаю их, причем достаточно отчетливо, но при этом играю в 120 и приятно себя чувствую. То что тут ипс не ипс, цвета 85%, а не 103%, гтг 15 мс — мне похую. Гостинга нет и хорошо.
… Кстати, наверное гтг тут все же не 15 мс, а поменьше.
Ну да похуй, красивое.
> Спроси у себя, к чему ты начал затирать про качество матрицы и прочие параметры
Чет проигрунькал, чел, я лишь напомнил что сказанное тобою про "норм моник за 150 уе" - хуета и он будет пососный. А изначально было не про герцы а про то, что фреймген нормально юзабелен когда карточка изначально дает высокий фпс. Что вообще не про лоу-тир.
> Киберпук спокойно в 80+ фпс тянет без фреймгена
Ну да, ну да, всего-то нужно нахуй все поотключать. Да че там, можно и на встроечке, там хотябы не так обидно будет ловить графен десятилетней давности. Кому ты заливаешь, все тесты и прочее доступны, 4060/ти не просто так хаяли все кому не лень. Даже объем памяти не спас.
Забавнее что раз такой игрун и противник технологий - почему еще не на амуде? Там и дешево, и память есть, и растеризация быстрая, сплошная победа.
>>1004459
> с удивлением обнаружил, что отличаю их, причем достаточно отчетливо
Когда пара мониторов рядом особенно заметно такое.
>Xiaomi Redmi Display
Ну да, это совсем не ноунейм. Я имел в виду всякие JBEE, luoyika, ECOVINKA, лол. 180гц ИПС за 10-11к. Думал взять, но зассал.
>Гостинга нет и хорошо.
Раздражает гостинг в игре. Переключил фпс лимит с 60 до 144, моник 144. Гостинг никуда не делся. Ёбаный ТАА ёбаного уринал энжина.
Ебать, приплел всё что можно лишь бы че-то спиздануть.
>я лишь напомнил что сказанное тобою про "норм моник за 150 уе" - хуета и он будет пососный
Ты изначально начал заливать, что фреймген будет нормально работать на мониках где будет больше 60 герц, типа это пиздец какая редкость и вообще недоступный кайф для обывалы. Потом обосрался и начал втирать что-то уже про матрицы и что герцы там оказывается фейковые. Виляние жопой зачетное.
>Ну да, ну да, всего-то нужно нахуй все поотключать.
Шизик, я даже на своей старой 2060 катал на высоких в около стабильных 60 фпс
>Кому ты заливаешь, все тесты и прочее доступны
Ну так подними жопу и иди посмотри тесты, прежде чем рыгать тут
>4060/ти не просто так хаяли все кому не лень
Пиздодельные техноблохи нанюхались собственного пердежа а потом это подхватили школьники и разнесли по пабликам
>Даже объем памяти не спас.
Блять, нахуй вот я всё это выше писал. Надо было сразу с конца начать и забить хуй на тебя дурачка.
>>1004489 (OP)
ПЕРЕКАТ
>>1004489 (OP)