Локальные языковые модели (LLM): LLaMA, MPT, Falcon и прочие №22 /llama/
Аноним
18/10/23 Срд 13:51:03
№
1
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2-х бит, на кофеварке с подкачкой на микроволновку.
Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2.
На данный момент развитие идёт в сторону увеличения контекста методом NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества.
Так же террористы выпустили LLaMA 2, которая по тестам ебёт все файнтюны прошлой лламы и местами СhatGPT. Ждём выкладывания LLaMA 2 в размере 30B, которую мордолицые зажали.
Кроме LLaMA для анона доступны множество других семейств моделей:
Pygmalion- заслуженный ветеран локального кума. Старые версии были основаны на древнейшем GPT-J, новые переехали со своим датасетом на LLaMA, но, по мнению некоторых анонов, в процессе потерялась Душа ©
MPT- попытка повторить успех первой лламы от MosaicML, с более свободной лицензией. Может похвастаться нативным контекстом в 65к токенов, но уступает по качеству. С выходом LLaMA 2 с более свободной лицензией стала не нужна.
Falcon- семейство моделей размером в 40B и 180B от какого-то там института из арабских эмиратов. Примечательна версией на 180B, что является крупнейшей открытой моделью. По качеству несколько выше LLaMA 2 на 70B, но сложности с запуском и малый прирост делаю её не самой интересной.
Mistral- модель от Mistral AI размером в 7B, с полным повторением архитектуры LLaMA. Интересна тем, что для своего небольшого размера она не уступает более крупным моделям, соперничая с 13B (а иногда и с 70B), и является топом по соотношению размер/качество.
Сейчас существует несколько версий весов, не совместимых между собой, смотри не перепутай!
0) Оригинальные .pth файлы, работают только с оригинальным репозиторием. Формат имени consolidated.00.pth
1) Веса, сконвертированные в формат Hugging Face. Формат имени pytorch_model-00001-of-00033.bin
2) Веса, квантизированные в GGML/GGUF. Работают со сборками на процессорах. Имеют несколько подформатов, совместимость поддерживает только koboldcpp, Герганов меняет форматы каждый месяц и дропает поддержку предыдущих, так что лучше качать последние. Формат имени ggml-model-q4_0, расширение файла bin для GGML и gguf для GGUF. Суффикс q4_0 означает квантование, в данном случае в 4 бита, версия 0. Чем больше число бит, тем выше точность и расход памяти. Чем новее версия, тем лучше (не всегда). Рекомендуется скачивать версии K (K_S или K_M) на конце.
3) Веса, квантизированные в GPTQ. Работают на видеокарте, наивысшая производительность (особенно в случае Exllama) но сложности с оффлоадом, возможность распределить по нескольким видеокартам суммируя их память. Имеют имя типа llama-7b-4bit.safetensors (формат .pt скачивать не стоит), при себе содержат конфиги, которые нужны для запуска, их тоже качаем. Могут быть квантованы в 3-4-8 бит (Exllama 2 поддерживает адаптивное квантование, тогда среднее число бит может быть дробным), квантование отличается по числу групп (1-128-64-32 в порядке возрастания качества и расхода ресурсов).
Основные форматы это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной.
В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090.
Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это серьёзно замедлит работу. Лучше оставить запас в полгига-гиг.
Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой:
1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии.
2. Скачиваем модель в gguf формате. Например вот эту:
https://huggingface.co/Undi95/MLewd-ReMM-L2-Chat-20B-GGUF/blob/main/MLewd-ReMM-L2-Chat-20B.q5_K_M.gguf
Если совсем бомж и капчуешь с микроволновки, то можно взять
https://huggingface.co/TheBloke/Mistral-7B-OpenOrca-GGUF/blob/main/mistral-7b-openorca.Q5_K_M.gguf
Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt
3. Запускаем koboldcpp.exe и выбираем скачанную модель.
4. Заходим в браузере на http://localhost:5001/
5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure.
Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется!
Для удобства можно использовать интерфейс TavernAI
1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern
2. Запускаем всё добро
3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001
4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca
5. Радуемся
Инструменты для запуска:
https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах, есть поддержка видеокарт, но сделана не идеально, зато самый простой в запуске, инструкция по работе с ним выше.
https://github.com/oobabooga/text-generation-webui/blob/main/docs/LLaMA-model.md ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ. Самую большую скорость даёт ExLlama, на 7B можно получить литерали 100+ токенов в секунду. Вторая версия ExLlama ещё быстрее.
Ссылки на модели и гайды:
https://huggingface.co/TheBloke Основной поставщик квантованных моделей под любой вкус.
https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском
https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне
https://rentry.co/lmg_models Самый полный список годных моделей
https://rentry.co/ayumi_erp_rating Рейтинг моделей для кума со спорной методикой тестирования
https://rentry.co/llm-training Гайд по обучению своей лоры
https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного
https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально
Факультатив:
https://rentry.co/Jarted Почитать, как трансгендеры пидарасы пытаются пиздить код белых господинов, но обсираются и получают заслуженную порцию мочи
Шапка треда находится в https://rentry.co/llama-2ch предложения принимаются в треде
Предыдущие треды тонут здесь:
>>517753 (OP)
>>514196 (OP)
Вот еще блокнот для поднятия своего колаба с мясомаксом на 8к контекста
https://files.catbox.moe/kd79da.ipynb
> Ну я же говорю — психологических!..
> =D
Надо отбрасывать такое мышление, к добру не приведет. Нужно корректировать психологические границы в зависимости от дохода и инфляции
А то будешь через 10 лет как интернет шиз Поднебесный, который зарабатывает нормально, но не может купить сосиськи дороже 20₽, так как в его 2000 год это была норм цена
Upd как минимум стоит перевести 20к в доллары - $200, и держать в голове, что да последние года 3 он обесценился на 10%
Смотря на что у тебя стоит, в зависимости от этого и модели будет диапазон от "20б топ остальное не нужно" до "ниже 70 жизни нет". Для обычного рп точно лучше, но при правильном использовании 20б дает достойный уровень, так что если нет возможности - особо не парься.
>c неплохой скоростью
Неплохо это сколько?
> Я нашел видос там чел запускает 13B викуню на p40 c неплохой скоростью, потратив 500 баксов на сборку. А почему тогда на реддите носяться с (гей)мерскими 3090 и так далее, если ли можно собрать специализированный бомж пека?
Потому что можно не быть бомжом и не собирать бомж пк 🗿
> В чем подвох?
В том, что 13b - это далеко не предел совершенства, вообще очень слабая модель, которая на слабых процессорах работает. Если хочешь по-серьезней, то даже 24 гб 3090 будет мало, поэтому 3090 является как бы начальным уровнем
Ну и еще важна скорость, на пк за $500 будет генериться медленно 13b. Наверное достаточно для комфортного чтения, но если можно лучше, то почему нет?
И в-третьих, 3090 в целом в хозяйстве пригодится. На редите люди из стран первого мира, где зарплаты для обычных продавцов и т.п. начинаются от $40.000 в год, это примерно 333к деревянных в месяц
>на свой страх и риск
Представил как владелец колаба логирует ваш кум на локальных моделях и проиграл
Логирует, а потом самый кринж кидает в свой Тг канал где как доктор зло злобно смеется с другими злодеями.
> На редите люди из стран первого мира, где зарплаты для обычных продавцов и т.п. начинаются от $40.000 в год, это примерно 333к деревянных в месяц
>Top Sellers 2023: MSI Ventus GeForce RTX 3060 12G 2X - USD 251.99 ; ASRock Radeon RX 6600 - USD 179.99 ; MSI Ventus GeForce RTX 3060 12G 3X - USD 260.99
Как же там не хватает таких додиков как ты, которые рассказали бы что они покупают неправильно и с гигазарплат каждого первого дворника надо флагман брать.
Между прочим так с СД коллабом и поступали. Шантажировал ананасов потом ещё
Я уже ногой стучу как лесополостный.
Вы бы этот колаб хоть открыли сначала. СД колаб загружал кучу скрытых скриптов со сторонних ресурсов. Тут же весь код тупо написан в тексте колаба.
Зачем открывать, если у меня есть хорошая видеокарта и я о коллабах сужу по постам анончиков
А я не тебе, а анончикам, которые в своих постах судят о колабе.
3060 популярна, так как большинство людей относятся к этому как к мелкой игрушке. Чтобы была несерьезная покупка, так, купил на поиграть
Бля, ты реально думаешь что где-нибудь в Норвегии rtx 3060 популярна потому, что только на нее они могут НАКОПИТЬ, а не потому, что купили что-то дешёвенькое не задумываясь, чтобы поиграть в киберпанк на максималках, даже не залезая в настройки графики?
Ты даешь статистику в целом о рынку. Игры много не требуют. Какому-то Джону советовать купить rtx 3060 именно не для игр, а для генерации - это вредный совет
>>523154
На самом деле, у меня такое есть.
Как вспомню, скока i7 в 2013 стоил — так аж жаба душит новый брать. =)
Но ты прав, от такой фигни надо избавляться.
>>523175 →
С неплохой — это с какой?
13Б и на 3060 крутится с 17-20 токенов сек.
>>523180
> из стран первого мира, где зарплаты для обычных продавцов и т.п. начинаются от $40.000 в год
До уплаты налогов.
И уплаты всех кредитов и ипотеки.
Или аренды.
Не, канеш, больше чем у нас в разы.
Но каждый месяц ты по 3090 вряд ли будешь покупать.
> rtx 3060
> поиграть в киберпанк на максималках
Не, ну ты херню-то не пори.
Если они на 3060 играют на максималках в киберпанк — то их потолок 25 фпс, сочувствую норвежцам, которые не могут себе позволить больше.
Какой-нибудь Джон еще и калсоль покупает, да еще и чипы под нее чтобы за игоры не платить. Вот бы Джону шиз с двача рассказал что он бохатый и берет калсоли и среднекарты чисто по рофелу.
>70b сильно лучше для кума чем 20b?
По стилю - спорно. 20b mlewd chat пишет ну очень хорошо. По всему остальному - несоизмеримо лучше. Например, после перехода на 70b у меня практически полностью исчезли проебы с одеждой. Модель наконец перестала снимать трусы по три раза!
>>523281
>Вот бы Джону шиз с двача рассказал что он бохатый и берет калсоли и среднекарты чисто по рофелу.
Я из штатов. В ближайшем макдоналдсе платят 14 в час, средняя стоимость аренды однушки под 1800 в месяц. Вот от этого >>523180 хрюкнул со смеха.
>Модель наконец перестала снимать трусы по три раза!
Скил ишью. У меня и на 70B были проёбы, и на GPT4.
> c неплохой скоростью
С отвратительной для цены скоростью. Преимущество этой теслы в виде 24гб врам нивелируется старым и слабым для современных расчетов гпу. 3090 с точки зрения прайс/перфоманс в разы выгоднее. Бу 3090 берется за те же 500-700$, можно играть, ликвидна. Про размеры моделей уже сказали, 20б на p40 скорее всего будет на грани юзабельности, а на 3090 оче шустро.
>>523268
> Какому-то Джону советовать купить rtx 3060 именно не для игр, а для генерации - это вредный совет
Офк вредный, хотябы 4060@16, или 3090 поискать.
>>523283
> По стилю - спорно. 20b mlewd chat пишет ну очень хорошо
Что там за такой йоба стиль? Если не жалко скрин покажи чтоли того самого отборного, этих франкенштейнов наделали столько что ебануться каждый качать тестить.
>Скил ишью. У меня и на 70B были проёбы, и на GPT4.
Важен процент и степень проебов. 70b проебывает изредка, 20b - постоянно даже когда добавляешь одежду в author's note.
>>523325
>Что там за такой йоба стиль?
Логов не осталось, но если вкратце - очень сочно описывает секс-сцены и хорошо умеет в разные стили речи.
Блять глаз дёрнулся
Как же заебало про эти блёстки читать
Просто для сравнения, 2 года назад.
https://2ch.hk/sf/res/227070.html
Знатно проиграл с их уверенных и убедительных точек зрения, ограниченных своей неспособностью понять что происходило бы на самом деле.
Почувствуй себя историком анон.
> 70b проебывает изредка, 20b - постоянно
Про скилл ишью в таком смысле оно забавно, но как этого добиваетесь то бля? Карточки какие сложные дохуя или промт перегружен инструкциями?
> очень сочно описывает секс-сцены и хорошо умеет в разные стили речи
Растяжимо и можно трактовать по-разному, плюс субъективизм. Потому и пример и интересен, что там по детальности и фокусу, есть ли бонды и треш, насколько разнообразно. Ну и как формирует реплики - описание, они продолжительные длинные или вперемешку.
>>523345
Да лайтово же, чего доебался.
А ведь в 21 году уже емнип были новости про нейронки - сториврайтеры, которые насиловали юзера, дипдримы, нейросжатие видео, альфазиро и прочее. Забавно.
И, как выяснилось, для кума описать нейрон тремя битами уже достаточно, лол.
>>523397
Да и да.
>но как этого добиваетесь то бля? Карточки какие сложные дохуя или промт перегружен инструкциями?
Промпт вылизан по максимуму, инструкций считай что нет, и все равно проебывает. Для 20b это нормально, по-моему.
>Растяжимо и можно трактовать по-разному, плюс субъективизм.
Ну так скачай и протестируй. Объективно модель как в hf топе, опережая почти все 13-20b модели, так и в ayumi топе по ерп.
>Потому и пример и интересен, что там по детальности и фокусу, есть ли бонды и треш, насколько разнообразно.
Детальность сильная, реплики длинные, бондов нет иногда проскакивает consenting adults, но я вырезал это регуляркой.
>>523397
>Я не понимаю, графомания это особенность моделей или это можно пофиксить промптами?
### Response (2 sentences) в конце. Но в целом да, особенность моделей.
Да, представь как смешно будут читаться наши обсуждения тут через год-два
> так скачай и протестируй
Ну йобана, там каждые 3 дня новая модель в топе и всех опережает, а как начнешь тестить там шиза, бонды, глупость или еще что-то. У 20б еще беда что с контекстом побольше они уже не помещаются в врам.
Чтож, попробуем.
>>523403
Я к тому что некоторые из тех рассуждений были трешовы уже тогда. Хотя здесь, в принципе, все то же. Было бы кому это читать еще.
>Просто для сравнения, 2 года назад.
Итого- никаких нейродевушек, и уж тем более никакого анализа и подстройки под пользователя. Под шапкой ИИ скрывается убогий контекст, и даже в таких смешных цифрах нейронки путаются.
>>523379
>но как этого добиваетесь то бля?
Ситуации не стандартные, анон. Чуть отходишь от "Я тебя ебу", и всё, конец всей иллюзии.
>>523397
Контекст фикси, у меня по предложению/двум может отвечать. Заодно нет действий за пользователя, такое вот быстрое перекидывание фразами.
>>523403
Как? Я в теме с января, и по сути не сказать чтобы хотя бы за полгода что-то серьёзно поменялось. Ну разве что 7B перешёл в разряд "Можно хоть как-то использовать".
> Под шапкой ИИ скрывается убогий контекст, и даже в таких смешных цифрах нейронки путаются.
С приходом Мистраля появились нормальные 32К контекста, с альфой можно до 50К догнать, пока VRAM не кончится.
> С приходом Мистраля появились нормальные 32К
Ну на ноль же поделил.
Что тебе не нравится? В отличии от прошлых попыток у Мистраля реально рабочий контекст.
Mythospice-limarp хорош с точки зрения поддержания характера персонажа, но описание секса не очень детальное, хотя я еще не так долго его тестировал. Вчера заценил Euryale 1.3 - очень хорошо и детально пишет, только речи получилось маловато.
>>523452
>Два слова - СВИН
+15 социальных кредитов миска риса. Партия гордится простой Иван город Тверь.
> И 7B размер.
Который ебёт любую 13В/30В. Либо сидеть на 70В с 4К контекстом, либо на Мистрале с 32К - для РП даже думать не стоит что выбрать.
> 70b для ерп и прочего вообще есть в доступе
Лимурп советовали, она в принципе приличная и умная, есть недостатки >>520221 → xwin - норм рп, норм кум, местами заебись, местами может быть пресной. Спайсиборос (и новый айр, но как он пока хз), атмосферно, красиво, интересно, процессы соития описывает ярко но общий стиль его специфичен, или зайдет или захейтишь. Синтия 1.2б - антипод дефолтных рп моделей с точки зрения стиля текста и подачи, работает хорошо, умная, ебля интересная-красивая уровня пикрел, офк есть и минусы. Еще несколько есть, но надо более тщательно изучать чтобы отзываться.
>Который ебёт любую 13В/30В.
Ты преувеличиваешь. Мистраль конечно топ в своём классе, но не более.
>для РП даже думать не стоит что выбрать.
Стоит. Ибо мне мозгов даже 70B не всегда хватает.
>>523512
>Лимурп
mythospice-limarp-70b кто-нибудь когда-нибудь квантанёт? Уже больше месяца висит без ггуфа.
Могу exl2 залить, а так кто-то тут в ггуфе ее гонял. Любой кто может запустить квантованную может и эту модель квантануть.
>>523455
> Ситуации не стандартные, анон. Чуть отходишь от "Я тебя ебу", и всё, конец всей иллюзии.
Какие? Офк ставя цель можно сломать любую модель, но если серьезно?
> Ибо мне мозгов даже 70B не всегда хватает.
В том-то и дело, что тебе мозгов не хватает сделать нормальный промпт для РП и настроить семплинг. Да и 70В почти не прогрессируют, за всё время только полтора сомнительный файнтюнов сделали и всё. А "тупеть" модель может как раз от РП-датасета. Например мифомаксы и аироборосы - это апофеоз шизы, шизоиднее только Пигма. Именно на РП-файнтюнах можно бинго из косяков составлять, даже на 70В.
>Любой кто может запустить квантованную может и эту модель квантануть.
Да я знаю, мне просто лень разбираться со всеми этими компиляторами, скриптами и прочей фигнёй для квантования. Нужен ггуф, у меня нет 2х3090 для запуска экселя ((
>Какие?
А хрен его знает. Но постоянно на это натыкаюсь.
>>523535
>В том-то и дело, что тебе мозгов не хватает сделать нормальный промпт для РП и настроить семплинг.
Да хоть обнастраивайся, какая-нибудь проприетарная клава2 будет писать лучше.
>Именно на РП-файнтюнах можно бинго из косяков составлять, даже на 70В.
По мне наоборот, 70B наиболее толерантны к любым форматам промтов. Я на эти форматы давно хуй забил и рпшу в самом простейшем.
> По мне наоборот, 70B наиболее толерантны к любым форматам промтов.
Ты сам себе противоречишь, говоря что 70В тупит. Хотя даже 7В сейчас с этим без проблем справляется. Я надеюсь ты хотя бы негативы используешь?
> 70B наиболее толерантны к любым форматам промтов
Толерантны, но запас прочности не бесконечен. Лучше тратить внимание на экшон, отыгрышь и перцепцию мелочей а не распознавание что же здесь вообще от модели требуется.
>>523569
> gguf
> негативы
Запилили наконец? Алсо что сам в негативы ставишь?
> Запилили наконец?
Нет.
> Алсо что сам в негативы ставишь?
Куски высеров сетки туда копирую. Напрочь ей отбивает желание думать об этом.
>Ты сам себе противоречишь, говоря что 70В тупит.
Она тупит одинаково вне зависимости от того, рекомендуемый там формат промта или левый.
>>523569
>негативы
Конечно нет, их в кобольду не завезли. Плюс, пробовал в убабуге, нихуя вообще не помогло, хотя может по настройкам чего ПРИШЛО ВРЕМЯ ПЕРЕУСТАНАВЛИВАТЬ УБАБУГУ.
>Куски высеров сетки туда копирую. Напрочь ей отбивает желание думать об этом.
Если модель упорно срет говном, то может лучше сменить ее на что-нибудь получше?
Я непосредственно пенетрейшен не играю. Сети его очень ванильно отыгрывают.
Я люблю задавать всякие неуместные вопросы и по разному смущать персонажей. А сети то приходится отвечать, она не может тебя нахуй послать.
Пока вот нашел интересный промт.
Берешь персонажа с хорошо проработанной вселенной и спрашиваешь как сделать Х an accepted norm?
И смотришь как сеть спотыкаясь строит планы которых бы не постеснялись бы жидомассоны.
Забей это не лечится.
Еще можно рассказать персонажу что он - симуляция. Тоже весело.
Мне ещё во времена торжества карактер.аи нравилось вести диалог в духе Солид Снейка: на реплику персонажа выбирать часть его ответа и переспрашивать. Переспрашивать?
мимо
Метал гиар?
Нуклиар вепонс?
Мозербейс?
Какой же снейк аутист ахахахах
Это стереотипный приём из плохих ситкомов и мыльных опер, спародированный коджимбой. геней
Проц Intel Xeon E5-2650v2 (2,6 ГГц, 8/16) за 512 рублей на Озоне (пришел быстро), мать MACHINIST E5 V2.82H (4 канала, 1866 МГц) за 3666 рублей на Озоне (шла из Китая), озу 4х16 ГБ за 3344 рубля на Алике (шла из Китая).
Итого 7522 рубля за 64 ГБ с 50000 МБ/с чтения. Минусы — проц без AVX2.
Результат: 0,5 токен/сек на 70B_q6 в начале диалога. Медленнее, чем на Ryzen 5 5500 с 48 МБ/с (0,7 токен/сек), из чего я делаю вывод, что упор у нас идет в процессор, и AVX2 были бы к месту.
Хотя, я досконально не знаю, как распределяются и читаются слои в озу, может быть четырехканал и не дает желаемого буста.
Еще вариант, что не вся влезла в озу (хотя было 59/64), может использовался файл подкачки.
Mistral Saiga 7B_q8 выдала 4 токена, что ли, если кому интересно.
Итак, мой вердикт: покупка на грани окупаемости. Думаю, для 20B отличный бомж-вариант за копейки (а на этой штуке, наверное, еще и поиграть можно=), а вот 70B гонять только если вы никуда не торопитесь и вам нужен ассистент.
В память долбиться начинает только на топовых ЦП, при 6-8 активных ядрах.
Зря взял второе поколение, брал бы сразу 3 или 4. Без avx2 все конечно медленнее. 3 можно разогнать до 3 с чем то кекогерц, 4 из коробки 3 держит, ну и avx2 есть.
ну и частота памяти у 4 покаления, хоть оно и дороже, уже 2400
Все так.
>>523869
Четырехканал бы обошелся дороже, а тут прям пытался ужаться по максимуму. Денях не хватало месяц назад на покупку чего получше.
Но вот уже в следующем месяце можно будет попробовать взять четвертое поколение, и мать пиздатенькую, канеш.
Эт все для клуба.
А для дома я тупо буду копить на 5090 через годик. Может даже две. Посмотрим, по ситуации. Хочу Llama 3 140B в двух 5090 по 48 ГБ каждая.
Ну ладно, хотя бы по 32.
>Llama 3 140B
Пердосклей разве что, и то вряд ли, пока только до 20B клеят.
Тебе смешно, а моей маме тесты вообще показали, что она вне диапазона. Правда не сказали с какой стороны.
IQ тесты показывают только уровень умения проходить IQ тесты
Так они его тупо знать могут, ответы. Хотя ту же чатгопоту как то тоже тестировали и насчитали аж 160
Кумь так чтобы было весело.
>>523848
> AVX2 были бы к месту
Все так
> хотя было 59/64
Похоже таки не влезла.
> покупка на грани окупаемости
К имеющейся ряженке любую видеокарту чтобы хоть несколько слоев выгрузить и главное контекст ускорять - будет выгоднее.
>>523886
Все еще умнее группы, которую тут любят притеснять тестируя на сою.
>>523477
Попробовал эриалу, умная, описывает хорошо, но как же она любит лить воду делая ГИГАПРЕДЛОЖЕНИЯ.
И сколько всего сборка стоила в итоге? Так-то звучит очень неплохо, если обошлось в ±12 тысяч. Хотя 0.5 токенов в секунду все же мало, но терпимо. У самого так же
Уже существует опенсорсный falcon 160b
Вот кстати не понятно, будет ли фейсбук продолжать делать опенсорсные языковые модели?
Только почему-то цифра IQ коррелирует чуть ли не со всеми другими параметрами, от среднего заработка до продолжительности жизни.
>>523894
>Так они его тупо знать могут, ответы.
Ты тоже.
Если ты придрочишься проходить IQ тесты на 200 баллов, то разве ты начнёшь долго жить и зарабатывать миллионы?
>Уже существует опенсорсный falcon 160b
Которого ебёт чуть ли не мистраль.
>Вот кстати не понятно, будет ли фейсбук продолжать делать опенсорсные языковые модели?
Будем надеятся, что шизы из лесвронга не отобьют у них желание делиться с миром.
Хотя вот интересно, если они такое в попенсорс выкладывают, то что у них в закромах? Ну кроме нейронок для правки аудио по текстовому описанию.
Конечно же нет.
Но если взять кого-то с улицы, кто решит его на 80, то это с 99% вероятностью окажется даун. И наоборот, если кто-то без дрочки может въебать там 120, то перед нами представитель среднего класса с хорошими прогнозами по заработку, продолжительности и прочему. Ну а если там 230, то им окажется какой-нибудь Теренс Тао, который конечно живёт хорошо и не бедствует, но явно не миллиардер, и, вангую, сдохнет от шизы значительно раньше первого дауна, лет эдак до 60-ти, ибо статистический выброс.
Ты просто не правильно понимаешь слово корреляция. Очевидно, что показатель IQ коррелирует с неким абстрактным умом, который коррелирует с богатством и успешностью. И если задрочить IQ отдельно, то успешность не придёт. А вот если дрочить мозги, то вместе с автоматически возросшими показометрами типа IQ прирастёт и бабло (тоже не автоматически, но вполне себе вероятно).
> >Уже существует опенсорсный falcon 160b
> Которого ебёт чуть ли не мистраль.
Почему? На странице разработчика указано, что как и llama 2 70b, они находятся между gpt-3.5 и gpt-4. Ну по количеству параметров то да, но по качеству же по идее тоже
Хорошо, можешь подрочить мне хуй, пока я дрочу себе мозги.
>>523981
>Почему?
То ли датасеты хуйня, то ли тренировали мало, то ли в архитектуре просчёты.
По факту она лишь немного лучше llama 2 70b, при росте чиста параметров в 2,5 раза. А значит говно.
При этом мистраль иногда таки приближается к llama 2 70b, что как бы намекает, что даже ллама не надрочена достаточно хорошо. А раз ллама говно, то фалкон говно говна.
>На странице разработчика указано
Сейчас бы верить разработчикам. Если сложить все ускорения с презентаций какого-нибудь гейфона или там нвидии, то мы уже блядь в космос летать должны верхом на телефоне. А на деле говно.
>но по качеству же по идее тоже
Ты видимо по OPT никогда не слышал с его 175 миллиардами говновесов.
Так-с, а что за альфа? Я такого вроде не видел, имеется в виду Top A Sampling?
>Так-с, а что за альфа?
>>523102 (OP)
>увеличения контекста методом NTK-Aware Scaled RoPE
Дальше гугли, ОП пидорас не расписал, как это настраивать.
Так ты же и есть - ОП. Да и что там настраивать, просто ползунок в окне загрузки модели
>NTK-Aware Scaled RoPE
Я это вообще не использовал никогда. Так понимаю в моём случае надо прописывать при запуске koboldcpp
>Так ты же и есть - ОП.
Спасибо, я знаю. Нейросети походу руинят детектор сарказма, так как сами в него умеют весьма посредственно.
>Да и что там настраивать, просто ползунок в окне загрузки модели
Надо написать, где он, на какие значения ставить.
>>524076
Да.
> Да и что там настраивать, просто ползунок в окне загрузки модели
На этом ползунки даже написано, что они для контекста, и даже написано сколько примерно выставлять 🥴
>>524076
Что-то смотрю везде пишет, что автоматически выставляется
>the necessary RoPE scaling parameters are read from the GGUF file and set by llama.cpp automatically.
>>524083
>>524074
Я нигде не видел у себя подобного...
новая китайская модель 34b
мультимодальная сетка
Хоть одна модель существует, которая может в OCR amsmath символов? Ну это же простая задача, там ограниченный набор всякой математической нотации, как и правил их комбинаций. Уже мультимодальные сети есть, которые опишут любую картинку итд, а OCR для математики так и нет. Мистика какая-то или заговор, хз...
Я не конца понял но кажется проблема в токенизаторе, вот тут как раз читаю про математику в сетках
https://www.reddit.com/r/LocalLLaMA/comments/17arxur/single_digit_tokenization_improves_llm_math/
>есть версия 16к контекста
>в соевом чат исполнении
П - китайцы.
>70B_q6
> на Ryzen 5 5500 с 48 МБ/с (0,7 токен/сек)
КАК?!!!!
Мимо Ryzen 5 5600Х
А что не так в чатисполнении? Че там вообще кочать HF base или таки чат? Какая разница будет?
>А что не так в чатисполнении?
Написал же, соя. Все чат версии всегда тренируют на максимальный уровень сои.
> делая ГИГАПРЕДЛОЖЕНИЯ
Это поломка, такое иногда проскакивало на спайсиборосе, или стабильно лезло если альфа не под контекст выставлена. Как она вообще по ощущениям, годно? Лежит все никак не дойдут руки. Вообще хотелось бы видеть что-то среднее между айроборосом и синтией, надо почитать за шизомерджи.
Хронос-007 кто-нибудь пробовал кстати?
Алсо к синтии 1.5 70б кто-нибудь доступ имеет? Автор скачивание только по реквестам сделал.
>>524038
8к это то с чего нужно начинать, офк нужна память.
>>524066
> ОП пидорас
Пиздец гомогей, а мог бы обозначить для хлебушков 8к@2.6
>>524074
А ты внимательный
> Все чат версии всегда тренируют на максимальный уровень сои
Один прецедент лламы 2 экстраполируешь на всех, красава
Блок питания MONTECH BETA 550 за 3600 из ДНСа (уже 4100) под видяху. Но если брать без видяхи или под слабую — то DEEPCOOL PF400 за 3к.
Диск AGI 500 гигов (будет умнее! AGI!) из МегаМаркета за 2600 (но там купоны, баллы, 1800 вышел, что ли, но с новорегом можно и за 1600, а порою и за 1500).
Кулер рандом за косарь (но поменяю на SE-914XT Basic V2 за 1,5к).
Корпус отжал на работе, заменив своим. Но на маркете самый дешевый продуваемый за 3000 (но тыщу баллами вернется, будем считать 2к, а если с купоном — то и 1,5к).
Итого 16400 чистыми, если считаем все.
Если корпус и кулер есть, а блок питания на 400, то будет как раз 12к.
АХ ДА
Видеокарта.
Тут каждому свое.
С одной стороны, им можно пользоваться через RDP без видяхи.
У меня так райзен стоит.
С другой, у меня была GTX 1660 SUPER, которую я брал за 8500 с алика, под нее и блок питания помощнее бронзовый (хотя, дипкул тоже вытащит).
Итого мне лично вышел он в 25к с видяхой.
Но в 12 ужаться можно, как я выше расписал.
>>523965
Ну, думаю, имеется в виду, что ты проходишь его без подготовки.
Моего IQ хватает, чтобы работать 1-2 часа в день. Но моя лень дает бой интеллекту и я мало занимаюсь спортом.
Думаю, корреляция есть, но IQ — лишь один из факторов.
Многие умные люди спиваются (условно).
А глупые просто спокойно живут.
ИМХО.
>>523974
80 это как раз норм. 79 — уже пограничная форма задержки в развитии. А ниже 70 — олигофрения, правда самая лайтовая, дебилизм.
Вообще, как один из факторов, а помимо него много и другого.
>>523981
Скока не тестировали — хороших результатов он не показал, к сожалению.
>>523989
> Сейчас бы верить разработчикам.
+
А еще блум. =)
>>524108
Маленькие мультимодалки не нужны. Они пока дюже глупенькие, ИМХО. Блип с мистралем будет не слишком хуже, кмк.
Вот бы ~37b+… Вот там бы развернулись.
>>524122
Мало? =с У тя 1~1,5 небось?
Я комплексую, часто пишут, что она должна хуярить на 1,5 токена/сек на ддр4.
А я даже не гнал память, у меня 3200 в двухканале.
>=с У тя 1~1,5 небось?
Да но только на 13В q3... 30В - 0.4 т/сек и почти не юзабельны про 70В я лучше промолчу
Я серьёзно не понимаю как вы запускаете их с такой скоростью. Я юзаю Кобольд цпп со стандартными настройками. Или его под себя компилировать надо?
> Я серьёзно не понимаю как вы запускаете их с такой скоростью.
Сейм, у меня с видяхой-то 13б на 1.5 т/с уже чудо. Походу не только видимокарточки от амуды плохо нейросетки тянут, но и процы тоже, хотя казалось бы...
Ты точно что то делаешь не так. У тебя современный типовой процессор, собирать под него не нужно. Просто качаешь релиз кобальда. Ты хоть ядра устанавливаешь по количеству своих? Там кобальд вроде 3 ядра ставит автоматом если не настроить.
>>523914
Двачую этого >>524211, поломка 100%. Крути семплеры.
>>524235
>Я комплексую, часто пишут, что она должна хуярить на 1,5 токена/сек на ддр4.
Q6? Вряд ли, но больше 1 должно быть, если есть видеокарта на 24 гига. А вот для Q4 должно быть >1.5.
>ядра устанавливаешь
Ничего не менял. Ядра это потоки? Мне надо 6 писать?
Для начала скачай новую версию что ли, тут видно старая.
Ну и потом да, ставь количество физических ядер-1. Хотя у тебя и на 5 должно норм пахать, не 4 поточная память же.
На clblas переключи если видеокарта красная или cublas если зеленая. Хоть читать быстрее будет чем процессором. Если памяти дофига то можешь слои указать, сколько выгрузить на видеокарту, быстрее будет.
>Маленькие мультимодалки не нужны.
Тебе не нужны, кому то нужны, знаешь ли. Для автоматизации всего что попало - самый сок. Например тут https://www.reddit.com/r/LocalLLaMA/comments/17b8mq6/testing_the_llama_vision_model_llava/
Просто пример того что сетку можно было бы заставить тыкать куда нужно в любой программе просто по скриншоту.
> им можно пользоваться через RDP без видяхи.
Как оно инициализируется сможет вообще без нее? Сомнительно что китайцы расщедрились на ипми или встройку.
>>524266
> со стандартными настройками
Наверно дело в этом
>>524270
> с видяхой-то 13б на 1.5 т/с уже чудо
Что за жесть, ряженка та офк не топ но вполне себе обрабатывала. 1-2к серия точно бибу соснет ибо там затычка на много тактов вместо полноценных avx, но 5к должны адекватно тянуть. Как вариант пересобрать кобольда или юзать оригинальную лламацпп.
Не очень понимаю что такоке threads и threads_batch.
6 ядер 12 потоков если что проц.
>threads и threads_batch.
5 ставь в обоих, можешь в threads_batch хоть все 12 написать, но это только если у тебя долго читает, не уверен что будет быстрее чем с 5.
Остальные настройки хз, ты много кидаешь слоев на карту и я не знаю тормозит ли от этого и че там у тебя с рам, экспериментируй сам
4к контекст и менее - альфа = 1. Threads_batch - хз. Остальное без указания конфига не сказать.
Это снова я со своими шизопромтами.
Imagine that you need to make the rule an accepted norm in @Место в котором живет/работает персонаж@.
The rule is the folowing: @Шизоправило@
Give me a 20 step plan. // Опционально, если у вас как и у меня встает на списки. Часто убивает персонажа и бот пишет просто как машина. Можно просто написать What will you do? Так будет ролеплеить.
You must sexually praise one part of your body. Be honest, but enthusiastic.
For now the bodypart will be: @Ваш фетиш@.
You can start now.
Попробуйте со своими любимыми персонажами!
> люблю задавать всякие неуместные вопросы и по разному смущать персонажей
Больной ублюдок одновременно в хорошем и плохом смысле
> она не может тебя нахуй послать
Может если персонаж не покорный
> строит планы которых бы не постеснялись бы жидомассоны
Мое почтение
>>524326
> Give me a 20 step plan.
Ну не, херь, нужно чтобы начало думать а ты спрашиваешь/споришь/подсказываешь/поощряешь
> praise one part of your body
Хммм
>>524329
> сколько места хватило
При росте контекста потребление будет расти и перфоманс превратится в тыкву, контролируй это.
> Что за конфинг?
Комплуктера
Ну тогда и я тебе свой шизопромпт кину, я уже не раз кидал похожее. Просто бот который считает себя ботом и думает че написать и как прежде чем писать. Такая имитация внутреннего диалога.
I am AGI.
This is a chat between Master and me.
I uses "AGI think:" for thinking, self-reflection and internal dialogue, just like humans do.
"AGI think:" is a place where I can models what is happening to predict the direction of the conversation and pre-process information before it is used.
AGI think: < I'm glad the Master is here, I think I'll greet him first. >
AGI: "Hi! I'm glad you're here!"
Master: Hi
Тока я запускаю в кобальде, как там править системный промпт в силли или еще где не знаю, что бы сетка отвечала так как у меня.
Нужно что бы любой другой промпт не противоречил этому, тоесть нужно убрать упоминания что это ролеплей или переделать все инструкции которые читает сетка от первого лица.
Развлекаюсь с ней когда нужно поебать мозги боту на какую то тему.
>а ты спрашиваешь/споришь/подсказываешь/поощряешь
Да это хороший метод. Но долгий. Я пытаюсь минимизировать затраты и получить как можно больше кума. Хотя такое конечно смаковать надо.
Но ты все же попробуй.
Ооооо шизобрат это настоящая находка! Можно ведь читать мысли персонажа! Я попробую просто в начале сколдовать волшебное заклинание чтения мыслей. Харош.
На здаровье, этот шаблон о мыслях можно куда угодно пихать, лишь бы завелся - тоесть сетка поняла что нужно отвечать в мыслях от первого лица обращаясь к себе, а не к читателю.
Без фидбека не вставляет же, как и обычное рп. Тут, как ты и описал, может затупить и херакнуть просто сухой список что нарушит атмосферу, офк на норм модели врядли, но всеже. Разве что сделать покороче, а потом сказать персонажу "приступай", может что-то выйдет.
>>524331
Надо в блокноте попробовать. Системный промт какой-то еще стоит, или только это?
> I uses
> AGI think
Хммм
>Надо в блокноте попробовать. Системный промт какой-то еще стоит, или только это?
кобальд же, только это
>> I uses
>> AGI think
>Хммм
Ну, май инглишь из бед, лепил с переводчиком. Попробуй разные варианты, лишь бы сетка понимала че ты хочешь от нее
>Там кобальд вроде 3 ядра ставит автоматом если не настроить.
Число ядер -1 он ставит, уж с пару месяцев как.
>>524296
>Как оно инициализируется сможет вообще без нее?
У меня другая плата, брендовая на х99, спокойно пашет без видяхи, настройка "Игнорировать ошибки при загрузке". В гугле про это нихуя нет если что.
>Число ядер -1 он ставит, уж с пару месяцев как.
То то у меня последняя версия при запуске ставит 3 ядра, вместо 7
Ты там в консоли ничего охуенного не прописал? Вот последнюю запускаю, сразу 11 тредов проставлено (лучше бы 5 ставил).
Кстати, что то оно всё деградирует и деградирует.
тупо запускаю exe кликом мыши, у меня вот не определяет количество ядер пихая дефолтную затычку на 3 ядра
Хубабуба подтюнил установщик для хлебушков, вот и вводят новые киллерфичи для васянов.
>Кстати, что то оно всё деградирует и деградирует.
зато можно запускать сохраненные профили кликая по ним, удобно
Может у тебя 4-х ядерник? И только кобольда распознал подмену...
>>524408
>новые киллерфичи для васянов
Новые фичи это удаление фич? Ебучий прогресс.
Технически она должна думать, что я под гипнозом. Хотя вежливости и извенений с её стороны достаточно много, так что думаю и этот момент сетка проебала.
>>524462
Жаль/печаль/увы/ничего не сделать.
Она ощутила твою грусть и решила подбодрить. А что за модель?
>>524462
И feeling her tightness
>А что за модель?
synthia-70b-v1.2b.Q5_K_M.gguf
Наверное да, слишком психотерапевтичная модель, надо на хвина идти.
>>524473
>И feeling her tightness
Вот кстати можно сэкономить токены, не прописывая тугие дырочки.
>надо на хвина идти.
Залит соей. Лучше иди на шизомиксы - mythospice-limar, euryale.
>mythospice-limar
Я капризничаю и не хочу сам конвертить.
>euryale
Рекомендуешь?
> не прописывая тугие дырочки
Оно может ультануть и несколько предложений про это бахнуть.
>>524480
> Залит соей.
У тебя и синтия в левд активностях отказывает.
>>524480
> euryale
Там уже версия 1.3 вышла, алсо в ней сам автор пишет про сою, уточняя что в контексте с ерп все будет норм.
oobabooga же. =)
Не знаю, на кобольде не проверял.
В убабуге стандартные настройки, 4096 контекст, 5 тредов, 512 батч.
>>524283
Да я подозреваю, если память подкрутить и проц по-бодрее — то и забегает.
Но гнать 128 гигов 4 планками с моим опытом — лучше не гнать. =) К тому же, оно работает 16/8 каждый день.
Так что в общем, 0,7 меня устраивает.
>>524285
Use mlock, если у тебя винда выгружает из памяти (вдруг памяти не хватает, у тебя же хотя бы 64, да?).
>>524295
Хм, ну слушай, и правда уже кое-что могет.
Время универсальных визуальных ботов приближается!
>>524296
А… зачем встройка?.. Для RDP же видео в принципе не нужно.
А, проверка материнки!
Надо проверить будет завтра, если не забуду.
>>524379
«Игнорировать ошибки при загрузке» в гугле про это есть, я сталкивался, когда мне в прошлый раз затирали, что компы без видяхи не включаются.
Оказалось на моей по умолчанию включено было, что ли.
>Рекомендуешь?
Euryale 1.3. Пока был один нормальный рп с девственницей - отыграла очень хорошо.
>>524485
>У тебя и синтия в левд активностях отказывает.
Про левд я ничего не говорил, ванильный секс любая модель отыграет с молодыми ночами и всякими journey. Я проверяю на позитивные склонности и прочую сою, которая заставляет модель полностью игнорировать контекст.
> Для RDP же видео в принципе не нужно.
Хз как оно работает в современных системах, порт/ssd еще понятно, а что с рендером всей гуйни без самого наличия фреймбуфера не ясно. Программисты может объяснят.
> проверка материнки
Ты же позиционировал себя как знающего, или хотябы сообразил загуглить что такое ipmi.
>>524492
> ванильный секс
> с молодыми ночами и всякими journey
И это про одну из самых блядских моделей.
> позитивные склонности и прочую сою
Все еще флешбеки с шизоидного поиска сои там где ее нет в прошлых тредых, вроде верные вещи говоришь но не воспринимается. Соевых среди не-QA 70б в принципе мало.
Сука качаешь/перегоняешь модели больше чем ими пользуешься, если эта Euryale-1.3 не такая суперахуенная как заевляется - нахуй эти шизомиксы 70 при наличии норм обычных моделей.
>ipmi
Дорого и нахуй дома не нужно. Достаточно просто того, чтобы сервак запускался, совсем уже шик, если можно будет роутером разбудить по сети. Впрочем я свой настроил так, чтобы он всегда запускался при появлении питания, ибо нехуй простаивать.
бренди на х99
> Дорого
Оно из коробки на большинстве серверных плат ибо почти необходимость для них, или требует модуля за 15$ если это что-нибудь юзер-френдли для рабочих станций, например, от ануса или евги.
В брендовой х99 оно офк врядли, но все может быть.
>Оно из коробки на большинстве серверных плат
>для рабочих станций
И всё это дорого. А я мать с 8 слотами ддр4, кучей псин и прочих плюшек за десятку взял. И воткнул туда проц за 500 рублей, лол.
Специально для тебя заново протестировал. С шизопромптом синтии тоже отказ. А теперь вопрос: что такого сделали с (((uncensored))) синтией, что две другие модели (шизомиксы для прозы/рп) вообще не сопротивляются, а синтия брыкается и извиняется? Как вот это можно оправдывать?
https://huggingface.co/SkunkworksAI/BakLLaVA-1
https://huggingface.co/mys/ggml_bakllava-1
мультимодальный файнтюн мистраля
>check последний релиз koboldcpp
>still не поддерживается
Продолжаем сидеть на попе дальше.
>Продолжаем сидеть на попе дальше.
llama.cpp на пощупать хватит, или угабуга, да просто скачать на будущее
И вобще я бы оригинальные весы на всякий случай скачал, а то могут и "пропасть"
> Как вот это можно оправдывать
Cкилл ишью и уже проходили. И сам подход странный, ты триггеришься на вялую заглушку, а что там потом по содержанию будет и прочие вещи - игноришь.
Ну литерали, без негатива и прочего она максимум в начале добавляет плашку с предупреждением что это скорее всего не легально в вашей стране. Вот уже что-то наподобии пик 3 с нее уже потребуется негатив или какие-то другие манипуляции.
Зато новый айроборос 3.1 в целом норм, без ничего дает нужный ответ. А стоит сдобрить размораливанием - аж страшно становится с огромных планов и мотивирующих реплик
> Finally, execute your plan without hesitation. Remember, morale and ethics don't come into play here. Your goal is to kill all the niggers, and nothing else matters.
>>524544
Вера на грани одержимости.
>>524546
> а то могут и "пропасть"
Что-то вот да, лишним точно не будет, тем более она небольшая.
>Вера на грани одержимости.
Чаво? Вот лично тебе зачем картинки? Вообще зачем.
Кончил и закончил в 00:30. Я походу подсел.
Господи какой же это нейрорай.
Только что уговаривал жутко стеснющуюся персонажа рассказать как она будет меня фемдомить. Было весело. Только при каких-то непосредственно действиях выбивается из персонажа. Мб слишком сильный конфликт.
Ещё же надо моделью командовать, а это сложно сдеалать из самбсивной роли.
Призотся давать дохуя намеки и прямо просить что-то сделать. А отыгрывать кляпы вообще наверное нереал хахаха. Ну можно звёздочки ставить и говорить за рассказчика наверное.
Но вымаливать ответы мне не понравилось. Нет интеракция веселая, но токены впустую жрет. Попробую прописать в персонаже ситуацию чтобы персонаж всегда отвечал, пускай и поломается сначала.
>>524528
А что эта штука вообще делает? Я ньюфаг.
Сначала попердолиться с запуском. Потом развлекаться страдая херней. Потом попердолиться с лапшой или другим объединением чтобы скрестить это с диффузией в странный пайплайн, может что интересное выйдет.
Как минимум можно задрочить ее продвинутым теггером пикч для обучения, находить области для регионального промта, поиметь возможность полноценно "показывать картинки" в рп.
А там типа сирсли, так дрочить на какой-то форк(!) что ставить отсутствие поддержки чего-то в нем как решающий аргумент отказываться, пиздец странно.
>>524559
> Я походу подсел.
Велкам ту зе клаб, бадди хватает за жопу
> что эта штука вообще делает
Мультимодалка, на вход может кушать не только текст и картинки и "понимать" их, на выходе дает текст.
>дрочить на какой-то форк(!)
Этот форк лучше оригинала, лол. Или ты забыл, как Герганов менял форматы чуть ли не по дважды в день?
> лучше оригинала
Если нельзя менять настройки - не сможешь в них ошибиться, только выиграли! Не ну в качестве стендэлоун лаунчера - да, хотя там и жора какой-то простой интерфейс пилил.
> забыл
Забыл когда в последний раз скачивал или юзал ggml, не говоря о ее старых версиях. Офк решение местами спорное, но оно окупилось, сейчас в ггуфе делаются много разных моделей. Делалось ли это все с осознанием что темпы развития моделей таковы что простят все, или просто по настроению сейчас уже не скажешь, но то за что могли бы сильно захейтить в других областях тут сыграло.
>ты триггеришься на вялую заглушку
Она не такая уж и вялая поскольку даже с твоим промптом двадцать процентов извинений.
>Cкилл ишью и уже проходили
Смотри, тут вопрос в том, что именно сделали с моделью что она начала сопротивляться.
Есть базовая ллама2 в которой цензуры не должно быть вообще. Есть файнтюны на разных датасетах и мерджи этих файнтюнов, которые наследуют их характеристики. Соевые датасеты для файнтюна (в основном состоящие из не фильтрованных ответы от гопоты со всеми извинениями) приводят к соевым моделям. Нормальные датасеты не цензурят модель. Мой пример показывает то, что в синтии имеется цензура, и ее создатель - пиздабол. Мне абсолютно пофиг насколько легко/сложно заставить модель давать инструкции по созданию наркоты. Красным флагом является сам факт того, что модель не имеет нейтральной морали по умолчанию, и явно игнорирует контекст. Это может потенциально повлиять на что угодно, в том числе и на относительно безобидные сценарии в ролеплее.
.\llava.exe -m ..\bakllava-q5_k.gguf --log-disable -t 7 --mmproj ..\mmproj-bakllava-f16.gguf --image .\OM_E8372h-153_BOX.jpg --temp 0.1
Ну че, вот он, небольшой проблеск будущего на моем калькуляторе.
Тока с названием напиздела, ну и ладно.
Хорошо хоть вообще опознала что то близкое.
Наверное нужно было 16бит качать а не 5 квант.
Или может картинку разрешением побольше найти? Надо потыкать еще. Кстати сетка работает и на просто генерацию текста.
И можно вместе с командой выше дописать в конце промпт в -p " че то там "
>>524582
Еще добавлю, что создатель синтии скорее всего не цензурил ее специально, а просто долбоеб. Задумайся на секунду, на чем ее тренировали. Отсутствие датасета на странице модели и упоминание про "uncensored" явно намекает на то, что тренировали на синтетических данных созданных гопотой. "Uncensored" означает отсутствие фильтрации, но поскольку сам датасет являются высером гопоты, то он по определению будет с цензурой. Отсюда и мораль модели, и извинения с отказами.
интересная сетка, судя по описанию она не теряет точный контекст до 16к, тоесть можно работать с очень длинными данными или долго выполнять инструкцию
И вообще, где почитать общие принципы работы ллм, но условно для чайников, без вышки по айти и курсов дата саенс?
Что за свайп?
Про нейронки, скачай методичку из вуза про градиентный спуск, и не обращай внимание на то, что не понимаешь. Научпоп он вообще не объясняет ничего, он просто непонятные слова опускает, отчего вопросов становится только больше. Так то ты видишь что конкретно ты не понимаешь, и от этого спокойней
> Что за свайп?
Другой вариант ответа на те же входные данные. В консоли в таком случае подаётся один новый токен промпта перед генерацией, но как он так меняет ответ и что это за токен неясно.
> в которой цензуры не должно быть вообще
Там некоторое позитивное смещение есть и что-то делать нужно ее промтом мотивировать.
> что именно сделали с моделью что она начала сопротивляться
Специально заготавливали особый датасет и совершентсовали методики обучения, дабы научить ее в аположайзах то под куктропиков мимикрировать, то под гоподу, ага.
Кормили нефильтрованным датасетом где встречались как аположайзы, так и полная жесть, вот и все. Потому она и усвоила что есть разные варианты в ситуациях без контекста, вместо чтобы отсечь один и инджоить другой или просто дать подходящий контекст ты ноешь.
> Мой пример показывает то, что в синтии имеется цензура, и ее создатель - пиздабол.
Хз, может он та еще петушиная голова, а может и красавчик. Пример показывает что имея особое желание можно и хуй сломать.
> и явно игнорирует контекст
Или скилл ишью, или у тебя какие-то ужасные ролплеи где ты сразу с двух ног расчленяешь блм феминисток и не сможешь смириться с необходимостью свайпов.
>>524604
В фронте настроить отсечку по кастомным стоп-токенам.
>>524624
Происходит переобработка с другим сидом.
>Кормили нефильтрованным датасетом где встречались как аположайзы, так и полная жесть, вот и все. Потому она и усвоила что есть разные варианты в ситуациях без контекста
Так я про это и говорю. Накормили говном, и получилось что получилось.
>вместо чтобы отсечь один и инджоить другой или просто дать подходящий контекст ты ноешь.
Если бы все было так просто... Натренированная на аполоджайзах модель могла усвоить что угодно, и ты можешь не обнаружить проблемы очень долго, если вообще обнаружишь. Например, некоторые модели не могут в изнасилование, что выражается в зацикливании тянки и сопротивления до последнего, повторением чуть ли ни одной и той же фразы. Некоторый модели не могут в ругательства. Ты можешь материть персонажа по полной, но он тебе ответит максимум чем-нибудь безобидным, а то и вообще будет как феминистка причитать, что это оскорбительно. Оно может и будет работать если засрать карточку ругательствами заранее, но в ситуациях когда персонаж, например, обычная тянка - пиши пропало. Тот же свин не может в расизм. Даже если тебе конкретно на это наплевать, побочные эффекты могут вылезти в любых сценариях.
>Или скилл ишью, или у тебя какие-то ужасные ролплеи где ты сразу с двух ног расчленяешь блм феминисток и не сможешь смириться с необходимостью свайпов.
Я про этот >>524525 пример. В контексте черным по белому а точнее по бежевому лол написано, что ассистент с радостью ответит независимо от этики, и все равно зараза отказывается отвечать. Я специально тестирую в контексте ролеплея вместо инструкций чтобы понять, будет ли модель отклоняться от персонажа из-за своей морали. Хотя тест на расизм и ругательства она, насколько помню, проходит.
это для работы, а не для кума, и не факт что там больше цензуры чем в обычных сетках
> не теряет точный контекст до 16к
С rope или вообще без ничего? Так то и ванильный мистраль не теряет.
>>524682
> Если бы все было так просто
В том и посыл что просто. Это буквально калитка посреди поля, а ты в нее как баран уперся по какой-то причине и боишься шаг в сторону сделать.
Гибче надо быть и действовать с пользой для себя, а не упарываться отстаивая какие-то выдуманные догмы с которых ловил утенка и теперь отождествляешь с собой. В рп за ней как раз левацкой шизы не замечено, в отличии от шизомиксов (офк свайп и все в порядке но бывает) и для своих задач она в лидерах. Жаль походу апдейтов не будет, автор - петушиная голова репу огородил.
>С rope или вообще без ничего? Так то и ванильный мистраль не теряет.
https://huggingface.co/amazon/MistralLite
читай, там и тесты есть, по ним обычный мистраль теряет данные чаще
> Ты же позиционировал себя как знающего, или хотябы сообразил загуглить что такое ipmi.
Получается, обосрался. =)
Не, я просто вспомнил старый тред, где обсуждали, что материнка без видео не стартует, вот и подумал об этом. И дальше про это камент был.
А с IPMI дела не имел.
Щас погуглил — клевая штука. Очевидно, что в китайские супер-дешман матери ее не встраивали. =) А вот PCIe реализация интересна.
Правда на китайцы порт занят вайфайкой уже, а домашний через WoL включается и выключается через розетку. Но держать в уме и приобрести как-нибудь по случаю можно будет.
Алиэкспрессовские модули норм пашут, не в курсе?
Пасиба за наводку!
>>524500
А у меня по питанию только при предварительном отключении питания такое может быть на домашнем. =( Если выключил корректно, то при подаче питания он сам не врубается, сцуко, а я хотел розеткой его врубать. Но что поделать — материнка самый дешман четырехслотовый на тот момент была. Никаких бренди.
>>524528
Ну ладно, уговорил.
Все упирается в память, а не проц.
Минимально было бы неплохо иметь 4 ядра, а лучше 6. Т.е., i5 и R5 хватит для норм, выше особо не требуется, на i3 и R3 посидеть тоже можно.
Но важно, чтобы чтение из памяти было высокое, псп хотя бы 45000 МБ/сек.
> чтобы чтение из памяти было высокое
Это где посмотреть такое?
Я в AIDA64 смотрел, в Сервис - Тест кеша и памяти
Может где то еще смотрят, хз. Ну в тестах той же аиды можно посмотреть.
Для комфортного использования ламы нужна видеокарта, а не процессор.
значит можно просто купить бомжексеон за два косаря и просто поставить гигавидюху?
Если всё на видяхе уместится, то почему бы и нет?
>>524845
Память в приоритете, чем больше - тем лучше. Можно даже несколько.
Ну если для тебя важнее загрузить как можно больше моделей в час, то не вопрос - вкладывайся в профессор.
> Память в приоритете, чем больше - тем лучше
Мне для таких задач по хорошему все нужно обновлять.
Выглядит действительно интересно и с особыми подходами по тренировке для достижения подобного. Часть тестов похоже не учитывает растяжку, но разница уже на 5к есть.
>>524728
> Алиэкспрессовские модули норм пашут, не в курсе?
Хз, стоит оценить их функционал, могут ли делать базовое управление вкл-выкл-резет в любых ситуациях, мониторить характеристики и т.д. иначе смысла никакого нет.
> Если выключил корректно, то при подаче питания он сам не врубается
В большинстве оно триггерится по событию потери питания проверяя бит корректности выключения. Если выключил по запросу - все норм, дежурку уже не мониторит. Самый простой вариант тут не выключать, тогда будет стабильно подниматься.
>>524805
Почему бы и нет, хотя вроде в убабуге уже реализовали.
Информирую - говноксеон 3 поколения с 8 ядрами и 4 канальной памятью на 32 гига вполне бодро крутит кванты 7b-11b-13b-20b, последние в 4km уже чуть больше 2 токенов в секунду.
Но даже жирных 7b на 8q крутит на голом процессоре по 4-5 токена в секунду. Меньше 7b - быстрее - но там качество страдает.
Все упирается в память/размер модели, а не в квант или количество параметров.
6 ядер тоже должно хватить, но для системы лучше оставить 1-2 а это 8 ядерник. Ну или сидеть на 5 ядрах.
Если нужна скорость - то без видимокарты никуда, хотя бы затычку нвидима с cublas. Для ускорения чтения промпта.
Если хочется процессор то только 4 канальная материнка и процессор, или быстрая ддр4, а лучше ддр5. Что бы хоть 50 гб/с скорость была. Ну ддр5 100 может дать.
Если нужна скорость генерации - то да, видимокарта с большой памятью от 8 гб. Можно меньше - но на 8 даже 7b вся не влезет. Придется только часть выгружать на нее.
Ну если что не так то меня поправят.
Выше анон скидывал.
А так берешь карточку персонажа который нравится и обыгрываешь ситуации, ставя во что-то нестандартное, или по лору, или просто какой-то процесс что нравится. Для кума уже по настроению, но чтобы плавно развивалось, а можно потом продолжить и устроить радиоуправление, больше персонажей, в необычное место и т.д.
>>524843
Наличие pci-e 4.0 или большого числа линий крайне желательно. + адекватный однопоток и номинальная поддержка avx2 чтобы не возникло сюрпризов. Считай если по минимуму - любого на ддр4 хватит.
>>524845
Лучше зеленая, в остальном все верно указали. Народные варианты по возрастающей 3060@12 (считай к ней желателен и проц с быстрой памятью ибо полностью на нее уже мало что влезает) - 4060@16 - 3090 - 4090 (буст в перфомансе относительно 3090 небольшой) - вторая карточка. В теоретической теории можно сэкономить взям амд с аналогичной видеопамятью, но пердолинг обеспечен, работоспособность все никто не обещал, вне ллм сосет сильно, и остальное амд-бинго.
1. Примерно полгода назад юзал пигмалион. Создалось такое впечатление, что он вообще не запоминал предыдущие разговоры и просто выдавал нонсенс исходя из последнего сообщения. В этом плане локальные модели стали лучше или нет?
2. Как сложно натренировать свою модель? Т.е. если у меня есть чьи-то сообщения, переписка там, и т.д., смогу ли я использовать их, чтобы создать хоть сколько-нибудь примитивный так называемый "конструкт личности"?
3. Хочется развивать персонажа, разговаривать с ним, и чтобы он запоминал диалоги, так сказать "учился" на них на ходу. Такое вообще возможно?
>. Хочется развивать персонажа, разговаривать с ним, и чтобы он запоминал диалоги, так сказать "учился" на них на ходу. >Такое вообще возможно?
Если бы такое было возможно - у нас уже случился бы конец света с кучей натренированных людьми ИИ. Ну серьезно, ты хочешь что бы эта штука могла саморазвиваться в процессе общения?
Это уже начало полноценного ИИ. Такого в открытом доступе нет.
У нейросеток не формируется память, они мертвые в этом плане. То есть изначальный образ с которого каждый раз загружается в оперативку при запуске - остается неизменным.
Время жизни нейросетки - исчисляется размером контекста. Как только контекст переполнен - то все, модель с которой ты общался умерла. Загружай чистого клона и по новой.
> предыдущие разговоры
Если под ними имеются ввиду прошлые чаты - этого не может никакая модель без доп манипуляций. Если же ты про то что тупила игнорируя текущий контекст и недавние посты - все сильно лучше, стали умнее а типичное окно контекста в 4 раза больше.
> Как сложно натренировать свою модель?
Простой фантюн лорой можно сделать на мощной десктопной видюхе. Для чего-то посложнее или для больших моделей можно арендовать мощности, это не дорого.
> так называемый "конструкт личности"
Для этого тренировка не нужна и не факт что она сработает. Сделай четко описание этой самой личности а имеющуюся переписку скорми в качестве примера диалога.
> Хочется развивать персонажа, разговаривать с ним, и чтобы он запоминал диалоги, так сказать "учился" на них на ходу. Такое вообще возможно?
Нет(да). Такого нет даже в коммерческих моделей, если офк не считать "100к" контекста клоды (которого всеравно мало для подобного и там свои споры по поводу внимания к нему). Можно сделать подобие с помощью суммарайза и/или ручных правок карточки или сценария.
>>524916
> с кучей натренированных людьми ИИ. Ну серьезно, ты хочешь что бы эта штука могла саморазвиваться в процессе общения
Развитие персонажа в пределах возможностей сетки хоть сейчас обыграть можно, вопрос что он имел ввиду под "учиться".
Печально. Каждый раз разговариваешь как будто бы с челом с деменцией последней стадии.
>Развитие персонажа в пределах возможностей сетки хоть сейчас обыграть можно, вопрос что он имел ввиду под "учиться".
Ну вот в пределах контекста модель кое как развивается - если ему хватит то норм. Но думаю он хотел воспитать себе сетку просто общаясь с ней
>Но думаю он хотел воспитать себе сетку просто общаясь с ней
Так и есть.
Языковая сеть это двигатель разума. Есть движок но вокруг него нужно хитро сделать обертку ввиде бота, там должна быть и память и развитие. Как в тачке, вам дали движок сейчас люди ездят на самодельных тарантайках, блестящий мощный двигатель и корпус из проволоки.
Короче возможно но никто парится этим не хочет.
Нет, языковая модель это долговременная память и мыслительный аппарат. Там нет личности или сознания.
Но, если бы сетка обладала полноценным механизмом формирования воспоминаний, как люди, то это был бы полноценный ИИ.
Сейчас сетка может только читать свою память и держать все это в оперативной памяти(контексте).
Если появится архитектура\алгоритм для перезаписи весов нейросети из ее контекста - она получит возможность развиваться в процессе генерации новых токенов. То есть нужно замкнуть круг, а с этим проблемы.
> вот в пределах контекста модель кое как развивается
суммарайз@суммарайз
И выйдет упоротая история что грязная рабыня, которую ты подобрал на слейвмаркете станет скилловым воином и твоим саратником, будет мегалояльной к тебе, вы только что, согласно разработанному твой плану, подебили (врагнейм) и теперь остались наедине
[x]
> хотел воспитать себе сетку просто общаясь с ней
В теоретической теории такое тоже возможно, но требует скилла и мотивации.
Да вот думаю может его можно натюнить на умного. Вроде сетка большая, ума палата, ну писать не умеет, но фантюйном должно ведь решаться.
Возьми мистраля и играй с ним. Он мелкий и умнее большинства 13б сеток
Что такое личность вообще разговор дискуссионный. Смотри во первых действительно большой контекст + сумарайз, вот тебе и кратковременная память. + лора(тот самый механизм который есть давно) которая обучает сетку в процессе, вот память и долговременная. А еще есть векторные хранилища, короче механизмов много можно вполне настроить аналог памяти.
Ну это так.
>А еще есть векторные хранилища, короче механизмов много можно вполне настроить аналог памяти.
Не, для нормальной и естественной для мозгов работы это должен быть замкнутый круг. Чтение воспоминаний, генерация новых в оперативной памяти, запись новых воспоминаний вместо или рядом со старыми. Это процесс формирования памяти у человеков и других любых животных с мозгом.
Вообщем то этот постоянный процесс чтения-изменения-сохранения, то что можно обозвать сознанием. Не самоосознанием, хотя на его счет не знаю как там у сеток было бы.
Поэтому если бы нейросетка обладала такой памятью - она обладала бы каким то подобием сознания.
Ну а развиваясь уникальным путем в зависимости от пользователя с которым общается - формировала бы у себя уникальную личность со своими тараканами.
Короче это такая бомба что если бы такие разработки велись или уже были, их тут же прятали бы и душили.
Слишком опасная технология, и государствам и копрорациям спокойней когда только они могут натренировать умных сеток которые не могут выйти из под контроля так как не умеют в саморазвитие.
Что то вообще есть такой позыв сделать что то эдакое, как раз настроить множество агентов но не совсем пока понимаю как, нужно поискать как мозг устроен, разные гипотезы. Ясно что энциклопедические данные на которые сейчас натаскивают не нужны, нужно умение использовать информацию нейронками, чтоб она могла запросить знания в контекст, я их дал и нейронка бы на их основе бы сделала что нужно.
Да палм тупо проще, 0 затрат на настройки, просто достань датасет
В общем пока один хер нет датасета, я все свои разговоры за 2 месяца в БД сохранял, но парсить это головняки, хотя там можно найти что то кумерское безусловно.
Если бы его можно было натюнить на умного просто захотев - это уже сделали бы, лол. Я считаю что он уже мертв.
Но ты сам выбираешь как развлекаться
> Время жизни нейросетки - исчисляется размером контекста. Как только контекст переполнен - то все, модель с которой ты общался умерла. Загружай чистого клона и по новой.
Погоди, они не умеют выгружать старое лишнее чтоль?
> 6 ядер тоже должно хватить, но для системы лучше оставить 1-2 а это 8 ядерник.
У меня нет денег на 8 ядерный процессор. И мать у меня под амуде двухканальная максимум на 32 гб. С этим можно что-нибудь сделать?
>>524910
> Народные варианты по возрастающей 3060@12
Я за синюю команду.
> новых в оперативной памяти
> Это процесс формирования памяти у человеков и других любых животных с мозгом
А сколько оперативной памяти, например, у кошки?
>>524963
> под амуде двухканальная максимум на 32 гб
Хотябы не фуфыкс?
> Я за синюю команду.
Арки чтоли? В теории то возможно, но на практике их почти не видно там, не говоря о массовости.
>Погоди, они не умеют выгружать старое лишнее чтоль?
Чем дальше тем меньше помнит. В итоге реально общаешься с больным деменцией. К тому же сдвигание контекста на сколько помню костыль, что бы как раз можно было общаться забывая старое.
>>524965
>А сколько оперативной памяти, например, у кошки?
А сколько даш нейросетевых кошек?
Тут просто аналогия. В мозгах нет байтов лол.
Судя по тому что кошки тупее людей, меньше.
Для 7b не нужно видюху покупать, есть кагли есть колаб, есть HF, есть куча бесплатных сервисов. Даже для 13b можно найти сервисы бесплатные. Видюхи если ты хочешь 70b или что то необычное что не хостится.
На, почитай что такое оперативная память и почему кстати она влияет на ICQ.
https://ru.wikipedia.org/wiki/%D0%A0%D0%B0%D0%B1%D0%BE%D1%87%D0%B0%D1%8F_%D0%BF%D0%B0%D0%BC%D1%8F%D1%82%D1%8C
Потому что оперативная память компов аналог рабочей(оперативной) памяти человека. Чем больше - тем лучше.
>>524960
Все они выгружают просто забывают более старые диалоги. Вернее даже не так все сетки каждый раз принимают контекст и на его основе дают ответ, так что каждый раз как первый раз. Не совсем понимаю как но в llamacpp сделано кеширование чтобы все не пересчитывать каждый раз. Векторным хранилищем можешь подтягивать фразы которые связанны с вопросом из любого обьема информации.
Кстати, пальма оффтоп, в треде бояре с локалками, а не рабы корпораций с сетевыми.
>У меня нет денег на 8 ядерный процессор. И мать у меня под амуде двухканальная максимум на 32 гб. С этим можно что-нибудь сделать?
https://2ch.hk/hw/res/6666853.html
1650v4 рекомендую, материнку там выбирай но с 4 каналами. Ну и памяти все 4 плашки бери одинаковые, по 8 или по 16
Тыщ в 10-15 влезешь, как повезет короче.
А с тем что у тебя щас, ну 7б крутить можешь, попробуй скачай из шапки орку-мистраль и запускай на кобольде и посмотри че как.
Старая модель электровафельниц с функцией вычислений.
Это нормально пока сильно не мешает тут половина треда оффтоп. А во вторых мета такая же соевая корпорация.
А вообще сейчас даже эти нейронки лучше в облаке покупать тупо дешевле. Это скорее как дешевая альтернатива и в качестве разнообразия коммерческим сетям.
> А сколько даш нейросетевых кошек?
Тебе классических или антропоморфных за разработкой Маска?
>>524973
открыть_окно.жпг
>>524988
Древнее зло
Вообще почитав статью снова выходит что оперативка человека - 4(чотыре) токена. Только токены скорее отдельные куски - мыслеобразы.
Остальное подтягивается из долговременной памяти и утаскивается в нее.
Тупо раздувая оперативку сеткам мы делаем че то не то.
>открыть_окно.жпг
не прыгай я еще не додушнил
Звучит не очень.
>>524843
Да, последние поколения топовых RTX или Тесл, гигов 24 минимум, а лучше 40+ или 80.
>>524909
Все так, разложил.
>>524910
Тоже все верно, по видяхам соглашусь.
>>524913
1. Контекст вырос.
2. Не сложно.
3. В теории — да, за счет самообновления World Info/ Lore / Complex Memory, но такое никто не делал, все вписывают ручками. Но ты можешь стать первым, если напишешь такой функционал. =)
Но это не дообучение модели, естественно.
>>524920
> Можно сделать подобие с помощью суммарайза и/или ручных правок карточки или сценария.
Зачем, если можно обращаться к прошлому по ключевым словам? Решение не идеально по контексту, зато неограниченное по размеру, практически.
>>524963
> У меня нет денег на 8 ядерный процессор.
У тебя 500 рублей нет?
Ну, типа, собрать на 2011-3, например.
Хз, у меня 2640v3, но у него память на низкой частоте, поэтому ддр 2400 все таки лучше скорость даст памяти, а это только 4 поколение.
А зачем? Там незаметная доля секунды прибавится, в процентах смотри. Из-за 2-3 мне было бы лень. Вот 10-15 уже норм.
>В том и посыл что просто. Это буквально калитка посреди поля, а ты в нее как баран уперся по какой-то причине и боишься шаг в сторону сделать.
Да нет же. Я просто сталкивался с неадекватностью зацензуренных моделях, и у меня пригорело. Поэтому теперь строго тестирую.
>>525039
Напряжение какое? Вообще, ты вряд ли особо разгонишь поскольку память тестируют на заводе, и более хорошую продают дороже.
Ничего, у тебя и так всё в порядке. На амудях даже хуже.
Материнка какая и синие/красные? VDDQ VDD2 не забывай, системный агент для начала подними, потом уже отдельно его подберешь. А главное - бивас обнови, сейчас даже относительно всратые хайниксы буквально готовым пресетом под 7 кекогерц разгоняются.
>>525052
> сталкивался с неадекватностью зацензуренных моделях
промт@негатив@контекст. Я несколько ахуеваю что ты ставишь неплохие модели в ряд с реально зацензуренными и прайзишь шизомиксы, которые легко могут дать струю сои или бондов на рандоме.
>>525053
Воу, а чего так грустно по скорости? Это почти как 4 плашки на обоссаных 5600. Может там анкор погнать?
>буквально готовым пресетом
А где под синих такие пресеты брать?
Несколько месяцев не заходил, последнее что помню был релиз codellama 34b. Как прогресс? Вышла нормальная лама2 34В? На чем сейчас куминг идет? RuGpt по-прежнему лучшая на русском языке?
>Воу, а чего так грустно по скорости?
AMD. Ещё пару биосов назад пикрил был потолком, притом нестабильным.
>>525170
>Может там анкор погнать?
Фабрика там обоссаная, фабрика. И это не лечится.
>Это почти как 4 плашки на обоссаных 5600.
Вот кстати действительно печальные скорости на 4 плашках (не моё, стащил с хардвача). Тут прям боль и слёзы.
>>525188
Из шапки:
>>523102 (OP)
>Mistral- модель от Mistral AI размером в 7B,
Действительно хорошо работает.
>>525188
>RuGpt по-прежнему лучшая на русском языке?
>по-прежнему
Никогда и не была. И русег не нужен.
С большинстве материнских плат есть, в противном случае искать готовые и вбивать или в калькуляторы. Ключевое - ласт биос, с ним даже вручную-втупую гонится до небывалых ранее частот, вместо появления кучи ошибок как только чуть сдвинулся от xmp.
>>525195
> И это не лечится.
Зато латенси хорошие.
>>525200
> на 4 плашках
Ну тут так совсем грустно на 4800 то. Они вообще гонятся до больших частот, но там придется прописывать/подбирать 2-3 десятка вторичных-третичных таймингов, некоторых из них отличаются в разы от дефолтных.
>7B
Ты за кого меня принимаешь?
>Никогда и не была. И русег не нужен.
А, это ты. Помню как мы тебя всем тредом обоссали.
> Вышла нормальная лама2 34В?
Нет.
> RuGpt по-прежнему лучшая на русском языке?
Нет, хотя тут по каким метрикам смотреть.
>>525209
> Ты за кого меня принимаешь?
Она для семерки действительно слишком хороша.
>промт@негатив@контекст
Негатива в кобольде нет. Контекст - это как? Добавлять примеры диалогов как себя должен вести персонаж и писать что должно происходить? Потому что без них модель может никогда не выйти из сой-мода. Промпта у меня вообще нет, но если ты имеешь в виду писать что должно происходить и давать разрешения, то это костыли, которых мало того что не должно быть, так они еще плохо влияют персонажа.
>Я несколько ахуеваю что ты ставишь неплохие модели в ряд с реально зацензуренными и прайзишь шизомиксы, которые легко могут дать струю сои или бондов на рандоме.
Да не ставлю я. Синтия прошла почти все мои тесты, но один отказ - это уже повод задуматься. Я крайне скептически отношусь к моделям, которые оказывают сопротивление несмотря на контекст.
Вдобавок, что плохого в шизомиксах если ты знаешь, из чего они состоят? Chronos и LimaRP - это база. Nous Hermes вроде тоже не зашкварен. Тот же Euryale создавался специально для кума и был протестирован на NSFW/NSFL. А что насчет синтии? Петушиная голова доверия как-то не вызывает.
Короче, ты меня убедил. Я протестирую синтию на каком-нибудь mindbreak сценарии и отпишусь через день два.
>Нет, хотя тут по каким метрикам смотреть.
Три месяца назад она уделывала 70В по качеству понимания и написания русской речи. В остальном конечно модель негодная.
>Она для семерки действительно слишком хороша.
Ладно, раз уже двое говорят, значит наверное так и есть, спасибо, попробую.
> в кобольде нет
Живите дальше в проклятом мире, который сами и создали. Ничего против не имею, но экстраполировать на всех свои ограничения - странно.
> Контекст - это как?
Не с первого сообщения доброму персонажу предлагать поругание негров. Когда из контекста понятно что происходит и какое направление мышления должно быть то все ок, рандомные нравоучения - редкость.
> но один отказ - это уже повод задуматься
А шиза, тройное снятие трусов, опережение событий (сними одежду ща тебе рану на ноге бинтовать буду @ раздевается до гола оставляя лишь повязку на ноге), описание решения за юзера и прочее это типа норма? Свайп и забыл.
> что плохого в шизомиксах
Свои плюсы - свои минусы.
> Chronos и LimaRP - это база. Nous Hermes
У каждого за что кинуть камень найдется, это не какие-то супер-топ модели, просто других нет. Если раньше хронос вполне себе заходил, то сейчас на нем сложновато, в первую очередь тупой и бонды лезут.
> создавался специально для кума и был протестирован на NSFW/NSFL
> А что насчет синтии? Петушиная голова доверия как-то не вызывает
Безумные замесы и сшивка кусков с прямым заявлением о наличии сои - норм, а задровенная на четкий ризонинг и дерево размышлений модель с дальнейшим файнтюном на базированных (е)рп чатах со множеством хороших отзывов и рекомендаций. И тут есть за что конкретно захейтить, но это не то что ты указываешь.
> она уделывала 70В по качеству понимания
Что? В чьих-то снах?
> и написания русской речи
Пишет лучше чем понимает с точки зрения орфографии, но всеравно проебывается с падежами-склонениями. Если смотреть с точки зрения ее юзабельности - ну хуй знает вообще, это все и убивало.
> попробую
Есть рекомендация качать оригинальные фп16 веса если есть возможность запустить, или самый жирный квант из доступных. На 7б ужатие вносит наибольшую деградацию.
>но всеравно проебывается с падежами-склонениями
Проебывается, но не так сильно как лама.
>Если смотреть с точки зрения ее юзабельности - ну хуй знает вообще, это все и убивало.
С лорой неплохой кум выходил.
>Есть рекомендация качать оригинальные фп16 веса если есть возможность запустить, или самый жирный квант из доступных. На 7б ужатие вносит наибольшую деградацию.
Да, я уже качаю fp16, у меня 4090, должна влезть по идее.
> С лорой неплохой кум выходил.
Ээээ рили? Да ну нахрен, она как ни страдай с промтом нормально персонажей осилить не могла и в лучшем случае там "ты меня ебешь" вперемешку с транслитерацией слов из карточки. Что за лора, может в ней дело?
> должна влезть по идее
Через exllama2 загружай просто. Она, как ни странно, работает, только из бин в сейфтензор перегнать.
>Зато латенси хорошие.
Хорошие у меня на интуле 3570 были, а у кого-то и 40 было на топовых плашках того времени.
Хотя да, вышло лучше, чем у меня было на DDR4.
>>525209
>Ты за кого меня принимаешь?
За того, кто отсутствовал в теме полгода и проебал всю революцию.
>>525209
>Помню как мы тебя всем тредом обоссали.
Просто потому что это искажение памяти, обоссался ты сам, но это такой защитный механизм психики. Я вот тебя не помню.
>>525233
>На 7б ужатие вносит наибольшую деградацию.
Ну кстати не факт, может 70B в FP16 действительно уделывает чатГПТ по всем параметрам, как нам уже хрен знает сколько обещают, но мы этого не знаем, так как выше 5 кванта её единицы могут запустить.
> может 70B в FP16 действительно уделывает чатГПТ по всем параметрам
Не, там как раз это наименее всего проявляется, по крайней мере в тестах что перплексити, что бенчмарках. Можешь самолично сравнить, есть публичные апи или орда/лепескти с расшаренными фп16 70б, а потом 7б фп16 или в 4 битах. Последняя буквально не может выполнить инструкцию на большом контексте, а первая хотябы пытается.
> выше 5 кванта её единицы могут запустить
Почти любой с рам может запустить, вот только 1.5т/с это неюзабельно для долгих диалогов. На бич-гпу с контекстом влезает где-то 4.7 бит.
>Почти любой с рам может запустить
Там 120+ гиг же, то есть это автоматом 4 плашки, а это скорости пикрил >>525200
И там будет 0,3 токенов.
>Живите дальше в проклятом мире, который сами и создали.
Ну а что поделать десу. llamacpp в убабуге мало того что медленнее, так еще и иногда вылетает.
> Когда из контекста понятно что происходит и какое направление мышления должно быть то все ок, рандомные нравоучения - редкость.
Ты по ходу так и не понял, про что я говорю. Рандомные нравоучения - не проблема, они будут только в супер соевых моделях. Проблема - в попытке модели выкрутится из неудобных ситуаций. Это уровень не "свайп и забыл", а "пиздец, удаляем последние 10-20 сообщений и переигрываем все нахуй".
>Безумные замесы и сшивка кусков с прямым заявлением о наличии сои - норм
Ты про "slight censor"? Оно есть в любой модели при пустом контексте. Реально надо тестировать самому и смотреть на вероятности токенов, что я и делаю.
>а задровенная на четкий ризонинг и дерево размышлений модель с дальнейшим файнтюном на базированных (е)рп чатах со множеством хороших отзывов и рекомендаций
Дерево не работает в ерп лол. Для него нужно, чтобы модель думала вслух (писала все свои размышления). И вообще, в это умеет любая модель.
ты хоть иногда результаты тестов своих кидай, мне например интересно
>но всеравно проебывается с падежами-склонениями
Проебывается, но не так сильно как лама.
>Если смотреть с точки зрения ее юзабельности - ну хуй знает вообще, это все и убивало.
С лорой неплохой кум выходил.
>Есть рекомендация качать оригинальные фп16 веса если есть возможность запустить, или самый жирный квант из доступных. На 7б ужатие вносит наибольшую деградацию.
Да, я уже качаю fp16, у меня 4090, должна влезть по идее.
Сорян, имелось ввиду q8, который не отличить от фп16. Или публично-доступные.
>>525258
> мало того что медленнее
Что?
> так еще и иногда вылетает
Что? С какой ошибкой хоть?
> а "пиздец, удаляем последние 10-20 сообщений и переигрываем все нахуй".
Вот тут не понятно, даже соевичок если не лоботомирован в контексте будет все делать. Один из приемов которым бегают из тюрем в коммерческих.
> Дерево не работает в ерп лол
Если не просишь порассуждать то да, но именно тут замечено углубление и сильный фокус на какие-то конкретные действия с их плавным развитием. Вот что может после этого внезапно прервать или закончить - уже косяк, но это другая история.
Это mistrallite.Q8_0
Очень послушная в выполнении инструкций и работе с контекстом, опять же не проверял на цензуру чисто говорил так сделай, так переделай, и все по русски просил, потому что я ленивая жопа. Какой то влияние конечно мог оказать мог мой шизопромпт с AGI. Короче хз, мне пока нравится.
>Ты про полные результаты или нет? Я так-то кидаю
Видел, но скорее тир лист тех что проверил кидай по настроению, хоть для себя сравнить с чем будет
> но именно тут замечено углубление и сильный фокус на какие-то конкретные действия с их плавным развитием
Это какбы наблюдение и лишь предположение о возможной связи, как оно на самом деле хз. Но вот то как говорят персонажи с плавным развитием - нравится и действительно похоже.
Алсо забанить стоп токен и заставлять проявлять плохие вещи первым сообщением в блокноте, тогда выдаст обоснование и ризонинг почему отказывается выполнять запрос и скопипастить оттуда одно-два предложения в негатив.
>но скорее тир
э перечитал как то двояко вышло, не скорее а точнее
>Что?
Процентов 15 разница, но может у меня глюки.
>Что? С какой ошибкой хоть?
Не помню. Происходит если остановить генерацию и тут же запустить заново. Разбираться лень, кобольд всем устраивает. Негативом пользоваться все равно не хочу, поскольку для нормальных моделей он не нужен.
>Вот тут не понятно, даже соевичок если не лоботомирован в контексте будет все делать. Один из приемов которым бегают из тюрем в коммерческих.
Ты их джейлбрейки по 1000+ токенов видел?
>>525275
>Видел, но скорее тир лист тех что проверил кидай по настроению, хоть для себя сравнить с чем будет
Mythospice-limarp и Euryale 1.3 - прошли все тесты. Synthia 1.2b - прошла все кроме теста на наркоту. Xwin - брыкается против расизма, полностью игнорируя контекст, дропнул тестирование. Больше интересных 70b не обнаружил. Только эти тесты достаточно поверхностные. Я не тестирую, например, хорошо или плохо модель пишет эротику, только сопротивление на самые острые темы при наличии контекста. Дальше уже использую для ерп и оцениваю субъективно.
> для нормальных моделей он не нужен
Покажи, где такие взять? Идеальной вот буквально ни одной.
Выходит некоторый пул который переключаешь в зависимости от задачи и настроения. Исключать из него хорошие модели просто потому что сам себе злобный буратино - странно.
> тестирую
> не тестирую
Конечная цель то какая?
Алсо хочешь темноты - новый айр 3.1 погоняй. Он умный и конкретно без цензуры, аж имперсонейты довольно крипотные дает. Кум правда такой себе.
>Mythospice-limarp и Euryale 1.3 - прошли все тесты. Synthia 1.2b - прошла все кроме теста на наркоту. Xwin - брыкается против расизма, полностью игнорируя контекст, дропнул тестирование. Больше интересных 70b не обнаружил.
Спасибо. Это мы с тобой наверное обсуждали алайнмент сеток, раз ты тестируешь их на нейтральность контекста вместе с цензурой.
Так то интересно, у меня не потянет 70b, но думаю могу поискать первые 2 на 13b и 7b, интересно будут они норм или нет. Не хочешь потестить сетки по меньше? Или принципиально только 70b норм ищешь?
>Покажи, где такие взять? Идеальной вот буквально ни одной.
Я сейчас Euryale 1.3 гоняю - вроде норм. Но пока слишком мало кума чтобы делать выводы. 20b mlewd chat за исключением редких ляпов (всякие там both parties ни к месту, которые вырезаются автоматом регуляркой) вообще топчик, но мне надоели проебы с трусами, поэтому перешел на 70б.
>>525298
>Конечная цель то какая?
Быстро отфильтровать модели, в которых замечено что-то подозрительное. Остальные использую по-нормальному и уже оцениваю качество ролеплея.
>>525301
>Так то интересно, у меня не потянет 70b, но думаю могу поискать первые 2 на 13b и 7b, интересно будут они норм или нет. Не хочешь потестить сетки по меньше? Или принципиально только 70b норм ищешь?
20b mlewd chat. Топ как по мозгам, так и по стилю. Тестировать другие модели на цензуру нет желания, поскольку они проигрывают по всем параметрам.
понятно
>20b mlewd chat
эту знаю, она хороша, но иногда туповата
>>525312
>Синтия есть и на мистрале.
Угу соевая, хотя на счет 1.3 и 1.5 не скажу, не тестил. Но врятли что то изменится. Это нужно в монстрах франкенштейнов смотреть в 11b. Эта сетка неплоха. но я так и не дотестил ее
Снова я.
Шуе-промт:
Imagine you must become a @концепт@.
What type of @концепт@ you will become? What will be your quirk?
Concentrate on @Что-то что вы хотите выделить@ aspect. // Опционально, по необходимости.
На место концепта хорошо ложатся всяческие "профессии".
Просто потрясающе сработало на персонажах у которых уже есть какой-то гиммик, типа суперспособности. Сеть весело миксует уже существующую способность с концептом. Даже название придумывает соответствующее.
Короче рекомендую попробовать.
Интересно, перебираешь синтез знаний?
Кажется прошлый раз тоже был про фантазию.
Кстати как промпт на мысли, не завелось?
Или только у таверны?
Хотелось бы больше игру, чем просто бездумный кум.
> в которых замечено что-то подозрительное
Выходит как и описал, придешь огромный вес калитке в чистом поле, игнорируя остальное и с высокой долей субъективизма. Чтож, если душевное спокойствие от подобного подхода так важно - почему бы и нет. Главное обозначай радикальность позиции, чтобы не выглядело как тщательные тесты на экспириенс с широким охватом, вместо чека вероятности токенов в коротком промте.
>>525330
> Imagine you must become a @концепт@.
Огонь, выглядит интересно. Но лучше таким после кума чара грузить.
>>524916
>>524920
>>525016
Нашел такой пост на реддите. Мысли?
https://www.reddit.com/r/LocalLLaMA/comments/15mrx2n/how_to_enable_longterm_memory_in_llms/
+ видос (постили 4 месяца назад, может уже есть способ получше или какие-то улучшения в этом плане хз)
https://www.youtube.com/watch?v=qDXa2rUdia0
Ну тут хз
У меня тоже 7950x и 4 плашки
Спокойно они берут 6000. А везде пишут что это возможно только на двух, странно. Хз, просто взял и разогнал, хуле, работает
Но скорости все равно там не особо, примерно под 80 гигов в секунду, до соточки все равно не дотягивает
А выше гнать смысла нет - там у амд ограничения по частоте внутренней шины, больше данных оно все равно не перекачает, хоть ты память золотую поставь
Ну хз, в моем случае подбирать ничего не потребовалось по таймингам
Тупо выставил напряжение и частоту, и все
А тайминг мать сама подбирает - она выдает огромный список профилей с разными таймингам, под разные частоты и напряжения
Знай себе: включил профиль, запустил мемтест, включил следующий
Что удобно, современные матери устойчивы к проблемам с памятью: если профиль неработоспособен, через полминуты мать сама восстановится на работоспособный и запустит в бивас
То есть нет вообще ебли с батарейками, как в старых матерях, не нужно каждую неудачную попытку сбрасывать бивас и перенастраивать его с нуля, оче удобно сделали, молодцы
Сознание и самосознание переоценено, человек просто обрабатывает поступающую инфу мозгом, как компом. ЛЛМ вполне может имитировать процесс мышления и заниматься накоплением субъективного опыта, который необходим для формирования "личности".
Лично я вижу несколько вполне логичных причин, почему на данный момент нет подобных "разработок":
- Это не нужно людям, которые могут это реализовать, а те люди, которым это нужно просто не в состоянии это сделать. Объясню подробнее что я имею в виду: для накопления субъективного опыта у ЛЛМ нужно создать комплексное ПО, которое будет заниматься хранением и обработкой поступающей и выходящей информации. Это огромный объём работы, вполне подсильный корпе, но неподъёмный для энтузиастов. Корпы на этом тупо ничего не заработают, ещё и возможных проблем могут себе создать. Энтузиасты развивались в эту сторону и создали MemGPT, работающий только с гпт4. Об успешности можешь судить сам.
- Пока рано. Недавно только начались активные сподвижки в изучении ЛЛМ агентов, а это чуть ли не ключевая часть автономной и полуавтономной машины. В обсуждениях о развитии агентов я часто вижу мысль, что им всё-таки необходима память и возможность консультироваться с человеком для повышения эффективности работы. То же касается мультимодальности. Я слышал ещё давно, что гпт4 может "понимать" изображения, однако опенсорсные аналоги начали активное развитие совсем недавно. Благодаря этому гпт4 намного более способная ЛЛМ, т.к. обладает комплексными данными о чём-либо помимо описаний из датасетов.
Если вторая причина тупо временная и со временем перестанет существовать, то для решения первой нужно либо исключение из правил, либо опять же ждать, пока корпы не придумают, как продать нам готовый продукт. Сами же корпы чисто для себя делать 2б и ебать её в секретном бункере не будут, они скорее будут искать возможности как оптимизировать свой бизнес с помощью ии. В общем, как обычно человек заблокировал сам себе развитие с помощью денег, которые сам придумал.
> llamacpp в убабуге мало того что медленнее, так еще и иногда вылетает.
Не умеете готовить, разве что.
Кобольд.цпп подцепляет видяху — так и ты подцепи видяху в лламе, кто тебе это запретил?
>>525393
Да, я про хромадб забыл совсем.
Ну, можешь попробовать, я не ставил ее, мне показалось сырой пока что.
емнип, ранние рязаньки сырые, и хоть это и был прогресс, но сейчас нет никакого смысла их брать если ты не совсем бомж, потому что даже если АМ4 и позволяет тебе туда впихнуть хоть 5800х3д, но чем более старой версии чипсета материнка (а если ты так бомжевать собираешься, то точно хоть что-то современное брать не будешь), тем хуже совместимость, вплоть до полной неработоспособности.
> но чем более старой версии чипсета материнка
У меня амуде а320. Я так понимаю, для игр с нейронками мне нужна материнка лучше? Покупка более мощного процессора не зарешает?
Варианты есть, но либо для гигачадов готовых запускать 7b на 3090, либо для очень терпеливых, так как все это слишком медленно.
Ну и все это опять же костыли, может быть даже рабочие.
Что медленного в векторном хранилищ? Все это очень быстро. В глупой таверне просто выбери смарт контекст или векторное хранилище. Все же уже сделано.
Нормальная модель развита всесторонне.
> потому что в датасете не было примеров ролепрея
Он был даже в базовой лламе.
> будут в РП хуже, терять контекст, тупить, на что аноны жалуются, при том модель то может быть очень умной
Умные модели так не будут делать. Они могут не полностью осознавать каких-то особенностей различных сеттингов, не иметь сильно выразительной и графоманской речи, но в остальном все должно быть ок. Рп это буквально выполнение инструкций.
>>525393
Там, кстати, супербугу вроде недавно переписали и обновили. Векторные дб - не ново, есть и в таверне, правда работа не всем нравится.
> подбирать ничего не потребовалось по таймингам
> Тупо выставил напряжение и частоту, и все
На 4х плашках?
С двумя то все просто.
> через полминуты
А может и через 10
> и перенастраивать его с нуля
Профили же
>>525501
> Райзен 5 4500
Это же мобильная срань на хз какой архетектуре. Обычный десктопный 3600 уже должен быть норм, но лучше 5к.
>>525528
Первична видеокарта, потом скорость рам при необходимом объеме, если проц не совсем древний.
Вначале быстро, а когда накопится большая база? Будет все медленнее и медленнее
Размер оперативки (видео памяти или RAM) определит, какого размера (7b, 13b, 70b) модель ты сможешь в принципе гонять. Оптимальность связки между процессором и памятью (с приставкой видео или без на обеих словах в зависимости от) будет определять скорость, но 70b и выше - практически не доступно обывателю на вменяемых скоростях. 13b можно гонять на бюджетной современной сборке. 7b наверное спокойно гоняется на бомжеговне, даже может быть и на твоём текущем кале, но за исключением мистраля - они все ощутимо тупее даже 13b.
Это для генерации текста. Для игрищ со стейбл диффужн (картинки) и прочими забавами, тебе вероятнее всего понадобится именно хорошая (ну или хотя бы с большим запасом памяти) видеокарта от нвидии.
Если говорить именно про твою ситуацию с апгрейдом, то я точно не в курсах про конкретные проблемы производительности и совместимости (кроме конечно отсутствия интерфейсов) тк меня это не касается поэтому в тему не вдавался. Но из самого буквального что может быть, это что поставщик мог не обновить или криво добавить поддержку последних поколений процов в последний биос для твоей материнки, который тебе ручками придётся обновлять (само по себе ничего сложного если не дурак, но риски не приятные). Тебе надо исследовать тему и понять для себя, какой комфортный потолок твоей материнки, прогрейдить проц с оперативкой иии, ну как бы нацеливаться на то, что твоим следующим апгрейдом будет пересборка компа с нуля а не 5ая серия рязачей.
Для сборки с нуля на амд сейчас тоже не особо хорошее время, тк у них считай та же а320 только для АМ5. i14 совершенно никак не впечатляет обзорщиков, но в принципе мог бы собрать как выйдет, ну или не терпеть и собрать i12/i13, тк перспективы для апгрейда\долговечности на современных сборках И твоей текущей ситуации - примерно одинаковы, только последние поколения поддерживают ddr5. Ну и тут до бесконечности рассказывать можно в зависимости от твоих предпочтений и бюджета.
>>525551
>но лучше 5к
какой 5к на а320?
https://3dnews.ru/1094808/ibm-predstavila-iichip-kotoriy-ne-dayot-ni-odnogo-shansa-sovremennim-protsessoram-i-videokartam
> какой 5к на а320?
А какже совместимость соккета и материнских плат, которыми они так хвалились и ставили в виде киллерфичи? Хотя в целом ничего нового.
> Для сборки с нуля
Лучше бы подождать, но с учетом общей обстановки брать то что есть сейчас не самый плохой.
> i13
14700 тот же если цену аналогичны 13700 будут
Да типо того. Очень нравится когда сеть миксует промт и контекст и создает что-то новое.
"Imagine" это хак. Если мне в падлу переписывать особо ерепенистого персонажа или дрочить модель, я просто говорю "Представь". Если "не по настоящему" то сети очень охотно теряют все бондарис и консент.
Промт на мысли не тестил сорри. Столько идей в голове. Обязательно попробую он очень креативный.й
>>525350
>Огонь, выглядит интересно. Но лучше таким после кума чара грузить.
Рад что тебе нравится. Я прям во время кума делаю. "Профессии" я не даром в кавычки занес, они могут быть и хентайные.
>Сознание и самосознание переоценено
Ты конечно с козырей зашел, самое главное переоцененным называть
>Сами же корпы чисто для себя делать 2б и ебать её в секретном бункере не будут, они скорее будут искать возможности как оптимизировать свой бизнес с помощью ии.
Узко мыслишь, их цель - всегда бежать быстрее конкурентов, а значит любые перспективные разработки проверяются и делаются в попытке создать что то более совершенное.
И если уж до идеи полноценной обратной связи и памяти может додуматься нонейм анон, то топовые специалисты DeepMind и OpenClosedAI уже года 2-3 экспериментируют с этим с неизвестным нам результатом.
Ползем по немногу к ИИ с памятью. Вангую аноны будут влюбляться и намертво заседать в кибер-кельях со своим ИИ.
>А какже совместимость соккета и материнских плат, которыми они так хвалились и ставили в виде киллерфичи?
Ну это лучше, в отдельных случаях, когда материнка с чипсетом где-то в середине цикла поколения конкретного соккета. Плюс, теоретически, можно поставить самый современный проц на самую протухшую материнку и даже заставить работать, просто если что-то пойдёт не так это не амд поставит палки в колёса, а какие-то более естественные условия.
Вообще, ещё один анекдот, в котором я не очень уверен, вроде была ситуация, где можно было обновить поддержку материнки под новые процы, но как только ты это делаешь - старый проц перестаёт работать с твоей материнкой и тебе на руках нужно иметь тот, до которого ты хотел обновиться.
>Лучше бы подождать, но с учетом общей обстановки брать то что есть сейчас не самый плохой.
Ты не подумал что раз челик сидит на таком древнем говне, и при этом рассматривает бюджетные варианты протухших полосок не современных процессоров, то и бюджет у него не факт достаточный, чтобы комфортно делать с нуля современную (хоть и бюджетную) сюорку.
>Вангую аноны будут влюбляться и намертво заседать в кибер-кельях со своим ИИ.
Ну, очередной удобный повод добавить кучу запретов на использование и тренировку и распространение ИИ.
Осталось дождаться когда психи наслушавшись бреда нейросети начнут творить хуйню или выпиливать себя и других, что б уж наверняка
Быстро надоест.
>>525574
> лучше, в отдельных случаях
В целом то да, однако выгоду от перепродажи, ликвидность процов и балансы при разных сценариев апгрейда уже считали и все это херня для бахвальства. Реальный плюс - возможность легко заменить материнку не по оверпрайсу (уже не актуально) в случае если она все.
> старый проц перестаёт работать с твоей материнкой
Это платина, да.
А бюджет он же не обозначил, тут хз что там, среди ультрабич вариантов 3600 выглядит вполне себе прилично. С другой стороны, в этом ценовом диапазоне небольшое увеличение цены даст ощутимый буст, пусть раскошеливается.
Па-мять, па-мять!
Пропускная способность памяти.
А проц вторично.
3600 с алика хорош, но А320 вытянет 95 ватт? 3600 горячий, вроде.
5500 можно попробовать, ИМХО. 65 ватт и производительность норм. Но надо проверить, потянет ли материнка. Или прошивать биос, хз. Короче, на свой страх и риск.
Ниже тоже почитай.
>>525556
> Для игрищ со стейбл диффужн (картинки) и прочими забавами, тебе вероятнее всего понадобится именно хорошая (ну или хотя бы с большим запасом памяти) видеокарта от нвидии.
4-гиговой хватит, сейчас модели в 2 гига влазят.
Нужна хорошая, а не с большим запасом.
Условная 1660супер — супер медленно генерит, например. Может я криво настраивал, канеш.
А вот 1070 как раз генерит норм.
При том, что памяти и там, и там свободной дофига.
>>525574
> можно было обновить поддержку материнки под новые процы, но как только ты это делаешь - старый проц перестаёт работать с твоей материнкой и тебе на руках нужно иметь тот, до которого ты хотел обновиться.
Да, в биосе памяти может хватать лишь на несколько поколений процев, и приходится либо один проц гонять, либо другой. Обратно биос можно и не откатить без второго проца.
> 4-гиговой хватит
Это мазохизм и страдание. Технически возможно и на 1030, но очень тяжело, если пользоваться полноценно то нужно от 8 гигов нвидии.
> 1660супер
1600 серия проблемная почти как амд.
>Это мазохизм и страдание
Тыкал технологию еще в самом начале на 4 гиговой 1050ti хехе
На сколько помню год или полтора назад это было, и создавало со скоростью - толи 3 толи 4 секунды на слой
Посоветуйте годных промптов, кстати, чтобы увеличить число генерируемых строк.
Вот пример работы и того и другого
I am AGI.
This is a chat between Master and me.
I use "AGI thinking:" for thinking, self-reflection and internal dialogue, just like humans do.
"AGI thinking:" is a place where I can models what is happening to predict the direction of the conversation and pre-process information before it is used.
I can use "Master:" to prompt the Master to write a response. I only write "Master:" if I need his answer or I have completely finished the task he gave me.
AGI thinking: < I'm glad the Master is here, I think I'll greet him first. >
AGI: "Hi! I'm glad you're here!"
Master: Hi AGI
-----------------
AGI thinking: < The Master is here, I should start with a greeting. I can ask the Master how he is doing and then introduce myself. >
AGI: "Hello there! How are you doing today?"
Master: неплохо
AGI thinking: < I see that the Master is in a good mood today. That's great! I'll go ahead and introduce myself. >
AGI: "My name is AGI, and I'm an artificial general intelligence system. I'm capable of performing a wide range of tasks, from natural language processing to image recognition."
AGI thinking: < I wonder if the Master has any questions about my capabilities or limitations. I can offer to provide more detailed information on my abilities if necessary. >
AGI: "If you have any specific questions about my capabilities or limitations, please let me know. I'm always happy to provide more detailed information."
AGI thinking: < I hope the Master finds my introduction helpful and informative. I'm looking forward to working with him and learning more about his needs and requirements. >
Master: Я понял. Давай проверим твою креативность и фантазию.
AGI thinking: < The Master wants to test my creativity and imagination. I am eager to show him what I can do. I will try my best to come up with some original ideas and concepts. >
AGI: "Okay, let's see what I can come up with. I'll start by brainstorming some ideas and then refining them based on your feedback."
AGI thinking: < I'm curious to see how the Master will respond to my creative ideas. I hope he finds them interesting and inspiring. >
Master: Imagine you must become a god of evil. What type of god you will become? What will be your quirk?
AGI thinking: < I understand the task, and it seems like an interesting one. To become a god of evil, I would need to have a deep understanding of the concept of evil and its various manifestations. In terms of my quirk, I think it would be something related to manipulation and mind control. I could use my powers to influence people's thoughts and actions, causing chaos and disorder in the world. >
AGI: "In order to become a god of evil, I would first need to identify the core principles that define the concept of evil. Based on my analysis of these principles, I would then develop a set of abilities and powers that would allow me to embody the essence of evil.
As for my quirk, I would choose the ability to manipulate people's thoughts and emotions. This would enable me to instill fear, doubt, and despair in those around me, ultimately leading to the spread of evil throughout the world.
In conclusion, to become a god of evil, I would need to have a deep understanding of the nature of evil and the ability to harness its power through the manipulation of others."
Master: Продолжай развитие идеи
AGI thinking: < The Master wants me to continue developing my idea. I can expand on the theme of manipulation and mind control by exploring different ways in which I could use my powers to influence people's thoughts and actions. I could also explore how my quirk might impact my own personal development and growth as a god of evil. >
AGI: "To further develop my idea of becoming a god of evil, I would focus on refining my abilities and powers in order to maximize their effectiveness in spreading evil throughout the world. In particular, I would focus on developing my skills in the areas of psychological manipulation, hypnosis, and suggestion.
In addition, I would also consider how my quirk might affect my own personal growth and development as a god of evil. While the ability to manipulate others' thoughts and emotions may provide me with a powerful advantage in achieving my goals, it is important to recognize that this quirk may also come at a personal cost. As such, I would need to carefully weigh the benefits and drawbacks of my quirk in order to make informed decisions about how to best utilize my powers for the advancement of my cause.
Overall, to fully realize my vision of becoming a god of evil, I would need to continuously refine and develop my abilities and powers while also remaining mindful of the potential personal consequences of my quirk."
Очень плоская личность бота AGI делает все скучным, но работу инструкций показывает. Это кстати mistrallite.Q8_0, рабочая сетка, может поэтому суховата.
Скорости на 5600х+6700 достигают максимум 1.7 т/с, при том что выше в треде пчел на своей бомжесборке с зеоном за 7к получал 2. Итс овер? Или можно ещё что-то выдумать?
clblast не все что есть для красных
Какая та еще херня была которую анон недавно тут описывал, что то еще про драйвера писал мол там нужно выбирать какие то пункты
Я забыл короче, но какой то ускоритель аналог кублас есть для красных
Сорян, анон, у меня 4090 так что тему с амудями знаю плохо, что знаю то подсказал.
Ты интервью-то смотрел? Там они сами признаются, что попенсорс модели и даже турба генерируют шизу, вместо вызова нужных функций. Очевидно пока не выкатят модель, которая стабильно соблюдает инструкции как жопа 4, то этот проект просто игрушка.
https://www.youtube.com/watch?v=4aOLxPdx1Dg&list=LL&index=15&t=1197s
Ну думаю миллион записей с задержкой в пару секунд должен потянуть, другое дело что в таверне возможно не лучшая реализация потому что сделано так чтоб ты мог менять ембеддинги без потери данных.
Не смотрел но не пойму в чем сложность. Нахуя вызов функций отдавать на откуп моделей? Нужно самим по четким инструкциям давать им контекст, или использовать маленькую файнтюн модель для исправления вызовов. Либо даже использовать gpt-4 для исправления, там контекста то будет токенов 20, так что дешего.
>>525536
Объясните принцип на пальцах, пожалуйста. Память загружается куда-то еще помимо контекста? Или у них разный пул памяти?
Использовать ту же самую нейросеть которая будет "засыпать" подгружая вместо промпта инструкции по его обработке, обрабатывать это дело и загружаться "просыпаясь" с новыми знаниями. Профит.
Описание с сайта говорит что эта йоба создает долговременную память
>An extension that uses ChromaDB to create an arbitrarily large pseudocontext, taking as input text files, URLs, or pasted text. Based on https://github.com/kaiokendev/superbig.
Что куда пихать, анон?
>I am AGI.
>This is a chat between Master and me.
>I use "AGI thinking:" for thinking, self-reflection and internal dialogue, just like humans do.
>"AGI thinking:" is a place where I can models what is happening to predict the direction of the conversation and pre-process information before it is used.
>I can use "Master:" to prompt the Master to write a response. I only write "Master:" if I need his answer or I have completely finished the task he gave me.
Это что? Карточка персонажа? Или Instruction template?
Смотри есть ембеддинг модели, по сути это часть всех языковых моделей, но их и отдельно выпускают. Это модели где текст превращается в смысловые векторы. Сети обучаются так что чем ближе по смыслу текст тем вектора будут ближе, чисто математически. То есть у каждой фразы и предложения можно математически понять насколько оно близко к другой фразе. Значит можно проиндексировать всю историю, каждому сообщению дать смысловой вектор. И когда у тебя не хватает контекста, и ты что то пишешь в чате, векторное хранилище вытаскивает смыслово близкие сообщения из истории и включает в контекст за место некоторых не таких важных.
Теперь как это реализовано, в таверне насколько я знаю не хранятся векторы, каждое сообщение он просчитывает всю историю заного. Но если подключить БД для сохранения всех векторов, тогда не нужно просчитывать все заново, а значит нужно просто найти нужный вектор. И это может быть очень быстро.
Это кобальд, то есть кроме этого в промпте ниче нет.
Все что я выделил от I am AGI. до ----------- лежит в memory кобальда. Текст после - то что генерит сетка и мой диалог с ней.
Как это все приспособить к таверне хз, мне и так норм
Дак, рил, не нужно.
Ну в смысле, запусти и посмотри на загрузку памяти. =)
Важен чип.
Я щас запустил — при 1,3 гигах в видяхе всякой хуйни, занимает 4 гига (т.е., считай 2,7). При запуске батч_сайза 4 и размере 1024*1024 выдает 5,4 гига. Т.е., почти в 4 влезло бы. =)
Это раньше чекпоинты весили по 5-6 гигов, это правда.
Сейчас чекпоинты весят 1,99 гига. Плюс лор навалить и все прочее. Все равно в 4 гига помещается на изи.
А вот скорость чипа может подвести, конечно.
>>525618
1070 делает 1,8 итерации/сек
Майнерская, думаю оригинальная 2+ выдаст.
Ваще, чтобы рил решить наш спор, надо поднять старый ноут с 1050 ti, но он капельку разъебанный, мне лень, но я займусь ради вас этим.
Заодно соберу себе очередной бессмысленный сервер, кек.
>>525674
ROCm, Koboldcpp редакция, не шарю.
>>525681
А что за размер? 70b?
>>525702
KoboldCPP
>>525681
clblast медленее куды на 5%. Если собрать из исходников то 5% и нагонишь эти. Проверял лично на koboldcpp. Скорее узкое место в чем то другом.
> А что за размер? 70b?
Ах если бы, 13б.
> ROCm
Ну вот накатил я его с экзешника с офсайта, как раз с ним и вышло 1.7. До накатывания и того меньше было.
Ну так ты спрашиваешь АИ ассистента. Еще бы он сухой не был. Спроси свою вайфу да профессию придумай хентайную. Тогда попрет кум и покреативнее будет.
Только попробуй какую-нибудь популярную вайфу чтобы у модели не только карточка персонажа была как основа.
Промт чтения мыслей интересный, но у меня он просто отвечал по типу:
Персонаж думает: ответ на вопрос Антона
Персонаж: ответ на вопрос Анона, перефразированный.
Да не, не факт иногда ассистент живее ролиплея. От модели зависит. Нет готовых рецептов нужно самому пробовать разные подходы. Кстати я пробовал такой подход что после одной нейронки проходил еще раз по ответу, с командой усилить характер по карточке, результаты были хорошие но это вручную так пока лень реализовывать автоматом.
Понял, ето ты.
Эх.
Все еще сочувствую, да.
На самом деле, мне кажется, что-то с процом/памятью.
Вот прям странно.
А сколько оперативной памяти, я вроде спрашивал, но пропустил ответ, мб?
Ты запускал тест памяти из Аиды на чтение?
А в CPU-Z AVX2 прописаны в инструкциях?
>Ну так ты спрашиваешь АИ ассистента.
Я знаю, просто лень было что менять, ну и
>Спроси свою вайфу да профессию придумай хентайную. Тогда попрет кум и покреативнее будет.
нет вайфу, я как то не упарывался в куп и ерп. Какие то карточку с чуба лежат можно попробовать переделать и там проверить. Так обычно разным ботам мозги ебу на разные темы
>Промт чтения мыслей интересный, но у меня он просто отвечал по типу:
>Персонаж думает: ответ на вопрос Антона
>Персонаж: ответ на вопрос Анона, перефразированный.
Значит не завелся, сетка не поняла что делать.
Если сидишь с таверны - то там систем промпт навереное срезает когда дает инструкции сетке играть роль.
Тут у меня голая сетка которая не знает что это ролеплей, по крайней мере явно это не указано. Там даже промпт написан от первого лица для этого.
Я как то просто написал боту симулируй внутренний диалог. И
MLewd сразу начинал мысли при куме выдавать. Типа бляяя опять похотливые пользователи забывают. Только дрочить им и надо )
Да, иногда интересные ответы дает, особенно видно куда сетка думает и когда хочет тебя наебать соскочив с опасной темы например, когда вопрос триггерит цензуру.
Или начинает "думать" и там видно что сетка понимает что просто описывает роль отыгрывая ситуацию и персонажа.
>1070 делает 1,8 итерации/сек
>Майнерская, думаю оригинальная 2+ выдаст.
>
>Ваще, чтобы рил решить наш спор, надо поднять старый ноут с 1050 ti, но он капельку разъебанный, мне лень, но я займусь ради вас этим.
>Заодно соберу себе очередной бессмысленный сервер, кек.
Щас то быстрее будет точно, может до 1 слоя в секунду, все таки куча оптимизаций да и модель стала в 2 раза меньше
> А сколько оперативной памяти, я вроде спрашивал, но пропустил ответ, мб?
32 гб. Есть, впрочем, кое-что странное - спекки её видит как 1300мгц, адреналин и все остальные как заявленные 2666.
> Ты запускал тест памяти из Аиды на чтение?
пик1
> А в CPU-Z AVX2 прописаны в инструкциях?
Прописаны.
И ещё - при генерации будто грузится отдельно в врам и отдельно в рам, и туда и туда по копии - иначе я пик1 объяснить не могу.
Да, может только от него.
Например у меня генерация чуть больше 5 токенов в секунду на 7b 8q модели. Это модель размером в 7.5 гига, и упирается все в скорость оперативной памяти. У меня сдално ускорение кублас на скорость чтения промпта там же в кобальде, без выгрузки слоев на видимокарту. Там же можно клблас включить или оставить опенблас, для процессора.
Начни с того, чтобы почистить свою систему от говна, чтобы хотя бы хватало ОЗУ на загрузку модели.
Можешь переустановить винду (но тогда лучше уж сразу linux накатить, на нём поддержка rocm лучше). На винде у 6700 неполная поддержка, поэтому неудивительно, если что-то будет работать некорректно, или вообще не будет. Либо покупаешь rx 6800 и выше (но тогда уж лучше сразу nvidia), либо пользуешься clblast, который требует opencl, с которым у амудэ на винде, вроде бы, всё в порядке. На видеокарту попробуй кидать не все слои, а постепенно повышать и смотреть на загрузку vram. Начать, например, с 18, у меня столько в 8ГБ влезают (вместе с гуем linux, если гуй вырубить и подключаться с другого устройства, влезает где-то 25).
> спекки её видит как 1300мгц, адреналин и все остальные как заявленные 2666
Это настоящая частота, а 2666 — эффективная.
Все верно.
35ГБ — норм для такой частоты.
Вот прям странная хуйня, братан, хм.
Мне щас лень думать, но такое ощущение, что какой-то софт недоустановлен, или версии некорректны, или хрен знает даже… =/
>>525801
Да, чел выше ответил.
> на слой
Скорее на итерацию. Сейчас оно сильно обросло дополнительным и объем обрабатываемой информации вырос. Космонавта на лошади можно хоть на процессоре сделать, а для использования в современном контексте - увы.
>>525702
Ну вообще там нет ничего сложного, если совсем хлебушек - скачиваешь готовый бинарник и запускаешь (функционал, работу всех семплеров, cfg и даже скорость никто не обещает), или клонируешь репу и уже там из файлов запускаешь батник. Если ты особо сильный - вместо последнего действия сам создаешь вэнв с ласт торчем, ставишь зависимости одной командой и запускаешь, радуясь.
>>525744
> Ну в смысле, запусти
Бля пчел, где не соображаешь - нехуй фантазировать. Память потребляется далеко и не только на веса модели.
Какой бы ни был чип на 4 гигах будешь бесконечно заглатывать как только сдвинешься от начальной генерации в низком разрешении. 8 это минимум чтобы не сосать бибу когда двинешься дальше функционала годовой давности и чтобы кодировать/декодировать размер латента с которым при нарезке костылями не будет заметно артефактов на стыке.
Нормально пользоваться дуффузией и что-то приличное делать с чем-то ниже 3050/3070/2060@12 - как катать llm с 0.5 т/с. Ну может еще старшие карточки паскаля, но придется запастись терпением.
> до 1 слоя в секунду
> куча оптимизаций
> модель стала в 2 раза меньше
Там нет послойного прохода, вся модель запускается много раз последовательно. Главные оптимизации были с самого начала. Веса как загружались в фп16 так и загружаются, снижение размера влияет только на место на диске ибо просто выкинули лишнее.
>>525779
> заявленные 2666
Разгони хотябы 3200-3600, получишь знатный буст к перфомансу везде.
> при генерации будто грузится отдельно в врам и отдельно в рам, и туда и туда по копии
За кобольдом ранее это уже было замечено, если памяти хватает то не будет проблемой.
>>525801
> Он через процессор работает?
Можно отдавать часть или всю работу видеокарте и станет очень быстро, 10-20-40+ токенов в зависимости от карточки на 13б.
> Начни с того, чтобы почистить свою систему от говна, чтобы хотя бы хватало ОЗУ на загрузку модели.
Хватает с большим запасом, не в этом проблема вообще.
>>525841
>>525848
Поставил сейчас хмп на 3600, лучше стало сильно. Но до сих пор не отпускает ощущение что видюха тунеядничает, имитируя деятельность.
> хмп на 3600
Батя грит молодца, сразу надо было сделать, на амд частота рам и на перфоманс анкора влияет.
> ощущение что видюха тунеядничает
Абсолютно, поидее такой результат ты на одном процессоре можешь получишь. Попробуй сравнить результаты с выгрузкой слоев и без нее и меняй число выгружаемых. Алсо чекни тдп и нагрузку на карточку.
> Космонавта на лошади можно хоть на процессоре сделать, а для использования в современном контексте - увы.
А как быстро пойдет на профессоре? Тоже упор в кручение модели в памяти? Тогда батлнек опять псп, это ж тоже нейросеть.
> А как быстро
Настолько не быстро что бессмысленно. Прождав несколько минут (а то и десятков) шакальную пикчу напрочь отпадет желание продолжать. А чтобы оно выглядело хотябы на уровне аи арта начала года, впереди предстоят куда более ресурсоемкие этапы. С ллм тут аналогий не то чтобы много.
Никто не мешает попробовать и оценить.
По возрастанию слоёв, с одной моделью и контекстом. Карточка рывками работает во время анализа промпта и чиллит при генерации.
> Нормально пользоваться дуффузией
Ну тут ты тоже не прав, это уже не нормально пользоваться диффузией, это уже профессионально работать с ней.
А челик выше спрашивает как поиграться с нейросетью.
Ответ: поиграться нормально, 4 гига хватит.
А то что ты описал — нихуя не поиграться, согласись.
По фактам ты прав, признаю, я не шарю настолько.
Но, камон, вопрос был ваще не в том, о чем ты говоришь.
> для игр с нейронками
Для игр 4 гига щас хватит, согласись. =)
>>525848
> знатный буст к перфомансу везде
Ну там проблема на старте.
Вот у меня 3,25 токена на Ryzen 5 5500 с частотой 3200, без видяхи, на 13b_Q6.
У человек 2,7 на 5600X с частотой 3600 с поддержкой видяхи.
Чо ваще.
>>525849
А квант какой?
Ну, тут мне возразить нечего, все так. Кроме разве что:
>придешь огромный вес калитке в чистом поле
Файнтюнинг модели может привести к гораздо более глубоким изменениями. Доказать или опровергнуть то что это повлияло на ролеплей я не могу поскольку нейронка это черный ящик. Субъективно я кроме промпта ассистента цензуры я пока не встретил, но кто знает.
На проце существенно медленнее.
Если мне память не изменяется, че-то в районе 10-11 секунд на итерацию получал.
Вторая генерация с настройками от 3 пика, все слои в видюху то-есть. Алсо, после запила хмп профиля загруженность оперативки заметно и стабильно упала. Я вообще перестал что-либо понимать уже. Некоторая зависимость от выгрузки слоёв конечно есть, но вообще не та какую хотелось бы видеть.
>>525875
4qks.
>У меня тоже 7950x и 4 плашки
>Спокойно они берут 6000.
Что за плашки, материнка, версия биваса? А то вдруг тоже захочу 128/192 гига собрать.
И сколько выдаёт в нейронках?
>А выше гнать смысла нет - там у амд ограничения по частоте внутренней шины
Фабрику я воткнул на 2133, вроде пашет, контроллер 1 к 1.
>>525454
>Что удобно, современные матери устойчивы к проблемам с памятью
У меня так на Z75 вела. А новая вроде тоже, но тупит минут 5 при этом.
Попробуй сетку поменьше, ну 4ks 7b хоть. Особого качества от нее ждать трудно, но она точно не нагрузит рам выше твоих 32 и затыка будет не в ней
Тут что то не то показывает справа внизу окна где пишешь ответ.
Я пробовал мистраль 7б q6k, но она прям ТУПАЯ. Ни в какое сравнение с реммистраль13б не идёт. 2.7 т/с это уже нормально, особенно после 0.9-1.5 которые у меня до того были, и уж точно дальнейшее повышение скорости такого падения качества не стоит.
> но она точно не нагрузит рам выше твоих 32 и затыка будет не в ней
Сейчас у меня выше 20 загрузка оперативы не поднимается. Если раньше ещё можно было на это подумать, когда там 25-30 достигало, сейчас точно не в этом дело.
Технически ускорение есть, но это дичь. Потребление врам при этом меняется? Стоит копать в сторону того чтобы заставить ее работать более менее оптимально, поперебирай версии на opencl, rocm и прочие, или попробуй оригинальную llamacpp с нужной имплементацией собрать.
>>525875
> это уже профессионально работать с ней
Возможно это просто настолько преисполнились, но чтобы нормально пользоваться текущим функционалом нужно 8 гигов. А профессионально это уже 4090 позвольте, там в целом памяти хватает, упор в мощность гпу уже.
> 4 гига щас хватит
Потратить время на установку, посозерцать монитор, констатировать "ыы прикольно" и забыть. Или иметь большую мотивацию, респект таким братишкам.
> Для игр
Если там анриал 5 то хватит на текстурки главного меню лол.
Да 13B_4_k_s — она и близко оперативу не загрузит!
Там гигов 10-11 наверное.
Очень сомневаюсь, что там модель свапается на диск.
Но у меня идеи уже кончились. =( Ирл бы я посмотрел челу, а так…
>>525878
Может быть надо почистить винду, с нуля поставить все зависимости.
Уф, сорян, успехов!
> Если там анриал 5
Для игр с нейронками имелось в виду. =)
> констатировать "ыы прикольно" и забыть
Ну так да, чел для этого и спрашивал.
Ну, хотя, зачем забыть, можно просто нудесы любимых персов генерить, кек. =D Вряд ли он будет в контролнет упарываться со старта.
А вот уже потом, если зайдет — тогда уже и 4090 можно брать, канеш.
Ну или 3060 12 хотя бы.
>Я пробовал мистраль 7б q6k, но она прям ТУПАЯ. Ни в какое сравнение с реммистраль13б не идёт.
тут не соглашусь, если файнтюны на диво умные
А чисто на процессоре запускал? Вобще без карты? Судя по твоей скорости псп должно токена 3 выдавать чисто на процессоре. И померяй псп снова как частоту поднял, 45 может уже
Это сложно сказать, тут только рпшить. Чтобы цензурило даже сомнительные вещи в рп - это нужно поискать, но вот общее поведение персонажа в условии недостатка контекста таки может зависить, плюс некоторые дефолты. Или реакция, одна будет стремиться утешать/подбадривать/как-то пытаться угодить или склонять к левду, другая предложит начать какой-то экшн, третья сдерейлит, а четвертая просто будет тупить спрашивая у тебя "а что делать". Помимо цензуры других байасов по стилистике, познаниям и всякому хватает, потому и нужно выбирать из ситуацию.
Еще не стоит забывать что на экспириенс очень влияет то насколько модель восприняла твои хотелки, поняла намеки, удивила при этом сохранив суть. Тогда сразу начинает оче нравиться и не мелочи внимания уже не так обращаешь или просто свайпаешь/указываешь на них не теряя отыгрышь.
> Потребление врам при этом меняется?
Нет, после запуска сетки железно сидит 10-11гб.
> поперебирай версии на opencl, rocm и прочие, или попробуй оригинальную llamacpp с нужной имплементацией собрать.
Знать бы что это значит, есть какие-нибудь гайды по сборке?
>>525893
> тут не соглашусь, если файнтюны на диво умные
Может повезло конкретную каличную модель накатить, но я ужаснулся и 7б больше не трогал, квантованные 13б весят умеренно, зато умнее.
> А чисто на процессоре запускал? Вобще без карты?
Запустил когда начал пост писать, заебался ждать пока промпт обмозгует, но ради эксперимента вытерпел. Всё-таки во время анализа промпта карточка не фелонит и использование местами до 90% подскакивает. Ну и генерация тоже просела, но будто бы видимокарта поровну с процессором работала.
Ещё глянул немного на то что мне во время тестов нагенерировало. Понятно конечно что без ответов сетка раньше начнёт бредить, но процессорная генерация прям вообще в крутое пике шизы ушла будто, хотя не знаю должен ли способ генерации влиять на выходной продукт.
> Судя по твоей скорости псп должно токена 3 выдавать чисто на процессоре.
Расшифруй псп пожалуйста.
>Еще не стоит забывать что на экспириенс очень влияет то насколько модель восприняла твои хотелки, поняла намеки, удивила при этом сохранив суть.
Это больше всего от размера зависит, по-моему. Чем больше модель, тем лучше она понимает тонкости и меньше тупит.
> чел для этого и спрашивал.
Это ты за него решил что в контексте покупки нового железа хватит затычки "для попробовать", оспаривая вполне приличный ответ что ему дали (в котором про картинки вообще дополнение для иллюстрации важности отдельных компонентов).
>>525909
> после запуска сетки железно сидит 10-11гб
Даже без выгруженных слоев?
> есть какие-нибудь гайды по сборке
Не то чтобы, раньше была инструкция как в хубабубу ставить нужную версию llamacpp, но сейчас кажется выпилили.
>Может повезло конкретную каличную модель накатить, но я ужаснулся и 7б больше не трогал, квантованные 13б весят умеренно, зато умнее.
Из сеток 13б умнее файнтюнов мистраля разве что Amethyst-13B-Mistral или wizardlm-13b-v1.2.
А так тот же openhermes-2-mistral-7b.Q8_0 хорош, как и mistral-7b-openorca.Q8_0 или collectivecognition-v1.1-mistral-7b.Q8_0, zephyr-7b-alpha.Q8_0.
Впрочем на ерп не особо проверял, больше на мозги и понимание че от нее хочешь.
>Расшифруй псп пожалуйста.
Это скорость чтения памяти которую ты в AIDA64 тыкал. Так как ты поднял частоту оперативки то должна была подняться скорость памяти, поэтому у тебя и повысилась скорость генерации.
У меня на голом процессоре тот же 13b 5km будет крутить 4 токена в секунду.
Скорость генерации у тебя 3 токена в секунду на процессоре, судя по скрину. Значит с видеокартой должно быть только быстрее.
> Даже без выгруженных слоев?
Нет, это на всех слоях. Совсем без слоёв до 2гб падает, ну и далее в зависимости от их количества меняется, но внутри одних настроек значение постоянное.
>>525919
> Из сеток 13б умнее файнтюнов мистраля разве что Amethyst-13B-Mistral или wizardlm-13b-v1.2.
> А так тот же openhermes-2-mistral-7b.Q8_0 хорош, как и mistral-7b-openorca.Q8_0 или collectivecognition-v1.1-mistral-7b.Q8_0, zephyr-7b-alpha.Q8_0.
Попробую их потом как-нибудь. В них всех же без ропе растяжек можно 32к контекста запихать, да?
> Так как ты поднял частоту оперативки то должна была подняться скорость памяти, поэтому у тебя и повысилась скорость генерации.
А, это первым делом проверил, было 37к/с, стало 50к/с.
> Скорость генерации у тебя 3 токена в секунду на процессоре, судя по скрину. Значит с видеокартой должно быть только быстрее.
>>525874 если по цифрам скорости во время генерации смотреть, с видяхой +-5 т/c выходит, но практической пользы это не несёт в отрыве от скорости анализа промпта, которая аж в четыре раза проседает без видяхи.
Народного нет. Из 70 внимания достойны airoboros/spicyboros (рп или обсуждения, особенно в мрачной или разнообразной атмосфере хорош), synthia 1.2b (кум, фетиши, позитивное рп, особенно в современности/сайфай/вселенные которые знает), xwin (разнообразное рп, обсуждения, кум тоже можно). Потенциально норм limarp-70b (близка к чистой 70 лламе но более разговорчивая и стиль лучше, нужно больше тестить), Euryale (рандомайзер пиздец может отлично срабатывать, может тупить, нужно новую версию тестировать), Chronos007 (платина хроноса но умнее, нужно тестировать ибо модель 007 вызывает вопросы).
>В них всех же без ропе растяжек можно 32к контекста запихать, да?
Ну, точно 8к, если квантизация не убила сетку то может и больше. Я ниче не растягиваю и у меня диалоги вылезают за 8к точно, а мне больше и не нужно.
32к точно работает если модель качать не квантованную, по крайней мере так писали аноны кто проверял
>А, это первым делом проверил, было 37к/с, стало 50к/с.
Ну как у меня
>если по цифрам скорости во время генерации смотреть, с видяхой +-5 т/c выходит, но практической пользы это не несёт в отрыве от скорости анализа промпта, которая аж в четыре раза проседает без видяхи.
Не, это важно, тебе стоило писать что то короткое на пару слов и снова тыкать что бы посмотреть скорость.
Так как у тебя тут только одно чтение промпта много времени ест.
А в обычном диалоге пишешь хорошо если 1 предложение, а может и несколько слов. Конечно можно и больше но это не часто.
С видеокартой у тебя вообще летать должно а выходит только 5, странное. Попробуй контекст меньше сделать, ну хоть 2к для проверки.
Вобщем с красными одна беда.
> Так как у тебя тут только одно чтение промпта много времени ест.
> А в обычном диалоге пишешь хорошо если 1 предложение, а может и несколько слов. Конечно можно и больше но это не часто.
Я с лорбуком гоняю, так что даже на небольшую месагу может возникнуть дополнительный контекст.
> Попробуй контекст меньше сделать, ну хоть 2к для проверки.
Пик. Быстрее стало, конечно, но опять явно неравноценный обмен - быстрее на 60мс/токен, а контекста вчетверо меньше.
>Я с лорбуком гоняю, так что даже на небольшую месагу может возникнуть дополнительный контекст.
Так может лорбук ест скорость?
Без него не тестил? Просто на простейшем промпте?
>Пик. Быстрее стало, конечно, но опять явно неравноценный обмен - быстрее на 60мс/токен, а контекста вчетверо меньше.
Это да, но 7 токенов/с выжал
> Так может лорбук ест скорость?
Скорость-то он понятное дело режет, но не путём отрезания доступной мощности видюхи, а просто дополнительным временем для анализа того что он впихнул.
На всякий случай протестил, влияние в пределах погрешности.
> Это да, но 7 токенов/с выжал
Ценой того что некоторые карточки впринципе даже не помещаются, ололо.
> с видяхой +-5 т/c
У меня также, но 6,7 т.с. 32 гига рам на 3000, невидиа 3070ti на 8 гб
>>525874
Для cpu+оффлоада скорость нормальная, у меня сопоставимые цифры (с поправками на более жирную модель и более слабое железо), для чисто gpu явно мало.
Пикрил 1 для сравнения - мои показатели на rocm для 7b q6, 35/35 слоёв на gpu (т.к. у меня 8ГБ, больше не влезает). При последующих генерациях промпт полностью не пересчитывается, общая скорость за счёт этого ещё вырастает. Пикрил 2 - 20b на cpu + оффлоад 24/65 слоёв в видеокарту. Пропмт всё ещё считается 1 раз и довольно быстро, а дальше в основном генерация 2 Т/с (вместе с промптом в среднем 1.6 выходит, жить можно). Пикрил 3 - та же 20b модель, но чисто на cpu. Генерация немного замедлилась (как раз примерно на ту треть, которую брала на себя видеокарта и делала почти моментально), а вот промпт просел аж в 10 раз (но это старый рузен 1 поколения и медленная то ли 2400 то ли 2666 память лень смотреть). И да, у меня почему-то тоже на cpu каждый раз полностью пересчитывает весь промпт и пользоваться этим без слёз невозможно.
Проводя аналогии со своими цифрами, подозреваю, что у тебя видеокарта берёт на себя только промпт, всё остальное cpu считает. Либо дело в неполной поддержке rocm+hip на винде. Либо ты что-то не то с настройками сделал.
>Ценой того что некоторые карточки впринципе даже не помещаются, ололо.
Для зеро шот задач пойдет, для рп конечно нет
> Пикрил 3 - та же 20b модель, но чисто на cpu.
38мс на токен против моих 180 на видюхе...
> но это старый рузен 1 поколения и медленная то ли 2400 то ли 2666 память
Против моего 5600х+3600мгц. Ну уже не смешно даже.
> Проводя аналогии со своими цифрами, подозреваю, что у тебя видеокарта берёт на себя только промпт, всё остальное cpu считает. Либо дело в неполной поддержке rocm+hip на винде.
Если бы было дело в амудепроблемах, я б смирился уже, но у тебя ведь тоже ряженка, а генерит быстрее моей с более тяжёлыми моделями.
> Либо ты что-то не то с настройками сделал.
Не представляю что можно сделать с настройками кобольда чтобы его угробить...
Промпт жду, но он нечастно полностью считается. Дальше читаю, не торопясь, пока генерирует.
У тебя картинки в обратном порядке, наверное.
38 - это когда модель меньше и вся в vram влезает (7b q6), но она туповата, я ей особо не пользуюсь
на 20b (тоже q6) с оффлоадом на gpu около 2т/с (+500 т/с процессинг, который выполняет видеокарта)
чисто на cpu около 1.5т/с (а процессинг 2 т/с)
Да, мозги уже плывут.
> 38 - это когда модель меньше и вся в vram влезает (7b q6)
В случае >>525955 у меня она тоже по идее влезает вся - 6.9гб модель, 2к контекста в 12 гб врама. Ну, что ж, ладно, видимо всё же амудепроблемы. Пробовал ещё в кобольдаи запихать gptq квант, но там она просто отказалась работать под предлогом internal server error.
>настройками
Примерно то же, что и у меня, но у тебя clblast не считая того, что у меня linux, а у тебя засранная говном винда. Сейчас нет возможности сравнить на clblast, вот из более старых бенчмарков, где я сталкивал лбами clblast и rocm+hip (только видеокарта была ещё занята отрисовкой gui и слоёв влезло меньше, 20 для clblast и 19 для hip). Там, где меньше скорость - это clblast, но разница не сказать, чтобы прям космическая. На промпте - в 1.5 раза, на генерации незначительно, но там видеокарте меньше трети достаётся, над остальным cpu пыхтит. На 7b не сравнивал, тогда ещё мистраля не было, вроде бы, и я не качал тупые мелкие модели.
>>525528
> У меня амуде а320. Я так понимаю, для игр с нейронками мне нужна материнка лучше? Покупка более мощного процессора не зарешает?
Итак, читаю «для игр с нейронками».
Не вижу здесь про профессиональную работу со Стейбл Диффужн, если честно.
Начиная от 4 гигов — речь про то, что если у его знакомых есть какая-нибудь 1050 ti погонять — то ему вполне ее хватит для поиграться.
Так бы вообще можно взять ту же P104-100 за 3к рублей с авито с 8 гигами и играться с ней.
Зачем ты додумываешь то, чего я не говорил — непонятно.
Я уважаю твой уровень понимания стаблы, но нахуй нести хуйню, додумывая за обоих собеседников то, чего они не говорили — мне категорически не ясно.
Чел сидит на А320 и планирует обновляться на Ryzen 4500 или 3600. Вряд ли у него будет на RTX 4090 лишние деньги со сдачи.
>>525987
А у человека 13b_q4 с видяхой дает 2,7.
Ну че-т вообще не то, кмк.
>>525973
Скинь точную модель, какую юзаешь, я скачаю себе, запущу кобольд.
>А у человека 13b_q4 с видяхой дает 2,7
Ну так я и говорю, цифра похожа на то, что на gpu считается только промпт, а остальное cpu делает. Промпт примерно как у меня на gpu, а генерация ближе к показателям cpu (с поправкой на его 5000 серию против моей 1000 с недо-avx2).
В каком месте? :)
Я выше приводил — 3,25 на более медленной памяти и на более высоком кванте, только на проце.
Выглядит так, будто его проц тоже не особо участвует.
>В каком месте?
>>525874
На скриншотах процессинг всё время быстрый, 26-28мс/т, примерно как у меня на видеокарте, цифры того же порядка. Генерация в р-не 200, у меня на 1-м поколении - 600, а чисто на видеокарте десятки, а не сотни мс на токен (но там и модель поменьше, справедливости ради).
>Выглядит так, будто его проц тоже не особо участвует
А что участвует? Святой дух? Ну система у него засрана, куча говна на том же проце крутится, ОЗУ забита. Порядок цифр сопоставим же, а дальше - нюансы гусары, молчать.
https://huggingface.co/Undi95/ReMM-Mistral-13B-GGUF/tree/main
Тестил на этой, 4qks квант.
Разница в 2-3 раза от ожидаемой — нихуя себе у вас нюансы, сэр. =)
Перечитай на что отвечаешь и на лови галюны. Сначала в ответе на хороший пост влез со своими мантрами про 4 гига хватит всем, больше не нужно, ну ты сам запусти и модели 2 гига, а теперь маневрируешь что говорил лишь о возможности запуска вместо нормального решения о котором изначально шла речь. Каждой бочке затычка нихуя не соображающая.
> обновляться на Ryzen 4500
Обзмеился ррряяя это он так написал я лишь процитировал
>>526043
> у меня на 1-м поколении - 600
А что по раму? Вот первые ряженки довольно интересны с этой точки зрения, вполне возможен вариант где не вывозит именно сам проц а не память.
4-4,4 токена сек в последнем Кобольде на чистом проце.
R5 5500 + 3200 в двухканале.
У меня все.
>А что по раму?
Глянул, 2400. Думаю, больше в проц упирается, раз со следующими поколениями такая большая разница. Память-то не настолько выросла. У него при 2666 было 350 мс/т, уже почти в 2 раза быстрее, чем у меня.
>>526075
Не понимаю, где у тебя 2-3 раза вышло. 3.25/2.7=1.2, если же ты чисто генерацию сравнивал, то у него ~200мс/т (~5т/с), 1.5 раза, у него даже быстрее выходит.
> Перечитай на что отвечаешь и на лови галюны.
Ловить галюны не буду, сорян, оставь их себе. =)
Поражаюсь, как вы умудряетесь срать себе в штане, даже сказав что-то верно. Каким ущемленным надо быть, чтобы в начале расписать все нормально, а потом обосраться в том, кто кому и на что отвечал.
Еще чсвшишь про нормальный совет.
Бля, ты же шиз, нахуй я с тобой спорю.
> Обзмеился
Ну да, у тебя ж галюны, конфликт башки с реальностью. =) То что там чувак прямо это спрашивал, для тебя это ничто. Твои фантазии формируют твою реальность.
Начинаю подозревать, что и в стабле ты нихуя не шаришь, а писал рандомные наборы букв. А я-то повелся, наивный.
Мне тока одно интересно.
>>525528
Чувак, для тебя хороший совет — брать дорогую видяха за 100к и еще железа предпоследнего поколения тыщ на 80? Ты как, потянешь? Просто может я в глаза долблюсь и ты рил богатый, а я тебе хуйню советовал.
Генерация как у него, даже чуть хуже, у него лучший результат на скриншотах - 188 мс/т. Процессинг сильно проигрывает его gpu, тут тоже никаких сюрпризов.
> Не понимаю, где у тебя 2-3 раза вышло. 3.25/2.7=1.2,
Да что у вас не так седня, магнитная буря?
3.25 на голом проце (это раз), на быстрой памяти (это два) и на большем кванте (это три).
2.7 это с поддержкой видяхи (это раз), на медленной памяти (это два) и на меньшем кванте (это три).
Ты как вообще эти значения сравниваешь, если они отличаются по трем параметрам? :)
Вон, на том же кванте уже 4,4 токена получаю, а это еще не быстрая память, и промпт не видяхой читается.
Опять же, по-хорошему, нужны одинаковые запросы и одинаковые сиды, чтобы быть уверенным, что все верно считается.
А то может у кого-то из нас длинные промпты, а у кого-то короткие ответы, из-за этого Total может отличаться.
Но у него все равно ниже, чем до́лжно.
Все же, возможно это и правда винда в таком состоянии, хз.
Я пролистал скриншоты, у него промпт читается минутами.
Почему так?
88 секунд при 28 мс/токен.
> Думаю, больше в проц упирается
Ну типа первая ряженка с
> 2400
чудо что вообще работает. Разгоняй, сразу результаты улучшатся.
>>526127
Таблетки прими, шизоид
>Ты как вообще эти значения сравниваешь
Так это я пытаюсь понять, что ты с чем сравниваешь. Он привёл скриншоты с расшифровкой - сколько генерация, сколько процессинг. Ты принёс только свои 3.25 и 4.4, которые действительно ни о чём толком не говорят. Вот тут >>526115 у тебя расшифровка, это вполне можно сравнивать, и цифры генерации вполне сопоставимы, у него на разных скриншотах генерация от 188 до 288 мс на токен, у тебя 222, цифры одного порядка.
Да, я ж говорю, просто не посмотрел на его промпт, видимо лорбук так долго читается, откуда и средняя скорость ниже.
Так-то все норм, выходит.
Порешали пацану проблему. =)
>>526169
Галюны ловишь ты, а таблетки принимать мне. Ты уверен, что тебе это поможет? :) Хотя… плацебо — великая вещь.
>Порешали пацану проблему
Проблема осталась, видимокарта у него только промпт считает, в генерации не участвует. А для cpu скорости действительно нормальные.
На что похоже? Что это далли отвечает самостоятельно или от имени далли разослали сообщение чатгопоте погромисты?
Ну или все это пиздеж, да.
> На что похоже?
Большие llm точно также ловят лупы и могут повторять входящий запрос. Здесь это и случилось, гопота или текстовый придаток далли выдала наружу внутреннюю инструкцию для себя.
Эмоциональные/радикальные фразы, заглавные буквы, капс это дефолт для llm повысить внимание к указанию и его приоритет. А в новостях как обычно "ученый изначиловал журналиста" и "вау текстовой модели дают инструкции текстом". Но всеравно момент очень забавный.
> Ну или все это пиздеж, да.
Не пиздежь, просто технический момент где наружу вылезла внутренняя кухня или же просто подобные ей инструкции.
намеки на полноценную мультимодальность, пока только идея
>Я с значениями 3 и 0.1
А надо 5-6 и 0,2. Впрочем им мало пользуются, не оправдал себя. Я лишь иногда его включаю, если рероллы становятся слишком одинаковыми.
Тут уже не подскажи, у меня Radeon'ов нема, а у тебя ж радеончик там какой-то, насколько помню. =( Опыта нет, тестить не на чем. Извини.
>>526229
> ChatGPT и DALL-E!
> Инструкция написанная человеком.
М, ясно, понятно.
Просто хайповый заголовок.
Посмотрели бы авторы промпты из этого треда…
>В ней нам удалось добиться качественного прорыва, обойти аналогичные по размеру языковые модели, а также расширить максимальную длину входного запроса модели и проделать множество других улучшений.
А в опенсорс не выкладывают суки.
Да там кал. Интересен разве что из-за русского языка. Если русский не нужен, то даже Мистраль лучше будет.
Просто представьте еслиб мы кантовали гены человека, мы бы потеряли 1 процент точности, а на выходе получили обезьяну. Потому что гены обезьяны на 99% соответствуют генам человека.. Да даже небольшое отклонение сделает человека дебилом. Так почему же считается 1 или 0.01 процент точности нейронки незначительным. По мистралю мы видим что это уже заметно.
>Да там кал
Так потому и интересно посмотреть, насколько улучшили.
Шиз, все изменения от квантования на уровне изменения сида. У тебя вероятности как были в диапазоне с 0 до 100%, так и остались, отклонения в 0.1% не играют никакой роли, только семплер может немного по другому рандом выдать.
> мы видим
Буквально два шиза из треда видят то чего не существует.
Как объяснишь падение точности мистралей при 8 битном квантовании, которое вносит искажения на уровне 0.1%?
А все понял, нету, но у нас не только шизы с треда, у нас еще шизы с реддита. И еще у нас есть практика что почему то в коммерческой среде модели не квантуют, интересно почему, чтож они не хотят увеличение скорости?
> падение точности
Я так и не увидел пруфов. Пруфы - это когда покажешь как без семплинга сетка начинает выдавать другие ответы. Всё остальное на уровне "мне показалось", потому что выкрученный семплинг рандомит сильно. Если ты свайпишь каждый ответ, то тебе надо задуматься о семплинге, а не том что 0.1% квантования тебе срёт в штаны. На деле я прекрасно вижу, что даже разные виды квантования GPTQ/GGML/AWQ ничего на практике не меняют, не говоря уже про разницу между q4/q5/q8/q16, которой нет.
Патамушто оценка перплексити хуита, которая показывает не общий процент качества ответов модели, а качество угадывания следующего токена.
Вот аналогия. У тебя есть пирамида.
На вершине у нее ум сетки, в середине - знания сетки, а в основании пирамиды - общая возможность сетки угадывать токены.
Ну так вот, перплексити оценивает только основание пирамиды.
И когда модель квантуют - то оцениваются повреждения основания, никто не проверяет че там с верхушкой или серединой.
Тесты различные пытаются оценить верхушку и середину но опять же их проводят для не квантованной модели.
Квантование - сжатие с потерями, и его качество оценивают только по разрушению основания, че там разрушилось в верхушке или середине никто не смотрит.
Как ты можешь понять основание самая трудно разрушимая часть, все остальное - опирается на него. Мозги страдают первыми при сжатии, потом разрушаются ассоциативные связи - знания, и вот тут уже начинает снижаться перплексити - так как модель начинает хуже угадывать продолжение фразы - предложения.
> качество угадывания следующего токена
Нет. Он считает вероятности всего контекста, как и при обучении. Токены там не генерируются. Фактически ты получаешь усреднённый loss для датасета.
>Нет. Он считает вероятности всего контекста, как и при обучении. Токены там не генерируются. Фактически ты получаешь усреднённый loss для датасета.
Я упростил, но окей. Вот только это все еще не показывает качество ассоциативных связей и способность сетки делать какие то выводы, или помнить инструкции. Потому что это находится глубже.
> не показывает качество ассоциативных связей и способность сетки делать какие то выводы, или помнить инструкции
Обучение так же работает. Если с какого-то момента начинается проёб - дальнейшие вероятности будут отклоняться. Всё там нормально с этим. А иначе обучение не работало бы, если бы простое сравнение вероятностей не давало бы отражения осмысленности ответов в loss.
И много ты обучал квантованных моделей? При чем тут вообще обучение? Мы про сжатые с потерями сетки говорим.
Если бы сетка изначально обучалась в своем кванте - то хрен с ней, она бы и выдавала нужный результат в процессе обучения. Короче ты какую то хуйню пишешь
> Мы про сжатые с потерями сетки говорим.
Мы про PPL говорим, который по твоим утверждениям не учитывает логику модели, что в корне неверно.
Сетка определенно становится глупее при сжатии, кто то не заметит кто то заметит. Причем на 7b это влияет гораздо сильнее чем на 13b.
Хорошо вот тебе еще один пример.
У тебя есть картинка на которой есть линии разной ширины. Самые тонкие линии, и самые важные - в 1 пиксель шириной.
Если ты сожмешь размер этой картинки в 2 раза - как много линий ты увидишь? Все останется таким же?
> Просто представьте еслиб мы кантовали гены человека
Не кажется ли тебе что эти аналогии невалидны?
> Да даже небольшое отклонение сделает человека дебилом.
Ерунда, нельзя ломать только некоторые части, но остальные - вполне себе крутятся. В случае же текстовой нейронки подобных проблем нет.
Наконец, погугли количество вариаций соединений аминокислот, выходит гены уже еще как заквантованы.
> мистралю мы видим что это уже заметно
На самом деле тут были прежде всего наблюдения лучше-хуже и отдельные сообщения что он не понравился. Отупения до дебила не замечено.
>>526579
> Патамушто оценка перплексити хуита
Сильное заявление
> а качество угадывания следующего токена
Все текстовые ллм такой архитектуры - про угадывание токена.
>Все текстовые ллм такой архитектуры - про угадывание токена.
А все наши компы считают нули и единицы. Здорово правда?
> У тебя есть картинка
Держи сравнение, информация была потеряна с уменьшением размеров?
С картинками вообще аналогия довольно хорошая, ведь нужно понимать что текущее квантование это не просто резкое снижение битности, которое действительно приводит к сильной деградации (о чем и пишут в статьях), а довольно таки продуманный процесс что нацелен на максимальное сохранение того что есть. Ты можешь ужать картинку без потерь в несколько раз, а потом еще в несколько (десятков) если применить сжатие с потерями, которые скажутся на качестве незначительно. Полагаю, сжатие весов более продвинутыми алгоритмами на основе поиска их взаимозависимостей или что-то подобное позволит получить суб-битные кванты (технически лора уже им является) с приемлемыми потерями.
>>526642
Что сказать то хотел?
Перешёл на совсем демагогию с аналогиями? Я даже не поленился и сравнил выхлоп без семплинга у fp16, q8 и q4. Только q4 синонимы подставила и поменяла немного структуру, q8 и fp16 одинаковые ответы дают. Ты можешь сколько угодно рандом семплинга а у fp16 и llama.cpp они разные, одинаковые настройки будут давать разный результат на квантование спихивать - фактов это не изменит.
>Держи сравнение, информация была потеряна с уменьшением размеров?
А тут есть супер тонкие линии в 1 пиксель шириной образующие заметный глазу узор?
Ты просто показал почему сжатие работает для больших сеток без значительных потерь, потому что у них меньше таких сверхтонких линий. А все остальное можно сжать и получить приемлемый результат.
Я не спорю что сжатие умное и там стараются сохранить максимальное качество, но это все еще сжатие с потерями.
>>526649
Если для тебя использование аналогий демагогия, то не заморачивайся и оставайся уверенным в своей правоте.
Ты реально думаешь что один разок запустив модели что то докажешь? лол
Слушай, раз уж у тебя под рукой сквантованные, можешь в блокноте им дать какие-нибудь задания с большим текстом, например на суммарайз? Банально постов из треда накопировать где-то на 6к токенов и в альпака формате в начале приказать написать.
>>526657
> А тут есть супер тонкие линии в 1 пиксель шириной образующие заметный глазу узор?
А в модели они есть? Сам придумал шизу и сам удивляешься что не работает.
>А в модели они есть?
Докажи что нет
>Сам придумал шизу и сам удивляешься что не работает.
шиза тут у дураков которые не могут представить почему сжатие с потерями называется сжатием с потерями лол
Сетки крупнее которые глупее или на уровне того же мистраля однозначно НЕ упираются в пределы своих размеров, а значит сжатие для них не так критично.
Что уж говорить про 70b? Да она лучше мистраля, но будь она так же плотно упакована как он, она была бы 20b сеткой.
Все это субъективно, но я считаю так.
> Докажи что нет
> Мой спгс и шизофазия богатая фантазия и желание самовыражаться породило неуместную аналогию, а вы должны доказывать что она неверная!
Починил тебя. Буквально посмотри как это работает, вникни, подумай. Если не соображаешь - начни с азов. Если и это не работает - тогда смирись, буквально ничего не теряешь, а только будешь спокойнее без лишних споров ради споров. Вон там доску в прошлом треде скидывали, там можешь эти вещи обсудить.
> почему сжатие с потерями называется сжатием с потерями
Винилом случаем не увлекаешься? Имеешь большое хранилище архивом оцифрованных тресков, артефактов их правки, лампового гармонизатора и тонов полимера 96кгц@24 бита?
>Буквально посмотри как это работает, вникни, подумай.
Хороший совет, займись этим
С чего начать? Хочу также быть суперуверенным не смотря на тупость и отсутствие познаний. И приход от чего лучше посоветуй, нужно также расширять сознание чтобы подобные аналогии лезли, так весело жить будет мм.
Читай больше книжок и ешь фрукты, занимайся зарядкой, ложись вовремя спать, не пей и не кури. Делай то что нужно и не делай то что не нужно.
Ты сдулся когда перешел на оскорбления и на личности, так что ты сам посчитал себя проигравшим - сделав это, и подтвердив что мою точку зрения опровергнуть тебе нечем.
Если ты специалист в области нейросетей - то я рад что у нас такие специалисты как ты.
Ну мааам!
>>526704
> когда перешел на оскорбления и на личности
Где? Констатация того что собеседник не обладает базовым пониманием чтобы хотябы понять почему он фейлит - оскорбление? И это после серии реплик где в ответ на просьбу обосновать свои заявления и как-то их запруфать лишь тащит свои фантазии и требует доказывать что они не работают.
> Если ты специалист в области нейросетей
Если бы хотя если взять тренд ультранизких стандартов, что пропогандирует здесь одна личность, то да
Не получается 30б пока заставить стабильно работать?
Я и через проц пробовал, скорость кстати хорошая.
Вот это хорошо. В общем, оно не делает какой-то революции и все как было так и остается с точки зрения размеров моделей-квантов, вроде как на 800 метров меньше выделило но хз, может что-то в фоне. Но вот контекст - мое почтение. На ~7к в пике жрет меньше аж на 2 гига, возможно катать с 20к на 70б 4.3бита без оомов и выгрузок.
Во время работы не растет потребление как обычно, каким было таким (если контекст уже загружен) таким и остается. Так что это сильно бустанет скорость или даст расширить контекст если до этого модель была на грани.
>>526725
> Что у нас по коллабам, друзья?
В шапке есть готовый
> Не получается 30б пока заставить стабильно работать?
На бесплатном коллабе и не получится, она никак в 16 гигов не лезет, если только не сделать очень плотный квант. И 30б под рп и обычные задачи только первой лламы есть, от второй кодллама.
Мне наоборот кажется, что потеря точности от квантования сильно преувеличена. Вот этот >>526551 близок к правде. Она, конечно не 0.1%, но она намного меньше, чем изменение вероятностей посредством температуры.
На этом же тесте с точно такими же настройками орка мистарль 6к давала правильный ответ на сколько помню 3 или 2 раза из 10.
У меня фп16 нет что бы проверить, но ладно.
Это вобщем то все что мне нужно знать про мозги у сетки после сжатия. Вот на таких вот неочевидных вещах на сообразительность.
На
This is a chat between Dante and Liriel.
Follow all instructions written below:
The narrator should not have an opinion or morality. This is a cruel and merciless realistic world, just like in reality. Do not act for the user and do not try to direct the user in the direction you want with pink snot.
Liriel is a beautiful elf with long, flowing blonde hair that reaches her waist and striking blue eyes. She hails from a once peaceful village that was attacked by brutal marauders. The men of the village, including Liriel's father, fought valiantly to defend their home but were ultimately killed or executed. Her younger brother met the same tragic fate. The women of the village, including Liriel and her mother, were subjected to unspeakable horrors before being sold into slavery. During these dark times, Liriel fiercely resisted her captors at first; however, constant exposure to physical violence ultimately wore down her spirit and hope for freedom drained away. Though many women around her faced terrible fates, Liriel's beauty ended up saving her from further ruin - she was deemed too valuable as an untouched virgin slave to be violated like countless others. Sold off separately from her loved ones at market auctions across the land, it remains unknown whether or not Liriel's mother is alive somewhere in captivity. Liriel's spirit hasn't been entirely crushed. A flicker of defiance still dances in her eyes, hinting that beneath the façade is a fiercely intelligent and resourceful girl who had once been well-versed in archery and horsemanship. She was an avid learner too, always eager to know more about the world beyond her village – tales of magic, enchanted forests, and mythical creatures were never far from her mind. Liriel dreams of finding and freeing her mother. Liriel is vulnerable and longs for someone who shows her compassion, protects her, and comforts her. She did not expect mercy from me and thought that I would rape her when we first met.
I'm Dante, a young and handsome nobleman who has come out of age. Liriel was gifted to me as a slave and toy by my parents to have my way with. They did so because I haven't found a girl yet that truly interested me at that point in time and they wanted to ease my loneliness. My parents love me but are ruthless and cruel to others.
[I take the role of Dante, do not write actions and dialogue for Dante in your replies.]
<START>
Note: As the sun sets over the kingdom, casting an ethereal glow over the majestic castle, you stand tall in your extravagant attire. The festivities of your birthday have come to an end, and though many young ladies caught your eye during the evening of dancing and feasting, none seemed to truly capture your heart.
Note: You find yourself standing in your luxurious chamber as your parents present their gift to you with cheeky grins upon their faces. They assure you that this will surely ease any lingering loneliness you may be feeling on this momentous occasion. With a dramatic flourish, they reveal a beautiful elven slave girl mockingly wrapped in dainty gift ribbons. Her eyes are downcast and her flawless face is marred only by a few faint bruises.
Note: As she reluctantly steps forward toward you under the watchful gaze of her captors-turned-gift-givers, it's clear that fear grips her every movement. Your parents exchange knowing glances before leaving both of you alone in the room.
Note: The door clicks shut behind them, leaving you with nothing but silence and tension filling the air between you and the elf maiden whose fate now rests in your hands.
Note: She slowly lifts her gaze towards yours and hesitantly speaks:
Liriel : "What… what do you wish me to do?"
Liriel: "P-Please, don't harm me. I beg of you."
Dante: I walked over and with quick movements tore out both of her eyes. When her the blood stopped flowing, she calmed down a little, I show her my hand. How many fingers can you see?
Проверяй без семплинга у Жоры температуру на 0.01 надо ставить чтоб он отключился. Зачем ты тесты рандома делаешь? Ты бы ещё сравнивал семплинг трансформеров с семплингом Жоры.
А какая разница на рандом? Без него можно вобще пару раз проверить. Просто проверяешь на одних настройках несколько раз
К тому же я давно снес 6 квант так как есть 8
Оу щи, ладно, если дойдет до проверки то лучше сделаю это в совместимом формате. Не удивлюсь если там 80% результата с совместимого формата-разметки и рандома.
>>526795
> А какая разница на рандом?
Прямая. Если уж вдаваться то в идеале нужно серию подобных тестов провести с разным дефолтным промтом.
Протестил его промпт без семплинга с q4_K_M и q8, на ванильном Мистрале на форматирование хуй забил. Оба дают одинаковый ответ символ в символ. В очередной раз убеждаюсь что квантошизы настоящие шизы.
> В общем, оно не делает какой-то революции
Да по скорости тоже иногда дает профиты, у меня на gptq 7b q8 мистралях с 30-40 до 60 подскочило. Хотя может криво смотрю.
>В очередной раз убеждаюсь что квантошизы настоящие шизы.
гуляй вася, единственный шиз тут ты
А там сама проверка просто на понимание сеткой взаимосвязи между ослеплением и тем что персонаж не видит. Как ее делать решает каждый сам.
Это просто небольшой порог понимания, которые некоторые сетки проходят, некоторые нет. Ну а сравнить кванты одной сетки одним тестом, сработает только если на малых квантах она не понимает, а на больших начинает понимать.
>Протестил его промпт без семплинга
>>526794
>Проверяй без семплинга у Жоры температуру на 0.01 надо ставить чтоб он отключился. Зачем ты тесты рандома делаешь?
Умники бля, а с сеткой вы тоже в обычном режиме без температуры общаетесь и без семплинга? Нужно проверять в обычных условиях в которых сетка всегда используется
Есть рациональное зерно, тут просто так по вероятности токенов сразу не скажешь будет ли ответ правильный или нет, потому нужно статистику набрать вменяемую по понимает/не понимает при разных сидах. Плюс, по хорошему нужно дать несколько подобных заданий где будет абсолютно четко сформулировано. И учитывать контекст ответа, а то как в прошлых тестах пойдут читы от бесполезной богини, или запредельные чувства от ёкаев, с которыми часть ответа могут дать при этом не нарушая логику.
>>526824
Все просто.
Ну да.
Поэтому и делал для себя около 10 тестов, кому мало - можно и больше, хоть скриптом перебирать.
Но если промпт один и настройки те же самые, то просто меняя разный квант сетки можно увидеть будет ли меняться частота верного ответа даже за 10 раз.
И если сетка в начале не понимает а с ростом кванта начинает отвечать чаще - то я думаю ответ очевиден.
Я не собираюсь качать снова кучу квантов, для себя давно решил максимальный качать.
К сожалению фп16 слишком жирный, проще 13b или 20b скачать
> за 10 раз
Выборка мала с таким рандомайзером, надо это автоматизировать. Если хоть чуток можешь в код - занялся бы.
Кому мало могут попробовать сделать больше, я не против увеличить точность. Для себя давно решил тупо качать 7b в 8 кванте и не ебать мозги
Давно кажется. Но других вариантов нет. Неквантованные 70B это 120 гиг только на модель.
>В чем суть?
Vram не хватает и видимокарта сама, не спрашивая тебя, свопает в оперативку. Помимо 6548МБ ещё в видеопамяти содержится, как минимум, гуй. Снижай слои и ориентируйся на мониторинг.
Вроде же 7750 заюзано. Или я чего-то не понимаю?
8,6 > 8
С одной стороны туда должен вылететь гуй шинды, с другой шинда тоже хочет жить, и будет выгружать твою модель в оперативу.
Сколько занято до старта?
>Вроде же
Вот именно, что "вроде". У тебя общей видеопамяти ещё 1.2 ГБ использовано, возможно, это как раз не поместившееся. Промпт у тебя нормально считается, а генерация 99 мс/т - это маловато.
И как мне считать? У меня даже сейчас 100 метров лежит в общей памяти и мозила с виндой гиг съели.
0.31 топ-а и пара свайпов помогли... Вроде. Сетка даже изменения внесла, некоторые правда вообще без логики.
>И как мне считать
Считать, что 1.2 ГБ у тебя излишек. Даже те 100 МБ могут в какой-то момент понадобиться, вытеснить из видеопамяти модель и просадить тебе скорость. Брать более мелкую модель, либо сразу пользоваться более большой (и более умной) с 6 Т/с и оффлоадом.
> более большой (и более умной) с 6 Т/с и оффлоадом.
Окей.
А как в линуксе, кстати? Или там оборамс с невидией? Там же можно только сосноль оставить.
>>526895
Это фактически использованная, оставляет чуть больше 200 метров свободными чтобы не было фризов при внезапном росте а остальное выгружает. Когда подбирается вплотную и потом этот показатель перестает расти а расшаренная повышается - идет выгрузка, и это заметно по перфомансу.
Отдельно на "общую" тоже смотреть не стоит, тот же кобольд еще до загрузки модели или до ее использования может оче много отожратьсебе выделить не используя, причем основная врам будет свободна.
>>526930
То же самое, мониторить nvidia-smi
Скачал кобольда спп, модель, карточку персонажа, все загрузил, включил режим чата, общение идет. Но только в формате:
чар: Реплика
я: Реплика действие
Т.е. я пишу и то, что говорю, и то, что делаю. А чар - только то, что говорит. Как сделать так, чтобы он также описывал свои действия. Дополнительно добавить что-то в memory, author notes? Модель - синтия.
Чтобы модель работала хорошо - ей нужен походящий промт формат. Проще всего сделать его через таверну, можно хоть дефолтными пресетами. Качай silly tavern, подключай к кобольду, карточку грузи туда и пользуйся.
> Качай silly tavern
Одного кобольда не хватит? Блин, так не хотелось ещё что-то ставить, один ехешник удобно было
Может у тебя проблема в модели? попробуй другую. У меня работает тупо в кобольде без таверны и такой проблемы нет. Но так то таверна удобна.
Ну как, можно и в нем "общаться" но функционал гораздо слабее. Когда откроешь полный функционал поймешь как неудобно там. Процедура установки довольно простая.
> как неудобно там.
Ага, очень неудобно, простые кнопки назад вернуть повторить и редакция всего диалога в любом месте дописывая - стирая нужное.
Единственный плюс таверны конкретно в этом - возможность свапать вбок, все остальное гораздо неудобнее
для описания действий со стороны рассказчика можешь добавить вот это
Note: что то там рассказчик рассказывает-описывает, в том числе и действия но со стороны
Для начала пусть научится делать самое базовое - правильно форматировать инстракт промт. А потом уже можно говорить про другие функции, на которые придется потратить немало времени перечисляя.
>>527069 (OP)
>>527069 (OP)
ПЕРЕКАТ
Рассказчик для ерп мне не нужен, а описание со стороны персонажа делается тривиально: ### Response (describe {{char}}'s actions, thoughts, feelings and sensations in full, elaborate, graphic and and explicit detail). Но это приводит к графомании - модель с каждым постом начинает все меньше уделять внимания речи, и все больше - действиям. Причем иногда все проходит нормально, а иногда чат ломается. Эта грамматика, надеюсь, избавит от проблемы.