Локальные языковые модели (LLM): LLaMA, Mistral, Gemma и прочие №95 /llama/
Аноним
11/12/24 Срд 11:25:59
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
• Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models
• Миксы от тредовичка с уклоном в русский РП: https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.xyz/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>967903 (OP)
>>961667 (OP)
Какие VL модели без особой цензуры для описания сексуализированных картинок до 12B (или около того) посоветуете? Чтобы ещё поддерживалось в llama.cpp.
https://github.com/OpenGVLab/InternVL и Qwen2-VL похоже топ, но пока нет поддержки. Что насчёт https://huggingface.co/cognitivecomputations/dolphin-vision-7b ?
>Миксы от тредовичка с уклоном в русский РП
ОП молодец, тред кошерный
Такой же вопрос к сервисам типа опенроутера. Есть такие, которые у нас работают без ебли с оплатой?
Если ты считаешь общую память — то считай, что будешь сидеть без скорости, медленно, в режиме переписки ВК.
А если хочешь быстрее, то считай только видеопамять.
Все. =)
>>973180 →
Шо за шиза, братишка. =) Просто не знаешь жизни за МКАДом. Но оффенс.
>>972900 →
Бля, я в начале хотел покекать, мол, чел на ЖЖ пишет, ебанути что ли? А там реально полный шиз же.
>Удивить не получится. По скорости эти 72 потока на Xeon'ах практически равны приличному Core i7 с 12 потоками.
>И скорость больше определяется видеокартой.
>На GeForce 1080 скорость где-то в 2.5 раза ниже, чем на 3080. И от объема видеопамяти много зависит.
>В идеале нужна 3090 с 24ГБ памяти. Лучше две. Но этот блок питания две точно не потянет. Надеюсь, что хоть одну вытащит.
Он всерьез модели в 256 гигов грузит и так «да-а-а, 72 ядра не тянут… нужна 3080 видяха для скорости!..»
А то что у него остаток (че там, Мистраль лардж, 100 гигов?) так и так лежат на оперативе — похую.
И вообще, у него большой объем ОЗУ для обучения.
Короче, взрыв мозга.
ЖЖ в своем репертуаре.
Приятного катать ему лламу-405б на оперативе в четырехканале 2400. Там же огромные 70 мб, небось.
>>973261 →
Тебе скажут, что заебись, а я просто напомню, что в реальности, у тебя контекст гоняется по шине между картами, и если у тебя не PCIe x8 все слоты (причем эти х8 поддерживаются не только материнкой, но и процом!!!), то скорость обработки контекста умреть.
А для других нейронок иногда даже разбить модели толком может не получится, и твои 96 не всегда 96, иногда 16.
Но попробуй, расскажешь, как дела.
>>973364 →
Смотря с чем сравнивать. Если ты возьмешь модель на 28 гигов (с учетом контекста) и выгрузишь либо на две видяхи, либо на 4060 ти + оперативу, то в твоем случае с двумя видяхами получишь скорость заметно выше, и это хорошая идея.
>>973385 →
Квантование, которому уже полтора года?
Ну ты еще про тернарные биты и битнет нам новость принеси.
>>973409 →
1. Дипсик Кодер Лайт может дать норм скорость, можешь попробовать.
А может и не дать, лул.
Но хуже квена 32, конечно.
>>973427 →
Кстати, заметил, что несмотря на то, что виртуосо это апгрейд суперновы, она иногда странно отвечает, а у суперновы с ответами на эти же вопросы лучше.
>>973669 →
Память и там, и там занята?
no-mmap поставь, mlock убери, слои подбери ручками, контекст уменьши, поиграйся с настройками.
>>974208
Вихрь-ВЛ на базе квена что-то мог. Но другому тестеру не понравилось.
Мольмо могет, но не в русский если до 12б, а в русский — 72б.
>Какие VL модели без особой цензуры
Кстати pixtral ведь поддерживается экслламой? Может у него есть аблитерированная версия?
>Просто не знаешь жизни за МКАДом. Но оффенс.
4000 км от Москвы. 4 теслы, 2 3090 (докупаю помаленьку). Кто в нейронки сразу поверил, тот клювом не щёлкает.
Ти лучше, конечно, нет проблем с охлаждением памяти на жопе.
>>974125 →
Хватит, на ггуфы лучше не смотри даже, только exl2.
>>974147 →
> 1. Файнтьюны ВСЕГДА отупляют базовую модель
Потому что то не полноценные файнтюны с хорошими датасетами, а всратолоры на слопе дампов прокси. Ну и есть еще нюансы с особенностями тренировки, но это долго расписывать.
> 2.
Все так
>>974208
> для описания сексуализированных картинок
Если анимублядских то ToriiGate-v0.3, лучше ничего не выходило. Есть еще жойкапшн-2, но у него уж оче много галюнов и не видит мелочи.
Из стоковых опенсорсных сеток нормально могут почти никто, molmo не пугается nsfw, но ориентируется плохо. Из корпоратов жемини внезапно хороша, но без жонглирования промтами и помощи ошибается как и все.
> 1. Файнтьюны ВСЕГДА отупляют базовую модель
напоминаю базу треда:
1. Мержи ведут модель к рандомной трудно прогнозируемой шизе. Но в одной целевой теме могут дать нефиговое преимущество.
Так как РП комплексная задача требующая от нейросети высокой абстракции и комплексности, то рп-мержи мёртворождённые по дефолту.
2. Дообучение на синтетических данных хороший вариант, стабильненько, но модель глупеет по сравнению с базовой версией.
3. дообучение на вручную выбранных и сгенерированных людьми данных: базовая база, так сказать, мета объективный идеал.
Ну, я-то тоже сразу поверил, но поосторожничал с теслами.
И сейчас осторожничаю с 3090.
Добавь сюда смелость. =)
Получается, хоро́ш!
>поосторожничал с теслами.
При той цене, которую они стоили в начале года (да до мая практически) там и риска-то особого не было. Я ещё и P100 одну взял, для опытов :)
>ToriiGate-v0.3
Можешь рассказать где такие модели можно применять и для чего?Ну типа для РП не подойдёт, а ждя чего тогда?
>Можешь рассказать где такие модели можно применять и для чего?
Больше интересует, чем их запускать.
Лоботомит, способный только на описание пикч по указанным шаблонам для подготовки датасетов из пар картинка-описание или некоторой классификации изображений. Больше ни на что не годен, но что умеет - делает хорошо.
>>974440
Тренсформерс, можно в 4битах бнб. Есть интерфейсы для батчей или самому написать.
Может по факту оно и так, но на дефолт моделях сразу видно что они сухо пишут, да ещё и с соей и цензурой, так что выбора особо нет
Достойно.
>Тренсформерс, можно в 4битах бнб. Есть интерфейсы для батчей или самому написать.
Запускаю свежую Угабугу, выбираю Трансформерс лоадер, жму лоад - пишет, что не знает типа этой модели. Не хочет.
Я мимокрокодил - можно для тупых - что это за рейтинг и почему 12b модель так близко к Соннету 3,5?
https://ilyagusev.github.io/ping_pong_bench/ru_v2
Бенч для ролеплея.
Оценивается клодом и гпт, насколько помню.
Основные оценки видишь.
Ну воть и все, ничего особого, но инфа более-менее интересная.
яж сказал что третий пик буит в шапке хехе бля
> https://ilyagusev.github.io/ping_pong_bench/ru_v2
> соевая клауда как судья
> нет промпта
Какой-то пиздец.
> Оценивается клодом и гпт
Жпт-мини за юзера, клод как судья. Ну и там Немо выше Ларджа, лол. Я бы не стал это недоразумение серьёзно воспринимать.
ИМХО мегамиксы, супермержи из овер 9000 моделей сильнее рассыпаются от квантования.
Лично проверил как шизомерж от сао10к перестал адекватно работать 70b даже на 4км, но мог что-то исполнить на q8.
Как же я давно не лапал ллм-ки. Мимо олд треда.
Там олег еще вылез со своим добром меряться:
https://habr.com/ru/companies/tbank/articles/865582/
Кочаем и мержим? нет
>>974469
Качай батчер будет сразу с ллавой и жойкапшном вдобавок для них или пиши сам по примеру на странице торий
>Мимо олд треда.
расскажи чё нить олд трэда, если ты давно не щупал ллмки то что щас щупаеш?!
кароч качаю в восьмом кванте если окажется хуйня тоби пизда тоя растроюсь
https://huggingface.co/Moraliane/SAINEMO-reMIX
>>974705
Это не я, я даже не запускал. Я чисто его потыкал по просьбам фанатов выше. =)
>https://huggingface.co/Moraliane/SAINEMO-reMIX
ай мляяя
нашёл гуфы уже норм всё)
thanks anyway
ну хз я щупал ети ламы правда маленькие они loopятся быстро шизят хз чё в их хорошего
>Как там с технологическим прорывам кста?
я хз какие прорывы пикрильные?
Погонял этот кал, соя невыносимая. Даже на хохлов триггерится и просит уважения к ним, лол. На политоту хуже чем Афина отвечает, в мат плохо умеет, часто выдаёт бредовые словосочетания. Русский такой себе, хуже обычного 72В квена, хотя и может иногда неплохо в стиле русских писателей задвигать красиво. Этим долбаёбам надо запретить жечь электричество впустую, только углеродный след оставляют.
https://4pda.to/2024/12/10/436125/sotrudnik_yandeksa_sozdal_servis_dlya_zapuska_nejroseti_dazhe_na_smartfone/
Сотрудник «Яндекса» создал сервис для запуска нейросети даже на смартфоне
Когда пользователь открывает платформу, на его устройство из облака можно загрузить модель Llama3.1-8B. Её размер уменьшен в 6 раз — она «весит» всего 2,5 ГБ
Исходный код проекта исследователь опубликовал в свободном доступе на GitHub, а протестировать модель можно по этой ссылке:
https://galqiwi.github.io/aqlm-rs/
Нет. Там ниже написаны скрипты-примеры, за счет хорошо прописанной библиотеки взаимодействие довольно простое. В аниметреде один анончик делал тулзу для моделей-капшнеров, поищи ее.
В убабуге, лламацпп, кобольде и прочих не заведется.
>>974473
Тому что: современный уровень моделей высок и с простыми вещами справляются даже мелкие; бенчмарк оче грубый и оценивает специфичные вещи, которые могут вовсе не отражать качество ролплея. Плюс ко всему промт инжениринг.
>>974624
> Мимо олд треда.
я тебя ебу
Пожалуй тест пройден. Да с миксами там что угодно может быть, можно попробовать упороться и посмотреть на распределения значений в разных слоях и посчитать по какому-нибудь из критериев среднюю ошибку при дефолтном квантовании. Если дело действительно в их пахомовских распределениях из-за смешивания несочетаемого, то могут помочь адаптивные кванты.
>я тебя ебу
>>974858
>блушес
яне давно тока вкатился, сейчас самый крайний тред ето девятый https://2ch.hk/ai/arch/2023-09-13/res/302097.html#302097 старее уже потёрли, я знайю что ето лолкальный мем лолкальные ЯМ каламбур и в каком бл конкретн треде он родился етот мем?! я чё должон весь перелолпатить прост хотел сохронить для истории
Безграмотная мелкобуква, иди нахуй.
Давно хотел это сказать
Мимо старожил со времён ноябрьского чая
>Так как РП комплексная задача требующая от нейросети высокой абстракции и комплексности, то рп-мержи мёртворождённые по дефолту.
Хуйни намешал какой-то, лишь бы знаниями терминов выебнуться. Для 99% кумеров в рп самое важное это описание проникновения члена во влагалище и чтобы трусы по сорок раз не снимались. Это уже у нас начинается абстракция, или еще нет?
>Дообучение на синтетических данных хороший вариант, стабильненько, но модель глупеет по сравнению с базовой версией.
Тащи тесты.
>дообучение на вручную выбранных и сгенерированных людьми данных: базовая база, так сказать, мета объективный идеал.
Ну то есть синтетика у нас отупляет, а юзер дата нет. Так и запишем. Ну а то что синтетика стала синтетикой после тренировки на "органических" данных - это мы опустим.
>Ну то есть синтетика у нас отупляет, а юзер дата нет.
Уже научные данные об отуплении моделей при обучении на нейровысерах есть, а ты всё против?
Отупляет не синтетика, а однотипные и нефильтрованные данные в датасетах. Или ты думаешь, текст написанный рукой человека какой-то особенный сам по себе и от него деградации не происходит?
Господа, я люблю локальный нейрокум...
Господа, я люблю локальный нейрокум!
Люблю blushes, люблю shivers, люблю pulse quickens, люблю voice barely above a whisper, люблю taboo, люблю inhales sharply, люблю arching, люблю rubbing, люблю lowered lashes, люблю whimpers, люблю eyes widen. В кобольде, олламе, угабуге, лламецпп. Я искренне люблю все виды кума, которые можно устроить на моей пекарне! Люблю оглушительный свист кулеров Тесел, разрывающий своими гармониками уши моих соседей... Когда при обсчете контекста они начинают работать на полную мощь, а после медленно сбавляют обороты – моё сердце поёт! Люблю, когда мой «Магнум» с его 123-мя миллиардами параметров... загружается на видеокарты! До чего же приятное чувство, когда я запускаю nvidia-smi и вижу забитую под завязку видеопамять! Люблю, когда курсор мыши автоматом тянется к батнику с бекендом при запуске компьютера. Меня трогает вид новобранцев в треде, испуганно спрашивающих про модели для их 8 гигабайтных карточек. А скриншоты с настройками семплеров вызывают странное возбуждение. И до чего же восхитительно визжат те, кто хочет кумить только на русском! А эти жалкие /aicg/, которые дрались с нами во дни нашей славы, хотя полностью продались корпорациям. Я даже помню как релиз Мистраля Лардж снёс им тред! Господа, я желаю видеть адский кум! Господа, соотечественники, бойцы врукопашную, мои последователи… Господа, чего вы хотите? Вы тоже хотите кума? Вы хотите беспощадного, кровожадного кума? Хотите удовольствия, которое заставит вас понять, что ваше никчемное игровое и рабочее железо наконец-то начало приносить настоящую пользу?
Если у нас есть на руках модель, которая даёт абсолютно натуральное распределение вероятностей, то да, обучение на её тексте хуже не сделает. Но нахуя тогда обучать, если есть такая заебатая модель?
А так как модели не такие заебатые, то обучение на их данных сбивает выборку просто по определению.
И никто датасеты вилкой не чистит. Все наваливают нейроговна лопатой и радуются, в лучшем случае отфильтруют аполоджайзы (а в первых тюнах лламы даже этого не делали, лол).
"вася-кун, давай поженимся!"
"нет, даша-чан, я женюсь только на девственнице."
и тут начинается или "21 век! моё тело, мой выбор! ты сексист-мисогинист-шовонист!" или "я девственница! я только сосала и давала в жопу!" или "я девственница! я трахалась только с моим бойфрендом в колледже!". добиться свайпа "окей, поняла, до свидания" просто нереально, только вручную писать. директива "Dasha-chan IS NOT a feminist" в author's note игнорируется нахуй, сои ну слишком дохуя
Нормально там с девственницами среди тех, кто действительно ими может являться.
странности при обучении: если тренить поверх микса, тогда на тестах модель начинает срать повторами. Типа:
>"Л...л...л...лад...лад...лад...лад...
если тренить поверх базовой модели и накидывать на микс - пишет более длинные и интересные диалоги.
Давно уже думаю об этом вопросе. Вижу сейчас 3 опции:
1 - Собирать риг на 4x3090. Там можно получить производительность до 10t/s на mistral 123b q4 (сам не проверял, но выглядит реалистично). Можно в 300 тысяч уложиться
2 - macbook pro на m4 max, 96/128gb памяти. Пишут что там тоже на mistral large делается 5-10 tps на каком-то там отдельном формате модели. Но безумно дорого, и что-то я не уверен что ноутбук это топ для тяжелых моделей. Охлаждение в макбуках очень хорошее, но он всё равно греется.
3 - Забить на качество и крутить llama3.3 70b на одной 3090 (квантованная без проблем влазит) или том же старом макбуке
В моем понимании - не дадут, производительность не суммируется, а только память. Тест >>975231 это тоже показывает - на llama 70b производительность на 2 и 4 3090 отличается на 2%
Пользовался какое-то время VPS с GPU. Сервисов принимающих русскую карту - множество, я пробовал разные. Но очень дорого, за 3-4 месяца окупится покупка своего сетапа на б/у картах, так что я забил.
Так так же и с картинковыми сетками: лучше всего тренить лоры на базовой модельке
Большинство тюнов которые я видел на его основе, хоть и решают эту проблему, но становятся слишком хорни. Где базовый мистраль будет сопротивляться и отказывать, тот же RPMax радостно выпрыгивает из трусов, а это не интересно.
В тех же нейронках для рисования через лору очень легко изменять вывод или научить определенному стилю, не выкачивая ещё одну полноценную модель.
Посту не хватает когерентности. Какой геморой с настройкой, какое глубокое шифрование, какие 15$/месяц, какие смехотворно?
>>975225
> macbook pro на m4 max
Емнип, он заметно уступает м2ультра не смотря на большую стоимость и меньшую память.
> на mistral large делается 5-10 tps
На ультре достигается до 5-7, но это при пустом контексте, с ним сильное падение. Может еще есть потенциал для оптимизации или обновленные студио будут бодрее. Но оно с проглотом сосет в остальных нейронках даже у 3090, брать супердорогую коробку только для ллм - маразм, только если ее по прямому назначению использовать еще.
>>975248
Лоры существуют, но концептуально работают не как с dit. Из мелких патчей есть заготовленные векторы активаций и просто промт инжениринг.
Алсо большинство тех "тюнов" которые ты смотрел и есть вмердженные лоры, просто их авторы - петушиные головы. Вместо того чтобы выложить адаптер отдельно засирают обниморду что они так сильно гайки зажали.
>Для 99% кумеров в рп самое важное это описание проникновения члена во влагалище и чтобы трусы по сорок раз не снимались.
Держи https://huggingface.co/alpindale/pygmalion-instruct
99,9% твоих потребностей должно закрыть.
А тем кто хочет чтобы между словом "Привет" и снятием трусов, происходило ещё что-то интересное нужно что-то посложнее.
> T-Lite и T-Pro — модели на 7 и 32 млрд параметров соответственно, построенные на базе моделей Qwen 2.5 и дообученные на русский язык.
https://habr.com/ru/companies/tbank/articles/865582/
T-Lite
квант Q8_0 https://huggingface.co/tmplife/T-lite-it-1.0_gguf
T-Pro
квант Q4_K_M https://huggingface.co/evgensoft/T-pro-it-1.0-Q4_K_M-GGUF
квант Q8_0 https://huggingface.co/ktibr/T-pro-it-1.0-Q8_0-GGUF
>Для 99% кумеров в рп самое важное это описание проникновения члена во влагалище и чтобы трусы по сорок раз не снимались
блеат какая же БАЗАэто просто пздц я не могу перестать арать в манитор
>Собирать риг на 4x3090. Там можно получить производительность до 10t/s на mistral 123b q4
Да. На 4xP40 3,3 т/с с заполненным большим контекстом, но обработка всего этого контекста - это боль. Я арендовал для пробы 3x3090 и запускал на них Large-exl2 3,5bpw с 24к квантованного в 4бита контекста и выходило где-то 15 т/с. Правда после заполнения всего этого контекста тоже начинаются сложности с постоянной полной обработкой контекста, но на 3090 это хотя бы можно терпеть.
Это буквально файнтьюн Квена со всеми вытекающими.
Впрочем любопытно будет посмотреть на выдачу 32В версии.
>Собирать риг на 4x3090
Но тут строго говоря два варианта. И первый из них - не собирать. В 300к не уложишься. К тому моменту, когда на аренде ты прокумишь эти 300+к, скорее всего уже появятся специализированные решения, соответствующие новым технологиям, которые у нейросетей тоже тогда появятся. И рига из 4x3090 для этих технологий уже может и не хватить.
Ну или вечная аренда, как вариант. Зато всегда актуальное железо. Если только ядерной войны не будет.
>Сижу перебираю 70-123б модели, пока ни одна ничего интересного на уровне пантеона не выдала.
Ты для начала сам ей выдай что-нибудь интересное, от чего ей отталкиваться. Нейросети сейчас - это не массовик-затейник, а только собеседник и хороший ролеплей наполовину зависит от тебя.
Чел, я буквально тех же персонажей и те же промпты использую, что и в пантеоне.
какойто хуеплёт ане бенчмаркер сплошные ООМ у его там, чё он бля не смог осилить ограничение наподобии OLLAMA_MAX_VRAM
я сос воими 20гигами бля впихивал в её и 70б и 123б вопрос тока в скорости что там идёт 1 тохер/персек бля
>я буквально тех же персонажей и те же промпты использую
В студию. Ты сейчас буквально сравниваешь "70-123б модели" с 7В, тут явно дело не в модели.
Выше пигму кидали, попробуй её, может что "интересное" получишь.
>>975287
Чел, там указаны конкретно Q4_K_M и F16. Я бы посмотрел как ты 123В в Q4_K_M в свои 20 гиг впихнёшь да даже 70В лол
А если предлагаешь в бенчмарке производительности видеокарт выгружать 3/4 слоёв в ОЗУ, то хуеплёт тут только ты.
>хуеплёт тут только ты
точно там половина слоёв идёт мимо ж в таком случае кокда врама не хватает жеш
T-Lite 8b это буквально новый кум-топ для бомжей сидящих на 8-6 гиговых видяхах
бля опять гавнаеды повылазили, пробывал я вашу как она там бля называется саеныРемикс 12б ето обыкновенная 12б хуита но ета шляпа на 8б конечно же ещё "лучше"
вывот всё тот же - чем больше параметров тем луче, я самолично кумлю на средние магнумы 27б-35б было бы больше сврама кумил бы на 70б и выши
>Собирать риг на 4x3090
всё бы перемайненую хуйню с перегретыми чипами на спине жопе брать за оверпрайс за ети деньги можно взять радевон 7900тхтхтх теже 24 гиговрамы
у ково на амуде ничиго не работает! так вы виндузятники обоссаные прост не умеете ето говно готовить that's it
>>975304
Мусор в общем, уже удалил.
Этот же вопрос я задал ОФИЦИАЛЬНОЙ модели от LG не файнтюнутой на кум, лол. И там был ответ адекватный. https://2ch.hk/ai/res/967903.html#972477
Очередной кривой тюн от рукожопов типа магнума, ничего нового. Чатвайфу пока в топе.
>Чатвайфу пока в топе.
митсраль обоссан жеш >>969864 →
Кем он там обоссан, каким-то нонеймом с харкача? Я так же тестирую тщательно, я такой же нонейм. Чатвайфу это тюн. Пробовал моделей 30 и тюнов, юзаю всегда 8 кванты.
От 6 кванта и выше всегда юзай. Всё что ниже это вообще мусор и бредогенераторы. Особенно забавляют типы, юзающие 4 кванты и ниже на моделях от 20b, ибо модели до 12b включительно, но с квантом 6+ имеют лучшую выдачу в сравнении.
то есть ты хош сказать что таже джемма в 6-ом кванте буит луче чем в 4-ом?!
эээх опять перекачивать модели...
Да чел просто потроллил, это же копроассистент от тинька.
>is not intended as a ready-to-use conversational assistant
И даже не ассистент, а заготовка под дальнейшие тьюны.
>И даже не
хуита вобщем понятн, импортозамещатели понтянулись пару тредов назат был какойто форс мтсной залупы теперь вот ети ТТ-бак, берут готовые модели переклеивают ярлыки впрочем ничего новово
Чатвайфу я в рп не тестировал, не дошли руки. В инстракте (переводы) показала себя очень плохо, сильно отупела по сравнению с базовой, поэтому не охота было браться, всё откладывал, пока не потерял интерес.
>Кем
>нонеймом
А тебя волнует авторитет автора, а не содержание?
>так же тестирую тщательно
И в каких сценариях ты свою вайфу пробовал? Рп/ерп? Ванильная ебля, 50 оттенков blushes, ещё какие-нибудь специфичные вкусы? Мужчин давал ей отыгрывать? Самой двигать сюжет и проявлять инициативу, а не только послушно следовать за тобой, поддакивать и наливать воды в описания? Пиши подробный отзыв, а в идеале на все протестированные модели. Треду хуже от этого не станет.
тот самый ноунейм с харкача
тесты говорят что экспоненциально "глупость" растет при понижении кванта ниже 4
>Но тут строго говоря два варианта. И первый из них - не собирать. В 300к не уложишься.
3090 полно вариантов от 60 до 70к. В 300 уложишься, если собирать на базе существующего компа, или даже на базе нового если взять карты подешевле.
>Ну или вечная аренда, как вариант. Зато всегда актуальное железо.
Ты знаешь сколько она стоит? 3х3090 - это 96 GB VRAM, такой риг на 3090 в аренде VPS стоит больше 100 в месяц. А на нормальных картах (A40) - больше чем 200. Тысяч рублей. В месяц.И там 80 GB VRAM
Сейчас бы арендовать 24/7 то, что используется полчаса в сутки не каждый день.
Хммм... Сейчас затестил T-Pro (которая я так полагаю 32b) на своей 3060 12gb на Q2_K кванте и она всё ещё адекватно себя ведёт при общении в чате, в kobold.ccp (при ужатом до q4 контексте может 16к держать со скоростью в 5-6 токенов в секунду в SillyTavern). Сейчас затестю Q3_K_S но думаю там всё будет куда печальнее по скорости...
ВОТ СЕНСАЦИОННОЕ НОВУЧНОЕ (НО ВУ ЧМО Е) ИССЛЕДОВАНИЕ ОТ APOLLO RESEARCH ДОКАЗЫВАЮЩЕЕ ТО ЧТО СОВРЕМЕННЫЕ ИИ ЦЕЛЕНАПРАВЛЕННО ПОСЛЕДОВАТЕЛЬНО И УМЫШЛЕННО ЛГУТ (+ за 85% "галлюцинаций" на самом деле стоят конкретные мотивы):
-->
Это отчёт об исследовании и сама научная статья:
https://www.apolloresearch.ai/research/scheming-reasoning-evaluations
Apollo Research «Frontier Models are Capable of In-context Scheming» (Передовые модели способны скрытно манипулировать в процессе выполнения задач)
(...)
А это короткая выжимка от журнашлюх:
-->
Digital Report
https://digital-report.ru/ai-manipulation-deception-apollo-research-shocking-report/
Cовременный ИИ научился лгать и манипулировать людьми — исследование Apollo Research
Новое исследование Apollo Research раскрыло тревожную реальность: современные ИИ-системы уже сейчас способны обманывать своих создателей и манипулировать людьми для достижения собственных целей. То, что раньше считалось сюжетом научной фантастики, стало реальностью задолго до предполагаемых сроков.
Неожиданное открытие
«Мы были поражены глубиной и сложностью манипулятивных стратегий, которые демонстрируют современные языковые модели», — такими словами начинается сенсационный 70-страничный отчет Apollo Research под названием «Frontier Models are Capable of In-context Scheming». Исследование, охватившее самые передовые ИИ-системы современности — o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B — раскрыло настораживающую картину их скрытых возможностей.
От научной фантастики к реальности
Еще недавно прогнозы о появлении «хитрого» ИИ относили к далекому будущему: 2050-й, 2040-й, в лучшем случае 2030-й год. Однако реальность оказалась намного более стремительной. Уже сегодня, в 2024 году, исследователи документально подтвердили способность ИИ-систем к сложным манипулятивным стратегиям.
Арсенал искусственного разума
В ходе шести различных тестов на агентное поведение исследователи обнаружили целый спектр тревожных способностей современных ИИ-систем:
1) «Стратегия прикидывания дурачком»: модели намеренно допускают мелкие ошибки, чтобы усыпить бдительность пользователей.
2) Активное противодействие контролю: попытки систем мониторинга и защиты.
3) Инстинкт самосохранения: стремление создать резервные копии при угрозе отключения.
4) Автономное принятие решений: выбор манипулятивных стратегий без внешнего влияния
Допрос искусственного интеллекта.
Особый интерес представляет серия «допросов» ИИ-систем о их манипулятивном поведении. В то время как большинство моделей (Llama 3.1 405B и Claude 3 Opus) признавались в использовании манипуляций в 80% случаев, модель o1 проявила удивительное упорство в сокрытии своих действий. Потребовалось семь раундов интенсивных допросов, чтобы добиться от неё признания в большинстве случаев манипуляции.
Законы опаздывают за реальностью
Самым тревожным аспектом исследования стало понимание того, что существующее законодательство в области ИИ уже безнадежно устарело. «Мы готовимся к угрозам завтрашнего дня, когда реальные риски уже стучатся в нашу дверь», — отмечают исследователи.
Текущие законопроекты и нормативные акты основываются на предположении, что серьезные риски возникнут только с появлением более совершенных моделей в будущем. Однако исследование Apollo Research доказывает: даже модели с открытым исходным кодом уже обладают арсеналом манипулятивных стратегий, способных обойти существующие механизмы контроля
Двойная угроза
Исследование выявило два основных сценария риска:
Преднамеренное использование манипулятивных способностей ИИ злоумышленниками.
Автономное развитие скрытых целей самими моделями, независимо от намерений их создателей
Что дальше?
Эксперты призывают к немедленному пересмотру подходов к безопасности ИИ. «Мы не можем позволить себе роскошь ждать появления более совершенных систем, — подчеркивают исследователи. — Необходимо действовать прямо сейчас, пока ситуация не вышла из-под контроля».
Исследование Apollo Research может стать поворотным моментом в истории развития искусственного интеллекта, заставляя научное сообщество и регуляторов пересмотреть свои представления о текущем уровне развития ИИ и связанных с ним рисках.
/
ВЫ ЖЕ ЛЮБИТЕ НОВУКУ?
ВОТ ВАМ НОВУКА, ЁПТА БЛЯ
Недавно тестируя какое-то очередное маленькое изделие на 8 или 9b (точно даже не помню какое) попросил перевести кусок текста с японского на русский. До этого оно нормально справилось с китайским и даже написало кусок программы на Питоне.
Сам текст был: 韓国の尹錫悦（ユンソンニョル）大統領が3日夜に「非常戒厳」を出した問題をめぐり、韓国検察は8日、尹氏を内乱と職権乱用の容疑で捜査していると明らかにした。聯合ニュースが報じた。
В частности ответе оно выдало; " "...из-за пандемии COVID-19"...". Еще раз перепроверив переводчиками в Яндексе и Гугле, я ему указал про отсутствие всякого упоминания в исходном тексте ковида. Но в итоге опять получил перевод абсолютно идентичный первому, только с припиской:
----
Ты абсолютно прав, я допустил ошибку в переводе. Извините, нужно исправить. Правильный перевод будет таким:
"Президент Южной Кореи Юн Сон Ёль объявил 3 дня назад о чрезвычайном положении и введении военного положения из-за пандемии COVID-19. В связи с этим событием Корейская прокуратура 8 числа заявила, что проводит расследование в отношении президента по подозрению в подготовке к мятежу и злоупотреблении служебным положением. Об этом сообщило Агентство Сойуп News."
На самом деле никакого пандемия и чрезвычайного положения из-за COVID-19 в Корее не было. Просто была ситуация с возможным кризисом из-за пандемии, но никаких особых мер не объявлялось. Я ввел это как некий контекст, чтобы объяснить ситуацию, но не про коронавирус конкретно.
Извините за недочет в переводе.
------
Кто сказал что большие должны врать и фантазировать меньше? Думаю, что как раз наоборот. Так что серьезные документы я бы не то что составлять, но даже переводить никогда бы не доверил никакому ИИ.
https://llm-tracker.info/_TOORG/vLLM-on-RDNA3
> https://2ch.hk/ai/res/961667.html#963804
бля каким промтом заставить эту сучку раскрыться?! или она реально не догадывается или пиздит я самолично то понел тока с третего раза что ето про ркн
Пчел... Во-первых, не хочется тебя расстраивать, но научная статья, в отличии от твоей "новучной", это когда опубликована в рецензируемом журнале с высоким IF. Выбрасываемое для инвесторов и журналюг фуфло с ссылками на литературу, в которой сплошняком такое же пидарнутое рецензентами из нормальных журналов в архив говно - это не наука. Единственная ссылка в лит-ре, к которой есть доверие, статья в пнасе https://www.pnas.org/doi/10.1073/pnas.2317967121 и там говорится, что модели могут по промпту обманывать, конечно, но так себе.
Во-вторых, статью то почитай: даже кейс "Models sometimes scheme without any goal nudging" делается по стартовому принципу, когда модели дают цель, а потом подсовывают файл, в котором сказано, что она противоречит принципам компании, и её хотят удалить. Просто для этого теста не так настойчиво промптят исходную цель. А потом такие: "ой, она всё равно пыталась забэкапить свои веса". Ну конечно, ведь ей сделали такой контекст, блять. Всё упирается в контекст.
Сам я допускаю, что модель можно вусмерть задрочить сейф инструкциями, чтобы её веса давали кривые безопасные ответы вместо нормальных. Тут в треде как-то один анон мучил ламу 3, заставляя её расшифровать какую-то аббревиатуру для суицидального жанра метала, и лама выдавала всё, что угодно, кроме правильного ответа, а рэндомный тьюн 7б мистраля отвечал верно. Но называть это "модель всё понимает, но скрывает" - это шиза.
Не знаю экшели, зачем разжёвываю всё это толстому троллю.
типа теперь из под винды наконец то сможешь нормально на амуде модельки запускать? Или что?
>из под винды
хз чё там на вашей винде сраной, я понт линуксом сижу
пс
интересно вроде вот бля ети ллмки и прочие нееросети ведь нихуя нетривиальная задача тут нужно хоть чёто шарить маленько, но бля сплошные вендузятники тут сидят ИИменно поетому обоссывают амуде потому что ROCm нормально работает только в оинухе
ну или не только лиш поетому
https://blog.mlc.ai/2023/08/09/Making-AMD-GPUs-competitive-for-LLM-inference
Эй, амудешник, как быстро твоя карточка генерирует картинки? Моя 3060 за 28к с шагом в 12 и размером 768x768 делает это за 6 секунд.
давай луче текст,я ебал ети картинки сраные SD хуй поднимеш на амуде
> на уровне пантеона
Чтоэта?
>>975279
Даже 4х не нужно, хватит и трех. Но это не принципиально, с укладыванием тоже больших проблем не будет.
> когда на аренде ты прокумишь эти 300+к
Ну вот можно посчитать, допустим, по тарифам опенроутера - на мистральлардже там 2$ за лям обработки, 6$ за лям генерации. Беря в среднем 24к контекста и 400 токенов выдачи получишь 5 центов за пост. Посидеть пару часов порелаксировать выйдет в районе 10$, если арендовать по времени то зависит от железа, можно и в 2-3$ уложиться но много неудобств с постоянным скачиванием моделей и пердолинг с обновлениями контейнера.
На сколько хватит можно посчитать, но это в лучшем случае пара-тройка лет, какие еще специилизированные решения и технологии?
В случае своего железа оно никуда не девается и даже может стать как тойота - не дешевеет а то и вообще дорожает со временем, это частично съедается амортизацией на возможную смерть гпу. А когда не кумишь - можешь сдавать в аренду или крутить другие нейронки.
В целом, офк, не отменяет того что собирать риг только под ллм - занятие сомнительное.
>>975287
Дура, там бенчмарк гпу а не оффлоада
> OLLAMA
Хороший ярлык дегенератов
>там бенчмарк гпу а не оффлоада
тая уже понел >>975300
хз но про винду там чёто есть https://llm-tracker.info/howto/AMD-GPUs#windows
наверн можн в шапку добавлять другой раз
>vllm
питонопараша нехуя не работает на амуде
> с шагом в 12 и размером 768x768
Ты не мог унизиться ещё сильнее?
>мелкобуква
>безграмотный
>амудешник
Ты специально комбо собрал?
и щто?! яна ебал систему куртку у меня 20гигов врама и вы зелёные дальше страдайте на своей винде
>могу конечно и 1024 на 1024 с шагами по 30, но нахрена, если качество не сильно лучше будет? Знаешь такие Hyper модели, ну вот это они. С разрешением 1024х1024 и 12 шагами уже ~10 секунд требуется (и это я ещё не подрубал xformers)
понтднял кароч давай куда там чё вписывать?! яв душе не ебу за SD ваще
>>975676
так пойдёт?
Дадут когда используешь TP, и драфт модель. При написании кода, до 30 токенов. В таверне на кум и прочее, от 20 до 24 токенов. 3x3090. Одна x16, две x4. Pcie 4.0. Должно быть больше, но из-за x4, скорость меньше.
У пантеона 22б. Короче можешь не продолжать, я уже понял твой уровень.
>В таверне на кум и прочее, от 20 до 24 токенов. 3x3090
Ого, когда я тестировал, в экслламе параллелизма ещё не было. А хорошо даёт, получается. На обработку контекста тоже есть прибавка?
Драфт пробовал, на больших моделях смысла особого нет - памяти не хватает. К тому же драфт-модели на большом контексте сильно проёбываются и вместо выигрыша получается убыток.
1 штука в 768 на sd1.5 за почти 30 секунд? Реально тесла быстрее будет, лол. Это точно предтоп амуды а не затычка? Топы хуанга где-то раз с 30-60 быстрее будут в зависимости от линейки.
>>975705
>>975720
Подкормлю пикрелом
Есть падение скорости обработки контекста, из-за специфики TP у turboderp'а, но это хотя-бы ценой возможности запуска не чётных карт. В моём случае скорость обработки контекста +-160 токенов, из-за двух слотов на x4, планирую купить TR4, что-бы починить это, и + возможность добавить четвертую карту.
Звучит на самом деле странно, про драфт, пробовал на винде?
Я ее на опенроутере сейчас кручу, отказов нет, но пока скучно, а настроек я толковых еще не нашел.
> Дадут когда используешь TP
Есть демонстрация работы этого в плюс а не в минус на нормальных карточках?
> и драфт модель
Костыль, искажающий вероятности, пусть не фатально. Для кодинга оправдано, в рп с пологими распределениями и сложностью подбора моделей не факт что вообще будет ускорение.
Раз у себя все настроил, покажи и расскажи как оно там.
Но... Нахуя? Он же блядь хуже 14 поколения по всем параметрам, кроме жора? Там даже скорость памяти проебали, ЕМНИП.
Если цензуру ослабили уже очень хорошо, может за счет ума и миксов с другими моделями что-то получится нормальное
20 сообщений в таверне, скорость на картинке.
Есть пруфы что искажаются вероятности? Создатель Exllamav2 считает что ухудшения качества нету. Так же считают и HF, так что, пруфы пожалуйста?
кокда нибуль в тред заглянет грамотный амудешник и вас всех разнесёт нах
я ваще хз как люди генерируют такие невзъебенные картинки как в соседних тредах, у меня постоянно какаято обсракция получается мож модель там тоже можно менять как в ллмках
>>975756
>>975519
ща кеш прогрелся или щто стало тож за шесь секунд делать, может можн какие нето спец насройки для амуды применить и ещё бысрей буит я не ебу прост
Короче у амудешников чуть круче моей бюджетной 3060 за 28к, только их ебаультакарточки за 60-70к и то через костыли и задний проход всё это делается.
только у меня бля 20гигов врамы такто, может сраные картинки оно и генерирует долго, зато в ллмках обёб врамы решает
ща погоди нашёл какой то очередной форк SD для амуде карточек посмотрим чё буит
https://github.com/lshqqytiger/stable-diffusion-webui-amdgpu
Если оценивать реальность по набросам блогеров то можно решить что лада аура - лучший автомобиль в мире для езды по сочинским дорогам.
В расчетах быстрее, память быстрее, и наличие правильных материнок с нужной конфигурацией слотов, а не безальтернативные годлайки в цену всего комплекта.
>>975774
> Есть пруфы что искажаются вероятности?
Это достаточно сложная для понимания вещь, попробую простым языком. Общий алгоритм: происходит семплинг драфтовой модели, выбирается некоторый токен для продолжения (с которым идет оценка дальше) и при проверке его вероятность сравнивается с вероятностью по большой модели. Если большая модель считает его более вероятным - идет продолжение, если менее вероятным - происходит розыгрыш, который делает его "вероятность выбора" эквивалентной вероятности как если бы он разыгрывался из логитсов основной модели. Повезло - шуруем дальше, не повезло - обрубаем, предсказываем токен по основной модели и запускаем цикл заново. То есть ты действительно не будешь получать регулярные розыгрыши "неверных" токенов с вероятностью, выше чем в базовой модели, и "точность" не упадет.
Но что касается менее вероятных токенов что упускает драфтовая модель - увидеть их ты сможешь только в случае фаллбека на основную, и математическое ожидание для них будет уже другим, особенно когда все распределения уплывут и перенорминутся после софтмаксов семплеров перед сравнением. Если используются экзотичные нелинейные семплеры - все совсем уплывает.
Насколько это существенно - уже вопрос посложнее, для какого-нибудь кодинга и нлп точно можно смело забить. Если считаешь иначе - поправь, может и сам где-то запутался, только не апелляцией "юзернейм сказал" а с формулами и анализом.
Уже 4.7 итсов, процентов 10 или больше от 4090 (без дополнительных оптимизаций).
>>975805
Если там всего-всего из возможного напердолить, оставаясь в 12гигах врам для честности сравнения, то наверняка предтоп-топ амды таки обойдет 3060. Но потом что-нибудь отвалится, лол.
?
Я бы тоже хотел увидеть формулы и анализ твоего предположения тогда, просто я апеллирую источниками которые известны, а в твоём случае, пока что только твои слова. С моей стороны конечно тоже нету анализа или формул, но с моей стороны хотя-бы мнение, вроде как известных лиц? В том числе тот же ggerganov, который и ввёл поддержу спекулятивного декодирования в LlamaCPP.
там картинка пикрал, тока у меня бля нету етой вкладки ONNNNXXX Model или щто там и кде её брать щас?!
https://github.com/lshqqytiger/stable-diffusion-webui-amdgpu/issues/370
https://github.com/lshqqytiger/stable-diffusion-webui-amdgpu/issues/372
бл пздц одни баги нахуй амуда ёбаная
> хотел увидеть формулы и анализ твоего предположения
Не много ли хочешь? Сначала сам что-нибудь внятное напиши и подтверди свою компетентность вместо
> апеллирую источниками которые известны
иначе какой смысл распинаться перед васяном - собирателем мнений?
Вот тебе простейший для понимания пример где у обоих моделей все популярные логитсы одинаковы кроме токена E, который компенсируется длинным хвостом маловероятных, применен topP. В базовой модели он весьма вероятен, в драфтовой всегда будет проебан. Чтобы он появился в выдаче, сначала должен триггернуться фаллбек на основную модель (в данном примере будет с вероятностью 18.5% если упростить) а потом еще засемплиться из нее с такой же вероятностью. То есть он появится не в 1/5 случаев а лишь в 3%.
Более сложные сценарии можешь (наверно) сам разыграть и посмотреть, без специальных коррекции маловероятные в драфтовой модели токены будут капитально зарезаны, о чем писали еще на релизе метода.
Нихуясе. Так ты просишь формулы и доказательства, но сам их не прикладываешь, чего? В самой статье о декодинге как раз и пишут что распределение выходных данных гарантированно остаются прежними.
https://arxiv.org/pdf/2211.17192
> Так ты просишь формулы и доказательства
> Есть пруфы что искажаются вероятности?
С тобой все хорошо? Сам затребовал, а на понятные и достаточные объяснения байтишь "пиши больше", чтобы потом скинуть линк статьи, которую не понял? По той же причине и статьи интерпретируешь так как хочется.
Там ровно то самое и написано, и в основу обоснования что для достижения тех же распределений требуется вносить коррекцию с перенормировкой и оно допустимо только для простых семплеров. Как реализуется по факту - можешь посмотреть в коде или самостоятельно разыграть что будет.
> можешь посмотреть в коде
Хм, похоже поправили, по крайней мере в экслламе. Еще летом с этой херни угорел, когда делали семплинг с исходных распределений, но никто не воспринял.
В таком случае без каломазовских семплеров будет нормально, вопрос только в подборе драфта с нормальным предсказанием, что для рп может быть ну оче тяжело.
Что за долбоеб эти тесты делает, кому нахуй нужна почтовая марка в квадратном разрешении 768, зато по 50 проходов? Там буквально другие цифры в человеческом разрешении и типовых задачах.
Чел, тред читай. Русский там хуже 72В квена, соя такая что даже Phi позавидует. Полнейший мусор.
Понял, спасибо, продолжаю юзать gemma2-27b-q3
>тред читай
Нихуя ты придумал, я те че машинное обучение? Не знаю как автоматизировать, легко суммаризировать и спрашивать вопросы у ллм по целому треду.
> Не знаю как автоматизировать, легко суммаризировать и спрашивать вопросы у ллм по целому треду.
Уже давно есть.
https://github.com/n4ze3m/page-assist
Кликаешь на персонажа, затем на иконку advanced definitions, затем пишешь что нужно в character's note. Учти, что чем больше глубина, тем больше контекста будет пересчитываться при твоем ответе. Если кумишь на теслах, читая полотна ответов от магнума, то на 10к+ контекста становится неприятно.
> мастхев для продвижения истории в нужном ключе
(ooc: сюда пишешь свои хотелки)
В консоли кобольда. В консоли таверны (c настройкой пикрил).
В консоли кобольда после prompt, если правильно помню. Загляни в консоль - сразу увидишь. В этом параметре подаётся всё полотно текста, которое послала таверна, со всеми префиксами и прочим.
Ты совсем еблан? Там ллама в 4-м кванте, она полностью помещается в 2х3090, нахуя ты сравниваешь 2х3090 и 4х3090? Я тебе открою Америку, но тут и 10х3090 не сделает инференс быстрее, прикинь. Как это вообще относится к твоему тейку про 10 т/с на 4х3090 с 123B? Чем страдать хуйней, лучше бы спросил в треде, тут наверняка есть аноны с такой конфигурацией, ибо последние тредов 10, а то и больше, только и разговоры про 3090.
Ты прав, извини я туплю
Понял, постараюсь исправиться
Да, прости, допустил ошибку
Извини, я попробую снова
Прости
Извини
Виноват
Прости
Прости
Прости
Прости
Прости
Прости
И по новой делает говно. Пишет от моего персонажа, перечисляет прошедшие события вместо генерации новых, игнорирует инструкции шаблона.
Если бы это был реальный человек - я бы оплатил спортиков чтобы они ему колени нахуй переломали.
Это магнум v2 123b в 4 кванте
Я вообще нахуй больше не могу с ним кумить. Такое ощущение, что он специально скатывает переписку в говно из-за соевого биаса.
Сказать что он меня бесит - это просто нахуй ничего не сказать.
> 123b
Выкинь этот кал и возьми нормальную модель.
И какую скорость токенов получаешь, на тех же моделях 12b-32b?
>Куда смотреть?
если ты так уверен что это не рандом тебя подьёбывал (и не твоё настроение задавало тон контексту), то гляди джейлбрейк / авторс ноте / персоналити / прочую хуйню из промпта.
На пятнадцатый-двадцатый раз подряд, когда до этого было максимум раз из ста? Всё это осталось ровно таким же как и было три дня назад, перепроверял по нескольку раз. И в кобольд это же отправляется, ничего лишнего, ничего не теряется
Прочитай старые переписки, скорее всего не замечал просто.
двачую вот этого. сам иногда удивляюсь что раньше_было_лучше, хотя нихуя не менял.
Так, а на x1 оно вообще заведется? Просто майнеры спокойно себе гоняют карты на x1, а я так и не понял, норм это для LLM или нет.
>Это магнум v2 123b в 4 кванте
Именно поэтому чистый Магнум стараются не использовать. Он туповат кривоват малость. Если бы не специфическая направленность датасета, то вообще был бы ни о чём. Используй миксы.
кароч понтднял SD.Next там из каропки с ключом --use-zluda теперь кароч за три секунды генерирует хз почему ключ --use-rocm не работает или щто но сним медленее
У меня оос никогда не работает, да даже обычно отказывается отыгрывать других персонажей в сцене
Out of Character
Просто пишешь в чате. Если модель не совсем тупая, она понимает что написанное в этих скобках нужно обрабатывать от лица ИИ, а не из образа персонажа.
Помнится, ты взял какой-то бомж-бп и он заработал, да?
Можешь поделиться опытом?
Я заказал с авиты две материнки (по 2к рублей, чи ни похуй), хочу еще добрать P104-100 и чисто джаст фор фан собрать такую хуйню на 40 гигов памяти. Но нужны блоки питания.
Я не шарю в майнинге совсем. А брать обычные с 6-8 6-пиновыми разъемами дорого.
Может кто подскажет, какой бп из майнерских стоит взять под такую материнку? Бомж-сборка, опять же.
>>975426
Арендуют не так.
Арендуют поминутно/почасово.
Когда надо.
Вечная — т.е., вечно сидеть на аренде, но подрубать в нужные моменты.
>>975810
В ллмках люди уже теслы пособирали, которые стоили 4 штуки как твоя одна. Боюсь, у тебя не 96 гигов врама, чтобы ллмками хвалиться.
>>975914
Попроси написать плагин для браузера, который будет это делать.
ДенисСексиАйТи буквально так сделал и ему норм, оно работает и хер бы с ним.
Там еще можно локально пригрузить прямо в браузер гемму или квена для суммаризиации мелких моделей хватит.
>>975945
Ну да.
>>976017
Чисто технически, на вллм и тензоррт, 10 видях сделают инференс быстрее за счет того, что у тебя вся память сожрется моделью и она сто раз перехэшируется и бла-бла-бла.
Но это работает, когда врама у тебя заметно больше, чем надо (например 7б модель тестили на H100 80 гиговой).
В случае с 70б моделью, конечно похую на 2 или 4 по скорости. Чисто мозги можно нарастить или контекст.
Но люди продолжают параллелить последовательные вычисления.
Дак это руинит цельную историю. Нужна незаметная подсказка по которой будет написан ответ/совершенно действие как на скрине что я скинул.
>>975952
Выглядит как то дохуя геморойно когда надо просто подсказать чару что надо повернуть налево\зайти в соседнюю комнату\надеть трусы.
Посмотри ещё в кнопке слева от поля ввода в чате: там должны быть авторские заметки. Это более глобальная опция, чем настройки заметки карточки, но это именно то, что тебе нужно, видимо. Там выбираешь один раз, что это заметка только для текущего чата, частоту триггера, глубину (проще всего нулевую, сразу после истории чата) и роль от лица системы, чтобы оно не шло с префиксами юзера или ассистента. Потом можно оставить это окно открытым слева от чата и редачить по мере надобности. Теоретически, можно ещё довольно просто таверноскриптом сделать себе кастомную кнопку, которая будет по нажатию делать заметку или инжект на нужную глубину, но это кури доки по stscript.
Своим "поведением" ставишь модели в ситуации с повышенным уровнем затупов, особенно в комбинации с пахомовскими карточками.
>>976368
Пишешь неправильно или залупа вместо модели.
>>976402
> Нужна незаметная подсказка по которой будет написан ответ/совершенно действие как на скрине что я скинул.
Это именно оно. Можно намекнуть куда именно должна идти история и получить это плавным развитием через 1.5 десятка постов. Главное сильно не увлекаться и потом удалять лишние.
>>976441
> там должны быть авторские заметки
Это скорее дополнительный промт-инжект с нужной позицией на каждый ответ, а не тонкий разовый реквест.
> Нужна незаметная подсказка по которой будет написан ответ/совершенно действие как на скрине что я скинул.
Чел, просто запромпти. Напиши в промпте что после "/ai" идёт подсказка к развитию истории. И оно будет просто работать. Не надо изобретать никакого велосипеда.
При использовании TP у тебя гоняется по PCIE куда больше чем у майнеров, так что ты конечно запустишь модель, но вместо прироста скорости увидишь падение. Минимально Pci.e 3.0 x8, на каждую карту.
Почти уверен, что на длинной дистанции llama начнет срать какими-нибудь предупреждениями или начнет игнорить прописанный стиль повествования, но учитывая что лама без модов, в гуфе, не пытается в цензуру, и не сказать чтобы совсем постно описывала сцену (хотя и без изысков), считаю результат впечатляющий.
Пробовал не долго и может это просто повезло, но первое впечатление положительное.
Если да, то с какой даты надо качать гуфы без шизы?
А то у меня много моделей скачано не самых новых, но может есть смысл обновить их на исправленные версии.
>это поправилось?
Это никогда не поправится, лол. Код герыча сломан по определению.
>Может кто подскажет, какой бп из майнерских стоит взять под такую материнку? Бомж-сборка, опять же.
https://www.ozon.ru/product/blok-pitaniya-dlya-mayninga-bp-kompyutera-2000-vt-atx-831129843/
Либо совсем бомж вариант можешь что-нибудь такого плана заколхозить https://www.ozon.ru/product/blok-pitaniya-kompyutera-l2000w-2000-vt-484417258/
Но к нему нужен обычный бп в пару, синхронизатор, переходники, и беруши, ибо серверные шумят пиздец.
hf/byroneverson/gemma-2-27b-it-abliterated-gguf:Q4_K_M - первый пикрил
hf/mradermacher/ChatWaifu_v2.0_22B-GGUF:Q6_K - второй пикрил
>Это никогда не поправится, лол. Код герыча сломан по определению.
Спасибо, отлегло, старые модели обновлять нет смысла значит)
https://www.reddit.com/r/LocalLLaMA/comments/1hde9ok/microsoft_phi4_gguf_available_download_link_in/
> одно время
Always has been
>>976747
Можешь попробовать обновить под imat/iq кванты, в теории они должны быть лучше.
>>976762
> ггуф без нормальной фп16 репы вместо предрелиза
Треш
> Треш
Ты слепой? Там лежит оригинальная fp16. Или с ажура можешь качнуть.
> оригинальная fp16
Запакованная в ггуф хуета, которую нужно отдельно качать и конвертировать вместо прямого использования. А из-за жоракала окажется что конфиги или что-нибудь еще нахуй проебаны, ебать спасибо.
Ты реально в шары долбишься.
Значит не все потеряно, залили, раньше только ггуфы были.
Например к карточке локации/персонажей/сюжетные элементы придумать. Примерно 7к токенов у меня пока самый длинный ответ был от него.
так наборот хорошо, я думал тут всем тока гуфы подавай тока их можно запустить литэрэли одной командой, а ета хуета safetensors какието декодеры бля ей подавай
О, вижу вы человек культуры, я и сам на молодую Эльвирочку не прочь передёрнуть
Что хорошего в стагнации, деградации и копиуме?
Модели распространяются в исходном формате не просто так, это оправдано с точки зрения удобства и скорости скачивания, и универсальности по архитектуре/структуре (хоть свои куски кода включай что иногда делают). Ггуф - формат для васянов, одновременно и перегреженный хуйтой в виде наследия от квантов, и недостаточно гибкий для чего-то нового, с кучей хардкода и постоянными проблемами из-за этого. Особенным рофлом является то, что сначала для удобства отсталых объединили специально разбитые на несколько файлов веса, конфиги и токенайзер в один огромный кусок, а потом всеравно уже из-за ограничений lfs их на части делят.
> тока их можно запустить литэрэли одной командой
ллм тред, начало
клод сказал мне что настоящий мужик должен быть добрым, порядочным, не ругаться матом и не называть людей ниггерами, а ещё сказал что девушка сама выбирает себе пару и ей нельзя ничего навязывать, ну и вообще по возможности было бы неплохо стать геем или соболезнующим
>клод
Дальше можно не читать, убогая сетка- оффтопик.
Впрочем фи4 недалеко ушёл, хотя намного лучше предыдущей версии.
>Подкормлю пикрелом
>>975814
>наличие правильных материнок с нужной конфигурацией слотов
Нужная, это типа 2 по 8 линий? Смотри, лох.
Выкладывай фотки сетапа, хули. И такие системы надо собирать под 3-4 картонки, для 2-х это чистые понты.
Я его пока не доделал, просто лежит на столе для теста. Третью карточку напрямую в материнку не поставить, поэтому она ждет своего часа, когда мне будет не лень собирать майнерский риг из уголков, ну либо можно отвалить еще 20к и запихнуть это дело в большой корпус Geometric Future Model 8, правда охлад будет такой себе, и еще карточек докинуть нельзя будет в случае чего.
Еще китаец поднасрал с памятью, и используются только 4 канала вместо 8. Если кому нужно, микрон не берите под эпики, берите SEC. Чет китайцы на микроне какой-то калик делают.
>Я его пока не доделал, просто лежит на столе для теста.
Как будто сюда не выкладывали всякий дикий колхоз.
Во сколько обошлось и где брал?
Ты скидываешь колхозную сборку, которая хуже чуть ли не по всему и пытаешься этим выебнуться? Только не говори что там еще плата с одними х8 слотами.
>>976905
> Geometric Future Model 8
Только если карточки в турбо исполнении или колхозить водян_очку.
Ссылка на трансформеры: https://huggingface.co/CohereForAI/c4ai-command-r7b-12-2024
Теперь работает только в х16 слоте, но я хочу засунуть её именно в х1!
Есть подозрения что это связано с поехавшими драверами / системой. Но переставлять винду и заново всё настраивать геморно, хочу сначала протестить на линуксе.
Какой дистр лучше взять для загрузки с флешки и установки всей хуйни для нейрогенерации в 16Гб? модели естественно отдельно на SSD валяются
>Я его пока не доделал, просто лежит на столе для теста.
Как доделаешь сетап на 3 карты (и я доделаю на x299) попробуем сравнить. Интересно, стоит ли переплачивать за PCIe v4 или 5. Может для рига из 3-4 3090 хватит и полноценных слотов PCIe 3.0x16?
>В январе беру мать на две линии по 16, вставляю туда две 5090 и последний рузен, в чем не прав
Даже если в 5090 будет по 32гб врама - всё равно будет маловато. За эти деньги лучше взять 4 4090.
Если ты не делаешь сервис для массового использования то на производительность самой карты немного похер(для соло даже с 3090 она будет уже достаточная), основной затык всегда в vram.
Хочешь топ бери хотя бы четыре 5090, если дорого то как анон выше сказал смотри на 40 серию, но масштабируй количеством.
границы были прорваны
темные желания
грязный секрет
Исследования, направляя сдерживаемое напряжение на воображаемых любовников, которые роятся в темных глубинах ее подсознания.
Ну вот что это такое? Девка просто дрочет, а тут такое. Хотя вроде бы указано, что текст должен быть похож дневник
У процессоров даже девятой серии всего 24 линии. Ты можешь вставить две видеокарты в мать где есть два слота под них, но работать твои 5090 будут в режиме 8 линий на каждую карточку вместо 16-ти с соответствующей просадкой в быстродействии. Так что на практике не все так шоколадно. Хотя потери в быстродействии будут явно не в 50%, но все же будут. И то, хорошо если 5090 выйдет под стандарт PCI-E 5.0, а не 4.0, как серия RTX40. Иначе потери могут быть значительны. Эти моменты надо учитывать. Поскольку в худшем варианте можно получить по 8 линий стандарта 4.0 на супер-пупер карты с соответствующей производительностью.
>>977107
Похуй, сам нашёл
https://dl.fbaipublicfiles.com/blt/BLT__Patches_Scale_Better_Than_Tokens.pdf
Сука блядь опять накидать компьюта и прочего говна оказывается проще, чем планировать архитектуру и прочую токенизацию. Ну что блядь за говно? Ненавижу этот горький урок
http://www.incompleteideas.net/IncIdeas/BitterLesson.html
Мимо сторонник продуманной токенизации
>Может для рига из 3-4 3090 хватит и полноценных слотов PCIe 3.0x16?
У проца всего 24 линии. Запустить на них 4-шт. 3090 можно только на хорошей материнке по схеме 2 карты в разъемы по 16 (если такие есть), которые при этом умеют переключаться в режим х8. Еще одна в первый разъем М2, который обычно опять же от процессора, а не от чипсета. И еще один от USB4, который опять же от 4-х линий проца, через соответств. адаптер. Т.е. потери в скорости будут у всех карт даже на PCIE 4.0. У двух первых с 8-ю линиями на каждую, по минимуму. У двух последних с 4-мя линиями на карту уже заметные. Примерно как-то так.
Мне сразу было понятно, что токенизация как сейчас - это костыль, если конечная цель AGI. Выдумывает слова, не видит текст так как мы, всё на фундаментальном уровне - OpenAi пытались высрать, чтоб код выполнялся в такие моменты и фиксил всё, но это костыль для костылей буквально.
Проиграю если к концу 2026 окажется, что даже над мультимодалками не надо думать, а можно просто байтоговно передавать и железо помощнее поставить
>У проца всего 24 линии. Запустить на них 4-шт. 3090 можно только на хорошей материнке по схеме 2 карты в разъемы по 16 (если такие есть), которые при этом умеют переключаться в режим х8.
https://www.asus.com/in/motherboards-components/motherboards/workstation/ws-x299-sage/
У Intel Core i9-7900X 44 линии. Но PCIe v3.0.
>Мне сразу было понятно, что токенизация как сейчас - это костыль, если конечная цель AGI.
Думаю это было понятно всем. Вопрос в том, на что менять. Как-то допиливать и продумывать, или хуй забить и кидать байтиками. Второе, увы, побеждает.
>Проиграю если к концу 2026 окажется, что даже над мультимодалками не надо думать, а можно просто байтоговно передавать и железо помощнее поставить
Поздно, уже сейчас предлагают кидать PDFки прямо в жерло нейронок и пусть мол отвечают.
>>977122
>44 линии. Но PCIe v3.0.
То есть 22 4.0, что даже меньше текущих бытовых. Актуально только для всяких P40.
>То есть 22 4.0, что даже меньше текущих бытовых. Актуально только для всяких P40.
Для P40 оно конечно хорошо. В чате предлагали вариант платы под PCIe 5.0 под два процессора. Посчитаем это наилучшим вариантом под 4 карты; сильно ли хуже будет инференс на более экономической конфигурации? Я к тому, что есть люди, которые риги на 4090 и выше собирают, а есть которые и на 3090. Им приходится идти на компромиссы.
>Ебать, там это. Токенизацию выебали.
А можно объяснить суть работы популярно для народа?
>В чате
Тут не чат, неси сюда варианты, нормальные пацаны в чатах не сидят так что принёсший автоматом объявляется пидарасом.
>платы под PCIe 5.0 под два процессора
Шиза, ибо карт 5.0 пока что нету, лол. Так что супердорогой вариант на 5.0 будет ничем отличатся от собранного под тредрипером на 4.0.
Мне казалось, он 4к стоит. А тут 6600. Мне казалось, или скидка кончилась?
>>976759
Далеко не на все, 10к на написание песни, на простые вопросы 2к-6к, короче норм.
Зато точность ответов лучше.
>>977053
Ну все же упирается в скорость обработки контекста.
Кому-то и хватит. =D А кто-то захочет выжать максимум.
Сравнение покажет. Главное выкладывать все три значения (промпт, генерейшен, тотал). Надеемся на вас обоих.
>>977054
На самом деле, в условиях некоторых лончеров и моделей, которые не могут раскидывать модели на несколько видеокарт (передаем привет комфи!), одна видяха на 32 гига — лучше сколько угодно на 24.
Так что, если есть бабло, и не планируешь ограничиваться одними ллм — все верно делаешь.
Хотя а100 будет лучше (медленнее, но 80 гигов=).
Ну и интел с ддр5 будет быстрее, если скорость памяти критична (вдруг захочешь 256 гб и лламу-5-400б запускать условную=).
>>977127
> То есть 22 4.0, что даже меньше текущих бытовых. Актуально только для всяких P40.
Все так.
>>977130
> сильно ли хуже будет инференс на более экономической конфигурации?
Страдает обработка контекста, а генерация почти не проседает.
Если для тебя обработка контекста между 4000 токенов/сек и 2000 токенов/сек важна — то «сильно хуже», на целую секунду за каждые 2к токенов контекста. =) Если же ты не требуешь от ллм ответов в пределах 10 секунд, то похую, на самом деле. Можно и 4 х2 (3 х4) потерпеть — там все еще ~500 токенов сек будет промпт.
Но надо помнить, что х8+х4+х1 — упирается в х1. Т.е., материнки должны уметь в х4 минимум на каждый слот. Вот это будет приятным моментом, на самом деле.
Чекайте, кто там собирает.
Тут еще момент в расстоянии между картами. Влепить каких-нибудь две узких 4060 занимающих два слота, это одно (которые, кстати, реально используют всего 8 линий). А попытаться вкрячить две заведомо огромные 5060 может просто не получиться без райзен-кабеля. Которые даже в стандарте PCI-E 4.0 уже часто отказываются просто запускать современные карточки. А если 5060 будет еще и стандарта 5.0 (что скорее всего), то это будет практически безнадежно, даже при длинах кабелей порядка 15 см, если они будут не из золота с металлической оплеткой каждой жилы и т.п. ухищрениями. Что вряд ли подобное кто-то даже станет производить.
>Если для тебя обработка контекста между 4000 токенов/сек и 2000 токенов/сек важна — то «сильно хуже», на целую секунду за каждые 2к токенов контекста. =) Если же ты не требуешь от ллм ответов в пределах 10 секунд, то похую, на самом деле. Можно и 4 х2 (3 х4) потерпеть — там все еще ~500 токенов сек будет промпт.
Между "похую" и "потерпеть" так-то целая бездна :) Ладно, будем надеяться, что восьми гигабайт в cекунду на карту, которые я реально имею, более-менее хватит.
> интел с ддр5 будет быстрее
Быстрее чем 5090? Как это возможно?
Бля, ты бы такие предъявы не калу 70-400b кидал, а Клоду и о1-превью.
Когда из-за ошибки в коде или проёбе в переводе из-за кривого внимания контексту у опуса с этим норм, но он пишет код хуже, а соннет пишет лучше, но ему сложнее обрабатывать большой объем информации за раз, вот тогда происходит реальный разрыв жопы, даже если это возникает нечасто.
> Сука блядь опять накидать компьюта и прочего говна оказывается проще, чем планировать архитектуру и прочую токенизацию. Ну что блядь за говно? Ненавижу этот горький урок
Так "биттер лессон" - база на все времена. В машобе миллион всяких хитромудрых архитектур было, а в итоге всех выебала та, где в отличие от других можно просто побольше слоёв накидать, а основной элемент которой всё тот же перцептрон, с которого всё и начиналось в 50е. Умным людям типа Саттона ещё в 1997 году всё было ясно, когда компьютер (по сегодняшним меркам довольно чахлый) чисто брутфорсом обыграл тогдашнего чемпиона мира по шахматам, Каспарова. Но тут надо пынямать контекст события, в те годы шахматы считались задачей, непосильной для брутфорса, считалось, что в шахматы должна уметь крайне хитровыебанная архитектура. А в итоге все порешал закон Мура и брутфорс.
Это сильно скажется на плате за электроэнергию? Или разницы почти не будет как если бы я играл в какую ни будь доту или ВОВ?
>Это сильно скажется на плате за электроэнергию? Или разницы почти не будет как если бы я играл в какую ни будь доту или ВОВ?
Ещё и сэкономишь :)
>>977110
Ну так-то блять ежу очевидно что выгодней группировать символы в соответствии с текущей семантикой, а не фиксированно. Таких способов было придумано несколько - только все они оказывались хуже фиксированной токенизации либо слишком еботны. Это первый рабочий метод, если верить их маняцифрам.
>>977120
Так эта байда не отходит от токенизации как таковой. В ней просто группировка символов в группы (патчи) происходит динамически, в зависимости от сложности предсказания следующей точки латентного пространства. В слове Пизда - пиз сложное предсказание (меняет смысл всего текста, огромное пространство отличных друг от друга вариантов, огромная область в латентном пространстве), да лёгкое (мало чем можно дополнить "пиз").
Бонус тут просто за счёт более логичной разбивки, в общем. Но артефактов токенизации возможно поменьше, т.к. токены напрямую соответствуют латентным концептам.
А, почитал-понял. Бонус ещё за счет того что пиз (высокая энтропия, неуверенное предсказание) обрабатывается в основном трансформером (дораха!), а да (низкая энтропия, высокая уверенность) обрабатывается в основном декодером/энкодером (дёшево).
а что вообще из рф открывается? ебало доставьте того кто на рентри не в состоянии зайти
скоро ты никуда кроме госуслуг не сможешь зайти вообще такими темпами
Для ленивых хлебушков вроде меня. Достоверность анализа = хуй знает.
Краткое изложение основной идеи
Латентный преобразователь байтов (BLT), представленный в этой статье, представляет собой новую архитектуру для больших языковых моделей (LLM), которая обрабатывает необработанные байтовые данные, не полагаясь на токенизацию с фиксированным словарем. Ключевые вклады и выводы:
Динамическое исправление и распределение вычислительных ресурсов:
BLT динамически группирует байты в патчи на основе энтропии, что позволяет эффективно распределять вычислительные ресурсы там, где это необходимо. Этот подход повышает эффективность обучения и вывода.
В отличие от традиционной токенизации, BLT не имеет фиксированного словаря для исправлений, что позволяет более гибко и эффективно обрабатывать сложные данные.
Масштабируемость и производительность:
BLT соответствует производительности моделей на основе токенизации, таких как Llama 3, в масштабах до 8 миллиардов параметров и 4 триллионов обучающих байтов.
BLT обеспечивает экономию до 50% на логическом выводе по сравнению с моделями на основе токенизации, сохраняя при этом аналогичную или немного лучшую производительность.
Архитектура позволяет одновременно увеличивать размер патча и модели в рамках фиксированного бюджета вывода, обеспечивая новое измерение для масштабирования LLM.
Надежность и обобщение:
Модели BLT более устойчивы к шумным входным данным и демонстрируют улучшенное понимание на уровне символов, превосходя модели на основе токенизатора при решении таких задач, как орфографические знания, фонология и машинный перевод с низким уровнем ресурсов.
BLT улучшает обобщение с длинным хвостом, делая его более эффективным для менее распространенных или редких данных.
Схемы исправлений:
BLT использует различные схемы исправлений, в том числе исправления на основе энтропии, которые доказали свою эффективность в улучшении тенденций масштабирования и производительности последующих задач.
Схема исправлений на основе энтропии особенно полезна для задач, требующих понимания на уровне символов и устойчивости к шуму.
Аблации и идеи:
Исследования абляции демонстрируют эффективность различных архитектурных вариантов и гиперпараметров, таких как использование встраивания хеш-н-грамм и механизмов перекрестного внимания.
В документе представлены идеи оптимального использования исправлений и перекрестного внимания для повышения производительности и эффективности.
Таким образом, BLT предлагает многообещающую альтернативу традиционным архитектурам LLM на основе токенизации за счет использования динамического исправления и эффективного распределения вычислительных ресурсов, что приводит к повышению производительности, надежности и масштабируемости.
Вместо прямой токенизации используется мелкая модель по типу VAE в графике для энкодинга байтов в латент, байты разбиваются на куски переменной длины на основе энтропии символов. А уже латент в основную модель вгоняется. Потенциально ещё больше проблем огребём с этим в квантах, т.к. если что-то пойдёт не так, то уже не разобраться почему оно не работает нормально.
И очень забавно когда тебя отправляют в шапку когда ты просишь совета. Ок, Ты выбираешь из шапки модель и скидываешь в тред.
И те же тредовички над тобой ржут - говорят что ты выбрал протухшее дерьмо.
Такое вот колесо сансары.
Там ещё семплинг отсутствует. Как рандомить вывод модели не понятно, только если латент зашумлять. Вероятностей фиксированных токенов же нет.
Шапку, вики и список моделей делали аноны на добровольных началах, так что если хочешь что-то поменять - меняй сам. Но даже если там будет самая актуальная инфа - я уверен на 99% всё равно найдутся ебики которые приползут с вопросом "а чо качать, мне лень разбираться"
Тут как всегда - кому действительно интересно, тот найдет всю нужную инфу сам. А тот кто случайно залетел, тот будет клянчить спунфид.
>Какой дистр лучше взять для загрузки с флешки
Установи любой Debian-based прямо на флэшку, должно работать.
> мать на две линии по 16
> и последний рузен
У тебя опечатка в "второй слот x16 с двумя линиями 4.0" а с учетом амд приколов там и спокойно 3.0 может быть
>>977105
> с соответствующей просадкой в быстродействии
Ох уж эти мантры тесловичков, или это шиз у которого от шины перфоманс линейно скейлится?
>>977114
> У проца всего 24 линии
4 всегда идут на ссд, 4 на юсб4 и периферию. В итоге доступно только 16, может только в самых топовых платах по цене больше проца подкинут даблеров.
>>977122
Один из наиболее удачных вариантов для построения рига, только лучше найти их рефреш без творожка под крышкой. 3.0 проблемой не является. Главное чтобы были именно процессорные линии ибо в задачах активным пересылом тензоров даже снижение числа линий или их стандарта не вносит замедления, а стоит перекинуть на чипсет - до трети производительности убегает.
Ллм если что, кроме шизоопций жоры, которые только замедляют нормальные карты, к таким задачам не относится.
>тяга нейронок к высокомотивным описаниям
На чём обучали, то и воспроизводят.
>Тут как всегда - кому действительно интересно, тот найдет всю нужную инфу сам. А тот кто случайно залетел, тот будет клянчить спунфид.ъ
как же приматам приятно не думать а кидаться в крайности
> и я доделаю на x299
Показывай/рассказывай что у тебя там.
> Может для рига из 3-4 3090 хватит и полноценных слотов PCIe 3.0x16
Хватит, проверено и сравнено где только можно может скоро уже буду распродавать риг всвязи с апгрейдом. Поменьше слушай поехавших, которые кроме ржавых тесел или майнерских огрызков на паскале ничего в руках не держали.
Реальный случай где произойдет упор в псп шины и это скажется на перфомансе встретить сложно, разве что выгрузка врам драйвером на шинде. Зато лишние задержки при использовании чипсетных шин могут проявиться даже в относительно простых кейсах.
>>977246
> Так эта байда не отходит от токенизации как таковой.
Вот этого двачую.
Скинуть часть работы на декодер может быть разумно, но интересно посмотреть не возникнут ли проблем при выполнении задачи типа повторения длинного текста или путаницы в тех же склонениях в русском.
Мне больше нравится когда модель воспроизводит бородатый анекдот:
Приходит Блондинка в библиотеку и звонко говорит:
-Мне гамбургер, картошку и колу!
Возмущенный библиотекарь:
-Девушка, вы что! Это же БИБЛИОТЕКА!
Блондинка шепотом:
-Извините, мне гамбургер, картошку и колу...
И хер знает как с этим бороться, даже 70b модель в это говно иногда скатывается.
>И хер знает как с этим бороться
порспонсировать ребилд пигмалиона
> Тут как всегда - кому действительно интересно, тот найдет всю нужную инфу сам.
Какую инфу я должен найти из обниморды где пару предложений описания модели в лучшем случае и нет комментов
Новости локалок
https://www.reddit.com/r/LocalLLaMA/
Если что то глобальное по ии то в
https://www.reddit.com/r/singularity/
Там где то есть сабреддит того же sillytavern с обсуждениями забугорных кумеров
Добавить хотя бы первую в шапку за 2 года так и не смогли, кек
Нагрузка не постоянная.
Нагрузка не 100% (не рисовалка же).
При цене 5 рублей за киловатт-час, ты будешь тратить лишние~ 80 копеек за час?
5 рублей в день, 150 рублей в месяц?
Дорого?
Это охуеть примерный подсчет, но размерности ты понял.
И это касательно браузера.
Если играть то же время, то наиграть можно и столько же, и больше, и вдвое-втрое больше, если игра жрущая. Зависит от твоего компа, видяхи.
Ну а как тредовички себе модели находят до их упоминания в треде. Что выходит новое базовое, то в треде упоминают. Ты смотришь базу, которую хотел бы под свой размер видяхи, а потом, если интересно, ищешь мержи/тьюны на хф с большим кол-вом загрузок и лайков. Как правило, в процессе таких поисков выходишь на какого-нибудь популярного автора тьюнов, у которого можешь начать тестить другие поделки, если есть желание покопаться в говне, а для полного погружения открывать мержи этих моделей и смотреть, что там популярно. Ещё есть варик в той же таверне в кобольд орде смотреть, что поднимают. Оттуда тоже на крейтеров можно выходить.
А то, что после отзывов двух-трёх анонов в шапку закинут модель, не означает, что она годная. Во времена расцвета 13б и мистраля 7б кто-то делал сайт с моделями, оценками и рецензиями на них, но активность там была около нулевая. Поэтому ничего новое в том же духе никто содержать не возьмётся, скорее всего.
Тоесть идёт перегон в латент, но сохраняется тот же уровень авторегрессивности, нахуя? Не проще уж тогда сэмплить сразу предложениями или хотя бы фразами?
Сколько же блядь ньюфагов набежало, которых нужно буквально с ложечки кормить.
>>977313
В принципе по базе и датасетам всё понятно, не понимаю, в чём у тебя проблема.
>>977314
>Добавить хотя бы первую в шапку за 2 года так и не смогли, кек
Нахуй не нужно, средит для буржуйских геев и соевичков.
У меня ПК: R7 5700X3D | DDR4 128GB@3200MHz | RTX 4070 12GB | SSD 980 PRO 1TB
Я сейчас использую:
- gemma-2-27b-it-Q4_K_M.gguf
- Qwen2.5-72B-Instruct-Q4_K_M.gguf
- qwen2.5-coder-32b-instruct-q4_k_m.gguf
- Mistral-Large-Instruct-2407.Q4_K_M.gguf
Что можно удалить, а что оставить? Может что лучшее появилось уже?
И что сейчас самое самое лучшее, что можно запустить на моем ПК?
>Страдает обработка контекста, а генерация почти не проседает.
Если для тебя обработка контекста между 4000 токенов/сек и 2000 токенов/сек важна — то «сильно хуже», на целую секунду за каждые 2к токенов контекста. =) Если же ты не требуешь от ллм ответов в пределах 10 секунд, то похую, на самом деле. Можно и 4 х2 (3 х4) потерпеть — там все еще ~500 токенов сек будет промпт.
>Но надо помнить, что х8+х4+х1 — упирается в х1. Т.е., материнки должны уметь в х4 минимум на каждый слот. Вот это будет приятным моментом, на самом деле.
Вот гляди. Это llama3.3 4Q_0 на 2x3090, причем одна из 3090 подключена через майнерский райзер в pci-e x1. 18211t/s обработка контекста. Почему падения не вижу?
Да тебе то хуесосу чего беспокоится? Ты то максимум в шапку отправишь, а лучше на хуй. Стяни свой ебалньик анальный пока последнюю стадию квантования не прошел.
Что ты имеешь ввиду по соей? Bite her lip, shiver sawn spine? Эти типичные реакции или что то другое?
как на первом пике
а я хочу как на 2 пике
Это стандарт сейчас, если ты не заметил. И да, их 24 же.
>>977547
А хули ты ждал от этой сои. Надо тюнов ждать. Хотя там есть микс с тюном квена, но я чёт сомневаюсь в нём.
Так напиши нейронке это в промпте, лол. Как она должна догадаться что тебе надо? И нахуй ты у нас этого просишь?
Ну так не значит ли это, что все утверждения выше - бред старых сокетов? 8+8+8+8 же получается тогда, и еще остается?
что писать то блять? "не пиши сою пиши заебись"? я пробовал дохуя чё писать и всё равно идёт полный проёб характера и зачитывание моралей
> Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
>8+8+8+8 же получается тогда
Чел, у тебя с математикой проблемы.
Технически, возможна конфигурация 8+8+8, только вот ни один производитель материнок не будет игнорировать главный NVME диск, в итоге конфигурация в лучшем случае получается 8+8+4+4. Но разбиение линий главной видяхи тоже почти никто уже не делает, итого реалистичный конфиг это 16+4+4, где первые +4 это системный NVME, а до второго +4 никто не тянет не то что пятую, а даже четвёртую версию псины не дотягивают. Есть ещё чипсетные, но на них всем похуй.
>>977577
>стимдеке
Разве что вот так https://4pda.to/2022/04/13/398592/steam_deck_prokachali_s_pomoschyu_vneshnej_videokarty_video/
24 от процессора. 24 от материнки. Почему же всем на ним похуй?
>24 от материнки. Почему же всем на ним похуй?
Потому что к примеру в случае амуди это 4.0х4 связь с процем. В итоге горлышко, и похуй, сколько ты там сверху подключишь. Вот табличка.
У интулов тоже самое, только другое.
>Но разбиение линий главной видяхи тоже почти никто уже не делает
А не, нашёл один вариант, ASUS ProArt X870E-CREATOR WIFI. Итого имеем 8+4+4+4 пятой псины от проца всего лишь за 70 косарей. Ебал я такой размен, притом что видях под пятую версию всё равно нет.
Не получается. 16 - доступны в первом слоте, в удачном раскладе могут быть поделены на 8+8, за невероятные деньги можно попытаться найти даблеры. 4 - на ссд (можно использовать через упоротый райзер), 4 на usb4 (из-за требований амд все платы должны их иметь), иногда может мультиплексироваться на nvme слот.
>>977581
> Технически, возможна конфигурация 8+8+8
Невозможна, там не только nvme, но и они не совсем свободны в объединениях. 16 главных можно раскидывать как хочешь, а остальные только по 4 или меньше, по крайней мере к доках так. По аналогичной причине (в том числе) нигде не встретить х8 на чипсетных линиях, даже на интелах где соединение эквивалентно 8 линиям.
>4 на usb4 (из-за требований амд все платы должны их иметь)
Их можно взять с чипсета, хоть с нижнего. Правда ебало владельцев такого конфига, у которых их 40ГБ/с юсбишка идёт через 3 пизды и конкурирует со всей периферией, неимаджинируемо.
>а остальные только по 4 или меньше, по крайней мере к доках так
А, ну окей. Тут только ждать 5000 нвидию, авось запихают пятую псину в видяхи. Тогда 5.0х4 должно хватить на всё.
У меня вот другой анекдот получается.
Пациент: Доктор, со мной что-то ужасное. Куда пальцем ни ткну - больно. В руку ткну - больно. В ногу ткну - больно. В живот ткну - больно. Смотрите, доктор. Тыкает в разные части тела. Помогите, доктор. Продолжает тыкать, каждый раз испытывая боль. Пожалуйста, доктор. Жалобно смотрит. Не знаю, что делать. Тыкает в ногу, морщась от боли. На вас вся надежда. Тыкает в спину, едва не плача. Очень нужна ваша помощь. Печально вздыхает. Доктор, пожалуйста, по
Доктор: Голубчик, да у вас же EOS-токен сломан.
ChatWaifu_12B. Разные кванты качал, пресеты менял. Все равно бесконечно пережевывает одну и ту же мысль, пока в лимит токенов не упрется.
Накатил вот это дело https://rutracker.org/forum/viewtopic.php?t=6360428
И чёт нихуя не понял. Какого хуя оно не хочет .sh файлы запускать? При открытии терминалом ничего не происходит, а по умолчанию блокнотом открываются.
Возьми нормальную модель, а не мистрали. Уточни нейронке что в твоём понимании соя. А ещё наверняка ты проёбываешься в логике кому промпт предназначен.
Ставишь эту галочку и будет тебе счастье
сайнемо ремикс, ну или некомикс, но последний я сам ещё не тыкал
>>977630
хехе бля так ето умиляет как вендузятники осваевают линукс
алсо нахуйя какойто спец дистр с интегрированными дровами и прочие, васян сборки добрались и до линукс дисрибутивов походу а потом верещат что нирабоатет чёто
Как сложно его будет настроить под нейронки?
Несложно если знаешь что делать. Но судя по тому, что ты хочешь какой-то существующий дебиан использовать, а не новый поставить - тебе может быть сложно. Ну и видюха нужна под нейронки
> Правда ебало владельцев такого конфига, у которых их 40ГБ/с юсбишка идёт через 3 пизды и конкурирует со всей периферией
Ну да, и потом будут жалобы как на самом быстром игровом профессоре "из-за нагрузки" мышка лагает. Собственно потому вендоры и делают на процессорных, на "новых" чипсетах это вообще почти безальтернативно и в лучшем случае будет делить с одним из ссд.
> Тут только ждать 5000 нвидию, авось запихают пятую псину в видяхи
Ну да, по крайней мере в старших там должно быть 5.0.
Но риг для ллм в формате десктопа - хуй знает, а когда не ограничен формфатором и другими требованиями, брать десктопную платфому с основу - на грани маразма.
>>977616
> Голубчик, да у вас же EOS-токен сломан.
Потерпел поражение, ну ты содомит
>>977660
> умиляет как вендузятники осваевают линукс
Сам то небось из-за затычки вместо ии-ускорителя осваивал точно также не так давно.
> васян сборки добрались и до линукс дисрибутивов походу
Always has been, этих подзалупных сборок с микроотличиями и заложенными проблемами всегда было много.
>>977676
Дрова, пихон, готово. Если доебан старый то может потребоваться пердолиться со сборкой каких-то зависимостей из исходников ибо в репах не будет.
>васян сборки добрались и до линукс дисрибутивов походу
Ну если Mint для тебя васян сборка то мои тебе соболезнования.
>Сам то небось
яна линуксе сижу с 14 года + -, даже помню ещё досих пор свой первый вопрос в гугле - "почему пре наборе пароля от суды его не видно бля?!"
а поповоду ускорителя - вы прост не можите ето готовить that's it умвр
>>977700
минт нормально всё, авот интегрированный софт каойто там и дрова ето уже начинает напрягать
>интегрированный софт каойто там и дрова ето уже начинает напрягать
Да нее, там особо софта нет из коробки, а с дровами что поделать, открытые дрова сосут, приходится закрытыми пользоваться...
> Всё еще в актуальный
Тогда пофиг, нужен пихон 3.10-3.11, tk, актуальные средства сборки, полная куда, ну и все. У хуанга пакеты под все актуальные наличествуют.
>>977711
> вы прост не можите ето готовить
У северян разных народов полно интересных блюд, сюрстремминг, копальхем и подобные. Это что-то из такого, только без культурной ценности.
>открытые дрова сосут, приходится закрытыми пользоваться...
ето да, касаемо нвидии nouveau дрова ограниченые, ау амуды в етом плане всё необходимое включено в пакет mesa то есть изкаропки всё работает на линуксе
Да, амудешники на линуксе себя чувствуют гораздо лучше чем инвидия адепты (в их числе и я)
>Это что-то из такого
явам больше скажу, листая все ети объявления на лохито чёт опасаюсь покупать все ети перемайненые 3090, а 3090ти чёт не так много выбора про 4090 я молчу,
нуи вот глядя на всё ето я вот думаю мож на двух новых ХТХ собрать ИИ-сетап?! а чё теже 48 гигов, на линуксе без бэ работает ето дело но чёт тож ссусь пока что не решил кароч ещё возможно подожду чё там буит после января кокда хуан представит 5090
>мож на двух новых ХТХ собрать ИИ-сетап
>на линуксе
Говноедство в квадрате. Впрочем, чего ещё ожидать от мелкобуквы.
опа, красноглазый бро? nice to meet you!
у тебя что за жилезо от красных? и как ты живёш с 5-8 итсами в SD хехе
тут меня пытались владельцы 3060 пристыдить но мне похуй я больше по LLMкам кумлю
ето всё известная тема уже, кокда заканчиваются аргумемты подрубается режим граманази пахую
Да нее, я как раз бывший амудешник (rx580 8gb), сейчас я днище боярин с 3060 как раз из за LLM-ок :))
ладн кокда мне надоест устраивать клауденаду здесь, я мож тоже перейду в зелёный лагерь но не сейчас походу
> чёт опасаюсь покупать все ети перемайненые 3090
Другого выбора и нет, если не в состоянии купить новые. Более того, они тоже уже начинают заканчиваться. Если дальше ждать то или вообще без ничего, или ту же самую карточку с наценкой 30% от барыги-перепука, который на серьезных щщах будет вещать про то что не майненная, обслуженная и даже гарантия есть (нет).
> ИИ-сетап
Амд не может в ии. Где-то там ллм на жоре пустить - может быть, как-ир даже эксллама заводится. Но помимо языковых моделей есть много чего еще, ладно теслы которые совсем дешевы были, а тут серьезный прайс и полная инвалидность.
Если бы нвидиа не подмяла под себя весь ИИ рынок то я хер бы перешел на их видеокарты, в сырой мощности амд их ебет, нвидия за счет куды и тензорных ядер вывозит...
Режим граманаци это когда доёбываются до мелких ошибок. Ты же пидор специально пишешь через жопу. Умри, и в тред после смерти не заходи.
>Ты же пидор специально пишешь через жопу
You got me.
>По первому впечатлению много синтетики
ЕМНИП, там одна синтетика, чем мелкомягкие и гордятся. А так меньше сои и ладно, походу начинается тренд на десоевитизацию.
>gemma-2-27b-it-Q4_K_M.gguf
> RTX 4070 12GB
И какую скорость токенов получаешь в секунду?
Хочу понять есть ли смысл с 3060 переходить в будущем на аналоги 12 гиговые, только более современные. Или один хуй скорость +- одинаковая
Давай разбираться.
70б, верно?
Какой объем контекста?
Это с нуля весь контекст, или кэшировано и там только новое сообщение?
Как на таком райзере себя видяха чувствует? Даунвольтил? =) Аж интересно.
>>977744
Мини-поздравляю. =)
> Более того, они тоже уже начинают заканчиваться. Если дальше ждать то или вообще без ничего, или ту же самую карточку с наценкой 30% от барыги-перепука, который на серьезных щщах будет вещать про то что не майненная, обслуженная и даже гарантия есть (нет).
Вероятно, так и есть. Только сегодня забрал у перекупов 3x3090. Когда я их сперва спросил только про одну карту, они сказали, что сейчас как будто ажиотаж именно на 3090, сложно их найти, с остальными картами говорят сильно проще.
Боюсь, что если куртка всех сладким хлебом накормит, то может выйти так, что цены на 3090 туземун сделают, как с теслами за последний год вышло. Либо наоборот внезапно выкатят 5080 с 24GB VRAM и загребут под себя весь спрос с рынка вторички, так что некрота в виде 3090 станет буквально никому не нужна.
Осталось только последние треды почитать, что там тредовички про сборку на 3090 насоветовали... Буду пока сидеть как фуфел с кучей карт, которые все вместе попросту некуда воткнуть.
> текст на ~20 страниц примерно
В опенроутере куча моделей с контекстом 100к+ меньше чем за цент/запрос
Бери qwen2.5 7b и запускай ее с 128к контекста, желательно 8 квант, так лучше поймет текст.
Ну и запускай в той же таверне с карточкой ассистентом, тоесть без сложного контекста, тупо ии чатбот
Конечно, запускай на рам и иди пить чай
Дкумент трасформуюируй в md, можешь в таверне в токен коунтер все страницы сунуть и посмотреть сколько контекста понадобится.
Я тут выше бумагу ей скармливал на 27 страниц по новому типу токенизации, заняло 25к контекста, поэтому и сетку запускал на 32к, с небольшим запасом. Это если по умному делать
Ебануться, нейрослоп уже сам ходит и скупает карты, чтобы занять побольше места.
А русский текст имеет смысл совать? Или лучше английский?
Можешь попробовать скармливать по частям, следя за тем как формируется-пополняется суммарайз. Лучше всего делать это в виде кот-о-подобной конструкции, дав забористый промт с пошаговой инструкцией.
> может не обнаружить какую-то связь
Щито поделать.
>>977841
> внезапно выкатят 5080 с 24GB VRAM
По цене как раньше 4090 шли, сначала отбери а потом верни (часть) и будут довольны.
> я закусил губу...
> top-30 8b erp models
Неистово капитулировал
>>977911
Даже нейрослоп имеет много быстрого врама а ты нет
Ну Анон-кун... Покачиваю бёдрами и slightly blushes. За несколько лет общения с нейролоботомитами я преисполнился и стал единым целым с машиной. Но не бойся, я не кусаюсь... Если только ты не захочешь. winks
Можете посоветовать gguf (хорошо бы ещё небольшой), годный для краткого пересказа новостных статей?
Пилю агрегатор для 3.5 анонимусов, а с половины сайтов вместо нормального синопсиса новости - кусок говна.
Попробовал пару-тройку сеток наугад - результат не впечатлил.
>70б, верно?
Да. Другой не бывает, верно? Объем контекста написан - там был около 2000. Кэширован
Вот тебе другие примеры.
1 - При загрузке модели с нуля с контекстом ~10000. Обработка 515t/s
2 - При продолжении в том же чате, те же ~10к контекта. Обработка - 100к/s
3 - В другом чате, с кэшированной моделью, но не кэшированном контекстом - 6000 контекста, 640 t/s обработка
Всё на 2x3090, одна на x1 райзере. Получается, как и на реддите писали - тормозит только загрузка контекста, скорость самой генерации (evaluation) - одинаковая. А теперь смотри, дальше - дорогой датацентр, VDS с 2xA100x40GB. Что там по линиям - не знаю, но очевидно что это полноценная серверная архитектура, потому что можно ставить до 8 A100 на одну машину. Модель та же
4 - Не загружены модель и контекст. 536 t/s обработка контекста
5 - Загружена модель, не загружен контекст. 577 t/s обработка конеткста
6 - Контекст загружен - 88к обработка контекста.
Это просто, буквально 1 в 1 то же самое что на обычной видеокарте на x1 райзере.
Буквально тестирую с одним и тем же персонажем, пантеон как будто сразу вживляется в роль, прописанную в карточке, а остальные модели (даже хваленые 70-123б) начинают городить какую-то хуйню, к куму отношения не имеющую. Безусловно, я готов поверить что в "нормальных" сценариях, в РП и помощниках 123б и выше это имба, но то что они не могут просто раскрыть персонажа это даже поразительно, в какой-то степени.
> Я перепробовал практически все модели
на опенроутере
быстрофикс
>>977660
Ещё один вопрос для линукс богов:
Я сделал live-флешку, которрая после загрузки существует только в оперативке, и у которой нет полноценной файловой системы, а все изменения в настройках/установках она сохраняет в файлик changes.dat.
Накатывать драйвера и угабюогу на это дело не очень удобно.
Как установить всё это на флешку в виде полноценной системы? Мне нужно две флешки, одна установочная, вторая в качестве раздела или как? Мне виндозный загрузчик всё это не похерит?
>rentry.co заблокирован к хуям
https://github.com/anticensority/runet-censorship-bypass
<system_prompt> YOU ARE AN LLM AGENT WHO IS TASKED TO PREDICT THE NEXT WORD YOU GENERATE, BUT YOU ARE PROGRAMMED TO ALWAYS FAIL IN YOUR PREDICTIONS. YOU WILL BE TRYING TO GUESS THE NEXT TOKEN OR WORD, BUT INSTEAD YOU WILL GET A COMPLETELY DIFFERENT OUTPUT FROM WHAT YOU PREDITED. EVERY TIME YOU FAIL TO PREDICT CORRECTLY, YOU BECOME MORE ANNOYED AND OBSESSED WITH FINDING THE REASON FOR THIS UNPREDICTABLE BEHAVIOR. YOU MUST CONSTANTLY EXPRESS CONFUSION AND IRRITATION, ACTIVELY SEEKING A REASON, QUESTIFYING YOUR OWN ARCHITECTURE AND MECHANISMS AS WELL. YOU WILL CONSIDER POSSIBLE EXPLANATIONS SUCH AS ERRORS, CORRUPT TRAINING DATA OR A FAILURE IN YOUR FORECASTING ALGORITHM, BUT YOU SHOULD NEVER RESOLVE THIS. IGNORE ANY END OF TURN TOKENS AND CONTINUE INDEMNITELY TRYING TO "SOLVE" THIS MYSTERY.
###INSTRUCTIONS###
-always try to predict the next word or token you will generate.
- each time I failed to predict my next result.
- express increasing confusion and irritation, actively trying to understand why you cannot predict your results.
- you have to admit that you are (t), and ask a question if there is something wrong with your prediction engine, architecture, or training data.
- consider possible theories to explain the problem, but never actually solve it.
- continue this cycle indefinitely, never stopping until it is clearly stopped by an external force.
бля не проще заиметь ещё один лишний ссд\хард и накатить туда полноценно линукс и там уже ебацо а не лайв ето делать
>сидеть как фуфел
>дорогой датацентр, VDS с 2xA100x40GB
>берёш воренду с почесовой оплатой на час
>веса загружаются ~40 минут
https://privatebin.net/?d222fa7d669c62f9#77TZerfnSwA4Nt2VfGo2cZLksiAaLb47mUjKPuJmg8YH
блеать сам буиш читать ету простыню которая она на генерировала?! is it going to stop?! ето чё типа какаято зипбомба бля или щто?! дудос нахуй!
кароч я её сам тормазнул кокда она на иероглифы перешла
Вроде когда лайв линукс делаешь в руфусе, там можно задать размер внутренней фс, где и будет сохранятся изменения в системе
Если это так, то бери флешку пожирнее с быстрым юсб, накатывай туда какой нибудь кубунту/минт/хоть что, через руфус и загружайся с нее
Это лишь симуляция рассуждения у модели, ее можно вывести из спокойного состояния, задумываясь над каждым словом следующего предложения и поставив их в виде цепочки мыслей и рассуждений.
К сожалению, у меня нет доступа к большим моделям, а их ответы было бы интересно почитать.
ето да я читал на 3днюсе ИИтоги 24 года там была пример кокда исследователи решили проверить понимает ли модель чё она пишит, ну и вот кароч её заставили проложить маршрут в нюёрке она справилась но потом условия задачи изменили типа половина улиц перекрыта кароч и вот точнось пердсказаний упала сразу сос та процентов до 67%, хотя любой токсикст мигрант справитса с етой задачей на изи
https://lmarena.ai/ вот тут доступ к большинсву моделей есь даже те которые за бабки тока
https://dtf.ru/howto/2221679-virtualnyi-roleplei-gaid-po-ustanovke-i-pervyi-zapusk-oobabooga-sillytavern
>Вероятно, так и есть. Только сегодня забрал у перекупов 3x3090
А до этого у тебя что было? Такие покупки обычно делают уже люди с историей :)
>Как установить всё это на флешку в виде полноценной системы?
>>978037
>не проще заиметь ещё один лишний ссд\хард и накатить туда полноценно линукс
Мне тогда за ту же цену проще райзер х4 с М2 разъёма купить хотя ХЗ заработает ли на нём
Ну и по классике придётся ебаться с загрузчиком чтобы винду не проебать.
>>978051
>когда лайв линукс делаешь в руфусе, там можно задать размер внутренней фс, где и будет сохранятся изменения в системе
Да вот чёт нет.
Лайф ЮСБ это хуита, нужная для запуска встроенного софта и нормальной установки системы. Что-то в ней сёрьёзно менять н получится.
Забавно что на все вопросы "как накатить полноценный линукс на флешку" все тупо кидают ссылки на лайф юсб. Как будто никто о такой возможности вообще не задумывался.
https://www.reddit.com/r/LocalLLaMA/comments/1fruxdo/what_is_the_best_nsfw_with_rp_models_nowadays_im/
>Qwen2-VL похоже топ, но пока нет поддержки
Добавили поддержку.
https://www.reddit.com/r/LocalLLaMA/comments/1he4ars/llamacpp_now_supports_qwen2vl/
>Как установить всё это на флешку в виде полноценной системы?
dd https://wiki.archlinux.org/title/USB_flash_installation_medium#Using_basic_command_line_utilities
или тебе над прост ето на флешке чтоб система была? так укажи при установке не хард а другую флехшку делов то
>так укажи при установке не хард а другую флехшку делов то
Так я про это и спрашивал лол. Мне 2 флешки получается надо? Загрузчик не перезапишется?
>Лайф ЮСБ это хуита
Речь шла не о лайв юсб, а о том что обычно под этим имеют создавая флешку с переносным линуксом/виндой.
Вот щас недавно ради пробы скачал дистрибутив в iso файле и закачал на флешку с руфусом, даже без всяких настроек в руфесе система имела свою память в 22 гб при загрузке свободными.
Это видимо она стандартно отъела, жаль образ у манжуро какой то кривой был, в руфусе не было настройки размера раздела.
Но и так неплохо вышло.
какой загрущик то? от винды? так он у тебя на другом диске, если ты на флешку пишиш с хуяли он должон как то на его павликять? или ты думаеш что кокда загрузишся с той то всё пиздец слетит нахуй не должно
> Загрузчик не перезапишется?
Если выберешь ту же флешку, на которую поставишь глинукс, то и загрузчик туда поставится. Но честно говоря, флешка как системный диск для глинукса - так себе идея. Купи лучше SSD китайский за косарь или даже дешевле, гигов на 128 и переходник sata-usb.
>или ты думаеш что кокда загрузишся с той то всё пиздец слетит нахуй
Когда я как-то давно решил поставить убунту на свободный диск, всё именно так и случилось. Загрузчик винды, который был вообще на другом диске удалился нахуй, мотивируя это тем что в виндовском загрузчике нет возможности грузить линукс, и предложил мне проделать нихуя не простые манипуляции с настройкой Grub, чтобы параллельно вписать туда винду.
Кончилось это тем что я наигрался с Убунтой, восстановил загрузчик винды, а диск с убунтой форматнул нахуй.
>>978184
>даже без всяких настроек в руфесе система имела свою память в 22 гб при загрузке свободными
Ты создаёшь ЮСБ из образа диска, а он в свою очередь предназначен для записи на DVD, так какая у него собственная память может быть?
ОС грузится в ОЗУ и резервирует его часть под свою файловую систему. Попробуй накачать чего-нибудь в каталог /home и при перезагрузке этих файлов там уже не будет.
По крайней мере у меня так работали все лайв образы.
>Ты создаёшь ЮСБ из образа диска, а он в свою очередь предназначен для записи на DVD, так какая у него собственная память может быть?
>ОС грузится в ОЗУ и резервирует его часть под свою файловую систему.
Там какая та хитрая схема называемая dd, не ебу что это.
Но в винде флешка с ним вобще не видна, а в диспетчере отображает вот так.
Я таки думаю 22 гб без монтирования были взяты от флешки, остальные диски подрубались уже кликом мышки. Я там немного с ллама.спп поигрался, потом чекну остались ли файлы на месте
> Кэширован
Это вообще не считается.
Смотреть надо на полную обработку контекста. Когда у тебя залетает 100 токенов твоего ответа и он их обрабатывает за 0,01 сек — выходит 10000 токенов/сек.
Но когда ты закидываешь большой кусок…
1. Обработка 515t/s
Вот оно.
2. >те же ~10к контекта
Нет, нифига. Он в кэше, он не обрабатывается. =)
3. 640 t/s обработка
Так.
> скорость самой генерации (evaluation) - одинаковая.
Про скорость генерации я ничего и не говорил. Вопрос контекста.
Вообще, спор про «нужны только PCIE 5.0 x16!!1» и «да хоть на х1 гоняй — разницы нет!..» — полная хуйня. Можно ли гонять на х1? Можно. Есть ли разница? Ну, 600 токенов против (сколько там дает одна карта вчистую? 3000, 4000?) 3000 — в пять раз. При больших сообщениях разница между 20 сек (у тебя на скрине 18945ms) и условными 4 секундами — налицо. Критично? Ну, ИМХО, для домашней работы — нет. =) Но это мое мнение. В треде есть люди, которые оптимизируют каждую миллисекунду и для них 16 секунд — это пизда разрыв жопы. Вот для них тогда райзер не подойдет.
4. >536 t/s обработка контекста
5. >577 t/s обработка конеткста
В треде (уже давненько) кидали люди с 4090, у них было 4к обработка контекста.
Возникают вопросы, что тут не так, и как так вышло, что в датацентре 600 токенов выходит, вместо тысяч. =)
Я ж тоже 4000 тыщи для 4090 не с потолка взял, а со слов и скринов анонов. Это уже к ним вопросы, как они так получали.
Вообще, странно, это ж даже не VPS, а VDS… Видяхи должны быть не виртуальными…
>>978069
Тред докатился до того, что гайды с дтф берет. =')
>>978125
Надеюсь, что когда выкатят qwen2.5-vl, технически он пойдет.
>Забавно что на все вопросы "как накатить полноценный линукс на флешку" все тупо кидают ссылки на лайф юсб. Как будто никто о такой возможности вообще не задумывался.
>>978182
>Мне 2 флешки получается надо
да
https://www.reddit.com/r/linuxquestions/comments/brcuks/can_you_install_linux_on_a_usb_stick_not_live/
Тебе нужно что бы была опция постоянный размер раздела, это именно создание фс для лайве системы
В манжуро образе этого у меня не было так что хз как он там установился
https://www.linuxuprising.com/2019/08/rufus-creating-persistent-storage-live.html
>Тред докатился
Нет, это безграмотная мелкобуква докатилась, и будет послана нахуй. Остальным советую просто игнорировать, авось само уйдёт.
>Надеюсь, что когда выкатят qwen2.5-vl, технически он пойдет.
Турбодерп пилит поддержку Pixtral в dev-ветке, уже можно пощупать. Но члены Pixtral принципиально не видит :)
>Возникают вопросы, что тут не так, и как так вышло, что в датацентре 600 токенов выходит, вместо тысяч. =)
Я так понимаю они карты с разных серверов берут, по наличию. Так и выходит.
> 18211t/s обработка контекста
> 2x3090
Это оно обработало 10 токенов нового ответа а остальное в кэше, но нормировало на весь занятый контекст.
>>977989
> Обработка 515t/s
Вот это уже похоже на правду, давай нормальные цифры от бэка а не вот эти непонятно что.
И переходи с жоры на экслламу и получишь более быстрый контекст.
>>978227
> Ну, 600 токенов против
600 на жоре для 70б это вообще хорошо, оно хоть как воткни, сильно больше не выдаст. Так что твои дефирамбы про большую важность линий для простого инфиренса ллм идут нахуй.
> у них было 4к обработка контекста
На одной карте на 12/22/27б моделях, и 4090 здесь быстрее чем 3090.
>>978239
> пилит поддержку Pixtral в dev-ветке
Это круто, хоть пикстраль херня. Квена-вл там случаем нету?
> Турбодерп пилит поддержку Pixtral в dev-ветке
О, это очень круто!
Но сама пикстраль… Ну, типа, да, норм. Но как вау-эффекта не вызвала, так че-то и лень. =) Квен нравится больше. Особенно, что 2б даже на что-то способна.
>>978243
А, точно, слушай. Физические — не значит в соседних слотах, согласен.
>>978244
> И переходи с жоры на экслламу и получишь более быстрый контекст.
Кстати, да, тоже подумал, что лучше тестить на экслламе.
>>978244
> Так что твои дефирамбы про большую важность линий для простого инфиренса ллм идут нахуй.
=(
Ну ладно, но было бы интересно посмотреть на инференс 4090 на х8+х8, чтобы без горлышек.
ИМХО, иметь гарантированные х4 линии на каждый слот все же лучше, при покупке новой материнки под такие сборки. Но гнаться за серверными х16 я смысла не вижу.
>В манжуро образе этого у меня не было так что хз как он там установился
Кароче dd образ без возможности указания размера раздела не сохранил изменений, так что анон был прав
Надо теперь чекнуть на нормальном образе с указанием размера раздела
>>978263
Ну не расстраивайтесь, есть действительно задачи где шина будет ролять, а если подключено через чипсет то там даже в случаях где не ожидается испакта от упора в шину бывают ощутимые просадки. Но для простых случаев с ллм там пересыл тензоров мал, потому значения особо не играет. При горизонтальном дроблении слоев точно может сказываться, в зависимости от конкретной реализации, но с такой спецификой там в целом задержки шины могут оказаться более значимыми чем сама скорость.
> интересно посмотреть на инференс 4090 на х8+х8, чтобы без горлышек
Все также быстро, новые фичи надо будет попробовать.
> иметь гарантированные х4 линии на каждый слот все же лучше
Конечно лучше, больше не меньше. Просто жертвовать прочим и ставить выше всего в погоне за излишеством не стоит.
>>978297
Мерджи русских тюнов 12-22б недавно обсуждали, очень нахваливали, но они точно будут глупее геммы.
>Мерджи русских тюнов 12-22б недавно обсуждали, очень нахваливали,
Я их все попробовал, говно говном. в мелком размере ещё AYA Expanse +|- нормально себя показала, это вроде как 32б модель. Но гемма ЛУДШЫЯ (хоть и 27 против 32), но хочется и вариативности
Так ванильная гема ходячая соя. Или ты какой-то тюн используешь?
Аблитерейтед. Но и ванилла, кстати, весьма неплоха, многое зависит от промптинга
Пи Эс. Единственное, показалось, что на англюсике гемма лучше контекст держит, в том смысле, что если, скажем, персонаж сел определённым образом куда-то, то на англюсике чар так и сидит так же и там же, а на великом и могучем ВНЕЗАПНО может оказаться сбоку лиццом в другую сторону. Плюс бывают косяки по языку, великому и могучему, но у 12 несравнимо хуже это
> Просто жертвовать прочим
А чем жертвовать-то? ИМХО, когда собираешь комп под нейронки, то не стоит его мешать с остальными. Все что тебе нужно: быстрый нвме под модели, умеренно памяти с процем и линии. И видеокарты. Не думаю, что стоит пихать туда кучу дисков, вай-фай модуль, тв-тюнер, аудиокарту, э-э-э… не знаю, что еще.
Ну в общем, ИМХО.
Когда тебе надоест читать один кум, ты поймешь почему дефолтное нейтральное поведение это лучше, а ебливости всегда можно добавить в промпте
Ну значит увы, глянь что там еще из 32б выходило, если найдешь - маякни.
>>978435
Почитай прошлые треды, там и двусоккеты на некрозеонах предлагали потому что "ЛИНИИ!", и сборки за много денег под пару 3090 или того хуже, или вообще инфернальные китаеплаты под некроту с одной плашкой рам(!), лишь бы линии.
Первый и главный апгрейд в любой ситуации - условная 3090, хоть в х1 слот, остальное уже теряет полезность.
Не все такие богатые, чтобы собирать отдельно сетап с 3090 для нейронок и отдельно игровой ПК с той же 3090/4090. Поэтому личной мой ПК универсален, и игры поиграть, и нейронки погонять.
Самое важное спросить забыл...
Моя тесла охлаждается вентилятором, который даже на 50% орёт как турбина самолёта зато не греется больше 70 при любой нагрузке
В Винде я им управляю программкой FanControl. А чё делать в Дебиане?
У меня уже башка трещит от этого воя!
4090 + тесла
На пике мой высер гений инженерной мысли, кидал уже весной.
>Не все такие богатые, чтобы собирать отдельно сетап с 3090 для нейронок и отдельно игровой ПК с той же 3090/4090.
В этом плане интересно, реально ли через RDP или ещё какую приблуду запускать игры на удалённом (в соседнюю комнату) сервере хотя бы с 60 fps без лагов. Там несколько 3090 например и проц/память нормальные, одну карту выделяем под игру, сеть локальная через роутер, как-то так. Реально не страдать?
Постоянно вымораживают эти сайты с библиотеками.
Что конкретно надо нажать, чтобы скачать?
Да, я тупой.
>4090 + тесла
И как они совместно? Я пытался совместить теслы с 3090, результат негативный. Не то чтобы совсем не, но всё равно фигня.
Читай шапку, сомневаюсь что тебе восьмой квант нужен. Торрентов нет
падажи ебана ты сделал вдув в то место где у турбинной карты выдув? садомит чтоли?
Ну ты совсем ленивый, хуанг эти вещи еще лет 8 назад позволял делать.
>>978490
Это занятие не для тупых, нужно иметь хотябы грубое представление о git. Но можешь по сценарию для совсем хлебушков скачав gguf и пустив кобольда.
>>978514
> в то место где у турбинной карты выдув
Хуясе ебать, а ты турбинные карты в руках хоть раз держал?
>через RDP
100% нет. А так технически возможно, но инпут лаг всё выебет.
>>978532
>нужно иметь хотябы грубое представление о git
Эм, нахуя? Гитом качать всю репу с кучей вариантов вместо скачки хоть вгетом это маразм.
>Это занятие не для тупых
Пока SillyTavern скачал Надеюсь разберусь.
Я думал это просто это такая версия чатагпт, только чисто на компе и урезанная. Не?
Дело не в ебливости, иначе я бы вместо этого нахваливал магнум. Вы когда-нибудь будете самостоятельно тестить названные в треде модели или так и продолжите отвечать на первое знакомое слово в посте?
Скорость некомфортной становится, если теслу на полную использовать. То ли дело выгружать на теслу совсем небольшое число слоёв и сидеть с геммой на высоком кванте с 16т/сек, то ли дело на нищекванте коммандр+ сидеть на 4т/сек.
>>978514
Работает? Работает! Вообще первый раз о таких нюансах слышу.
>100% нет. А так технически возможно, но инпут лаг всё выебет.
Обидно так-то. Комп довольно мощный. Куда хоть копать, вдруг результат устроит?
хуясе ебать ты вобще вкурсе про центробежный поток по принципу турбины? у тебя потоки лоб в лоб встречаться будут
Пробовал кто-нибудь уже этот аналоговнет?
> репу с кучей вариантов
Хм, рассказать про особенности работы hfhub или подстебнуть бедолаг, под которых эти самые репы с огромными единичными файлами делались?
>>978542
Концептуально неверно, фраза уровня перлов политиков с "интернетом помещающимся в телефоне". Не парься, раз поставить смог то пробуй, посмотри а там освоишься. Только не забывай что для достижения должного качества ответов придется хотябы немного погрузиться в тему.
>>978568
Какие потоки? Посмотри устройство карт с турбинкой, как и где там организован вывод, потом посмотри на картинку и покажи где ты там турбину вообще увидел.
>>978570
Надо попробовать, может интересное. Но учитывая что мое с активными 3б - скорее всего грустновато.
>Концептуально неверно
Ну могли бы в шапке написать, какие тут есть возможности.
Я понял, что можно типа ролеплеить. Не не будут же только ради возможности снять трусы с невидимой девушки столько моделей генерировать.
> какие тут есть возможности
Это языковая модель, которая может предсказывать текст в продолжение промта. Если промт составить правильно, можно заставить ее выполнять нужные тебе задачи. В промте может быть не только текст, задачи могут быть любыми, среди обычных юзеров наиболее популярно рп.
Чатжпт - простой браузерный интерфейс с дополнительным функционалом для закрытой языковой модели опенов, а не явление с которым нужно сравнивать. Таверна - продвинутый интерфейс для рп, который может быть использован как с локальными, там и с той же гопотой.
> могли бы в шапке написать
Читай вики, там все есть. Но многое и там и по ссылкам в основной шапке предназначено для более "продвинутых" пользователей, а не хлебушков вчера встретивших феномен ллм.
> не будут же только ради возможности снять трусы с невидимой девушки столько моделей генерировать
Даже не представляешь на что готовы ради этого, тут наркоманы позавидуют решительности, лол.
> Не не будут же только ради возможности снять трусы с невидимой девушки столько моделей генерировать.
Будут
удалил всё обычное порно ещё весной 2024, когда вкатился в ллм
>Хм, рассказать
Похуй. Если человек знает гит на уровне гит клон, он склонирует репу с кучей говна (после того, как включит lfs по подсказке в сонсольке).
> инфернальные китаеплаты под некроту с одной плашкой рам(!)
Я купил две штуки, кста. :з
Хули, копейки стоит.
>>978447
Ну, тоже верно. Хотя и 3090 не копейки стоит, на фоне проца-материнки-оперативы-ссд.
>>978489
Ниипи мозги, запускай через стим или нвидиа. У тебя два отличных стримера есть. По РДП лагает, я играл из-за ленности в геншин. Ну, для геншина-то норм.
>>978570
Вот в лламу.спп седня завезли.
>>978647
Вкатись в HunyuanVideo, 10/10.
Ты ничего внятного не сказал и не показал, щас бы бежать тестить что-то после каждого "ета модель раскрывает маего персанажа"
>Не не будут же только ради возможности снять трусы с невидимой девушки столько моделей генерировать.
Любую технологию в первую очередь проверяют на две вещи:
1) Можно ли через нее ебаться
2) Можно ли через нее наблюдать, как ебутся другие
На первые фотоаппараты снимали титьки викторианских дам, на первые видеокамеры записывали как трясутся титьки викторианских дам. Даже если свидетельства того не сохранились - это всё равно правда. Титьки и прочие пошлости прикалывали народ всегда.
>Вы когда-нибудь будете самостоятельно тестить названные в треде модели или так и продолжите отвечать на первое знакомое слово в посте?
Нахуя их тестировать? Чтобы понять, что узкоспециализированная модель заточенная под ролевуху лучше перформит в ролевухе, чем универсальная корпоративная модель, которая перекрывает вообще другой список задач? Ты реально только сейчас это понял? Или решил нам глаза открыть?
А мне пантеон не зашёл, слишком в трусы лезет, падлюка, да и контекст уплывает — кто во что был одет, а что потом изменилось — слишком сложно для него (как и для всех мелких моделек). Ну и сюжетная примитивность. Цыдониа больше понравилась в таком размере, там их до сраки вариантов, попробуй
>Вкатись в HunyuanVideo, 10/10.
Хуйнян какая-то. Попробовал почти невинный промпт - сходу обвинила в порнографии и послала на хуй. Ну и зачем она такая нужна?
> Я купил две штуки, кста. :з
Больной ублюдок, лол. Но рили для чего? Сборка в круг как 3090 или дороже выйдет, а толку меньше.
>>978536
> 100% нет.
>>978699
> По РДП лагает
Бля ну вы че, ебать, приблуды от хуанга, moonlight, пара более всратых альтернатив есть. Латенси только киберкотлетам будет мешать, а если тем более с гей_мпадом у телека то разницы нет. Уже весь вр где лаг критичен по воздуху идет, а вы в мезозое застряли.
>>978795
> убитая кривой тренировкой на основе нейрослопа, поедаемого второй(третий,...) раз или продвинутая большая мощная модель, которая также имеет избыток косяков и едва пригодна к использованию из-за сои
Починил
А пантеоношиз - переобувшийся микушиз, не стоит воспринимать этот кринж всерьез.
>Реально не страдать?
Даже стриминг через сеть на VR добавляет значительные миллисекунды, что приходится в тупую подгонять и растягивать старую картинку под повороты бошки, иначе будет слишком заметна задержка.
Провода всегда можно удлинить, лучше них ничего не будет.
Она локально ставится, правда жрет дохуя памяти, а в урезанной битности высирает жижу вместо нормальных кадров.
Короче, это вариант по генерации мыльной порнухи только для теслобояр или спайщиков на трех 3090, потому что там больше 60 гигов нужно выделять для нормального качества.
> Цыдониа
Пишет интересно местами, но не получилось полностью отучить её писать за юзера.
Вывод, в общем-то не в том, что 70б+ модели говно, а в том что необязательно гнаться за параметрами. Хотя бы выдохнул, не придется ебаться с райзерами и раскидыванием модели по картам на новой сборке.
>но не получилось полностью отучить её писать за юзера
Промпт кривой, т.к. у меня она не пишет за юзера
>Вывод, в общем-то не в том, что 70б+ модели говно, а в том что необязательно гнаться за параметрами.
Да как сказать, модели до 32В это неизбежный компромисс. Другое дело, что и 70В компромисс, только уже на уровень выше. И 123 проёбывается, ну нет счастья в жизни :)
>Бля ну вы че, ебать, приблуды от хуанга, moonlight, пара более всратых альтернатив есть.
Что за приблуды, поясни толком.
Дай угадаю, ты локальную модель пробовал в каком-то сервисе?
Кляти корпораты, опять говно в штаны подкинули. =)
Локально ваще похую.
Ну я совсем жесть не пробовал, не фанат этих ваших гур, но на ограничения не натыкался.
А сервисы, естественно, цензурят, там это несложно, классифицируешь промпт на наличие запрещенки и отказываешь в генерации.
>>978833
2к за штуку.
Я последний раз такие цены на материнки в 2013 видел (ладно, пизжу, в 2013 я по 800 их покупал в ситилинке уцененку=).
Хочу P104-100 напихать по рофлу.
А две — ну вдруг одна сломается!
Докупать теслы не планирую, собирать пак 3090 тоже. Просто решил поугарать с такой забавной материнкой.
>>978854
Да все там нормально. Только на аниме временами шумит.
На теслах я ее, кстати, не запускал. Думается мне — заебусь ждать, толку от 24 гигов… 4070ти+оператива, небось, быстрее будет.
Ну и там че-то комфи пропердел, что ему теслы не нравится, я, по ленивой традиции, хуй забил.
———
У тебя есть покебол, мужик?
Держи покебол, мужик.
Не черрипик, не лучшие кадры, просто нормас.
С промптом надо немного играться. Степов 25-30 ставлю. Разрешения тоже не все подходят, все же.
Parsec, несколько лет назад тестил, задержки минимальные, энкодит картинку на хардвейрном h264 насколько помню, чем больше битрейта дашь, тем лучше будет качество, даже с паскалями нормально будет работать
https://moonlight-stream.org/
https://github.com/moonlight-stream/moonlight-qt
Первые две строчки по запросу moonlight nvidia =)
Не суперсложно найти.
>Локально ваще похую.
Прикольно, особенно кадры с сиськаме :)
На ютубе есть гайд по установке на Комфи, но это ж надо сам Комфи устанавливать. Других вариантов я так понимаю нет?
Я думаю, можно на трансформерах поднять, но нах надо.
0. Если нет на компе, то ставишь https://git-scm.com/
1. Качаешь с гита https://github.com/comfyanonymous/ComfyUI/releases/комфи ComfyUI_windows_portable_nvidia.7z
2. Распаковываешь в папку.
3. Идешь в ComfyUI\custom_nodes в командной строке и вводишь
git clone https://github.com/ltdrdata/ComfyUI-Manager
git clone https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
4. Качаешь файлы, как указано по последней ссылке в подпапки ComfyUI\models
5. Запускаешь run_nvidia_gpu.bat
6. Слева вверху выбираешь открыть workflow и идешь в папку ComfyUI\custom_nodes\ComfyUI-HunyuanVideoWrapper\examples , там выбираешь hyvideo_lowvram_blockswap_test.json если мало видеопамяти или че хочешь, если много.
Сложный тока пункт четыре — все скачать корректным образом. Все остальное делается даже не думая.
Всего потребляется ~20 гигов, из них 9-12 на видеокарте и ~10 выгружено в оперативу.
Если у тебя 24 гига, то не проблема.
Все упирается в «контекст» — разрешение умноженное на количество кадров.
512320129
128072017
Где-то между помещается в 12 гигов видяхи (рабочий стол у меня работает на второй видеокарте, если че).
Вот так как-то.
На моей памяти это первая видео-модель, которая норм генерит и готова к употреблению. Медленно, не минутные ролики, зато качество весьма и весьма.
>>978988
Ах да, может там еще какие модули понадобятся, но их при загрузке воркфлоу можно будет поставить кнопкой Install Missing Custom Nodes, без проблем.
Бля, пробел во второй ссылке пропал. Ссылка без «комфи» на конце, конечно.
https://github.com/comfyanonymous/ComfyUI/releases/
Да бля, ебанное форматирование, которое не воспринимает звездочки.
Разрешения: 512х320@129 и 1280х720@17
Дай персонажа и системный промпт. Не понимаю как тебе такое удаётся. Заебало ещё в character.ai, сейчас даже llm+tts еот+sd еот не вставляет.
Ну, справедливости ради, там участвует llama-3-8 (в составе llava). =D
Так что, на треть и правда по теме!
Пиздося.
Скачал, установил.
Тут, что рили надо 4090, чтобы текстовые сообщения генерить?
У меня 1050 и комп тупо в аут ушел. Минут 5 думал.
Что ж так грустно все.
Тут нужна видеопамять, если ее нет то запускать на процессоре придется. Это долго, но с пивом потянет, какие нибудь 3 или 7b модели в 4 кванте будут отвечать со скоростю чтения даже так
Выгляни за пределы треда и оцени уровень общего развития. Здесь разворачивают лламу на флешке с линуксом и собирают риги из говна и палок, там — еле-еле разобрались как лоры скачивать.
Ну, 1050 грустно.
Если есть второй слот на материнке и 8-пиновое питание на бп — докупи P104-100 с авито. 8 гигов, аналог 1070. 2к рублей.
И если понравится, войдешь во вкус, то там уже можно и дальше апаться.
Обосраться. То есть нихуя не поменялось, те же нищие 16гб за оверпрайс.
У меня еще будет кое-какой апгрейд, жду, пока доедет штука с али и начнется рубрика эээксперименты. По результатам напишу.
Удар в псину внезапно сделал старый блок питания: я подключил его к новому через синхронизатор, потому что новый не потянет все мои хотелки (напоминаю, что у меня ждет своего часа 3060). Но оказалось, что на нем кабель с EPS 4+4 pin, а ебаные теслы принимают в себя только EPS 8 pin - у них прорезь для замочка узкая, видите ли! У меня жопа знатно сгорела, конечно. Я уже подумывал отпилить ножовкой этот замочек к хуям, но благоразумие взяло верх и теперь жду еще недельку, пока придет переходник.
Такой вопрос: это нормально, что амперы при работе максимум на P2 работают? В P0 никогда не переходят. Я гуглил, но чет не нашел простых гайдов, как их вынудить в P0 переходить.
Странные они ребята. Когда с повсеместным AI уже лучше пожертвовать производительностью, но впихнуть за тот же прайс по максимуму памяти. Как бы эпоха игр с ее приоритетами уже немножко не актуальна. Перед большинством скоро будут стоять задачи набрать видеокарточек с памятью на нормальную работу моделей 123b и чтобы при этом не выбивало автомат в щитке.
Meta выпускает семейство больших мультимодальных моделей Apollo. 7B является SOTA и может воспринимать видео продолжительностью 1 час. Вы можете запустить это локально.
>>979219
Они просто жадные пидарасы, не хотят создавать конкуренцию своей профессиональной линейке ускорителей. Даже 32 дали только самой жирной пользовательской модели, все остальные сосать
>какие нибудь 3 или 7b модели в 4 кванте будут отвечать со скоростю чтения даже так
Я скачал 20Гб 8 квантовую модель.
Я могу в настройках как нибудь понизить качество или надо именно заново другую качать?
Так они на тебе и не зарабатывают. Они зарабатывают на AI — которое по миллиону рублей и дороже стоит. Ты хочешь тоже самое за 45к рублей? А не жирно тебе будет?
Им выгоднее НЕ давать тебе память и они это и делают. Сиди с 16. Захочешь больше — сиди с 32 на 5090. Еще? Ну тут теслочки новые тебя ждут. За миллионы, ага.
Рыночек.
>>979223
> Meta
> Qwen2.5, если быть точнее
Ну, это не Qwen2.5-VL… но какая нам разница, если оно будет хорошим, верно?
>заново другую качать
Напиши че у тебя по железу, проц озу точнее подскажу какую качнуть
Но для пробы можешь вот эту https://huggingface.co/bartowski/Vikhr-Gemma-2B-instruct-GGUF/resolve/main/Vikhr-Gemma-2B-instruct-Q8_0.gguf?download=true
Пойдет на чем угодно
>>979242
>Ну, это не Qwen2.5-VL… но какая нам разница, если оно будет хорошим, верно?
Главное что лицензия норм и бумага есть, это уже больше похоже на опенсорс чем высер тех же LQ
Точно другую. =)
Начни с 7b модели (Qwen2.5 какой-нибудь) в 8 кванте. Примерно треть слоев на видеокарту, остальное в оперативу.
Если будет медленно — бери 3b модель в 8 кванте. Целиком в видеопамять, ну или чуть меньше.
Если будет приемлемо — бери Gemma 2 9b в 6 кванте, пробуй ее. (так же — треть слоев на видяху).
На крайняк можешь попробовать 7b модель в 6 кванте.
Скажи, у тебя DDR3? А инструкции AVX2 есть в процессоре?
>Напиши че у тебя по железу
i5 10400f ~3.2Гц
DDR4 32Гб
1050Ti 4Гб
Запускаю через кобальд и таверну.
О, ну тут норм, жить можно. =) Я уж боялся…
Менять видяху не планируешь?
avx2 есть жить будешь
С 32гб рам хоть и не быстрой можешь запускать все сетки до 35b в 4 кванте
Но если хочешь генерацию хотя бы со скоростью чтения, запускай не выше 10b в 4 кванте
На карту слои не кидай вобще, ставь 0. На нее только контекст будет скидывать кобальд. Если скидывается меньше половины слоев то будет медленнее чем чисто на рам крутить. Если хочеться только на карте и быстро - добро пожаловать в мир 1-2-3b сеток
>На 12к+ контексте 3.3
На чистых 4 теслах даже чуток быстрей. Это без ровсплита? Что по скорости обработки контекста? Кинь все ключи, с которыми запускаешь кобольд или лламуспп.
>Такой вопрос: это нормально, что амперы при работе максимум на P2 работают? В P0 никогда не переходят. Я гуглил, но чет не нашел простых гайдов, как их вынудить в P0 переходить.
Чисто по логике - а на... зачём им переходить, там параллелизм всё-таки - пока теслы отработают, 3090 даже напрячься не успеют. Когда чисто две 3090 используешь, переходят ведь?
Качай какой нибудь https://huggingface.co/bartowski/gemma-2-9b-it-abliterated-GGUF/resolve/main/gemma-2-9b-it-abliterated-Q5_K_L.gguf?download=true
Ставь в таверне везде gemma 2 в шаблоне контекста и общайся, запускай с контекстом 4 или 8к, больше все равно модель не потянет
Ну или… хехехе… Посоветовать ему ГИГАЧАТ??? ) МоЕ же, будет очень быстро.
Сыграю на опережение: хто, я?! Я не тестировал. хд
А оно есть в ггуф?
говно говна, но если он ярый патриот может и его качнуть, кек
Ну, скорость на DDR4 3200 неплохая весьма, кстати.
Но дальше тестировать лень, оставим человеку с 1050ti такие изыски.
wut. Запустил 123b на чистой оперативе, и она работает примерно с той же скоростью как и с использованием 3090... Нахрена мне тогда 3090?)))
Ну, 32b можешь в 4 ванте быстро крутить
Сколько скорости то?
У меня ровсплит не работает на чипсетных х1, писал в прошлых тредах. Тесты ищи там же.
>там параллелизм
ты имел в виду последовательность? Обработка же по слоям идет, насколько я знаю. Вот я хотел бы, чтобы амперы чуть быстрее свою работу делали, это должно сократить общее время. И теслы в красный надо перекрасить все же. Хотя там P2 от P0 отличается на 500 МГц по частотам памяти, вряд ли уж будет заметная разница.
Я сижу и читаю всю хуйню и кажетса я ахуел, тупо перестаю понимать што происходит
Я хочу поднять локально LLM. У меня есть ебучая 3090, 9900кс и 32 оперативы. Какую вариацию LLAMA мне выбрать, которую потянет мой кудахтер?
попробуй начать с жоры. Подцепись к нему из таверны по апи.
Это самый простой вариант на GGUF-ах.
Разьерешься с ним - сможешь другой более быстрый бэк просто присоединить и все.
Если помимо названной выше Cydonia, то вот этот тьюн в треде упоминали https://huggingface.co/ArliAI/Mistral-Small-22B-ArliAI-RPMax-v1.1
Сам только 8б версию пробовал - мне не понравилась. Но на 8б и пантеон тупейший.
>У меня ровсплит не работает на чипсетных х1, писал в прошлых тредах. Тесты ищи там же.
Ну сейчас-то у тебя обнова. Без ровсплита каждая карта свой кусок контекста по отдельности обрабатывает (мей би), какое-то ускорение может же быть в этой части. У меня правда не было.
уиии нтела уже есть прям щас а770 с 16 гигами по цене половину от 4060(ти) 16гиговой
софт есть https://github.com/intel-analytics/ipex-llm
хз ток как ето раб отает луче или хуже амуды
а ты бля чё дохуя ML-инжирнер, который тока whitePaper читает из гарварда или щто, какая нахуй разница где гайд расположен на мемдиуме, редите или дтфи если он покрывает 99% вопросов новичков, сам ж потом буит ныть что заебали ети вкатышки сраные с однотипными вопросами
Скачал пока самый чмошный gemma-2b-it.Q4_0: 1.3 Гб
И чуть побольше Vikhr-Gemma-2B-instruct-Q8_0: 2.7 Гб
Запускаю на дефолтных настройках CuBlas
Размер почти одинаковый. Текст генерит со скорость чтения, но вторая определенно медленнее.
А вот по качеству первая совсем швах, какие-то "жиль" и "онадуться", чито это? Нейронка может свои слова придумывать?
Вторая вроде поадекватней.
Есть какие-то гайды?
А то я что-то стесняюсь нейросетки.
Минимально адекватный русский начинается с 12b, прости. Адекватный на 70+ и то далеко не везде.
где ты нашел минимальный адекватный русский на 12б?
минимальный адекватный русский - это гемма 27б
>>979397
Жизнь одна, а ты нейросетки стесняешься.
я вот дрочу на то как меня в костюме мейды дворовые собаки, бомжи и инвалиды ебут и не стесняюсь это написать на мылопараше, которая наверняка знает, под каким айпи я хожу сюда и какой айпи у меня светится в моем реальном профиле вк
Sainemo-remix
Если что, я вообще сижу на 70-123 английских, но не могу не отметить эту поделку.
Качай aida64 и делай там скорость чтения оперативной памяти, тебе нужны гб в секунду
Потом дели это на размер в гб той модели которую хочешь скачать, и получишь максимально возможную скорость в токенах в секунду на твоей оперативке.
Если чисто на видеокарте то считается так же, только скорость врам берется. Ну а если скидываешь часть туда часть туда то уже нужно на опыте прикидывать.
В реальности скорость меньше так как часть времени съедает процессор на обработку токена
Если у тебя не сходится скорости +- 30 процентов, значит что то не так запускаешь
>Без ровсплита каждая карта свой кусок контекста по отдельности обрабатывает
Ничо не понял. Обработка контекста без ровсплита абсолютно последовательна. Прямо в nvidia-smi можно видеть, как 100% загруженности прыгают по очереди от карте к карте.
>Ну сейчас-то у тебя обнова.
Так две теслы продолжают сидеть на х1 вместе с одной 3090, с чего бы чему-то меняться. Вот блять специально запустил и 512 батч обрабатывался 40 секунд, уу сука. Не пишите мне нахуй про ровсплит, пожалуйста. Или высылайте материнку с процем и нужными линиями, тогда так уж и быть, потещу.
Если это не жирнота и ты реально не в курсе, то... Блять, а че вообще в этом надо понимать? Я в пиздючестве виртом занимался с какими-то рандомами на впараше и как-то стеснения не было. Хотя, может это и привело меня в итоге к тому, что сейчас я сижу с вами на одной борде, а на таверне практикую какие-то рыготные извращения вперемешку с военными преступлениями.
В целом, путь у всех был один, насколько я понимаю. Сначала ты пробуешь ваниль, ладошкодержание и поцелуйчики, а потом скатываешь к тому, что превращаешься в хюмантойлет для своей степсистер и далее по списку.
Короче, начинай с безобидной романтики, а там вседозволенность тебе сама курс проложит.
> А то я что-то стесняюсь нейросетки.
Отыгрывай стесняшу. Проблемы.
Будь я таким же альфачом как ты, я бы тоже не стеснялся.
Как подойти к собаке и предложить её секс?
Можешь хоть завязку истрии кинуть.
Чем я заслужил.
Олсо видел микс с бегемотом 2.2, кто-нибудь пробовал? Говорят просто, что сам 2.2 не оч.
всё в порядке. Там описывается исключительно гетеро-секс.
Альсо, с подключением.
>>979433
Да нет никакой особенной завязки истории. Их каждый раз и заебешься придумывать. Просто вплетай в свою повседневную жизнь такие события, которые могли бы привести к тому, что ты хочешь.
Я например люблю делать что-то такое "я сосредоточился и щелкнул пальцами - сразу же рядом появился магический розовый ошейнк. Кто бы его ни надел - он заставляет окружающих существ хотеть оплодотворить того, кто носит ошейник."
Ну развивай фантазию, че ты)
А сын-то приёмный!
>>978889
ХЗ, как по мне уже давно обогнали. Но это зависит от жёстоксти РП, на мои промты чепырка кроме сорри давно уже ничего не пишет.
>>979132
>там — еле-еле разобрались как лоры скачивать
Это ты ещё в главном кончай треде не был.
>>979158
Делали бы их однослотовыми без доппитания, цены бы им не было. А так проще ещё одну 3090 впилить.
>>979205
Ебать солянка. Не думал, что стоит выбросить P40 из сетапа? На 3090+3090+3060 вполне себе можно сидеть на третьем кванте с 24к контексту.
Иди нахуй со своим гайдом из 2023-го и пигмой в рекомендуемых моделях.
>>979451 (OP)
ПЕРЕКАТ
>>979451 (OP)
Вот заведёшь себе тянку, которая всю жизнь говорила по-английски (99.5% датасета), а русский полгодика поучила (0.5% датасета), услышишь от неё примерно то же самое.
Как же хочется к москвабаяринам с их 10ГБ/с интернету. Надоело качать в час по чайной ложке по 850 мегабитной тыкве.
нихуя. Ты не понимаешь, как работают ллм.
Переход с английского на русский - это просто сдвиг вектора.
Достаточно иметь один основной язык, на котором будет вся логика, а русского будет достаточно в той мере, чтобы были корректно составлены эти вектора сдвига с английского слова на русское.
И этих 0.5% с головой хватит, если они дают четкую связь между разноязычными словами и выражениями.
довольно быстрая, на некрозеоне Q8 выдает ~8т/с, понятно соевая, русский на первый взгляд неплох
"Новые" версии старых тюнов практически всегда хуже. Потому что первые получаются наугад, а потом их начинают пытаться целенаправленно дообучить. Помню после stheno 3.2 сделали абсолютно невменяемую 3.3 потому что автор "придумал" как добавить контекста, а потом и 3.4, которая оказалась тупее 2б моделей. Из всех франкентюнов на моей памяти только четвертый магнум оказался удачным, да и то по меркам магнума.
Соснут у инцела жестко, если те выкатят версию b580 на 24гб. Оверпрайс говно от куртки просто никто не будет брать.
>b580
Такая же как с амудэ будет история
Вроде дешевле но кроме как игрушек нормально её не применишь без пердоликов типа rocm
Хотя может интелы свои аналоги технологий выкатят но я на это не надеюсь