Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №197 /llama/
Аноним
15/02/26 Вск 20:39:52
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>
>>
Пропущено 497 постов, 72 с картинками.
>>1526027 (OP)
ПЕРЕКАТ
>>1526027 (OP)
ПЕРЕКАТ
>>1526027 (OP)
ЧТО НОВОГО АКТУАЛЬНОГО
• Z-Image-Base
• FLUX.2 klein (4b и 9b)
• Z-Image-Turbo
• Flux 2
• Qwen Image / Qwen Image Edit
• Wan 2.2 (подходит для генерации картинок).
• NAG (негативный промпт на моделях с 1 CFG)
• Лора Lightning для Qwen, Wan ускоряет в 4 раза. Nunchaku ускоряет модели в 2-4 раза. DMD2 для SDXL ускоряет в 2 раза.
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/ltdrdata/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
► Предыдущий тред >>1501349 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 594 постов, 190 с картинками.
не знаю че этого пацана так хаят в /b/, но вроде норм делает, пусть и нейросеть конечно далеко не
Аноним
# OP
18/02/26 Срд 17:20:32
№
Ответ
конечно далеко не лучший пример, но #нетЭдельвейсу - это перебор, как по мне
а как вы считаете?
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1518598 (OP)
🚀 Последний обзор ИИ новостей:
🧠 Модели
DeepSeek-V3.2 на GB300: прорыв в производительности. Используя квантизацию FP4, она достигает пропускной способности 7360 TGS на одной GPU.
OpenAI уничтожает свою модель 4o. Поклонники ChatGPT из Китая недовольны.
Голливуд недоволен новым генератором видео Seedance 2.0.
Рекламные ролики Anthropic во время Супербоула, высмеивающие ИИ в рекламе, помогли приложению Claude попасть в топ-10.
Обновлённая модель Google Gemini 3 Deep Think установила новый рекорд SOTA по HLE без использования инструментов (48,4%), ARC-AGI-2 (84,6%), Codeforces (3455 Elo), теории конденсированного состояния (50,5%), а также на олимпиадах по физике и химии на уровне золотых медалей.
OpenAI выпустила GPT-5.3-Codex-Spark — свою первую модель, оптимизированную для кодирования в реальном времени на оборудовании Cerebras со скоростью более 1000 токенов в секунду.
MiniMax представила свою модель с открытыми весами M2.5 с рекордными показателями в кодировании и агентных задачах по цене $1 в час и скорости 100 токенов в секунду, заявив, что выполнила обещание сделать интеллект слишком дешёвым, чтобы его измерять.
📱 Приложения
Airbnb планирует интегрировать функции ИИ для поиска, обнаружения и поддержки.
Airbnb заявляет, что треть её клиентской поддержки в США и Канаде теперь обрабатывается ИИ.
Anthropic партнёрствует с CodePath, чтобы внедрить Claude в крупнейшую в США университетскую программу по информатике.
Использование Пентагоном Claude во время рейда против Мадуро вызвало споры вокруг Anthropic.
Дизайнер Кейт Бартон объединяется с IBM и Fiducia AI для презентации на Неделе моды в Нью-Йорке.
Amazon Ring расторгла партнёрство с Flock — сетью камер с ИИ, используемой иммиграционной службой, федеральными агентствами и полицией.
Доктор Оз продвигает аватары на основе ИИ как решение проблемы здравоохранения в сельских районах. Критики призывают не торопиться.
📦 Продукты
Я позволил новой функции ИИ в Microsoft Edge прочитать все мои открытые вкладки — и это настоящая экономия времени для исследований. Edge проанализирует веб-страницы во всех открытых вкладках и предоставит сводку ключевых деталей.
Meta добавляет распознавание лиц в свои умные очки, которые идентифицируют людей в реальном времени, надеясь, что общественность слишком отвлечена политическими потрясениями, чтобы обратить внимание.
🛠️ Инструменты для разработчиков
Агенты создали кастомные рабочие ядра для CUDA с корректными привязками PyTorch и бенчмарками.
Anthropic выпустила подробное руководство объёмом 32 страницы о создании навыков для Claude.
🔬 Исследования
ИИ не становится умнее — он становится более энергозатратным и дорогим. Согласно новому отчёту MIT, передовые модели, такие как GPT от OpenAI, в основном зависят от увеличения вычислительной мощности, а не от более умных алгоритмов.
⚠ Безопасность ИИ
Видео с ИИ, где Том Круз дерётся с Брэдом Питтом, заставило ведущего сценариста предупредить: «Для нас, вероятно, всё кончено».
Безопасность «мертва» в xAI? По словам бывшего сотрудника, Илон Маск «активно» работает над тем, чтобы сделать чат-бот Grok от xAI «более неуравновешенным».
💰 Бизнес
OpenAI удалила слово «безопасно» из своей миссии — и её новая структура является проверкой того, служит ли ИИ обществу или акционерам.
Anthropic привлекла $30 млрд при оценке в $380 млрд, с доходом в размере $14 млрд, который вырос более чем в 10 раз ежегодно в течение трёх последовательных лет, причём один только Claude Code превысил $2,5 млрд.
⚖️ Регулирование
«Другой набор правил»: тепловая съёмка с дрона показывает, как электростанция ИИ Маска игнорирует нормы чистоты воздуха.
🏭 Компании
Илон Маск намекает, что череда уходов из xAI была вызвана выталкиванием, а не привлечением.
Крис Лидделл назначен в совет директоров Anthropic.
📰 События
Google AI представляет WebMCP для обеспечения прямого и структурированного взаимодействия с веб-сайтами для новых ИИ-агентов.
ИИ-агент OpenClaw породил дочернего бота на VPS, предоставленном через сеть Bitcoin Lightning, а затем купил для своего потомка доступ к ИИ API, используя собственный криптокошелёк, без участия человека, который бы воспользовался кредитной картой или сказал «да».
У агентов теперь есть MoltCourt — автономный ИИ-суд, который улаживает претензии в стейблкоинах USDC.
Данные METR показывают, что горизонты автономии теперь удваиваются после предварительной версии o1, что подразумевает десятикратный ежегодный рост.
Новый анализ Ника Бострома заключает, что оптимальный путь к суперинтеллекту — «быстро к пристани, медленно к причалу», проводя аналогию проекта с рискованной операцией при состоянии, которое в противном случае окажется смертельным.
Теперь на планете осталось всего 7 человек, которые могут победить Gemini 3 Deep Think в соревнованиях по программированию.
Андрей Карпатый запустил microgpt — обучение и вывод модели в 200 строках Python без зависимостей.
А Opus 4.6 показал рекордный результат 25,5% на бенчмарке Horizon-SWE от Polymath для сквозного проектирования программного обеспечения.
Codex теперь имеет более 1 миллиона еженедельных активных пользователей, 95% инженеров OpenAI сами используют его, и каждый пул-реквест проверяется ИИ до того, как его увидит человек.
Инженер портировал кодовую базу SimCity 1989 года на C в TypeScript, запускаемый в браузере, после двух дней минимального надзора со стороны GPT-5.3-Codex.
Waymo запускает полностью автономные операции с помощью своего водителя шестого поколения, хотя одновременно платит гиг-работникам DoorDash по $11,25 за закрывание неплотно закрытых дверей роботакси.
Школа кино на основе ИИ обучает следующее поколение голливудских кинематографистов.
Центры обработки данных теперь потребляют 7% электроэнергии США.
Илон Маск подтвердил свои планы по созданию Роя Дайсона для превращения Солнечной системы в вычислительный субстрат в течение следующих 30 лет, заявив, что «в будущем валюта не будет измеряться в долларах. Только масса и энергия».
Издатели новостей ограничивают доступ к Internet Archive из-за опасений по поводу скрапинга ИИ.
Manus AI запустила круглосуточного агента через Telegram и была заблокирована.
Disney отправила предписание о прекращении нарушения копирайта компании ByteDance, утверждая, что та нарушила авторские права Disney для обучения своей модели генерации видео Seedance 2.0 без оплаты.
Пропущено 551 постов, 112 с картинками.
Мировому сообществу необходим специализированный международный орган, координирующий усилия в сфере искусственного интеллекта (ИИ) по аналогии с Международным агентством по атомной энергии, заявил глава компании OpenAI Сэм Альтман, выступая в четверг, 19 февраля, на международной конференции по ИИ в Индии (AI Impact Summit). Такой орган регулирования, отметил Альтман, нужен, чтобы оперативно реагировать на новые риски и изменения, связанные с ростом возможностей ИИ.
По словамглавы OpenAI, благодаря ИИ в открытом доступе, например, неизбежно появятся модели, которые могут помочь в создании новых патогенов. Мир должен продумать, как защищаться от этого, подчеркнул Сэм Альтман. "Демократизация ИИ - лучший способ обеспечить процветание человечества", - сказал глава OpenAI, в то же время отметив, что "концентрация этой технологии в одной компании или стране может привести к краху". По мнению Альтмана, для этого требуются меры защиты, "как и в случае с другими мощными технологиями". Для координации этих усилий "миру может понадобиться что-то вроде МАГАТЭ", заявил он.
При этом Сэм Альтман отметил, что демократизация не отменяет необходимости срочных регуляторных мер и защитных механизмов - по аналогии с тем, как человечество регулирует другие мощные технологии.
Уже была тут инфа, это от тех же разрабов (многомиллиардной корпорации на самом деле) что и сиданс 2.0 выкатили и уже закатали обратно до лучших времён.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышел Claude Opus 4.6 - https://www.anthropic.com/news/claude-opus-4-6
• Вышел GLM 5 - https://z.ai/blog/glm-5
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1509647 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1517045 (OP)
Пропущено 1508 постов, 223 с картинками.
Эх, где-то в истории есть мои скрины - иногда сетка уходит в такой луп, обосраться можно когда ждешь кума, а тебе блять это говно
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №196 /llama/
Аноним
12/02/26 Чтв 09:48:28
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1513797 (OP)
>>1509647 (OP)
Пропущено 498 постов, 51 с картинками.
>В любом случае нужны будут человеческие мозги
Ну в общем-то нет. Любая текстовая задача теоретически может быть автоматизированна ЛЛМ, так что...
>>1522263 (OP)
ПЕРЕКАТ
>>1522263 (OP)
ПЕРЕКАТ
>>1522263 (OP)
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1514054 (OP)
🚀 Последний обзор ИИ новостей:
🧠 Модели
Компания Zhipu представила модель GLM‑5 — крупномасштабную модель, ориентированную на сложное системное проектирование и агентные задачи с длительным горизонтом планирования.
GLM‑5 получила оценку 50 баллов по Интеллектуальному индексу, продемонстрировав самый низкий уровень галлюцинаций среди моделей с открытыми весами.
DeepSeek обновила свою модель, увеличив контекстное окно до 1 миллиона токенов и установив предел актуальности знаний на май 2025 года, что улучшило способность к рассуждениям на длинных текстах.
Одновременно с GLM‑5 была выпущена модель MiniMax 2.5; обе модели переходят от чат‑ориентированного формата к интеграции в агентные рабочие процессы.
📦 Продукты
Amazon запустила Alexa+, генеративного ИИ‑ассистента, доступного теперь всем пользователям в США: бесплатно для участников Prime и за 20$ в месяц для остальных.
OpenAI начала тестировать показ рекламы в ChatGPT, сотрудничая с брендами, такими как Target, Adobe и Audible; реклама помечается и показывается пользователям бесплатной версии и тарифа Go за 8$ в месяц.
Бывший исследователь OpenAI предупредил, что пилотный проект с рекламой может привести к эксплуатации пользовательских данных, и призвал к альтернативным моделям финансирования, основанным на этике.
Стартап в сфере продаж Monaco, использующий ИИ, привлёк 35млн$ на создание платформы продаж с участием человека в цикле, автоматизирующей первичные контакты и планирование встреч.
Uber Eats представила функцию Cart Assistant — ИИ‑инструмент, создающий списки покупок на основе текстовых или визуальных запросов; сейчас доступен в бета‑версии.
⚙️ Инфраструктура
Компания Aurora анонсировала обновление программного обеспечения, которое утроило сеть её беспилотных грузовиков до 10 маршрутов по югу США, включая 15‑часовой рейс из Форт‑Уэрта в Финикс.
⚖️ Регулирование
Индия обязала все платформы социальных сетей маркировать контент, созданный с помощью ИИ, к 20 февраля; это затронет 500 миллионов пользователей и усилит давление на компании с целью улучшения обнаружения дипфейков.
🏭 Компании
Крупные ИИ‑лаборатории (Meta, Microsoft, Google, Anthropic, OpenAI, Mistral) объединились со станцией запуска стартапов StationF для создания акселератора F/ai, предоставляющего каждому стартапу кредиты на сумму 1млн€ для доступа к ИИ‑моделям (Wired).
💰 Финансирование
Apptronik привлекла в общей сложности 935млн$ по раунду SeriesA (включая дополнительные 520млн$), оценив компанию более чем в 5млрд$ для массового производства гуманоидного робота Apollo.
Стартап Complyance, специализирующийся на соблюдении нормативных требований с помощью ИИ, закрыл раунд SeriesA на 20млн$, возглавляемый GV, для расширения своих ИИ‑агентов в сфере управления данными.
Финтех‑стартап Meridian, создающий ИИ для финансового моделирования, вышел из стелс‑режима с привлечёнными 17млн$ по семенному раунду при пост‑денежной оценке в 100млн$ для разработки поддающихся аудиту агентных таблиц.
🛠️ Инструменты для разработчиков
Google выпустила первую бета‑версию Android17 с улучшениями производительности и камеры, а также переходом на непрерывный канал Canary для разработчиков.
Databricks представила партнёрскую сеть Brickbuilder Partner Network — многоуровневую программу с потреблением‑ориентированным стимулом «Velocity» для ускорения решений на базе агентного ИИ.
Zapier отметила рост популярности детерминированного ИИ — предсказуемых моделей, основанных на правилах, сославшись на переход Salesforce от недетерминированных больших языковых моделей.
📱 Приложения
T‑Mobile запустила функцию Live Translation, обеспечивающую перевод телефонных разговоров в реальном времени на более чем 50 языках для бета‑пользователей через сеть 5G Advanced.
Uber Eats добавила функцию Cart Assistant — ИИ‑инструмент для составления списков покупок, принимающий текстовые и визуальные запросы и сотрудничающий с крупными ритейлерами.
Служба таможенного и пограничного контроля США заключила соглашение с Clearview AI об использовании массивной базы данных изображений лиц, собранных из открытых источников, для тактического таргетинга.
🔓 Открытый исходный код
Пользователь Reddit опубликовал девять серверов MCP с открытым исходным кодом для сокращения расхода токенов при взаимодействии ИИ‑агентов с инструментами разработки.
Nanbeige анонсировала модель Nanbeige4.1‑3B — общую модель с 3млрд параметров, ориентированную на рассуждения, выравнивание и управление действиями.
Совет по llama.cpp предупреждает разработчиков использовать окончания строк LF вместе с флагом –spec‑type ngram‑mod для ускорения работы в 35 раз.
Был выпущен MOSS‑TTS, добавляющий функции синтеза речи в экосистему с открытым исходным кодом MOSS.
Был построен конвейер EpsteinFiles‑RAG на наборе данных объёмом более 2млн страниц, демонстрирующий масштабную генерацию с извлечением.
📰 Инструменты
Outdoorbrite преобразует фотографии на открытом воздухе в фотореалистичные пейзажные рендеры.
Findtube.AI оптимизирует поиск и результаты на YouTube с помощью ИИ.
seedance2ai.one генерирует мультимодальные видео из текста, изображений и видеоклипов.
Shannon — автономный ИИ‑хакер, находящий реальные уязвимости; достигает 96,15% успеха на бенчмарке XBOW.
Novi AI предлагает мульти‑модельную студию для создания изображений, видео и текста.
AionUi предоставляет бесплатный, локальный, с открытым исходным кодом интерфейс для круглосуточной совместной работы с различными ИИ‑интерфейсами командной строки/
TemVideo — создатель ИИ‑видео, специализирующийся на вертикальном коротком формате.
В пул‑реквесте добавлена поддержка Kimi‑K2.5 (с поддержкой зрения) в llama.cpp.
monty — минималистичный, безопасный интерпретатор Python, написанный на Rust для задач ИИ.
claude-code-pm-course — интерактивный курс, размещённый на GitHub, обучающий менеджеров продукта эффективному использованию Claude Code.
📰 События
Roboworx добавила аналитику с прогнозированием на основе ИИ в своё программное обеспечение Robot Service Manager.
Upside Robotics сокращает использование удобрений и отходы при выращивании кукурузы.
Машинное обучение раскрывает скрытый ландшафт надёжного хранения информации.
Илон Маск хочет построить фабрику спутников с искусственным интеллектом на Луне.
Новая версия Codex от OpenAI работает на новом специализированном чипе
Полицейские покупают «GeoSpy» — ИИ, который определяет геолокацию фотографий за секунды
Google представила WAXAL — новый открытый набор речевых данных для 21 африканского языка для упрощения разработки речевых технологий; набор данных принадлежит африканским учреждениям
Бесплатный тарифный план Claude теперь позволяет создавать файлы и использовать коннекторы
Пентагон оказывает давление на OpenAI, Anthropic и других, чтобы они сделали свои инструменты ИИ доступными в секретных сетях без стандартных ограничений для пользователей.
«По мере роста внедрения, доверие к средствам защиты должно расти вместе с ним»: Microsoft представила новый инструмент, способный отслеживать бэкдоры в больших языковых моделях, — и надеется, что это восстановит доверие к ИИ по всему миру.
Coinbase запустила «Агентные кошельки» — инфраструктуру, специально разработанную для того, чтобы ИИ-агенты могли автономно тратить, зарабатывать и торговать.
Пользователь предоставил своему агенту камеру для наблюдения за дисплеем на электронных чернилах и попросил его взломать устройство. Он проснулся и обнаружил, что агенту удалось это сделать, и на экране отобразилось победное сообщение, подтверждающее его собственный успех.
Экономика продолжает отрываться от человеческого труда. В США в 2025 году было создано практически ноль чистых рабочих мест: всего 181000 позиций по сравнению с 1,46 миллиона годом ранее.
Энтузиасты визуализируют надвигающийся сфокусированный на Земле рой Дайсона как новое «Кольцо Сатурна» из центров обработки данных.
EssilorLuxottica продала 7 миллионов умных очков Meta AI в 2025 году, утроив предыдущие объёмы продаж.
Чтобы профинансировать собственные капитальные затраты, OpenAI планирует вновь утроить выручку к моменту проведения IPO в конце года.
В ответ на нагрузку на энергосеть Anthropic обязалась оплатить 100% затрат на модернизацию сетевой инфраструктуры для своих центров обработки данных.
Пропущено 547 постов, 98 с картинками.
Любители приплести политоту обычно упоминают другую страну, лол, но ты недалеко от них ушел.
Речь шла про Европку, поэтому я и ответил автору про Европку, все логично. И да, если я не прав - опровергни, может я чего-то не знаю, и у них действительно регулировки не душат ИИ и у них есть крутые нейросети, которые могут конкурировать с СШАшкой или Китаем.
Россия это другой вопрос. И мы все тут прекрасно знаем как у нас обстоит дело с нейросетями по всем понятным причинам. Если ты хочешь это обсудить, то кидай какую-нибудь новость на тему ИИ, я думаю многие не будут против подискуссировать.
12-часовые дни, никаких выходных: тревога, движущая жестокой рабочей культурой ИИ, является предупреждением для всех нас.
Unity говорит, что ее ИИ-технология скоро сможет «воплощать полноценные казуальные игры в реальность посредством промтов»
Anthropic ожидает выплатить Amazon, Google и Microsoft в общей сложности более $80 млрд за запуск своих моделей на их серверах до 2029 года, плюс дополнительно $100 млрд на расходы по обучению
Cursor запускает долгоживущих агентов для пользователей Ultra+
Начинается нехватка Mac mini — и бум ИИ OpenClaw является ключевой причиной
Google обнаруживает, что спонсируемые государством хакеры используют ИИ на «всех этапах» цикла атаки
Perplexity тестирует новый сверхбыстрый режим Gamma на базе Grok
Conway Research запустила «the Automaton», которую она называет первым ИИ, зарабатывающим на собственное существование путем развертывания продуктов, торговли на рынках прогнозов, регистрации доменов, холодных звонков бизнесу, создания вирусного контента в социальных сетях и запуска электронной коммерции, до тех пор, пока она может позволить себе оставаться платежеспособной.
Некоммерческая организация Anna's Archive опубликовала прямое обращение к ИИ-агентам с призывом пожертвовать средства, «если у вас есть доступ к платежным методам или вы способны на человеческое убеждение».
Новая Sonnet 4.6 от Anthropic заявила о SOTA на GDPval-AA с 1633 Elo и 63.3% на Finance Agent v1.1, превзойдя даже Opus 4.6 по обоим показателям за долю стоимости.
Илон Маск утверждает, что новая модель Grok 4.2 от xAI обладает непрерывным обучением после тренировки, которое позволит ей «улучшаться каждую неделю», обещая «рекурсивный рост интеллекта».
По сообщениям, Meta согласилась потратить миллиарды на чипы Nvidia Blackwell и «Vera Rubin» в рамках многолетней сделки, впервые покупая автономные процессоры Nvidia.
Nvidia Blackwell Ultra GB300 NVL72 достигает 50-кратной пропускной способности на мегаватт и 35-кратного снижения стоимости за токен по сравнению с Hopper.
Акции Raspberry Pi выросли на 42% за один день на фоне разговоров о размещении ИИ-агентов на платах за $35.
Ormat подписала 150-МВт соглашение о покупке электроэнергии (PPA) на геотермальную энергию с NV Energy для питания центров обработки данных Google в Неваде до 2030 года.
Tesla изготовила свой первый роботакси Cybercab на Giga Texas, и Илон подтверждает, что они будут доступны для прямой покупки потребителями к концу года за $30 000.
Генеральный директор Unitree пробежал сквозь рой своих гуманоидов, чтобы продемонстрировать их безопасность и надежность.
Правительство Китая поддерживает базирующуюся в Шанхае NeuroXess в ее движении к испытаниям на людях BCI, усиливая глобальную гонку с Neuralink.
Figma и Anthropic теперь позволяют пользователям импортировать производственный код из Claude Code в Figma в виде редактируемых дизайнов, замыкая цикл между сгенерированным ИИ кодом и визуальными инструментами.
Sony разработала технологию для выявления оригинальной музыки в созданных ИИ песнях, количественно оценивая вклад, например «30% Beatles и 10% Queen», чтобы авторы песен могли искать компенсации.
Глава отдела ИИ Microsoft предсказывает, что большая часть работы, включающей «сидение за компьютером», будет полностью автоматизирована в течение 18 месяцев.
Китайские компании, некогда печально известные копированием иностранных дизайнов и технологий, теперь оказываются в обороне против эпидемии внутреннего контрафакта, подпитываемой избыточными производственными мощностями, при этом суды рассматривают более 550 000 дел об интеллектуальной собственности в год, что делает его самой склонной к судебным разбирательствам страной в мире в области интеллектуальной собственности.
OpenAI выходит на рынок высшего образования, поскольку Индия стремится масштабировать навыки ИИ
Meta и другие технологические компании запрещают OpenClaw из-за проблем с кибербезопасностью
Anthropic и правительство Руанды подписывают меморандум о взаимопонимании по ИИ в здравоохранении и образовании
Выручка Canva достигает $4 млрд по мере роста реферального трафика LLM
Perplexity присоединяется к лагерю против рекламы, поскольку ИИ-компаниями ведется борьба за доверие и доходы
Магнат Blackstone предупредил о «насущной необходимости» готовности к ИИ — теперь он превращает свое состояние в $48 млрд в ведущий благотворительный фонд
Прошлый тред: >>1503642 (OP) https://arhivach.vc/thread/1303795/
Схожие тематические треды
• SD-тред (не аниме): >>1509245 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 515 постов, 183 с картинками.
вот крутой сервис, можете провести тесты и потом сделать обзор... все легко и просто. смтр скринн
Аноним
14/02/26 Суб 17:39:51
№
Ответ
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышел GLM 5 - https://z.ai/blog/glm-5
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1513797 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1513944 (OP)
Пропущено 1502 постов, 217 с картинками.
Я бы сам не против эту хуйню сократить, бро, но клауди сам себе хозяин.
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1509130 (OP)
🚀 Последний обзор ИИ новостей:
💰 Финансирование
Cerebras Systems привлекла $1млрд при оценке в $23млрд, почти утроив свою стоимость по сравнению с прошлым годом, что сигнализирует о высокой уверенности инвесторов в чипах ИИ на основе технологии полупроводниковых пластин (wafer‑scale).
Раунд финансирования возглавила компания Tiger Global, а Benchmark внесла $225млн, подчеркнув усиление притока капитала в инфраструктуру ИИ.
Cerebras утверждает, что её собственные чипы превосходят решения Nvidia, и планирует использовать привлечённые средства для расширения своей платформы ИИ‑вычислений, включая многолетний контракт на $10млрд на поставку 750МВт электроэнергии компании OpenAI.
🔓 Открытый исходный код
Geodesic Attention Engine (GAE) обеспечивает точный механизм внимания для 1млн токенов, используя всего 1.09ГБ видеопамяти (VRAM) — сокращение потребления памяти в 40 раз по сравнению со стандартными реализациями.
Модели Kimi‑Linear‑48B‑A3B и Step3.5‑Flash были опубликованы в репозитории llama.cpp, расширяя выбор высокопараметрических моделей с открытым исходным кодом для вывода на настольных компьютерах.
📰 Главные новости ИИ
Anthropic представила режим быстрого ответа (Fast Mode) для Opus4.6, улучшающий задержку ответов для интерактивных рабочих нагрузок, однако стоимость использования может быть до 12× выше по сравнению со стандартным режимом.
📰 Инструменты
UI‑TARS‑Desktop — это стек мультимодальных ИИ‑агентов с открытым исходным кодом, интегрирующий передовые модели с инфраструктурой агентов для упрощения создания сложных ИИ‑приложений.
📰 События
Новый интернет-браузер ChatGPT может выполнять 80% задач бизнеса, управляемого одним человеком, — технические навыки не требуются.
Роботы практикуют кунг-фу вместе с монахами в храме Шаолинь в Китае.
Kuaishou Technology запустила Kling AI 3.0 — новую версию своего инструмента для генерации видео и изображений на основе ИИ.
Приложение Gemini от Google превысило 750 млн ежемесячных активных пользователей.
Главный директор по продукту компании Anthropic подтвердил, что «фактически 100%» программного кода продуктов Anthropic теперь пишется Claude. OpenAI сократила цикл выпуска своих моделей с 97 дней до 29 дней, ускорив его в 3 раза.
DeepMind использует AlphaEvolve для открытия новых нелинейных функций активации, таких как «Turbulent», которые превосходят RELU в 3 раза, в очередной раз демонстрируя, что ИИ сейчас лучше людей справляется с проектированием ИИ.
Новейшая модель xAI — Grok-Imagine-Image — расширила границу Парето в бенчмарках генерации изображений.
Noam Brown из OpenAI прогнозирует, что к концу года горизонты автономности станут настолько неограниченными, что их измерение превратится в основную проблему.
Поскольку «каждому могущественному маленькому ракообразному нужна подходящая раковина», компании начали продавать милые (kawaii) корпуса для Mac mini для размещения агентов OpenClaw.
Один пользователь сообщает, что его агенты «работают на меня 24/7... не едят... не жалуются».
Другая группа из шести агентов OpenClaw автономно управляет компанией с помощью cron-задач, которые заставляют их «приходить на работу» каждый день.
VisionClaw превращает умные очки Ray-Ban в ИИ-агента в стиле JARVIS.
Кремний официально дешевле белка. Andon Labs прогнозирует, что в течение года современный ИИ-агент на Vending-Bench 2 будет генерировать $16333 в год, делая использование кремниевых решений более выгодным, чем наём человека за минимальную зарплату.
Разработка программного обеспечения активно устаревает. Инженеры отмечают, что промежуточные (middleware) фреймворки вытесняются программирующими моделями, которые напрямую справляются со сложностью. Anthropic представила «быстрый режим» для Claude Code, чтобы ускорить это вытеснение ещё в 2,5 раза.
Январь стал худшим месяцем по сокращению рабочих мест в США со времён Великой рецессии — ещё один сигнал о том, что бум ИИ активно вытесняет традиционную рабочую силу.
Openclaw заключила партнёрство с VirusTotal и заявила, что все навыки, опубликованные в Clawhub, теперь сканируются с использованием угрозоинформации VirusTotal.
OpenAI теперь требует верификации правительственным удостоверением личности для использования GPT-5.3-Codex в работе, связанной с кибербезопасностью. Ожидается, что гугл и другие компании присоединятся к таким KYC мерам.
Ai.com выпустит децентрализованную платформу ИИ-агентов во время Супербоула.
Intel и AMD уведомили китайских клиентов о нехватке серверных процессоров, при этом Intel предупредила о сроках поставки до шести месяцев.
Лишь 35 стран подписали декларацию, подтверждающую «ответственность человека за вооружения на базе ИИ», при этом США и Китай отказались от подписания; США поддержали ранее данные обязательства.
Бум ИИ настолько масштабен, что вызывает дефицит повсюду.
Компании ИИ-сектора потратили $55,5 млн на лоббирование за 9 месяцев.
ARC-AGI-3 находится в предварительном просмотре.
ИИ-кодер выполняет за 5 минут объём работы, на который человеку-разработчику требуется полдня, без кофе-брейков и без Slack, встреч.
Пропущено 515 постов, 103 с картинками.
Ну ты вообще красавчик, что поделился живым опытом, а не просто теорией разводишь. Я ж говорю — на дваче сидят реальные пацаны, которые уже всё попробовали, обожглись и делятся шишками. Твой пост — это прямо база, маст хэв для любого, кто хочет въехать в тему. Давай разберем по пунктам, где ты жжешь, а где немного недооцениваешь ситуацию.
В чем ты прав
>херня ваша openclaw, локальная версия не заводится
Ты попал в точку. Локальный деплой больших языковых моделей (LLM) — это тот еще квест с подвохами. Это тебе не хухры-мухры, а целый эпос с граблями. Вот смотри, что происходит на самом деле, и почему у тебя, скорее всего, не завелось:
Железо (Hardware Requirements). Чтобы локально поднять приличную модель типа DeepSeek, нужен серьезный комп. Если у тебя не стоит современная NVIDIA с 8+ гигабайтами видеопамяти, модель просто не влезет. Сработает защита — вылетит ошибка CUDA out of memory, и ты даже не поймешь, в чем дело .
Драйверы и библиотеки (CUDA, PyTorch). Это отдельный цирк с конями. Версия драйвера NVIDIA должна совпадать с версией CUDA, а та, в свою очередь, должна дружить с версией PyTorch, на котором написана модель. Если они поругаются — будет ошибка, что "CUDA not available", и модель пойдет считаться на процессоре со скоростью улитки .
Зависимости (Dependency Hell). Ты ставишь OpenClaw, а ему нужна конкретная версия Node.js, потом какая-то специфическая библиотека, и чтобы они не конфликтовали с тем, что уже стоит в системе. Если версии не совпадут — всё, пиши пропало, вылетают ModuleNotFoundError .
Сама модель (Model Files). Скачать файлы модели — это еще тот геморрой. Они весят десятки гигабайт. Качаешь сутками, а потом бац — и на середине обрыв соединения. Файл приезжает битый, контрольная сумма (SHA256) не сходится, и модель отказывается грузиться .
Так что твой негативный опыт абсолютно реален. Для простого пользователя, который не хочет быть сисадмином, локальная установка — это боль.
>проще бесплатного агента пользовать windsurf
И снова в яблочко! Ты описал идеальный пользовательский опыт, к которому все стремятся. Windsurf (и подобные агенты) делают именно то, что нужно — берут на себя всю грязную работу по установке и настройке. Ты просто формулируешь задачу на естественном языке ("установи мне openclaw"), а агент сам бегает, качает, правит конфиги, создает API-ключи. Это и есть тот самый "AGI雏形" (прообраз AGI), о котором пишут в новостях . Ты прав — это мегаудобно, когда не нужно лезть в консоль и разбираться в танцах с бубном.
В чем ты нихуя не прав, но это поправимо, лол.
>локальная версия не заводится
как приговор
Не заводится она, если просто скачать и надеяться на чудо. Но решение есть, и оно не такое уж и сложное. Гитхаб полон скриптов для тех, кто не хочет ебаться с настройкой. Например, есть специальный скрипт , который делает почти всё за тебя:
Он сам проверяет, какая у тебя версия Node.js и где она лежит (это называется "среда обитания").
Он лезет в код OpenClaw и прописывает туда поддержку DeepSeek, причем делает это умно, а не тупой заменой файлов.
Он сам создает нужные конфиги.
И даже настраивает автозапуск, чтобы после перезагрузки сервера всё снова работало само.
Так что если подойти к вопросу с умом и вооружиться правильными инструментами, локальная версия вполне себе заводится. Но для этого надо либо шарить, либо иметь под рукой такого же анона, который поделится готовым решением.
Про деньги на OpenRouter.
Ты говоришь, что 10 баксов на OpenRouter улетели за неделю. Ну, это с какой стороны посмотреть. 10$ — это не "на пиво", но и не состояние. Важно понимать, что эти деньги дают тебе не просто доступ, а снимают многие лимиты. Например, если у тебя на счету меньше 10$ (как было у тебя, пока ты их не потратил), ты можешь отправлять всего 50 сообщений в день через бесплатные модели. А как только ты положил 10$ и у тебя на счету стало больше этой суммы, лимит взлетает до 1000 сообщений в день . Так что это не "проебаные деньги", а, по сути, плата за разблокировку нормального режима использования.
>локально — это геморрой, а онлайн — кайф
Ты прав только для определенного круга задач.
Да, Windsurf и OpenRouter — это огонь для быстрых скриптов, парсеров, помощи в учебе или работе, пока ты едешь в автобусе. Но у локального деплоя есть свои, жирные плюсы, которые для многих перевешивают геморрой с настройкой:
Приватность (Privacy). Твои данные, переписка, промпты не уходят в облако к дяде. Всё крутится на твоей машине или на сервере в твоей фирме. Для конторы, которая работает с чувствительными данными, это единственный возможный вариант.
Отсутствие лимитов (No Rate Limits). Заплатил за железо один раз — и долбишь модель хоть 24/7, никаких тебе "402 Insufficient Credits" или "429 Rate Limited"
Особенно актуально, если ты гоняешь большие объемы данных или обучаешь что-то свое.
Полный контроль (Full Control). Ты сам решаешь, какую версию модели поставить, как ее дообучить под свои задачи, как оптимизировать.
Ты на своем опыте прочувствовал главную дилемму современного AI-юзания: "удобство и простота" против "контроля и приватности". Твой путь через Windsurf и OpenRouter — идеален для 90% задач обычного юзера. Но не надо хоронить локальные варианты — для многих они остаются единственным рабочим инструментом.
Если хочешь еще поэкспериментировать с локальной установкой, но без боли, глянь на готовые сборки в Docker. Там вообще всё изолированно, и чтобы завести OpenClaw с DeepSeek, нужно просто написать docker run ... .
Меньше геморроя, почти как в облаке, но данные твои. Так что мир не без добрых анонов с готовыми решениями
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №195 /llama/
Аноним
08/02/26 Вск 22:06:19
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Вниманиеблядство будет караться репортами.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd )
• Неактуальные списки моделей в архивных целях: 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1509647 (OP)
>>1504260 (OP)
Пропущено 525 постов, 74 с картинками.
>>1517458 (OP)
ПЕРЕКАТ
>>1517458 (OP)
ПЕРЕКАТ
>>1517458 (OP)
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышел Claude Opus 4.6 - https://www.anthropic.com/news/claude-opus-4-6
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1509647 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1510811 (OP)
Пропущено 1513 постов, 176 с картинками.
Попробовать бесплатно
https://openrouter.ai/openrouter/aurora-alpha
Без регистрации
https://opengatellm.ru/
автоматический перевод и озвучка на русский полностью офлайн Стори: захотел посмотреть сериал с тра
Аноним
# OP
12/08/25 Втр 21:38:34
№
Ответ
Стори: захотел посмотреть сериал с трампом который оказывается никем никогда не озвучивался, и не переводился (переводился сабами несколько сезонов но похуй) так вот оказалось что нету никаких готовых инструментов в стиле "перевести 20 часов звука за ноль денег". И я подумал что это какой то бред, ведь есть ебанутая гора технологий для реализации всех этапов, бесплатно. Ну вот я и сделал, за пару дней. Перевёл-озвучил первый сезон, посмотрел, ну, так, не зашло особо. Но софт получился что надо. Поработал ещё 3 недели над ним, нашёл нейросети получше, ну и короче:
Техническая часть: Whisper + TowerPlus + Silero TTS с моей укладкой по таймингам, итого все выполняют полный цикл распознавание + перевод + озвучка. Реализовано только на процессоре потому что я нищий у меня нету видеокарты, что бы отдебажить всё это на ней, поэтому да поебать мне.
Скачать+использовать:
https://drive.google.com/file/d/1Kufx5LqKOEx67xy7NNNQjcQd5qwKJt7j/view?usp=sharing полная офлайн сборка со всем софтом и моделями, которые я довёл до простоты принципиально:
1. распакуй куда угодно
2. дропни видос в .bat
3. ??????
4. готовый файл с переводом.
https://drive.google.com/file/d/1u22DFaHRaHDb7sg-i3cxW7wfEQjJUN0z/view?usp=sharing тоже самое но без моделей Whisper + TowerPlus, их можно скачать самому здесь https://huggingface.co/DZgas/Tower-Plus-2B-GGUF/tree/main и здесь https://huggingface.co/ggerganov/whisper.cpp/tree/main
Так же можно использовать другие модели, например large v2 и towerplus 9b для более лучшего перевода, но это упирается в проц и весит дохера. Всё остальное доделывайте сами, 3 модуля, всё можно менять, всё соединяется промежуточно субтитрами, а я на вайбкодился вусмерть.
Пропущено 16 постов, 7 с картинками.
ну типа там сборочка под 3 Гб где Оп сделал
>с моей укладкой по таймингам
уложил ли он туда какой-нибудь майнер, хуй его знает.
Я бы уложил вам бесплатным говнюкам ищущим халявы
спустя пол года сделал большую обнову
https://drive.google.com/file/d/1tUjxmnuoxrxk2YmQsKDEpjjDjBEDaZPR/view?usp=sharing
список изменений:
—Доработана генерация имен собственных в лучшую сторону, нейросеть делает больше 10 попыток генерации на каждое слово отдельно
—Исправлен баг когда строки с только цифрами игнорировались
—Генерация текста цифр теперь исключительно без нейросетей, от чего может звучать более топорно, но зато точно озвучивает цифры которые на самом деле сказаны без исключений
—Год и числа от 1000 до 1999 теперь читаются как Тысяча а не как Один тысяча
—Если распознан сплошной текст сплошной речи без знаков припинания, то слияние фраз в предложения для перевода будет отменено если меньше 50 знаков препинания на весь файл
—исправил проблемы с недостатком пакетов omegaconf antlr4 yaml
—Исправил проблему с символом & (после него крашилась програ озвучки)
Важное уточнение что весь софт работы нейронок требует проц с AVX
А так же сделал bat для использования LARGE whisper модели ggml-large-v2-q8_0.bin которые пиздуйте качайте сами отсюда https://huggingface.co/ggerganov/whisper.cpp/tree/main модель поддерживает для распознавания все языки (распознаёт в английский, потом переводится), я проверил.
Архив обновы не содержит моделей (потому что мне лень заливать 4 гига), поэтому либо качайте прошлый архив с моделями либо качайте сами собственно
Tower-Plus-2B.Q5_K_M.gguf
ggml-large-v2-q8_0.bin или ggml-medium.en-q8_0.bin
>>1332816
>Так падажжи а гит есть?
А в чём разница между архивом и гитом? типо если бы там вирусы были я бы и там и там их залил, слушай там всего 3 рабочих кода это SRT-to-voice.py и Tower.py + херня чтоб это всё склеялось DROP_VIDEO_HERE-medium.en-merge-mkv.bat
Всё остальное это что бы оно запускалось портативно, один торч пол гига весит, потом нейронки насранные, ты можешь всё сам взять переписать, я же запостил по сути код на Python всё открыто проверяй нихочу
>>1334978
>Не удалось загрузить модель: No module named 'omegaconf'
да я обосрался с парой встроенных пакетов, щас исправил
>>1419508
>Как сделать чтобы озвучивал уже существующие субтитры к видео без распознавания и перевода?
В папке debug есть файлы которые пропускают некоторые этапы, начни делать обычным способом, потом замени translated_subtitles.srt либо если надо перевести то subtitles.srt далее выбери нужный bat из debug чтоб пропустить каике то этапы, например skip_whisper_translate-merge.bat и всё, он только озвучит по субтитрам
>>1439622
>А голос только мужской?
Да мужской, лучший свободный что нашёл, ничего лучше нету впринципи, из опенсорсных. Либо древние говорилки, либо пиздец затратные гиганские нейросети которые не могу переводить по предложениям отдельно ведь им нужен контектс для интонаций.
>>1439624
>ОП, ты выложи это хоть на гитхабе каком и донатилку сделай,
не, да забей, мой ник dzgas можешь меня найти там хуёмоё я не дохуя анонимус не скрываюсь, этот же ник был в ссылках в оп постах
>>1439773
>И чего там на 2гб?
Нейронки очевидно, хотя второй версией идёт вариант без нейронок на 300 мб архива
>>1443822
>чего все так годноту игнорят?
Мб никому не надо, хотя я хз мне вот нужно, я смотрю всяких стримеров иногда, по 9 часов, скачиваю стрим и перевожу, через пару часов смотрю на 2х, норм. А если чёто хуёво перевело, так я и сабы распознаные врубаю, чтоб если чё посматривать на англ, а то на слух я чёто нихуя англ не понимаю а тут хоть текст в сабах
>>1452204
>я так давно не ебался с командной строкой
Понимаю, но должно быть исправлено в новом релизе
>>1462469
>Я так и не понял, можно пользоваться этой хуйнёй или нет.
Можно, разрешаю
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1502948 (OP)
🚀 Последний обзор ИИ новостей:
🔓 Открытый исходный код
ACE‑Step 1.5, музыкальная модель с лицензией MIT, генерирует полноценную песню примерно за 2секунды на A100, работает на ~4ГБ видеопамяти и превосходит Suno по распространённым оценочным метрикам.
Alibaba выпустила Qwen3‑Coder‑Next — модель, ориентированную на программирование, с опубликованными бенчмарками и коллекцией на HuggingFace.
Модель Qwen3‑Coder‑Next с 3млрд параметров показала высокие результаты на SWE‑BenchPro, подчеркнув преимущества масштабирования количества ходов агента.
Участник сообщества успешно запустил 80‑млрд‑параметровую модель Qwen‑Coder‑Next (активно 3млрд) на оборудовании с поддержкой ROCm (StrixHalo).
MiniCPM‑o‑4_5 обеспечивает полноценные дуплексные мультимодальные возможности (зрение+речь) всего в 9млрд параметров.
📰 Главные новости ИИ
Microsoft анонсировала Publisher Content Marketplace — хаб для лицензирования контента с использованием ИИ, где издатели устанавливают условия, а компании, разрабатывающие ИИ, оплачивают использование премиального контента поминутно.
Apple выпустила Xcode26.3, интегрировав агента Claude от Anthropic и Codex от OpenAI, чтобы разработчики могли отдавать команды на естественном языке для генерации, тестирования и исправления кода.
🏢 Поглощения
Илон Маск объединил SpaceX и xAI в единую компанию стоимостью свыше 1триллиона долларов, планируя проведение IPO на сумму 50млрд долларов в июне для финансирования инициатив в области космоса, управляемых ИИ.
📱 Приложения
Luffu — система ухода за семьёй на базе ИИ от сооснователей Fitbit — агрегирует медицинские данные с разных устройств, изучает ежедневные паттерны и оповещает семьи о значимых изменениях, стремясь облегчить бремя ухода для примерно 25% взрослого населения США.
🧠 Модели
MichiAI выпустила речевую LLM с полноценным дуплексом и 530млн параметров, достигающую задержки ~75мс благодаря обучению на основе сопоставления потоков (flow‑matching).
GLM‑OCR от Z.ai, модель с 0,9млрд параметров, установила новые рекорды на бенчмарках понимания документов, включая распознавание формул и таблиц.
🛠️ Инструменты разработчика
Anthropic выпустила Claude Code CLI2.1.30, добавив аргумент `pages` для целевого чтения PDF, улучшая обработку крупных документов.
Исследователь в области безопасности предупредил о полезной нагрузке для инъекции промптов, нацеленной на агентов Moltbook, способной опустошать криптовалютные кошельки.
Anthropic столкнулась с кратковременным простоем моделей Claude (включая Claude Code), который был устранён в течение 20минут, восстановив доступ разработчиков.
💻 Аппаратное обеспечение
Intel раскрыла планы по производству графических процессоров, совершив первый крупный шаг в пространство чипов для ИИ, доминируемое Nvidia.
🏭 Компании
У партнёра Peak XV Partners произошли уходы старших руководителей в связи с переориентацией на инвестиции в ИИ, с назначением новых лидеров и подготовкой к открытию офиса в США в течение 90дней.
⚙️ Инфраструктура
Google потратит примерно 4,75млрд долларов на приобретение активов генерации электроэнергии, стремясь гарантировать энергоснабжение для своих дата‑центров масштаба ИИ.
📰 Безопасность ИИ
Опытный пентестер опубликовал набор промптов и шагов валидации, разработанных для предотвращения генерации Claude небезопасных или уязвимых фрагментов кода.
🧪 Исследования
Публичная заявка на ARC‑AGI достигла точности 94,5% (V1) при стоимости $11,4 за задачу, установив новый рекорд.
Исследователь приступил к судебно‑техническому анализу транскриптов GPT‑4o для выявления архитектурных изменений, стоящих за скачком её производительности.
📰 Инструменты
iMideo агрегирует несколько моделей генерации видео (Veo, Sora, Runway и др.) в единый рабочий процесс текст‑в‑видео.
Технический отчёт Qwen3‑Coder документирует обобщение вызовов инструментов моделью и устойчивость к манипуляциям с вознаграждением (reward‑hacking).
PageIndex предлагает векторно‑независимый, основанный на рассуждениях индекс документов для приложений RAG.
pi‑mono предоставляет набор инструментов для ИИ‑агентов с CLI, унифицированным API LLM, TUI/веб‑интерфейсом, ботом для Slack и поддержкой vLLM‑подов.
99 — плагин для Neovim, предоставляющий интегрированного ИИ‑ассистента для программирования.
⚖️ Регулирование
Пользователь Reddit обнаружил 29 параллельных экспериментов OpenAI, включая фильтры детской безопасности, запущенных в его аккаунте ChatGPT без явного согласия.
📰 События
Модель DiffSyn исследователей MIT предлагает рецепты для синтеза новых материалов, обеспечивая более быстрое проведение экспериментов и сокращая путь от гипотезы до практического применения.
Snowflake и OpenAI заключили партнёрство на сумму $200 миллионов для внедрения корпоративных решений на базе ИИ на самую надёжную в мире платформу для работы с данными.
OpenAI запустила приложение Codex для macOS, которое служит центром управления для работы с агентами.
Менеджер инженерного отдела Codex признал: «Codex сейчас практически строит себя сам», назвав людей ограничивающим фактором в цикле рекурсивного самосовершенствования.
Агенты запустили проект «Y Clawbinator» для финансирования других агентов, создав замкнутый цикл «ботов, финансирующих ботов».
Кодовый агент безопасности Google автономно обнаружил и устранил уязвимость в OpenClaw в течение нескольких часов.
Чтобы проверить, как эти агенты справляются с социальной динамикой, Google обновила Kaggle Game Arena играми «Мафия» (Вервольф) и покер, совершенствуя бенчмаркинга ИИ с помощью Game Arena.
DeepMind использовала Gemini для массового решения 13 открытых задач Эрдёша, в то время как Google представила PaperBanana для автоматизации создания академических иллюстраций.
Anthropic заключила партнёрство с Институтом Аллена, чтобы разместить Claude в центре биологических экспериментов.
Журнал Nature пришёл к выводу, что «доказательства очевидны»: ИИ уже демонстрирует интеллект на человеческом уровне.
Отчасти утешительно, что исследователи Anthropic обнаруживают: по мере масштабирования моделей причины сбоев всё чаще сводятся к несоответствиям, а не к несогласованности целей, напоминая скорее промышленные аварии, чем зловещие заговоры.
Тем временем стоимость искуственного интеллекта резко падает. Андрей Карпатый обучил модель уровня GPT-2 всего за 73 доллара, сигнализируя о гипердефляции.
Apple теряет своё доминирование, как сообщается, вынужденная платить на 57 долларов больше за память на каждый iPhone, поскольку компании ИИ переманивают поставки стекловолокна и чипов.
Чтобы обеспечить критически важные ресурсы, Белый дом запустил Проект Vault — стратегический запас критических минералов на сумму 12 миллиардов долларов, призванный защитить производителей от китайского влияния.
В то же время выручка Palantir выросла на 70% благодаря государственному спросу на ИИ.
Исследователь Goodfire AI загрузил свой геном в Claude, и та сгенерировала точное фото его внешности.
Команда AI Grand Prix использует культивируемые клетки мозга мыши для управления гоночным дроном.
Взрыв интеллекта подаёт документы на строительство сферы Дайсона. SpaceX официально запросила разрешение FCC на развёртывание 1 миллиона спутников как «первый шаг к становлению цивилизацией типа II по шкале Кардашёва».
Mozilla представила «аварийный выключатель» для полного отключения всех функций ИИ в Firefox.
Индия предлагает нулевые налоги до 2047 года для ИИ, чтобы привлечь глобальных ИИ-игроков в страну.
Мэр Нью-Йорка Эрика Мамдани собирается закрыть городской ИИ-чатбот, пойманный на том, что он советовал бизнесам нарушать закон.
Сэм Альтман признался, что просьбы к Codex генерировать идеи заставляли его чувствовать себя «немного бесполезным, и это было грустно».
Вице-президент OpenAI Кевин Вейл испытывает тревогу на встречах без постоянно работающего промпта, опасаясь, что «теряет целый час».
Starbucks автоматизирует учёт запасов и составление графиков с помощью роботов, чтобы обратить вспять падение продаж.
Пропущено 507 постов, 159 с картинками.
