Я студентка матфакультета, специализируюсь на прикладной математике и работаю в data science. В посл
Аноним
# OP
16/04/25 Срд 16:16:03
№
1
Хайп вокруг генеративок не утихает, но архитектуры генеративных моделей имеют пока что не исправимые недостатки. Поэтому я начала смотреть в сторону менее популярных, но, возможно, более значимых в будущем направлений.
Как думаете какие виды искуственного интеллекта смогут заменить превычные нам за эти 4 года трансформеро зависимые llm?
Ныряй в когнитивный ИИ. За синтезом когнитивного и бионического ИИ будущее.
> в сторону менее популярных, но, возможно, более значимых в будущем направлений.
Это конечно перспективно, но мы пока что ещё трансформеры только копнули. Сегка. DeepSeek конечно обучил свою модель не в 40 раз эфективнее чем OpenAI (или сколько там журналисты придумали), но раза в 2 точно, а может и больше. Опять же CoT и прочие, казалось бы тривиальные вещи, которые улучшают качество работы трансформеров очень и очень существенно.
Я пишу это к тому что трансформеры сейчас являются наверное ну самой перспективной поляной для исследований: есть куда копать (регулярные скачки качества моделей это демонстрирут), есть интерес со стороны бизнеса (самоочевидно), тема на слуху (также самоочевидно). Вот пройдёт время, GPT-14 будет отличаться от GPT-15 примерно как iPhone 14 от iPhone 15 (почти никак) тогда уже можно думать о чём то другом, а пока за эту волну хайпа надо держаться как за спасательный круг.
Пошла нахуй с доски. Мы тут общаемся с вайфу и генерим прон. Ты нахуй тут не нужна, уебище
>Архитектуры генеративных моделей имеют пока что неисправимые недостатки
Проблема в том, что не то чтобы есть перспективные архитектуры которые бы их стремились устранить. Есть ключевая проблема lifelong learning - способность системы адаптироваться под новые ситуации, которых не было и быть не могло на стадии обучения - перенося и интегрируя новые знания. Проблема памяти частный случай такого, кстати.
Плюс к этому на практике, эпизодов такой адаптации не много, но зато есть возможность интерактивного взаимодействия со средой. Короче, похоже на РЛ, но не полностью - ибо нету нормального определения вознаграждения. И есть требование не деградировать по старым задачам, адаптируясь к новым - даже если старые не обязательно представлены в опыте.
Пока эта фигня не решена, мы будем тыкаться носом в типичные ограничения генеративок снова и снова.
Это неправильный вопрос. От нижележащей архитектуры почти ничего не зависит. Качество модели в первую очередь зависит от датасета и конкретного рецепта обучения (расписание, файнтюн, реварды в RL и т.п.)