用多模态LLM超越YOLOv3！强化学习突破多模态感知极限｜开源
用多模态LLM超越YOLOv3！强化学习突破多模态感知极限｜开源超越YOLOv3、Faster-RCNN，首个在COCO2017 val set上突破30AP的纯多模态开源LLM来啦！
来自主题: AI技术研报
8692 点击 2025-05-03 15:24
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
超越YOLOv3、Faster-RCNN，首个在COCO2017 val set上突破30AP的纯多模态开源LLM来啦！
扩散模型（Diffusion Models, DMs）如今已成为文本生成图像的核心引擎。凭借惊艳的图像生成能力，它们正悄然改变着艺术创作、广告设计、乃至社交媒体内容的生产方式。
当前，多模态大模型驱动的图形用户界面（GUI）智能体在自动化手机、电脑操作方面展现出巨大潜力。然而，一些现有智能体更类似于「反应式行动者」（Reactive Actors），主要依赖隐式推理，面对需要复杂规划和错误恢复的任务时常常力不从心。
南加州大学团队只用9美元，就能在数学基准测试AIME 24上实现超过20%的推理性能提升，效果好得离谱！而其核心技术只需LoRA+强化学习，用极简路径实现超高性价比后训练。
LoRA 中到底存在多少参数冗余？这篇创新研究介绍了 LoRI 技术，它证明即使大幅减少 LoRA 的可训练参数，模型性能依然保持强劲。
Mona（Multi-cognitive Visual Adapter）是一种新型视觉适配器微调方法，旨在打破传统全参数微调（full fine-tuning）在视觉识别任务中的性能瓶颈。
现如今，微调和强化学习等后训练技术已经成为提升 LLM 能力的重要关键。
其实……不用大段大段思考，推理模型也能有效推理！
来自英伟达和UIUC的华人团队提出一种高效训练方法，将LLM上下文长度从128K扩展至惊人的400万token SOTA纪录！基于Llama3.1-Instruct打造的UltraLong-8B模型，不仅在长上下文基准测试中表现卓越，还在标准任务中保持顶尖竞争力。
这就是为什么数据被称作"新石油"或"新黄金"——它极其珍贵，因为算法的一切认知都来源于输入的数据。