李飞飞团队统一动作与语言，新的多模态模型不仅超懂指令，还能读懂隐含情绪
李飞飞团队统一动作与语言，新的多模态模型不仅超懂指令，还能读懂隐含情绪人类的沟通交流充满了多模态的信息。为了与他人进行有效沟通，我们既使用言语语言，也使用身体语言，比如手势、面部表情、身体姿势和情绪表达。
来自主题: AI技术研报
7896 点击 2024-12-18 14:38
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
人类的沟通交流充满了多模态的信息。为了与他人进行有效沟通，我们既使用言语语言，也使用身体语言，比如手势、面部表情、身体姿势和情绪表达。
最近，2D/3D 内容创作、世界模型（World Models）似乎成为 AI 领域的热门关键词。作为计算机视觉的基础任务之一，多视角图像生成是上述热点方向的技术基础，在 3D 场景生成、虚拟现实、具身感知与仿真、自动驾驶等领域展现了广泛的应用潜力。
Florence-VL 提出了使用生成式视觉编码器 Florence-2 作为多模态模型的视觉信息输入，克服了传统视觉编码器（如 CLIP）仅提供单一视觉表征而往往忽略图片中关键的局部信息。
人在字节火山发布会现场。 眼睁睁看着他们发了一大堆的模型升级，眼花缭乱，有一种要一股脑把字节系的AI底牌往桌上亮的感觉。 有语音的，有音乐的，有大语言模型的，有文生图的，有3D生成。
多知12月16日消息，据云天励飞披露投资者关系活动记录表显示，其原生教育硬件“噜咔博士AI拍学机”已于12月12日正式上市。AI拍学机面向3岁以上儿童，电商渠道定价649元，由云天励飞子公司噜咔博士孵化推出。
什么是 AI 发展的第一驱动力？最近，全球科技大厂都在用行动告诉我们：人才。
如果给小模型更长的思考时间，它们性能可以超越更大规模的模型。
现如今，以 GPT 为代表的大语言模型正深刻影响人们的生产与生活，但在处理很多专业性和复杂程度较高的问题时仍然面临挑战。在诸如药物发现、自动驾驶等复杂场景中，AI 的自主决策能力是解决问题的关键，而如何进行决策大模型的高效训练目前仍然是开放性的难题。
继微软云（Azure ）和谷歌云（Google Cloud）之后，亚马逊旗下AWS也在近期发布了自己的基础大语言模型Nova。
在当前大语言模型（LLM）的应用生态中，函数调用能力（Function Calling）已经成为一项不可或缺的核心能力。