AI资讯新闻榜单内容搜索-模型训练

关键词: Scaling law,模型训练,openai,AI

Scaling law发展到最后，可能每个人都站在一个数据孤岛上。

关键词: Transformer,DCFormer,AI框架,模型训练

改进Transformer核心机制注意力，让小模型能打两倍大的模型！

关键词: 模型训练,token,next-token,GPT,Llama

研究人员提出了一种新的大型语言模型训练方法，通过一次性预测多个未来tokens来提高样本效率和模型性能，在代码和自然语言生成任务上均表现出显著优势，且不会增加训练时间，推理速度还能提升至三倍。

关键词: 模型训练,AI,AI框架,大模型

3D 重建和新视图合成技术在虚拟现实和增强现实等领域有着广泛的应用。NeRF 通过隐式地将场景编码为辐射场，在视图合成上取得了显著的成功。

关键词: 多模态,模型训练,DeepMind,Zipper

最近的一系列研究表明，纯解码器生成模型可以通过训练利用下一个 token 预测生成有用的表征，从而成功地生成多种模态（如音频、图像或状态 - 动作序列）的新序列，从文本、蛋白质、音频到图像，甚至是状态序列。

关键词: ChatGPT,GPT-4, post-traning,大模型,模型训练

John Schulman 是 OpenAI 联合创始人、研究科学家（OpenAI 现存最主要具有技术背景的创始人），他领导了 ChatGPT 项目，在 OpenAI 内部长期负责模型 post-traning，在 Ilya 和 Jan Leike 离开 OpenAI 后，下一代模型安全性风险相关的研究也会由 John Schulman 来接替负责。

关键词: M3Act,数据标注,数据集,AI,大模型,模型训练

通过视觉信息识别、理解人群的行为是视频监测、交互机器人、自动驾驶等领域的关键技术之一，但获取大规模的人群行为标注数据成为了相关研究的发展瓶颈。如今，合成数据集正成为一种新兴的，用于替代现实世界数据的方法，但已有研究中的合成数据集主要聚焦于人体姿态与形状的估计。它们往往只提供单个人物的合成动画视频，而这并不适用于人群的视频识别任务。

关键词: GPU,Transformer,AI,模型训练,大模型

乘法和排序也有效。

关键词: AI,AI 3D,大模型,人工智能,模型训练,SketchDream

基于人工智能的数字内容生成，即 AIGC 在二维图像生成领域取得了很大的成功，但在三维生成方面仍存在挑战。智能化生成三维模型在 AR/VR、工业设计、建筑设计和游戏影视等方面都有应用价值，现有的智能化三维生成方法已经可以生成高质量的三维模型，但如何对生成结果进行精确控制，并对真实模型或生成的模型进行细节的修改，从而让用户自由定制高质量的三维模型仍然是一个待解决的问题。

关键词: Transformer,AI框架,AI论文,LLM,模型训练

即使最强大的 LLM 也难以通过 token 索引来关注句子等概念，现在有办法了。