AI资讯新闻榜单内容搜索-模型训练

关键词: NeurIPS ,QLoRA,Guanaco,模型训练

美国著名科技播客Latent Space对于刚刚过去的NeurIPS 2023上的精彩论文进行了一个全面的总结，回顾了多篇优秀论文，虽然没有获奖，但同样值得学界关注。

关键词: 扩散模型,汤晓鸥,扩散模型训练,大模型训练

想要AI生成更长的视频？现在，有人提出了一个效果很不错的免调优方法，直接就能作用于预训练好的视频扩散模型。

关键词: 大模型训练,思维链,CoT,思维链（CoT）提示技术

本文对思维链的推理步长进行了控制变量实验，发现推理步长和答案的准确性是线性相关的，这种影响机制甚至超越了问题本身所产生的差异。

关键词: Adapter多模态,Adapter,多模态模型,大模型训练

目标跟踪是计算机视觉的一项基础视觉任务，由于计算机视觉的快速发展，单模态 (RGB) 目标跟踪近年来取得了重大进展。考虑到单一成像传感器的局限性，我们需要引入多模态图像 (RGB、红外等) 来弥补这一缺陷，以实现复杂环境下全天候目标跟踪。

关键词: 大模型训练,Medusa,AI推理,模型推理

去年，在加速大语言模型推理层面，我们迎来了一个比推测解码更高效的解决方案 —— 普林斯顿、UIUC 等机构提出的 Medusa。如今，关于 Medusa 终于有了完整技术论文，还提供了新的版本。

关键词: LLM,模型训练,LLM训练

自从ChatGPT发布后，各种基于大模型的产品也快速融入了普通人的生活中，但即便非AI从业者在使用过几次后也可以发现，大模型经常会胡编乱造，生成错误的事实。

关键词: Mamba,MoE-Mamba,MoE,模型训练

状态空间模型（SSM）是近来一种备受关注的 Transformer 替代技术，其优势是能在长上下文任务上实现线性时间的推理、并行化训练和强大的性能。而基于选择性 SSM 和硬件感知型设计的 Mamba 更是表现出色，成为了基于注意力的 Transformer 架构的一大有力替代架构。

关键词: 模型训练,大模型对齐,GAIR,OPO

OPO 无需训练即可实现实时动态对齐，而且因其即插即用的特性，适用于所有的开源与闭源大模型。

关键词: Anthropic,AGI,大模型训练,chatGPT

AGI若到来，人类是否会受到威胁，是一个大众热衷讨论同时研究者们也很关注的问题，从各个角度对此的研究几乎都会引发人们的讨论。最新的一个重磅研究来自今天最重要的大模型公司之一Anthropic。

关键词: 微调,模型训练,AI算法,LLM

自 ChatGPT 等大型语言模型推出以来，为了提升模型效果，各种指令微调方法陆续被提出。本文中，普林斯顿博士生、陈丹琦学生高天宇汇总了指令微调领域的进展，包括数据、算法和评估等。