AI资讯新闻榜单内容搜索-模型训练

关键词: PyTorch,注意力机制,大模型,人工智能,AI,模型训练

用 FlexAttention 尝试一种新的注意力模式。

关键词: 数据集,AI,模型训练,人工智能

多模态大语言模型 (Multimodal Large Language Moodel, MLLM) 以其强大的语言理解能力和生成能力，在各个领域取得了巨大成功。

关键词: LLM,AI,LeanSTaR,模型训练,AI数学,AI推理

LLM数学水平不及小学生怎么办？CMU清华团队提出了Lean-STaR训练框架，在语言模型进行推理的每一步中都植入CoT，提升了模型的定理证明能力，成为miniF2F上的新SOTA。

关键词: AI,ChatGPT,LLM,RLHF,模型训练

RLHF到底是不是强化学习？最近，AI大佬圈因为这个讨论炸锅了。和LeCun同为质疑派的Karpathy表示：比起那种让AlphaGo在围棋中击败人类的强化学习，RLHF还差得远呢。

关键词: 多模态,AI,智能体,Agent,模型训练

假如你目前正在使用和研究类似CAMEL的多智能体系统，现在已经有了扮演研究者的Agent和负责写论文的Agent，再添加一个事实核查Agent会改善结果吗？

关键词: LLM,智能体,模型训练,Karpathy,AI,对齐

前段时间冲上热搜的问题「9.11比9.9大吗？」，让几乎所有LLM集体翻车。看似热度已过，但AI界大佬Andrej Karpathy却从中看出了当前大模型技术的本质缺陷，以及未来的潜在改进方向。

关键词: AI,全前向模式,模型训练,神经网络,深度学习

用光训练神经网络，清华成果最新登上了Nature！

关键词: chatGPT,AI,OpenAI,大模型,模型训练

GPT-4o的怪癖暴露了，还是被官方公开的！

关键词: AI,编码器,MSU,大模型,模型训练

今日获悉，由莫斯科国立大学举办的 MSU 世界视频编码器大赛结果揭晓。在全部参赛编码器中，腾讯编码器包揽所有 15 项指标的全部第一，再次斩获全场最佳。

关键词: Llama3,AI,豆包大模型,模型训练

伴随大模型迭代速度越来越快，训练集群规模越来越大，高频率的软硬件故障已经成为阻碍训练效率进一步提高的痛点，检查点（Checkpoint）系统在训练过程中负责状态的存储和恢复，已经成为克服训练故障、保障训练进度和提高训练效率的关键。