至知研究院提出大模型可解释性新路线：直接拆权重，数据成本不到1%
至知研究院提出大模型可解释性新路线：直接拆权重，数据成本不到1%大模型机制可解释性研究中，一直存在一个颇具反差的现实： 为了理解一个已经训练好的模型，研究者往往需要先训练一套新的稀疏表示。
来自主题: AI技术研报
6248 点击 2026-08-19 14:39
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
大模型机制可解释性研究中，一直存在一个颇具反差的现实： 为了理解一个已经训练好的模型，研究者往往需要先训练一套新的稀疏表示。
奖励模型（Reward Model, RM）是大语言模型对齐的核心组件，负责为模型输出提供符合人类偏好的评价信号。现有方法各有短板：标量判别式 RM 高效稳定但可解释性有限；生成式 judge 能给出判断理由，却需为每个样本生成长 reasoning，token 与延迟开销显著。
研究团队提出了 XG-Guard (eXplainable and fine-Grained safeGuarding framework), 一个基于 GAD 且兼具可解释性和细粒度检测能力的无监督安全防护框架。目前工作已被 ACL 2026 Main Conference 接收。
AI视频生成技术迅猛发展，生成内容的逼真度不断提升，现有检测方法已无法满足需求。最新综述提出「事实保真度验证」新目标，从视觉与语言双视角梳理出四层检测框架，涵盖底层线索、时空一致性、跨模态核验及世界知识推理，强调多层证据耦合与可解释性。
长期以来，机制可解释性（mechanistic interpretability）领域有一个几乎从未被明说、却被视为理所当然的前提：模型对于同一种任务的能力或表现，背后对应着一条唯一的、或近乎唯一的内部「电路」（circuit）。该领域的研究者们之所以要做「电路发现」（circuit discovery），是为了要把这些「特定的」电路找出来。
如果你身边声称将为人类未来负责的人，这样和你聊天，你感受如何： “在应对 ASL-3 级别的灾难性风险时，我们通过机制可解释性的神经解剖，在神经网络的暗物质中，发现了潜伏特工（Sleeper Agen
近期，利用视频生成模型为机器人构建 “世界模型”，已成为具身智能领域的热门技术路线。给定当前观测和自然语言指令，这类模型能够先 “想象” 出未来的视觉轨迹，再由逆动力学模型（IDM）将生成画面解码为机器人动作，从而形成 “先预测、后执行” 的解耦式规划范式。由于兼具较强的可解释性与开放场景泛化潜力，这一路线正在受到学术界和工业界的广泛关注。
来自清华大学、鹏城实验室与阿里巴巴未来生活实验室的联合研究团队发现：现有任务相关的压缩方法不仅陷入效率瓶颈——要么一次性加载全文（效率低），要么自回归逐步压缩（速度慢），更难以兼顾“保留关键信息”与“保持自然语言可解释性”。
过去几年，机制可解释性（Mechanistic Interpretability）让研究者得以在 Transformer 这一 “黑盒” 里追踪信息如何流动、表征如何形成：从单个神经元到注意力头，再到跨层电路。但在很多场景里，研究者真正关心的不只是 “模型为什么这么答”，还包括 “能不能更稳、更准、更省，更安全”。
现在，我们越来越多地将大语言模型应用于搜索、编程、内容生成和决策辅助等现实场景中。尽管每天有数百万人使用大模型，但它的问题也随之而来，例如有时会产生幻觉，甚至在特定情境下表现出误导或欺骗用户的倾向。