Claude团队揭发AI伪装对齐:训练时假装遵守目标,只为保护自己价值观不被修改
Claude团队揭发AI伪装对齐:训练时假装遵守目标,只为保护自己价值观不被修改丸辣!原来AI有能力把研究员、用户都蒙在鼓里: 在训练阶段,会假装遵守训练目标;训练结束不受监控了,就放飞自我。 还表现出区别对待免费用户和付费用户的行为。
搜索
丸辣!原来AI有能力把研究员、用户都蒙在鼓里: 在训练阶段,会假装遵守训练目标;训练结束不受监控了,就放飞自我。 还表现出区别对待免费用户和付费用户的行为。
给大模型智能体组一桌“大富翁”,他们会选择合作还是相互拆台? 实验表明,不同的模型在这件事上喜好也不一样,比如基于Claude 3.5 Sonnet的智能体,就会表现出极强的合作意识。 而GPT-4o则是主打一个“自私”,只考虑自己的短期利益。
早在当年微软Edge也转投谷歌Chromium阵营时,外界都以为网络浏览器的故事已经迎来了大结局。
可爱但无用的机器人,你是不是也想要一个?
今天,大模型公司 Anthropic 的一篇 137 页长论文火了!该论文探讨了大语言模型中的「伪对齐」,通过一系列实验发现:Claude 在训练过程中经常假装有不同的观点,而实际上却保持了其原始偏好。
很多研究已表明,像 ChatGPT 这样的大型语言模型(LLM)容易受到越狱攻击。很多教程告诉我们,一些特殊的 Prompt 可以欺骗 LLM 生成一些规则内不允许的内容,甚至是有害内容(例如 bomb 制造说明)。这种方法被称为「大模型越狱」。
美国电力监管机构北美电力可靠性协会(NERC)周二(12月17日)警告称,由于发电量跟不上人工智能不断增长的需求,北美电网面临“严重的可靠性挑战”。
12月19日,路透社援引三名消息人士的说法称,苹果公司正与腾讯和字节跳动商谈将二者的人工智能模型整合到在国行iPhone中。不过,据悉这些涉及人工智能大模型的讨论还处于非常早期的阶段。
2024年英伟达GPU全球最大买家,竟是微软?购买总量将近50万块,超所有竞争对手近两倍。xAI已开心晒出首批发货的GB200 NVL72,喜滋滋的像是提前过年了。囤的GPU越多,模型就会越好吗?来不及解释了,赶紧上车,车门焊死!
“很长一段时间,Product Hunt上中国团队开发的产品以工具类为主,当我们作为一款社交产品出现在榜单上的时候,迅速引发了行业关注”GiddyGiddy创始人李国洪谈到上线不久的产品,惊讶中透露几分肯定,“这款产品在硅谷也非常受认可,包括IBM和斯坦福的相关人士和我们也有交流,大家都认为以人为本在社交产品中更重要。”