谷歌爆改Transformer，“无限注意力”让1B小模型读完10部小说，114倍信息压缩
谷歌爆改Transformer，“无限注意力”让1B小模型读完10部小说，114倍信息压缩它通过将压缩记忆（compressive memory）整合到线性注意力机制中，用来处理无限长上下文
来自主题: AI资讯
10459 点击 2024-04-13 20:07
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
它通过将压缩记忆（compressive memory）整合到线性注意力机制中，用来处理无限长上下文
不走Transformer寻常路，魔改RNN的国产新架构RWKV，有了新进展： 提出了两种新的RWKV架构，即Eagle (RWKV-5) 和Finch（RWKV-6)。
号称世界首个AI工程师Devin，7×24小时不限时打工，能够debug、训模型、构建部署应用程序，胜任各种代码任务
随着大模型的参数量日益增长，微调整个模型的开销逐渐变得难以接受。 为此，北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法，在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。
谷歌又放大招了，发布下一代 Transformer 模型 Infini-Transformer。
今天起，最新版的GPT-4 Turbo，正式向ChatGPT Plus用户开放了
大语言模型的效率，正在被这家「清华系」创业公司发展到新高度。
在实践中，人类预测的准确性依赖于「群体智慧」（wisdom of the crowd）效应，即通过聚集一群个体预测者，对未来事件的预测准确率会显著提高
识读距今2300多年战国时期的上古竹简，AI正在立功。 而且在这背后的“大功臣”，竟是只有2B大小的多模态大模型！
一年多来，大模型技术的进步日新月异，模型能力的上限不断抬高。但从产业变革的角度看，大模型的落地或许刚刚处于开端阶段。如何才能发挥出大模型的巨大潜力，并推动生产力更快更好地变革，仍然是一个充满探索空间的课题。