ICML 2024 | 梯度检查点太慢?不降速、省显存,LowMemoryBP大幅提升反向传播显存效率
ICML 2024 | 梯度检查点太慢?不降速、省显存,LowMemoryBP大幅提升反向传播显存效率自从大型 Transformer 模型逐渐成为各个领域的统一架构,微调就成为了将预训练大模型应用到下游任务的重要手段
搜索
自从大型 Transformer 模型逐渐成为各个领域的统一架构,微调就成为了将预训练大模型应用到下游任务的重要手段
给大模型加上第三种记忆格式,把宝贵的参数从死记硬背知识中解放出来!
工具使用(Tool Use)和个性化记忆(Personalization Memory)是目前AI Agent最重要的基础设施
英特尔为了AI,再次做出重大架构变革: 像手机一样搞起SoC(系统级芯片),你的下一台笔记本不会再有独立内存条。 刚刚推出的新一代AI PC低功耗移动平台架构Lunar Lake,采用全新MoP(Memory on Package)封装,片上集成16或32GB的LPDDR5X内存,无法再额外连接更多RAM。
它通过将压缩记忆(compressive memory)整合到线性注意力机制中,用来处理无限长上下文
在这个不完美的全球社区中,目前美国仍然是社区里最好的那栋房子。在过去40年里,可以说没有哪个科技投资者的影响力和持久力能超过玛丽·米克尔(Mary Meker)。20世纪90年代,担任摩根士丹利(Morgan Stanley)分析师的米克尔对亚马逊、微软、苹果和戴尔等公司股票的研究和她给出的投资建议时刻影响着市场。《巴伦周刊》在25年前的一篇封面文章中把米克尔称作“互联网女王”。
自理海大学、微软研究院的研究者提出了一种多智能体框架 Mora,该框架整合了几种先进的视觉 AI 智能体,以复制 Sora 所展示的通用视频生成能力。
用不了多久,开源版的Sora就会涌来!理海大学微软团队已经做出一种全新多AI智能体框架Mora,可以完全复刻Sora能力,且生成视频效果几乎不相上下。
Sora复刻版出现了——Mora,还是多智能体那种。Sora有的能力它基本都有,比如文本转视频、扩展视频、视频编辑、视频拼接、模拟数字世界等等。
以脉冲神经网络(SNN)为代表的脑启发神经形态计算(neuromorphic computing)由于计算上的节能性质在最近几年受到了越来越多的关注 [1]。受启发于人脑中的生物神经元,神经形态计算通过模拟并行的存内计算、基于脉冲信号的事件驱动计算等生物特性,能够在不同于冯诺依曼架构的神经形态芯片上以低功耗实现神经网络计算。