给Transformer降降秩，移除特定层90%以上组件LLM性能不减
给Transformer降降秩，移除特定层90%以上组件LLM性能不减MIT、微软联合研究：不需要额外训练，也能增强大语言模型的任务性能并降低其大小。
来自主题: AI资讯
2422 点击 2023-12-26 14:55
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
MIT、微软联合研究：不需要额外训练，也能增强大语言模型的任务性能并降低其大小。
AI电商时代的到来给电商行业带来了巨大的变化，各种AI工具已经在电商领域广泛应用。然而，企业在迎接这个时代的挑战时需要关注算力、数据隐私、安全问题和人才培养等方面。
12 月 26 日消息，谷歌近日推出了全新的 Google AI SDK，旨在简化 Android 应用集成其高性能的 Gemini Pro 模型。借助该 SDK，开发人员无需构建和管理自己的后端基础架构。
12月25日下午，据“天桥脑科学研究院”官方帐号消息，盛大集团创始人陈天桥创立的天桥脑科学研究院（Tianqiao and Chrissy Chen Institute，简称TCCI）近日宣布，追加10亿元人民币投入“人工智能（AI）+脑科学”，旨在推动人类智慧和机器智慧的相互结合与促进。
. 12月底，《自然-计算科学》发表研究，揭示丹麦科技大学国际研究团队的新产品——“Life2vec”的预报原理。它可以直接预测人的死亡率，准确率高达78%，据称是目前市面上准确度最高的预测方式。团队使用七年间超过230万名35至65岁丹麦人群的数据，分析个人生命历程中的事件序列，预测接下来最有可能发生的事情。
为庆祝动画的25周年，《海贼王》即将重制“东海篇”动画（原作的1~61集），制作方为WIT STUDIO，上映于Netflix。
据外媒 12 月 20 日消息，由华人创立的 AI 公司 rabbit 又获得了一笔千万美元的融资，这是他们近 2 个月所获得的第 3 笔融资。
今年的 AIGC 持续热了一年，从王慧文等大佬的入局，到百度发布“文心一言”，各大巨头纷纷发布大模型产品，切实地给中国人工智能赛道的融资添了一把浓烈的火。
若愚科技与哈工深联合研发了语言大模型基座---立知和多模态大模型基座---九天，总参数规模达130亿，训练数据超1500B tokens, 能完成多任务、多轮对话、中英翻译、思维链、工具使用等多种类型的指令数据
来自清华大学的研究者提出了一种新的注意力范式——代理注意力 (Agent Attention)。
想将一份文档图片转换成Markdown格式？这一次，只需一句话命令，多模态大模型Vary直接端到端输出结果：
中立、敢于直言，是“马斯克版ChatGPT”Grok一直在宣传的卖点。
文字、图片、视频，万物皆可动漫化！
12 月 15 日-12 月 17 日，由 Founder Park、飞桨、文心大模型联合主办的 AGI Hackathon 经过两天的创新开发和第三日的路演，目前已全部结束。
Meta CTO接受访谈，大谈AI开源竞争，认为AI开源将让所有参与者获益。同时，XR已经准备好利用AI搭建杀手应用，Meta最近推出的AR眼镜就是最好的例子。
继年初的1.2万大裁员之后，谷歌又被曝出将重组广告销售部门，AI自动化工具使3万员工面临裁员风险。
AI时代，中国大模型进展到哪了？12月20日，「数字力量，探索无穹」2023探索大会上，新智元创始人&CEO杨静，与百川智能技术联创陈炜鹏、商汤科技数字文娱事业部总经理栾青、蓝驰创投投资合伙人石建平共话中国大模型的创新探索。
最近，关于Altman的风波不断。有人挖出他戴着价值48万美元的奢侈品手表，开着价值上亿的豪车，而更让人瞠目结舌的，就是他奢华无比的硅谷大佬朋友圈了。
前段时间的董事会风波还没散尽，OpenAI就在12月的开头自己搞了波热度，
2022 年 9 月，Adobe 宣布以 200 亿美元的价格收购 Figma，而在上周，经历了一年的监管审批，双方表示，鉴于监管方面的重重障碍，两家公司将终止 200 亿美元的合并计划。
生成式AI将成为未来企业在竞争中优势的重要来源。企业现在面临的关键问题已经不是要不要上大模型，而是如何让大模型落地，为企业创造真正的价值。
AI Agent将改变企业经营范式，让企业由“为工具买单”变成“为效果买单”。AutoAgents.ai（未来式智能）近日完成数千万元天使轮融资，由创新工场领投，共青城七熹投资跟投。本轮融资资金主要用于产品研发，市场拓展以及扩大团队规模等。
AI时代的第一个超级APP，很可能又是腾讯搞的
因为ChatGPT的出现，2023年注定会是一个值得被记住的年份。《经济观察报》年终特刊就此锁定了人工智能。我们邀请了来自中国社会各界的代表人物，以书信的方式，畅谈他们心目中的AI世界和他们的所思所愿。
软件行业苦降本增效久已。蔓延开去的开发周期，遥遥无望的上线时间，以及不断冒起的缺陷，怎么看都配不上这支精兵强将的队伍。生成式 AI 似乎带来了曙光，
激发大模型解决复杂问题的重要技术之一CoT，如今要被颠覆了？谷歌DeepMind斯坦福UC伯克利共同提出了「代码链」（CoC），让LLM在代码中学会了思考。
谷歌发布Gemini以后，一直宣称Gemini Pro要优于GPT-3.5，而CMU的研究人员通过自己实测，给大家来了一个客观中立第三方的对比。结果却是GPT-3.5几乎还是全面优于Gemini Pro，不过双方差距不大。
英伟达官方盘点2023年10大研究，从CV到AI，从智能体到生成式AI。英伟达不但现实世界中用GPU收割全世界，也在虚拟世界中用一项项匪夷所思的技术展开了一场革命。
OpenAI CEO奥特曼，就给2023打上了一个新标签——“世界开始认真对待人工智能的一年”。
在Transformer占据多模态工具半壁江山的时代，大核CNN又“杀了回来”，成为了一匹新的黑马。