总结374篇相关工作,陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述
总结374篇相关工作,陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述早在 2020 年,陶大程团队就发布了《Knowledge Distillation: A Survey》,详细介绍了知识蒸馏在深度学习中的应用,主要用于模型压缩和加速。随着大语言模型的出现,知识蒸馏的作用范围不断扩大,逐渐扩展到了用于提升小模型的性能以及模型的自我提升。
搜索
早在 2020 年,陶大程团队就发布了《Knowledge Distillation: A Survey》,详细介绍了知识蒸馏在深度学习中的应用,主要用于模型压缩和加速。随着大语言模型的出现,知识蒸馏的作用范围不断扩大,逐渐扩展到了用于提升小模型的性能以及模型的自我提升。
最近,OpenAI CTO Murati接受采访时,对Sora训练数据语焉不详、支支吾吾的表现,已经成了全网热议的话题。毕竟,要是一个处理不好,OpenAI就又要陷入巨额赔偿金的诉讼之中了。
在 SaaS 和 AI 全球化发展的今天,宏大叙事已经不再是全部声音,一个小团队、甚至一个人都有机会成就一段传奇。一人公司或许会成为未来的常态。
首先先来看看模型底座,阶跃星辰发布了两款,分别是Step-1V和Step-2。其中Step-1V具有千亿参数,支持多模态能力,和GPT4-Turbo一样,128K上下文,不过这款不算惊艳,只能算主流大模型中的正常水平。
本文介绍了OpenAI和Anthropic两家AI公司在公司治理方面的不同做法。OpenAI在2019年改变了公司性质,由非营利性组织变成了营利性组织,引发了关于公司治理的争议。Anthropic则采用了公益公司和长期利益信托基金的治理结构,旨在平衡股东利益和公众利益。
近日,爱思唯尔上的几篇论文被发现开篇就暴露了「ChatGPT风格」,插图也是用Midjourney画的。学术圈被AI渗透已经不是一天两天了,搞科研的用AI写论文,学生用AI写作业,老师也用AI批作业,整个过程都没有真人了。
OpenAI 的 Sora 在今年 2 月横空出世,把文生视频带向了新阶段。它能够根据文字提示生成超现实场景。Sora 的可适用人群受限,但是在各媒体平台上,Sora 的身影无处不在,大家都在期待着使用它。
AI世界的进化快的有点跟不上了。刚刚,全球最强最大AI芯片WSE-3发布,4万亿晶体管5nm工艺制程。更厉害的是,WSE-3打造的单个超算可训出24万亿参数模型,相当于GPT-4/Gemini的十倍大。
OpenAI上一笔融资不到八个月,Figure就来交卷了!这个机器人能说会动,还能自主推理,给自己布置任务。最炸裂的是,它完全是自主行动,没有远程控制!1.0倍速的原视频一出,网友们震惊了。
一年一度的阿里全球数学竞赛又开始了。本届最大的亮点,首次向硅基AI开放,最高可摘得1万美金大奖。不用等了,带着你的AI来挑战吧。