总结374篇相关工作,陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述
总结374篇相关工作,陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述早在 2020 年,陶大程团队就发布了《Knowledge Distillation: A Survey》,详细介绍了知识蒸馏在深度学习中的应用,主要用于模型压缩和加速。随着大语言模型的出现,知识蒸馏的作用范围不断扩大,逐渐扩展到了用于提升小模型的性能以及模型的自我提升。
搜索
早在 2020 年,陶大程团队就发布了《Knowledge Distillation: A Survey》,详细介绍了知识蒸馏在深度学习中的应用,主要用于模型压缩和加速。随着大语言模型的出现,知识蒸馏的作用范围不断扩大,逐渐扩展到了用于提升小模型的性能以及模型的自我提升。
苹果在 AI 领域的布局到底是什么,或许苹果 CEO 蒂姆・库克的一句话可以为我们答疑解惑。此前在 2024 苹果股东大会上,库克表示,今年将在 GenAI 领域实现重大进展。
谷歌 DeepMind 和美国 Janelia 研究园区(霍华德・休斯医学研究所成立的神经科学研究机构)共同研究出的一个虚拟果蝇,它能像真实的果蝇一样行走和飞行。
最近,OpenAI CTO Murati接受采访时,对Sora训练数据语焉不详、支支吾吾的表现,已经成了全网热议的话题。毕竟,要是一个处理不好,OpenAI就又要陷入巨额赔偿金的诉讼之中了。
Zephyr AI是一家总部位于美国德克萨斯州的医疗保健技术公司,致力于开发数据联合工具以及肿瘤和心血管代谢疾病领域的各种机器学习算法,尝试重塑药物发现和精准医疗。
在 SaaS 和 AI 全球化发展的今天,宏大叙事已经不再是全部声音,一个小团队、甚至一个人都有机会成就一段传奇。一人公司或许会成为未来的常态。
六个月前,a16z 对网络流量数据进行了一次深度挖掘,以便将真实数据与其他内容区分开来。根据每月访问量,a16z 对最受欢迎的生成式 AI 网络产品进行了排名,并发现了消费者实际使用这项技术的模式。
首先先来看看模型底座,阶跃星辰发布了两款,分别是Step-1V和Step-2。其中Step-1V具有千亿参数,支持多模态能力,和GPT4-Turbo一样,128K上下文,不过这款不算惊艳,只能算主流大模型中的正常水平。
GitHub三万Star项目MetaGPT上新,号称是“开源Devin”——推出数据解释器(Data Interpreter),能够应对数据实时变化、任务之间复杂的依赖关系、流程优化需求以及执行结果反馈的逻辑一致性等挑战。
MIT新晋副教授何恺明,新作新鲜出炉:瞄准一个横亘在AI发展之路上十年之久的问题:数据集偏差。数据集偏差之战,在2011年由知名学者Antonio Torralba和Alyosha Efros提出——