10万美元训出Llama-2级大模型!全华人打造新型MoE,贾扬清SD前CEO围观
10万美元训出Llama-2级大模型!全华人打造新型MoE,贾扬清SD前CEO围观“只需”10万美元,训练Llama-2级别的大模型。尺寸更小但性能不减的MoE模型来了:它叫JetMoE,来自MIT、普林斯顿等研究机构。性能妥妥超过同等规模的Llama-2。
搜索
“只需”10万美元,训练Llama-2级别的大模型。尺寸更小但性能不减的MoE模型来了:它叫JetMoE,来自MIT、普林斯顿等研究机构。性能妥妥超过同等规模的Llama-2。
谷歌终于更新了Transformer架构。最新发布的Mixture-of-Depths(MoD),改变了以往Transformer计算模式。它通过动态分配大模型中的计算资源,跳过一些不必要计算,显著提高训练效率和推理速度。
Diffusion 不仅可以更好地模仿,而且可以进行「创作」。扩散模型(Diffusion Model)是图像生成模型的一种。有别于此前 AI 领域大名鼎鼎的 GAN、VAE 等算法,扩散模型另辟蹊径,其主要思想是一种先对图像增加噪声,再逐步去噪的过程,其中如何去噪还原图像是算法的核心部分。而它的最终算法能够从一张随机的噪声图像中生成图像。
如果能把AI装进微信,自己还能投喂知识,让好朋友都能用上你的这个AI,是不是一件很酷的事?
AI(人工智能)技术的发展让中国部分新闻传媒院校开始探索技术和新闻生产的边界。
红杉近日组织了他们的AI Ascent 2024主题活动。作为VC大佬的红杉出手还是很不凡,除了题为“人工智能的机遇” 开场演讲颇有营养外,已经分享出来的Andrej Karpathy和吴恩达两位AI大神的现场演讲更是不容错过。
不断降低信息获取门槛。
200名音乐人联名信抗议的消息刚出,Stability AI的新音乐工具就来了!刚刚发布的Stable Audio 2.0,可以创作长达3分钟的音乐,哼哼几句就能给你创作出一段音乐了!不过广大网友和音乐人试用后表示:有点失望……
物体姿态估计对于各种应用至关重要,例如机器人操纵和混合现实。实例级方法通常需要纹理 CAD 模型来生成训练数据,并且不能应用于测试时未见过的新物体;而类别级方法消除了这些假设(实例训练和 CAD 模型),但获取类别级训练数据需要应用额外的姿态标准化和检查步骤。
要不他们可能就跳槽到 OpenAI 了。当全球首富埃隆・马斯克(Elon Musk)建立 xAI,准备与 OpenAI、谷歌竞争大模型时,他必须与众多科技巨头、初创公司争夺人才。不过,他使用了一些取巧的办法:从自家的特斯拉挖来了几名优秀工程师。