ICLR 2024 | 鸡生蛋蛋生鸡？再论生成数据能否帮助模型训练
ICLR 2024 | 鸡生蛋蛋生鸡？再论生成数据能否帮助模型训练随着生成模型（如 ChatGPT、扩散模型）飞速发展，一方面，生成数据质量越来越高，到了以假乱真的程度；另一方面，随着模型越来越大，也使得人类世界的真实数据即将枯竭。
来自主题: AI技术研报
12020 点击 2024-04-01 15:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
随着生成模型（如 ChatGPT、扩散模型）飞速发展，一方面，生成数据质量越来越高，到了以假乱真的程度；另一方面，随着模型越来越大，也使得人类世界的真实数据即将枯竭。
2022 年底，随着 ChatGPT 的爆火，人类正式进入了大模型时代。然而，训练大模型需要的时空消耗依然居高不下，给大模型的普及和发展带来了巨大困难。面对这一挑战，原先在计算机视觉领域流行的 LoRA 技术成功转型大模型 [1][2]，带来了接近 2 倍的时间加速和理论最高 8 倍的空间压缩，将微调技术带进千家万户。
OpenAI 从未放慢前进的脚步，DALL・E 3 将支持对生成后的图片进行再次编辑。
攀登 Scaling Law，打造万亿参数大模型，前微软 NLP 大牛姜大昕披露创业路线图。
微软和OpenAI计划投资1000亿美元建造“星际之门”（Stargate）AI超级计算机。
【新智元导读】OpenAI机器人理解力虽强，却无法进行非语言交流。最近，哥伦比亚大学华人团队打造了全新的机器人Emo，不仅可以提前预测和模拟人类表情，还可以进行眼神交流。
首个AI软件工程师Devin正式亮相，立即引爆了整个技术界。
OpenAI雪藏的新产品——语音合成引擎Voice Engine，终于被正式揭幕。 有了它，只需15秒的语音样本，就能克隆出一个人的声音，而且还能跨越语言！ APP版ChatGPT中的语音对话功能，也正是由这项技术所驱动。
AI 智能体是去年很火的一个话题，但是 AI 智能体到底有多大的潜力，很多人可能没有概念。 最近，斯坦福大学教授吴恩达在演讲中提到，他们发现，基于 GPT-3.5 构建的智能体工作流在应用中表现比 GPT-4 要好。当然，基于 GPT-4 构建的智能体工作流效果更好。由此看来，AI 智能体工作流将在今年推动人工智能取得巨大进步，甚至可能超过下一代基础模型。这是一个值得所有人关注的趋势。
2024会成AI应用多赛道混战爆发的年份吗