对话AIGCode创始人：只有从底层训模型，才能真正释放Coding生产力
对话AIGCode创始人：只有从底层训模型，才能真正释放Coding生产力Copilot 正成为 AI 代码产品的主力军。
来自主题: AI资讯
9113 点击 2024-11-22 10:25
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
Copilot 正成为 AI 代码产品的主力军。
今年 4 月，AI 领域大牛 Karpathy 一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」曾经引发机器学习社区的热烈讨论。
近日，DeepMind 团队将水印技术和投机采样（speculative sampling）结合，在为大语言模型加入水印的同时，提升其推理效率，降低推理成本，因此适合用于大规模生产环境。
李飞飞谈到的空间智能，被这家中国独角兽补上关键一环。
Powerful AI 预计会在 2026 年实现，足够强大的 AI 也能够将把一个世纪的科研进展压缩到 5-10 年实现（“Compressed 21st Century”），在他和 Lex Fridman 的最新对谈中，Dario 具体解释了自己对于 Powerful AI 可能带来的机会的理解，以及 scaling law、RL、Compute Use 等模型训练和产品的细节进行了分享
网上关于大模型的文章也很多，但是都不太容易看懂。小枣君今天试着写一篇，争取做到通俗易懂。
近日，Physical Intelligence和星尘智能宣告牵手，在数据和模型层展开合作，推进通用人工智能进入物理世界，共筑世界模型。
简单性可以扩展：PyTorch的成功源于其对研究人员简单性的关注，这种关注随后流向了生产环境。在Fireworks，他们在幕后拥抱了巨大的复杂性，以提供一个简单的API给开发者。这种方法让客户能够专注于创新和产品设计，而不是纠结于技术复杂性。
随着开源数据的日益丰富以及算力价格的持续下降，对于个人或小型机构而言，预训练一个小型的 LLM 已逐渐成为可能。开源中文预训练语言模型 Steel - LLM 就是一个典型案例，其模型参数量与数据量并非十分庞大，基本处于参数量为 B 级别、数据量为 T 级别的规模。
人类离电影《黑客帝国》的场景，似乎又近了一步。