搜索
本期我们邀请到了 纽约大学计算机科学院博士 童晟邦 带来【多模态大模型：视觉为中心的探索】的主题分享。
作为基础的视觉语言任务，指代表达理解（referring expression comprehension, REC）根据自然语言描述来定位图中被指代的目标。REC 模型通常由三部分组成：视觉编码器、文本编码器和跨模态交互，分别用于提取视觉特征、文本特征和跨模态特征特征交互与增强。
过去几年间，Transformer 架构已经取得了巨大的成功，同时其也衍生出了大量变体，比如擅长处理视觉任务的 Vision Transformer（ViT）。本文要介绍的 Body Transformer（BoT） 则是非常适合机器人策略学习的 Transformer 变体。
近日，OpenAI现任董事会主席、AI初创公司Sierra创始人Bret Taylor做客播客节目Masters of Scale，与主持人Reid Hoffman就AI对商业社会的影响、创业经验以及科技公司的社会责任等话题展开讨论。
Cosine打造了一个自主AI工程师Genie，可以代码重构、搭建功能以及修复Bug。Cosine联合创始人兼CEO Alistair Pullen表示：“Genie一开始被训练成像人类软件工程师（SWE）一样思考和行动。
一直以来，大模型的编程能力都备受关注，超强 AI 程序员 Devin 的问世更是将「AI 能否替代程序员」这一话题推上了风口浪尖。最近，Devin 也迎来了新对手 —— 初创公司 Cosine 推出的自主 AI 程序员 Genie。该公司表示，Genie 的表现轻松超越了 Devin，在第三方基准测试 SWE-bench 上的得分为 30%，而 Devin 的得分仅为 13.8%。
苹果团队，又发布了新的开源成果——一套关于大模型工具调用能力的Benchmark。
天网离我们还有多远？现在，科学家们希望通过一个强大的超算网络，来加速发展人类级别的人工智能，预计在2025年前全面投入运行。
大家还记得 Stable Diffusion嘛，就是那个曾经和 DALL·E 、 Midjourney 齐名的图像生成 AI 。
近日，来自加州大学尔湾分校等机构的研究人员，利用延迟掩蔽、MoE、分层扩展等策略，将扩散模型的训练成本降到了1890美元。