挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2
挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2Scaling Law还没走到尽头,「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列,规模甚至降低到了1B以下,两个版本分别只有125M和350M参数,但却实现了比更大规模模型更优的性能。
搜索
Scaling Law还没走到尽头,「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列,规模甚至降低到了1B以下,两个版本分别只有125M和350M参数,但却实现了比更大规模模型更优的性能。
巴黎奥运会期间,谷歌将首次携NBCUniversal,利用Gemini让AI技术走进赛场,为观众带来前所未有的观赛体验。
小模型强势来袭,「大模型时代」或将落幕?
多模态大模型(Multimodal Large Language Models,MLLMs)在不同的任务中表现出了令人印象深刻的能力,尽管如此,这些模型在检测任务中的潜力仍被低估。
数据是大语言模型(LLMs)成功的基石,但并非所有数据都有益于模型学习。
这可能是当今最全面、最新的深度学习概述之一。
编码器模型哪去了?如果 BERT 效果好,那为什么不扩展它?编码器 - 解码器或仅编码器模型怎么样了?
具身智能狂潮降临的一年多里,物理世界与信息的生产与交互方式发生着革命性变化。
大模型引发的AI大战持续了两年多之后,现在所有创业团队和投资人都在问的一个问题是——适用于大模型真正的场景有哪些?或者,更重要的是,到底怎么才能获得货真价实的客户和营收?
不知经常往旧金山城里跑的小伙伴,有没有在路边见过这样的广告:
用AI模型从代码层面深度分析和防御恶意软件。
iPhone不让电话录音,创业者们就给它加个GPT版录音「物理外挂」!
大公司与初创企业的差异,就决定了前者不得不选择保守。
最近几年来,如果要问哪个技术赛道最火热,AI一定当仁不让,其在全球范围内掀起了一波又一波浪潮。
即便有AI的加持,桌面机器人单独存在的意义其实也不大。
整得跟共济会似的。
如果你是一位网文作者,在和平台签约的时候,忽然临时被加了一条“AI训练补充协议”,要求你同意把作品“喂”给平台的AI,用于内容开发,你会怎么想?
东西方AI伴侣的差异化发展
一切仍处于混乱摸索中,这也许也是好事。
一个会「说话」的毛绒玩具,从《玩具总动员》迈向现实。
暑期已然过半,教育市场仍然活跃。7月19日,商务部公布今年上半年我国电子商务发展情况。其中,一个数据格外引人注意——AI学习机销售额增长达136.6%。
家人们,消除“视频闪烁”(比如画面突然一白)有新招了!
针对视觉-语言预训练(Vision-Language Pretraining, VLP)模型的对抗攻击,现有的研究往往仅关注对抗轨迹中对抗样本周围的多样性,但这些对抗样本高度依赖于代理模型生成,存在代理模型过拟合的风险。
如何让大模型更好的遵从人类指令和意图?如何让大模型有更好的推理能力?如何让大模型避免幻觉?能否解决这些问题,是让大模型真正广泛可用,甚至实现超级智能(Super Intelligence)最为关键的技术挑战。这些最困难的挑战也是吴翼团队长期以来的研究重点,大模型对齐技术(Alignment)所要攻克的难题。
近日,机器人领域著名会议 RSS(Robotics: Science and Systems) 2024 在荷兰代尔夫特理工大学圆满落幕。
「通过系统优化软件的帮助,开发的门槛会被降低,各种不同硬件会得到统一,让技术生态得到发展。
剑桥大学研究利用人工智能建立机器学习模型精准预测阿尔茨海默症发展,准确率远超临床测试结果,为阿尔兹海默症早期干预开辟新路径。
前谷歌科学家Yi Tay重磅推出「LLM时代的模型架构」系列博客,首篇博文的话题关于:基于encoder-only架构的BERT是如何被基于encoder-decoder架构的T5所取代的,分析了BERT灭绝的始末以及不同架构模型的优缺点,以史为鉴,对于未来的创新具有重要意义。
AlphaFold 3的论文太晦涩?没关系,斯坦福大学的两位博士生「图解」AlphaFold 3 ,将模型架构可视化,同时不遗漏任何一个细节。
小模型时代来了?OpenAI带着GPT-4o mini首次入局小模型战场,Mistral AI、HuggingFace本周接连发布了小模型。如今,苹果也发布了70亿参数小模型DCLM,性能碾压Mistral-7B。