阿里开源视觉大模型Qwen2-VL：可理解20分钟长视频，性能比肩GPT-4o
阿里开源视觉大模型Qwen2-VL：可理解20分钟长视频，性能比肩GPT-4o还能玩纸牌游戏。
来自主题: AI资讯
9058 点击 2024-09-01 11:31
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
还能玩纸牌游戏。
现在，长上下文视觉语言模型（VLM）有了新的全栈解决方案 ——LongVILA，它集系统、模型训练与数据集开发于一体。
为什么说理解长视频难如 “大海捞针”？
基于 ChatGPT、LLAMA、Vicuna [1, 2, 3] 等大语言模型（Large Language Models，LLMs）的强大理解、生成和推理能力
难度大升级的多任务长视频理解评测基准MLVU来了！
两天前，图灵奖得主 Yann LeCun 转载了「自己登上月球去探索」的长篇漫画，引起了网友的热议。
Open-Sora 在开源社区悄悄更新了，现在单镜头支持长达16秒的视频生成，分辨率最高可达720p，并且可以处理任何宽高比的文本到图像、文本到视频、图像到视频、视频到视频和无限长视频的生成需求。我们来试试效果。
来自UC berkeley的研究人员开源了首个世界模型，多模态性能优秀，长视频理解吊打GPT-4，同时将上下文长度增加到百万级别
AI长视频平台Clipfly（www.clipfly.ai）正式上线。Clipfly是Fotor旗下的新产品，集合了AI视频生成、AI视频增强、视频编辑等众多功能，是全球率先正式上线的一站式AI长视频平台。
在视频理解这一领域，尽管多模态模型在短视频分析上取得了突破性进展，展现出了较强的理解能力，但当它们面对电影级别的长视频时，却显得力不从心。因而，长视频的分析与理解，特别是对于长达数小时电影内容的理解，成为了当前的一个巨大挑战。