|
AI 能像东谈主类相似领悟长视频世博体育app下载。 港理工、新加坡国立团队推出 VideoMind 框架，中枢立异在于变装化推理（Role-based Reasoning）和链式 LoRA（Chain-of-LoRA）战略。 联系论文已上传 arXiv，代码和数据一起开源。
跟着视频数据量的激增，如何领悟和推理长视频中的复杂场景和事件成为了多模态东谈主工智能盘考的热门。不同于静态图像，视频不仅包含视觉信息，还包含工夫维度上的动态变化，这条目模子在领悟视频时不仅要识别画面中的物体和场景，还花式略这些物体和场景如何随工夫变化和相互作用。 传统的基于文本和图像的推理模子（如 OpenAI o1， DeepSeek R1 等）往往无法应酬这种复杂的工夫维度推理任务。 VideoMind 框架 区别于文本和图片，长视频领悟难以用传统的单次感知 + 纯翰墨推理完毕。 比拟之下，东谈主类在领悟长视频（如陶冶视频、故事类视频）时往往会寻找联系片断并反复不雅看，以此获取更可靠的论断。 受该步地启发，作家字据视频领悟所需要的 4 种中枢智商（制定沟通、搜索片断、考据片断、回答问题），为 VideoMind 界说了 4 个变装，并构建了一个变装化的职责流，灵验地惩办了长视频中的时序推理问题。 沟通者（Planner） 字据问题动态制定沟通，决定如何调用其他变装（如先定位，再考据，终末回答问题）; 定位器（Grounder） 字据给定的问题或查询，致密目位与之联系的视频片断 ; 考据器（Verifier） 对定位得到的多个工夫片断进行考据，确保其准确性 ; 回答者（Answerer） 基于采用的视频片断进行领悟，生成最终谜底。
△图 1：传统纯翰墨推理和 VideoMind 的变装化推理 为了高效整合以上变装，作家进一步提议了链式 LoRA（Chain-of-LoRA）战略，在一个斡旋的 Base 模子（如 Qwen2-VL）上同期加载多个轻量的 LoRA Adapter，并在推理时字据需要进举止态切换，以完毕不同变装间的退换。该战略仅需要在 Base 模子上添加极少可学习参数，即可完毕多个变装 / 功能间的无缝切换，既赢得了比单一模子权贵更优的性能，也幸免了多模子并行带来的沟通支拨，从而在确保性能的同期大幅提高了沟通后果。
△图 2： VideoMind 的全体架构和推理经由 VideoMind 推理经由 如图 2 所示，模子接收一个视频和一个用户提议的问题行为输入，通过切换多个变装来推理出最终谜底。其中，Planner 最初对视频和问题进行分析，实施后续推理的沟通，其圆寂以 JSON list 的神志呈现。推理沟通主要可分为以下三种：
△图 3：VideoMind 的三种推理模式 其中（i）主要针对长视频问答任务（Grounded VideoQA），需要使用 Grounder + Verifier + Answerer 三个变装进行功课；（ii）针对视频时序定位任务（Video Temporal Grounding），使用 Grounder + Verifier 来进行联系片断的精确查找；（iii）针对短视频问答，该场景下由于视频较短，无需对其进行编著，故平直使用 Answerer 进行推理。
△图 4：Timestamp Decoder 模块 Grounder 崇敬接收一个当然言语查询，并在视频中定位联系片断。针对这一复杂任务，盘考团队提议了 Timestamp Decoder 模块，将碎裂的 Token 臆想任务和连气儿的工夫回顾任务解耦开来，并使 LLM 通过 Special Token 进行调用，完毕了庞杂的 Zero-shot 时序定位性能。
△图 5：Verifier 的考据战略 为保证工夫诀别率，Grounder 往往职责在较低的空间诀别率下，因此赢得的工夫片断可能会不准确。针对此问题，作家假想了 Verifier 变装来对每个片断进行放大考据，并从多个候选片断中中式置信度最高的行为想法片断。训练证实该战略不错进一步权贵提高 Temporal Grounding 任务的性能。
△表 1：VideoMind 的西席数据集 为西席 VideoMind，作家针对不同变装网罗 / 制作了多个数据集，觉得包含接近 50 万个样本。不同变装使用不同数据集进行西席，并在推理时团结加载，以确保每个变装的性能最大化。所有西席数据（包括前期探索使用的更大批据集）一起公开可用。 实践与评估 为了考据 VideoMind 的灵验性，作家在14 个公开基准测试集上进行了庸碌的实践，涵盖了长视频定位 + 问答（Grounded VideoQA）、视频时序定位 ( Video Temporal Grounding ) 和日常视频问答 ( General VideoQA ) 等任务。
△表 2：用于 VideoMind 评测的基准测试集 （1）视频定位 + 问答（Grounded VideoQA） 在 CG-Bench、ReXTime、NExT-GQA 等长视频基准上，VideoMind 在谜底精确度和时序定位准确性方面发扬出了朝上上风。荒谬的，在平均视频长度约为 27 分钟的 CG-Bench 中，较小的 VideoMind-2B 模子在时序定位和问答任务上卓越了 GPT-4o、Gemini-1.5-Pro 等泉源进的模子。
△表 3：CG-Bench 数据集的测试圆寂
△表 4：NExT-GQA 数据集的测试圆寂 （2）视频时序定位（Video Temporal Grounding） VideoMind 的 Grounder 通过立异的 Timestamp Decoder 和 Temporal Feature Pyramid 假想，权贵提高了视频时序定位的准确性。Verifier 的假想进一步擢升了高精度定位的性能。VideoMind 在 Charades-STA、ActivityNet-Captions、QVHighlights 等基准上王人取得了最好性能。此外，VideoMind 亦然首个维持多片断 grounding 的多模态大模子，因此不错在 QVHighlights 数据集上跟现存模子公正对比。
△表 5：Charades-STA 数据集的测试圆寂
△表 6：ActivityNet Captions 数据集的测试圆寂
△表 7：QVHighlights 数据集的测试圆寂 （3）一般视频问答（General VideoQA） 关于通用的视频领悟问题，VideoMind 也发扬出了庞杂的泛化智商。在 Video-MME、MVBench、MLVU、LVBench、LongVideoBench 等基准上，VideoMind 收获于其 Planner 的假想，不错自顺应地决定是否需要 grounding，其性能卓越了很多先进的视频问答模子，领悟了其在不同视频长度下的优厚发扬。
△表 8：Video-MME、MLVU 和 LVBench 数据集的测试圆寂
△表 9：LongVideoBench 数据集的测试圆寂 以下例子展现了 VideoMind 在骨子场景中的推理经由。给定一个视频和一个问题，该模子不错拆解问题、指定沟通、搜索片断、考据圆寂，并字据获取的片断推理最终谜底。该战略比拟传统的纯翰墨推理（左下部分）愈加合适东谈主类步履，圆寂也愈加可靠。
△图 6：VideoMind 的推理经由可视化总结 VideoMind 的提议不仅在于视频领悟性能的箝制，更在于提议了一个模块化、可推广、可解释的多模态推理框架。该框架初次完毕了雷同东谈主类步履的"指定沟通、搜索片断、考据圆寂、回答问题"经由，实在让 AI 能"像东谈主类相似领悟视频"，为将来的视频领悟和多模态智能系统范围奠定了基础。 技俩主页：https://videomind.github.io/ 论文团结：https://arxiv.org/abs/2503.13444 开源代码：https://github.com/yeliudev/VideoMind 开源数据：https://huggingface.co/datasets/yeliudev/VideoMind-Dataset 在线 Demo：https://huggingface.co/spaces/yeliudev/VideoMind-2B 一键三连「点赞」「转发」「留心心」 接待在辩论区留住你的念念法！ — 完 — 学术投稿请于职责日发邮件到： ai@qbitai.com 标题注明【投稿】，告诉咱们： 你是谁，从哪来，投稿内容 附上论文 / 技俩主页团结，以及斟酌方式哦 咱们会（尽量）实时报恩你
� � 点亮星标 � � 科技前沿进展逐日见世博体育app下载 |
