Google DeepMind近日发布新模型GenCeption，该模型基于预训练视频生成模型构建，用于解决深度估计、图像分割、3D姿态估计等经典计算机视觉任务，并在多项基准测试中达到接近或超过当前领先水平。值得关注的是，GenCeption所需训练数据规模远低于传统专用视觉模型。
当前计算机视觉领域仍以任务专用模型为主，例如用于分割任务的Segment Anything、用于深度估计的Depth Anything等，不同任务通常采用独立架构。DeepMind研究团队认为，大型文本到视频模型在训练过程中学习了场景空间结构、物体运动规律以及语言与视觉之间的关联，可能具备成为通用视觉基础模型的潜力。
GenCeption基于阿里巴巴开源视频模型Wan2.1开发，通过简化架构实现一次前向传播即可完成视觉任务预测。模型能够根据文本提示，从同一段视频中生成深度图、表面法线、分割掩码以及姿态估计结果，并通过可训练模块支持3D关键点等非图像输出任务。
在训练数据方面，GenCeption主要使用包含7500个视频的合成数据集，由800个人体模型结合200组动作序列，并通过Blender渲染生成。研究显示，该模型在深度估计、表面法线预测、3D姿态识别以及语言引导分割等任务中均取得优异表现，训练数据量仅为部分现有模型的七分之一至五百分之一。
此外，GenCeption展现出较强泛化能力。尽管训练数据主要来自单人合成人体视频，但模型能够处理真实世界中的多人场景、动物以及人形机器人等未见类别，并生成包含细节的视觉预测结果。
不过，研究团队也指出，联合训练多个任务可能影响部分复杂任务性能，同时模型推理速度仍需优化。目前，大模型处理81帧视频约需6至10秒。
GenCeption的发布表明，视频生成模型正在从内容生成工具向视觉理解基础模型方向拓展。未来，如何让生成式模型获得更可靠的物理理解和现实反馈能力，仍是AI研究领域的重要挑战。