SAM 2

工具简介

Meta Segment Anything Model 2 (SAM 2) 是 Meta 公司开发的下一代模型，用于视频和图像中的实时、可提示的对象分割。它实现了最先进的性能，并且支持零样本泛化，即无需定制适配即可应用于之前未见过的视觉内容。SAM 2 的发布遵循开放科学的方法，代码和模型权重在 Apache 2.0 许可下共享，SA-V 数据集也在 CC BY 4.0 许可下共享。

适用人群

目标受众包括计算机视觉研究人员、视频编辑人员、内容创作者、自动驾驶汽车开发人员以及需要进行图像和视频分析的科学和医学研究人员。SAM 2 的实时分割能力和零样本泛化特性使其成为这些用户的理想选择，可以显著提高工作效率并开启新的应用场景。

使用场景

在医学领域，利用 SAM 2 分割细胞图像，辅助进行疾病诊断。在自动驾驶汽车中，使用 SAM 2 进行实时道路对象分割，提高导航精度。在社交媒体上，使用 SAM 2 为视频添加特殊效果，如背景替换或对象高亮。

产品特色

SAM 2 支持视频和图像的实时对象分割，采用流式架构，支持任意长视频的实时处理。它可用于创建新的视频效果和解锁新的创意应用，实现了零样本泛化，无需定制适配即可应用于未见内容。该模型可以辅助快速注释工具，以构建更好的计算机视觉系统，设计有记忆机制，包括记忆编码器、记忆库和记忆注意力模块。共享的 SA-V 数据集包含 51,000 个真实世界视频和超过 600,000 个 masklets。