Meta AI的SAM「分割一切 」模型 展现了强大的 图像分割 能力 ， 但缺乏对视频数据的支持。近期， 浙江大学ReLER实验室的科研人员在最新开源的 SAM - Track项目 中，解锁了SAM的视频分割能力，即：分割并跟踪一切（Segment - and - track anything，SAM - track ） 。 SAM - Track在单卡上即可支持各种时空场景中的目标分割和跟踪，包括街景、 AR 、细胞、动画、航拍等，可同时追踪超过 2 00 个物体，为用户提供了强大的视频编辑能力。

项目地址：

https://github.com/z-x-yang/Segment-and-Track-Anything

(相关资料图)

SAM-Track通过将SAM与最新的高效多物体跟踪算法DeAOT（NIPS2022）结合，能够进行高精度的视频目标分割/跟踪，且可支持全自动和交互式的分割方式。

自动化视频目标分割/跟踪Demo：

交互视频目标分割/跟踪：

1. 通过点击或边界框指定单个目标物体进行分割/跟踪

2. 通过点击添加多个物体进行分割/跟踪

此外， SAM - Track 项目还将提供了WebUI，方便用户开箱即用：

目前，项目V0版本已开源，支持全自动视频分割，项目V 1 版本计划于下周更新，支持交互式视频分割。

项目成员均来自浙江大学计算机学院ReLER实验室。ReLER实验室由浙江大学求是讲席教授杨易于2021年创立。项目成员包括：徐源佑（在读博士），程阳铭（在读硕士），李刘磊（科研助理）， 杨宗鑫 （博士后）， 王文冠 （百人计划研究员）， 杨易 （教授）。

标签：