来自南方科技大学的这款视频分割模型，可以追踪视频中的任意事物。
不仅会“看”，还会“剪”，从视频中去掉个人，对它来说也是轻轻松松的事。
而操作上，你唯一需要做的就是点几下鼠标。
这位特效艺术家看到消息后仿佛找到了救星，直言这一产品将改变CGI行业的游戏规则。
这款模型叫做TAM（Track Anything Model），是不是和Meta的图像分割模型SAM名字很像？
的确，TAM就是将SAM扩展到了视频领域，点亮了动态物体追踪的技能树。
视频分割模型其实不是新技术了，但传统的分割模型并没有减轻人类的工作。
这些模型使用的训练数据全部需要人工标注，甚至在使用时还需要先用特定物体的遮罩参数进行初始化。
SAM的出现为解决这一问题提供了前提——至少初始化数据不再需要人工获取。
当然，TAM也并不是逐帧使用SAM再叠加，还需要构建对应的时空关系。
团队将SAM与名为XMem的记忆模块进行了集成。
只需要在第一帧中用SAM生成初始参数，XMem便可以指导接下来的追踪过程。
追踪的目标还可以是很多个，比如下面的清明上河图：
甚至场景发生改变，也不影响TAM的表现：
我们体验了一番发现，TAM采用了交互式用户界面，操作上十分简单友好。
硬实力方面，TAM的追踪效果的确也不错：
但是，消除功能在一些细节上的精确度还有待提高。
从SAM到TAM
前文已经提到，TAM是在SAM的基础之上结合记忆能力建立时空关联实现的。
具体而言，第一步是借助SAM的静态图像分割能力对模型进行初始化。
只需一次点击，SAM就能生成目标物体的初始化遮罩参数，代替了传统分割模型中的复杂初始化过程。
有了初始参数，团队就可以将它交给XMem，进行半人工干预训练，大大减少了人类工作量。
在这一过程中，会有一些人工预测结果被用于和XMem的输出进行比较。
实际过程中，随着时间的增长，得到准确的分割结果对XMem变得越来越困难。
当结果与预期差距过大时，将进入再分割环节，这一步还是由SAM完成。
经过SAM的再优化，大部分输出结果已比较准确，但还有一部分需要人工再调整。
TAM的训练过程大致就是这样，而开头提到的物体消除的技能是TAM与E2FGVI结合形成的。
E2FGVI本身也是一个视频元素消除工具，在TAM精准分割的加持下，其工作更加有的放矢。
为了测试TAM，团队使用了DAVIS-16和DAVIS-17数据集对其进行了评估。
直观感受还是很不错的，从数据上看也的确如此。
TAM虽然无需手工设置遮罩参数，但其J（区域相似度）和F（边界准确度）两项指标已十分接近手工模型。
甚至在DAVIS-2017数据集上的表现还略胜于其中的STM。
其他初始化方式中，SiamMask的表现根本无法和TAM相提并论；
另一种名为MiVOS方法虽然表现好于TAM，但毕竟已经进化了8轮……
团队简介
TAM来自南方科技大学视觉智能与感知（VIP）实验室。
该实验室研究方向包括文本-图像-声音多模型学习、多模型感知、强化学习和视觉缺陷检测等。
目前团队已发表论文30余篇，获得专利5项。
团队领导人是南方科技大学郑锋副教授，博士毕业于英国谢菲尔德大学，先后供职于中科院深研院、腾讯优图等机构，于2018年进入南科大，2021年晋升为副教授。
论文地址：
https://arxiv.org/abs/2304.11968
GitHub页面：
https://github.com/gaomingqi/Track-Anything
参考链接：
https://twitter.com/bilawalsidhu/status/1650710123399233536?s=20
快抢沙发！
