本次再分享一个非常强大的视觉追踪工具SAMURAI,SAMURAI是一个基于Meta推出的Segment Anything Model 2(SAM 2)的改进版本,旨在实现零样本视觉跟踪,特别关注运动感知记忆的适应性。

SAMURAI介绍
本应用是由华盛顿大学华人团队基于Meta的SAM 2的优化升级版。是 SAMURAI 的官方实现:使用运动感知记忆调整任何分段模型以实现零样本视觉跟踪

主要功能:
- 零样本视觉跟踪:无需额外训练,直接利用SAM 2.1的预训练权重进行视觉对象跟踪。
- 运动感知记忆:通过引入卡尔曼滤波器,增强对目标运动的预测能力,提高在复杂场景中的跟踪准确性。
具体使用场景:
- 复杂视频分析:适用于处理快速移动或被遮挡的目标,如体育比赛、舞蹈表演等场景中的对象跟踪。
- 实时监控:在拥挤或动态环境中,对特定目标进行实时跟踪,提升监控系统的智能化水平。
- 人机交互:在增强现实或虚拟现实应用中,实时跟踪用户或物体的运动,提高交互体验的自然性和流畅度。
SAMURAI整合包使用说明
首先到网盘内将软件压缩包下载到电脑上解压。SAMURAI无需自己训练模型,直接使用预训练模型即可。我没有打包模型文件而是做了个模型下载程序,首先运行【模型下载.exe】即可从阿里平台满速下载模型,速度非常快,等到终端窗口界面输出提示模型下载完成即可。
模型下载完成后即可双击运行【启动软件.exe】启动软件操作界面。软件支持处理视频文件和图片序列。你可以将mp4视频文件或是文件夹鼠标左键按住拖动到软件窗口里,软件会自动识别路径并填充到编辑框中。
坐标位置:你需要提供所追踪物体在视频第一帧中的坐标位置,追踪区域为方形,坐标位置的值类似:100,101,102,103。前两个值是这个区域最左上角的顶点的坐标。后两个值是这个区域的宽高尺寸。数值之间使用英文逗号“,”隔开。如果你没有相关获取视频内物体坐标位置的工具的话,你可以看我下面这篇文章参考获取视频内物体坐标位置和尺寸《使用QQ和PotPlayer确定视频中指定区域点的坐标位置和宽高尺寸》
模型选择:理论模型越大效果越好,默认使用plus模型,想要体验更大模型效果的话可以选择large。
点击开始处理按钮即可开始处理视频。等到软件处理完成后会将输出结果视频output.mp4保存到软件项目文件夹内。
处理速度主要受视频尺寸影响,视频尺寸越大处理越慢。
注意事项
开始处理后会首先占用大量CPU和内存,感觉至少应该要预留15G内存,如果内存不足会报not enough memory相关错误。
整合包只支持Windows 10或11系统
软件运行路径中不要有非英文字符和空格
使用前请先将英伟达显卡驱动更新到最新版本,否则可能会报错
建议英伟达显卡显存6G以上用户体验
零样本视觉追踪软件samurai一键启动包下载链接
相关推荐
最近更新

凡人修仙传动画宋玉高清图片壁纸素材AI绘画图集,AI国漫女神系列
凡人修仙传动画里宋玉是大家比较喜欢的一个角色,动画人物造型精美,当前热度极高。虽然凡人修仙传原著里只是韩老魔的弟子,但是很多短视频创作者非常能整活,已经把宋玉纳入韩老魔后宫了。很多人喜欢收集宋玉的图片,但是视频里截图的话可能截不到喜欢的图,...

凡人修仙传动画人物梅凝高清壁纸素材AI绘画图片,AI国漫女神系列
有些人比较喜欢凡人修仙传动画里梅凝这个角色,视频里截图的话可能截不到喜欢的图,下面分享一些梅凝的AI绘画图片素材,图片都是SD生成的,都是高清大图,非凡人修仙传动画视频截图。部分梅凝图片如下: 下载链接: https://pan.xunle...

凡人修仙传动画人物范静梅高清壁纸素材图片,AI国漫女神系列
本次分享的是凡人修仙传动画人物范静梅的AI图片素材,图片都是SD生成的,都是高清大图,非凡人修仙传动画视频截图。部分范静梅图片如下: 下载链接: https://pan.xunlei.com/s/VOXgauAl7VsuksED0adoUu...

凡人修仙传动画银月高清壁纸素材图片,AI国漫女神系列
本次分享的是凡人修仙传动画人物银月AI图片素材,图片都是SD生成的,都是高清大图,非凡人修仙传动画视频截图。这次生成的不多,部分图片如下: 下载链接: https://pan.quark.cn/s/1bd714c2d5e7 https://...

图片元数据信息删除工具,支持windows/mac/Linux
有些图片可能会附带很多的信息,如果你想把图片的元数据信息删除的话,可以使用exifcleaner,这是一款用于清理图像元数据的跨平台桌面 GUI 应用程序,软件支持支持 Linux、macOS 10.10+ 和 Windows 7+(仅限 ...

凡人修仙传动画慕沛灵高清壁纸图片,单人AI图片素材
最近需要用到凡人修仙传动画里人物图片,直接在视频里截图的话要么身体姿势不对要么就身体不完整等,截不到想要的图,然后就炼了一批AI图,这次分享的这些都是慕沛灵的单人图片,全身照,都是高清的,由于只需要竖屏,所以我没生成横屏图片。喜欢的可以拿去...

免费在线视频去水印工具方法
本次分享一个免费的在线视频去水印工具–记灵 这个在线工具目前是完全免费的,上传mp4视频文件,然后鼠标框选去水印区域,然后点击处理等待处理完成就可以了,操作非常简单。 这个去水印工具是采用打码的方式覆盖原水印区域的,并不是AI智...

即梦AI(可灵)视频制作9种电影级运镜提示词,小白秒变大导演
视频制作方式多种多样,想做出一个观感体验极佳的精彩视频,运镜效果少不了。这里整理了9种实用的电影级运镜方式,学会这些运镜小白也可以成为大导演。你可以将这些运镜效果用在即梦或可灵AI中视频生成的时候,提供了运镜参考关键词,如果不会写关键词的,...

带声音克隆功能的对话型文字转语音软件higgs-audio免安装一键启动整合包下载
higgs-audio是本月刚发布的一款非常强大的文字转语音工具,上线不到一个月就获得了5.9K个星,可以说是非常热门的项目了。这个软件可以实现文字转语音及声音克隆功能,不过可以实现这个功能的这类软件很多,higgs-audio只是说好一点...

本地离线翻译软件LibreTranslate免安装一键启动包下载
LibreTranslate是一款热门的免费本地离线翻译软件,无需联网,方便某些电脑无法联网但需要进行翻译的场景使用。我制作了最新版免安装一键启动整合包,下载解压即用。 LibreTranslate介绍 免费开源机器翻译 API,完全自托管...