作者：可爱的小 cherry

大家好，这里是 Cherry，喜爱折腾、玩数码，热衷于分享数码玩耍经验 ~

前言

在很多人的 NAS 里，都有保存大量的文件资料，有些是来源 PC 电脑的备份，有些是来源手机备份，有些是来源网盘备份，有些则是手动上传。

这些文件或相同、或不同，反正大多数 NAS 用户都不会去整理，而是让它们就这样静静的躺在那儿，占用着昂贵的硬盘空间。

其实不仅是重复问题，还有管理不到位导致的文件多版本也很让人头痛，要找一个文件就需要从 X.doc，X ( 1 ) .doc，X ( 2 ) .doc，X ( 3 ) .doc，X ( 4 ) .doc 里找到谁是爸爸，谁是儿子。

下面，我们通过两种方法，来解决 NAS 里海量文件的重复问题，第一种是所有 NAS 通用的 windows 侧操作，第二种是铁威马独占的Deduplication Manager去重工具！

一、通过挂载到 Windows 去重

1、通过文件服务挂载

对 NAS 来说，比较通用的方法就是通过 SMB/WedDav 等方法，将文件夹挂载到 windows 侧，然后通过 windows 侧的各种去重软件进行去重。

SMB 服务

最常用的挂载方法，windows 下在文件管理器输入 //ip 就可以实现挂载，macos 下输入 smb://ip 来实现挂载。如果 NAS 使用双网络，可以使用聚合 SMB 挂载，突破单根网线速率。

WebDav 服务

WebDav 是一种基于 Web 的分布式编写和版本控制的超文本传输协议 （HTTP）的扩展，核心是 HTTP 协议，主要在互联网端提供网络传输服务。PC 电脑一般需要通过 webdav 客户端访问到 nas 服务上，windows 下常用的是 Raidrive 这个软件，有免费版。

铁威马目前支持 SMBFTPNFSWebDavRsync 等文件服务。

Webdav 的话，推荐使用 RaiDrive 这款支持免费使用的软件挂载，操作方便快捷。

2、使用 CZKAWKA 去重

在 Window 侧，比较常用的去重软件有 Czkawka、Dupeguru、Krokiet 等，我习惯使用的是 Czkawka，支持各种类型的文件筛选去重，及硬链接功能。

铁威马的 SMB 速度很稳定，机械盘在 2.5Gbps 网口加持下基本能跑满 260Mb/s 的读写速度，所有对数千张照片进行复杂算法也不会很慢。

等扫描完毕以后，我们可以根据文件时间、大小、尺寸进行手动或自动去重；也支持通过软链接 / 硬链接等方式，在保持文件结构不变的情况下减少硬盘占用。

二、更稳妥的官方去重软件

除了挂载到 windows 外，我们也可以通过 NAS 自带的去重软件进行操作。比如铁威马就提供了一套简单易用的可视化去重方案——Deduplication Manager。

Deduplication Manager支持以存储卷为单位进行去重，会对同一个卷下的所有文件夹进行对比。

在扫描规则上，除了配置删除空文件、限制检查文件大小外，还支持三种不同的文件校验方法。其中 md5 最快、最笼统；sha1 居中；sha256 最慢、最准确。

三种校验算法的原理和适用场景：

⭐ MD5：128 位哈希值生成快，但存在碰撞漏洞（不同文件可能生成相同结果），适合非关键场景（如临时文件对比、简单去重），效率优先时可选。

⭐ SHA1：160 位哈希值，曾广泛用于软件 / 文件校验（如 Git 版本追踪），已被证明存在碰撞风险，现多用于兼容旧系统或对安全性要求不高的重复文件筛查。

⭐SHA256：256 位哈希抗碰撞性极强，几乎可视为唯一文件指纹，资源消耗较高但可靠性最佳，适用于高精度文件比对（如数据库去重、科研数据校验），确保 " 同一文件 " 判定无争议。

任务完成以后，扫描结果会展示去重文件数、节省空间数据，方便用户理解去重的成果。

对于扫描结果，也支持自动去重和手动去重，一般来说手动自由度会更高一点。可以针对性的选择单独的文件删除。

总结

根据上述两种方案，我们就可以对 NAS 里各式各样的重复文件就可以 say goodbye 了。而且不仅仅于文件，其它如视频、图片、其它格式文件等资料也可以进行校验去重。

值得一提的是，如果使用硬链接保留了文件结构的，我们在 NAS 里看到的磁盘空间是不会减少的，大家不用担心去重失败。

具体的，可以使用 ls -il 来查看列表里的文件 id，如果有两个文件 id 是一样的，那就说明他们互为硬链接哦 ~~

本文来自什么值得买网站（www.smzdm.com）。