全部文章

拷贝显示完成,为什么还要校验

进度条走完只说明数据发出去了,不说明盘上存的就是原样。讲讲校验值是什么,以及光渡怎样从盘上读回来核对。

拷卡时进度条走到 100%,只说明数据已经从卡里读出来、交给了硬盘。硬盘上最后存下的是不是和卡里一模一样,进度条并不知道。这篇从数据讲起:拷贝到底会不会悄悄出错,校验值是怎么回事,光渡为什么默认用 XXH64,以及它具体怎么核对。

拷贝真的会悄悄出错吗

会,而且有大规模的实测数据。下面两项研究经常被引用,测的都是数据中心里有冗余、有监控的设备:

研究规模发现
CERN 数据完整性报告(2007,内部报告)3000 台服务器反复写入再读回,约 5 周100 台机器上查出 500 次数据错误;抽查 33,700 个文件(约 8.7 TB),有 22 个和磁带上记录的校验值对不上,约每 1,500 个文件坏 1 个
NetApp 等,FAST ’08 论文153 万块硬盘,41 个月查到 40 多万次校验不符;近线硬盘有 0.86%、企业级硬盘有 0.065% 出现过「硬盘没报任何错,数据却变了」

CERN 报告里有一句话很到位:各层的保护机制并不是百分之百有效,数据流里的错误不一定都会被正确处理、报告给上层。它还测了 1 万个压缩文件:只错 1 个比特,有 99.8% 的情况整个文件都读不出来。相机录的 H.264、HEVC、ProRes 也是压缩格式,出错时不一定整段打不开,但花屏、丢帧一样没法交付。

拷卡现场的情况比数据中心更复杂。一次拷贝要经过读卡器、线材、接口、硬盘盒和硬盘本身,任何一环出问题,系统都可能不报错:

  • 读卡器或线材接触不良,偶尔读错几个字节;
  • 硬盘盒、扩展坞供电不稳,写入时出错;
  • 硬盘中途被拔掉或断电,文件只写了一半;
  • 存储卡老化,同一个位置两次读出来的内容不一样。

校验值:文件的指纹

校验,就是给文件算一个「指纹」,也叫校验值或哈希值。同样的内容,算出来的指纹永远一样;哪怕只改一个比特,指纹也会完全不同。下面是我们在 1 GiB 测试数据上实测的结果:

数据XXH64 指纹
1 GiB 测试数据0a08cc4c8b94db2b
同一份数据,只翻转其中 1 个比特5a21bb20086ea713

所以比较两份文件的指纹,就能知道它们是不是一模一样,不用逐字节去对。XXH64 的指纹有 2⁶⁴ 种取值,约 1.8×10¹⁹,拷贝时随机出错、指纹却恰好不变的可能性小到可以忽略。它不是密码学算法,不用来防人为篡改;用来发现意外出错,正是行业的通行做法。

为什么默认用 XXH64,而不是 MD5

一个字:快。MD5 设计于 1991 年,是按密码学的要求设计的,算得慢;XXH64 只为发现数据错误而生,速度高出一个数量级。我们在 Mac 上用和光渡同版本的库实测:

单线程校验速度(越长越快)

  • XXH12827.6 GB/s
  • XXH64光渡默认21.8 GB/s
  • MD50.76 GB/s
Apple M5 Max,单线程,内存中 1 GiB 数据,按 8 MiB 一块计算;使用与光渡相同版本的 xxhash-rust 0.8.21 与 md-5 0.10.6,三次运行取中位数(2026-11-17 实测)。xxHash 官方测速在 Intel i7-9700K 上测得 XXH64 19.4 GB/s、MD5 0.6 GB/s,量级一致。

0.76 GB/s 听起来不慢,但现在的卡更快。把 MD5 的速度和几张主流卡的标称读取速度放在一起看:

存储卡标称读取速度,虚线是 MD5 单线程速度

  • CFexpress 4.0 Type BLexar DIAMOND3.7 GB/s
  • CFexpress 4.0 Type ASony CEA-G1.8 GB/s
  • CFexpress 2.0 Type BSanDisk Extreme PRO1.7 GB/s
  • SD UHS-II V90SanDisk Extreme PRO0.3 GB/s
卡速为厂商标称的「最高」顺序读取速度(1 MB = 10⁶ 字节),实际还受读卡器和接口限制:Lexar Professional DIAMOND CFexpress 4.0 Type B、Sony CEA-G(CFexpress 4.0 版)、SanDisk Extreme PRO CFexpress Type B、SanDisk Extreme PRO SD UHS-II。XXH64 的 21.8 GB/s 超出图的范围。

凡是在虚线右边的卡,只用 MD5 校验时,拷贝速度就会被 MD5 拖住;XXH64 则远快于任何一张卡,校验几乎不占时间。所以光渡始终用 XXH64。交付方要求别的格式时,可以在设置里打开「附加校验值」,同时算 MD5 或 XXH128。比如 Netflix 的制片数据管理规范要求原始素材的每一份拷贝都做校验,接受 xxHash64、xxHash128 或 MD5,并推荐 ASC MHL 格式。

光渡怎么校验

拷贝时,光渡只把卡读一遍:每读一段数据,先算进指纹,再同时写到所有目标盘,所以双盘备份不用把卡读两遍。写完以后,默认的「回读校验」会把每一份拷贝从硬盘上完整读回来,重新算指纹,再和拷贝时从卡上算出的指纹比对。

  1. 01读一遍卡,边读边算指纹

    A001Sony · 128 GB

    指纹 · XXH649f3a·71c2

  2. 02同时写进两块盘

    SSD 2TB工作盘

    HDD 4TB备份盘

  3. 03各自从盘上读回,再算一次

    从盘上读回

    9f3a·71c2一致

    从盘上读回

    9f3a·71c2一致

一次读卡,同时写进两块盘,再各自从盘上读回比对(示例数据)。

指纹对不上时,光渡不会马上判失败,而是绕开缓存再读一次。第二次对上了,算通过,但会提醒你检查读卡器和线材;还是对不上,就记为校验失败。出错的拷贝不会被删掉:你确认后,它会被原样挪进隔离文件夹,再从卡上重新拷一份。

三种校验模式

回读校验证明的是:硬盘上的拷贝,和拷贝那一刻从卡上读到的内容一样。但如果那一刻读卡器就读错了,错的数据会被原样写进每块盘,回读照样「对得上」。「完整校验」会在拷完后把卡也重新读一遍,这种情况也能查出来。

模式读回什么适合
不校验只拷贝,不读回不建议用于原始素材
回读校验(默认)每份拷贝从盘上完整读回日常拷卡
完整校验每份拷贝读回,存储卡也重读一遍重要拍摄,准备格式化之前

完整校验要多读一遍卡,会多花些时间。也可以先用回读校验,拷完再点「补做存储卡复核」补上这一步。

留下记录:MHL 与 ASC MHL

校验的结果要能交给下一个人。光渡会在每块目标盘上留下 MHL 文件,并在素材文件夹里写一份 ASC MHL。ASC MHL 是美国电影摄影师协会(ASC)技术委员会制定的开放规范,2022 年发布 1.0 版,支持 xxh64、xxh128、md5 等格式。它要求每复制一次就新建一份清单,素材从片场一路拷到后期,经手的每一步都有据可查。没通过校验的文件,不会被记成已校验。

小结

  • 静默出错是有据可查的事实,进度条走完不代表拷贝无误;
  • 比对指纹是确认拷贝完整的办法,XXH64 快到不拖慢任何一张卡;
  • 回读要从盘上真读,完整校验连卡本身也核对一遍;
  • MHL 记录让下一个人也能重新核对。

至于什么时候可以放心格式化卡,那是另一个问题,另一篇文章会讲。

资料来源

欢迎联系与交流