拷贝显示完成,为什么还要校验
进度条走完只说明数据发出去了,不说明盘上存的就是原样。讲讲校验值是什么,以及光渡怎样从盘上读回来核对。
拷卡时进度条走到 100%,只说明数据已经从卡里读出来、交给了硬盘。硬盘上最后存下的是不是和卡里一模一样,进度条并不知道。这篇从数据讲起:拷贝到底会不会悄悄出错,校验值是怎么回事,光渡为什么默认用 XXH64,以及它具体怎么核对。
拷贝真的会悄悄出错吗
会,而且有大规模的实测数据。下面两项研究经常被引用,测的都是数据中心里有冗余、有监控的设备:
| 研究 | 规模 | 发现 |
|---|---|---|
| CERN 数据完整性报告(2007,内部报告) | 3000 台服务器反复写入再读回,约 5 周 | 100 台机器上查出 500 次数据错误;抽查 33,700 个文件(约 8.7 TB),有 22 个和磁带上记录的校验值对不上,约每 1,500 个文件坏 1 个 |
| NetApp 等,FAST ’08 论文 | 153 万块硬盘,41 个月 | 查到 40 多万次校验不符;近线硬盘有 0.86%、企业级硬盘有 0.065% 出现过「硬盘没报任何错,数据却变了」 |
CERN 报告里有一句话很到位:各层的保护机制并不是百分之百有效,数据流里的错误不一定都会被正确处理、报告给上层。它还测了 1 万个压缩文件:只错 1 个比特,有 99.8% 的情况整个文件都读不出来。相机录的 H.264、HEVC、ProRes 也是压缩格式,出错时不一定整段打不开,但花屏、丢帧一样没法交付。
拷卡现场的情况比数据中心更复杂。一次拷贝要经过读卡器、线材、接口、硬盘盒和硬盘本身,任何一环出问题,系统都可能不报错:
- 读卡器或线材接触不良,偶尔读错几个字节;
- 硬盘盒、扩展坞供电不稳,写入时出错;
- 硬盘中途被拔掉或断电,文件只写了一半;
- 存储卡老化,同一个位置两次读出来的内容不一样。
校验值:文件的指纹
校验,就是给文件算一个「指纹」,也叫校验值或哈希值。同样的内容,算出来的指纹永远一样;哪怕只改一个比特,指纹也会完全不同。下面是我们在 1 GiB 测试数据上实测的结果:
| 数据 | XXH64 指纹 |
|---|---|
| 1 GiB 测试数据 | 0a08cc4c8b94db2b |
| 同一份数据,只翻转其中 1 个比特 | 5a21bb20086ea713 |
所以比较两份文件的指纹,就能知道它们是不是一模一样,不用逐字节去对。XXH64 的指纹有 2⁶⁴ 种取值,约 1.8×10¹⁹,拷贝时随机出错、指纹却恰好不变的可能性小到可以忽略。它不是密码学算法,不用来防人为篡改;用来发现意外出错,正是行业的通行做法。
为什么默认用 XXH64,而不是 MD5
一个字:快。MD5 设计于 1991 年,是按密码学的要求设计的,算得慢;XXH64 只为发现数据错误而生,速度高出一个数量级。我们在 Mac 上用和光渡同版本的库实测:
单线程校验速度(越长越快)
0.76 GB/s 听起来不慢,但现在的卡更快。把 MD5 的速度和几张主流卡的标称读取速度放在一起看:
存储卡标称读取速度,虚线是 MD5 单线程速度
凡是在虚线右边的卡,只用 MD5 校验时,拷贝速度就会被 MD5 拖住;XXH64 则远快于任何一张卡,校验几乎不占时间。所以光渡始终用 XXH64。交付方要求别的格式时,可以在设置里打开「附加校验值」,同时算 MD5 或 XXH128。比如 Netflix 的制片数据管理规范要求原始素材的每一份拷贝都做校验,接受 xxHash64、xxHash128 或 MD5,并推荐 ASC MHL 格式。
光渡怎么校验
拷贝时,光渡只把卡读一遍:每读一段数据,先算进指纹,再同时写到所有目标盘,所以双盘备份不用把卡读两遍。写完以后,默认的「回读校验」会把每一份拷贝从硬盘上完整读回来,重新算指纹,再和拷贝时从卡上算出的指纹比对。
01读一遍卡,边读边算指纹
A001Sony · 128 GB
02同时写进两块盘
SSD 2TB工作盘
HDD 4TB备份盘
03各自从盘上读回,再算一次
从盘上读回
从盘上读回
指纹对不上时,光渡不会马上判失败,而是绕开缓存再读一次。第二次对上了,算通过,但会提醒你检查读卡器和线材;还是对不上,就记为校验失败。出错的拷贝不会被删掉:你确认后,它会被原样挪进隔离文件夹,再从卡上重新拷一份。
三种校验模式
回读校验证明的是:硬盘上的拷贝,和拷贝那一刻从卡上读到的内容一样。但如果那一刻读卡器就读错了,错的数据会被原样写进每块盘,回读照样「对得上」。「完整校验」会在拷完后把卡也重新读一遍,这种情况也能查出来。
| 模式 | 读回什么 | 适合 |
|---|---|---|
| 不校验 | 只拷贝,不读回 | 不建议用于原始素材 |
| 回读校验(默认) | 每份拷贝从盘上完整读回 | 日常拷卡 |
| 完整校验 | 每份拷贝读回,存储卡也重读一遍 | 重要拍摄,准备格式化之前 |
完整校验要多读一遍卡,会多花些时间。也可以先用回读校验,拷完再点「补做存储卡复核」补上这一步。
留下记录:MHL 与 ASC MHL
校验的结果要能交给下一个人。光渡会在每块目标盘上留下 MHL 文件,并在素材文件夹里写一份 ASC MHL。ASC MHL 是美国电影摄影师协会(ASC)技术委员会制定的开放规范,2022 年发布 1.0 版,支持 xxh64、xxh128、md5 等格式。它要求每复制一次就新建一份清单,素材从片场一路拷到后期,经手的每一步都有据可查。没通过校验的文件,不会被记成已校验。
小结
- 静默出错是有据可查的事实,进度条走完不代表拷贝无误;
- 比对指纹是确认拷贝完整的办法,XXH64 快到不拖慢任何一张卡;
- 回读要从盘上真读,完整校验连卡本身也核对一遍;
- MHL 记录让下一个人也能重新核对。
至于什么时候可以放心格式化卡,那是另一个问题,另一篇文章会讲。
资料来源
- Bernd Panzer-Steindel,Data integrity,CERN/IT,Draft 1.3,2007 年 4 月
- Bairavasundaram 等,An Analysis of Data Corruption in the Storage Stack,USENIX FAST ’08
- xxHash 官方说明与测速表
- Lexar Professional DIAMOND CFexpress 4.0 Type B 产品页
- Sony CEA-G/CEA-M 系列 CFexpress Type A 写入速度说明
- SanDisk Extreme PRO CFexpress Type B 规格表
- SanDisk Extreme PRO SD UHS-II V90 规格表
- Apple File System Programming Guide:Performance Tips
- Netflix:Production Assets: Data Management
- ASC Media Hash List (ASC MHL) Specification v1.0