拷貝顯示完成,為什麼還要驗證
進度條走完只代表資料送出去了,不代表磁碟上存的就是原樣。談談驗證值是什麼,以及光渡怎樣從磁碟讀回來核對。
拷卡時進度條走到 100%,只代表資料已經從卡裡讀出來、交給了硬碟。硬碟上最後存下的是不是和卡裡一模一樣,進度條並不知道。這篇從資料談起:拷貝到底會不會悄悄出錯,驗證值是怎麼回事,光渡為什麼預設用 XXH64,以及它具體怎麼核對。
拷貝真的會悄悄出錯嗎
會,而且有大規模的實測資料。下面兩項研究經常被引用,測的都是資料中心裡有備援、有監控的設備:
| 研究 | 規模 | 發現 |
|---|---|---|
| CERN 資料完整性報告(2007,內部報告) | 3000 台伺服器反覆寫入再讀回,約 5 週 | 100 台機器上查出 500 次資料錯誤;抽查 33,700 個檔案(約 8.7 TB),有 22 個和磁帶上記錄的驗證值對不上,約每 1,500 個檔案壞 1 個 |
| NetApp 等,FAST ’08 論文 | 153 萬顆硬碟,41 個月 | 查到 40 多萬次驗證不符;近線硬碟有 0.86%、企業級硬碟有 0.065% 出現過「硬碟沒報任何錯,資料卻變了」 |
CERN 報告裡有一句話很到位:各層的保護機制並不是百分之百有效,資料流裡的錯誤不一定都會被正確處理、回報給上層。它還測了 1 萬個壓縮檔:只錯 1 個位元,有 99.8% 的情況整個檔案都讀不出來。相機錄的 H.264、HEVC、ProRes 也是壓縮格式,出錯時不一定整段打不開,但破圖、掉格一樣沒辦法交付。
拷卡現場的情況比資料中心更複雜。一次拷貝要經過讀卡機、線材、接口、硬碟外接盒和硬碟本身,任何一環出問題,系統都可能不報錯:
- 讀卡機或線材接觸不良,偶爾讀錯幾個位元組;
- 硬碟外接盒、擴充座供電不穩,寫入時出錯;
- 硬碟中途被拔掉或斷電,檔案只寫了一半;
- 記憶卡老化,同一個位置兩次讀出來的內容不一樣。
驗證值:檔案的指紋
驗證,就是替檔案算一個「指紋」,也叫驗證值或雜湊值。同樣的內容,算出來的指紋永遠一樣;哪怕只改一個位元,指紋也會完全不同。下面是我們在 1 GiB 測試資料上實測的結果:
| 資料 | XXH64 指紋 |
|---|---|
| 1 GiB 測試資料 | 0a08cc4c8b94db2b |
| 同一份資料,只翻轉其中 1 個位元 | 5a21bb20086ea713 |
所以比較兩份檔案的指紋,就能知道它們是不是一模一樣,不用逐位元組去對。XXH64 的指紋有 2⁶⁴ 種取值,約 1.8×10¹⁹,拷貝時隨機出錯、指紋卻剛好不變的可能性小到可以忽略。它不是密碼學演算法,不用來防人為竄改;用來發現意外出錯,正是業界的通行做法。
為什麼預設用 XXH64,而不是 MD5
一個字:快。MD5 設計於 1991 年,是照密碼學的要求設計的,算得慢;XXH64 只為發現資料錯誤而生,速度高出一個數量級。我們在 Mac 上用和光渡同版本的函式庫實測:
單執行緒驗證速度(越長越快)
0.76 GB/s 聽起來不慢,但現在的卡更快。把 MD5 的速度和幾張主流卡的標稱讀取速度放在一起看:
記憶卡標稱讀取速度,虛線是 MD5 單執行緒速度
凡是在虛線右邊的卡,只用 MD5 驗證時,拷貝速度就會被 MD5 拖住;XXH64 則遠快於任何一張卡,驗證幾乎不佔時間。所以光渡一律用 XXH64。交付方要求別的格式時,可以在設定裡打開「附加驗證值」,同時算 MD5 或 XXH128。例如 Netflix 的製片資料管理規範要求原始素材的每一份拷貝都做驗證,接受 xxHash64、xxHash128 或 MD5,並推薦 ASC MHL 格式。
光渡怎麼驗證
拷貝時,光渡只把卡讀一遍:每讀一段資料,先算進指紋,再同時寫到所有目的地硬碟,所以雙磁碟備份不用把卡讀兩遍。寫完以後,預設的「回讀驗證」會把每一份拷貝從硬碟上完整讀回來,重新算指紋,再和拷貝時從卡上算出的指紋比對。
01讀一遍卡,邊讀邊算指紋
A001Sony · 128 GB
02同時寫進兩顆硬碟
SSD 2TB工作磁碟
HDD 4TB備份磁碟
03各自從磁碟讀回,再算一次
從磁碟讀回
從磁碟讀回
指紋對不上時,光渡不會馬上判失敗,而是繞過快取再讀一次。第二次對上了,算通過,但會提醒你檢查讀卡機和線材;還是對不上,就記為驗證失敗。出錯的拷貝不會被刪掉:你確認後,它會被原樣移進隔離資料夾,再從卡上重新拷一份。
三種驗證模式
回讀驗證證明的是:硬碟上的拷貝,和拷貝那一刻從卡上讀到的內容一樣。但如果那一刻讀卡機就讀錯了,錯的資料會被原樣寫進每顆硬碟,回讀照樣「對得上」。「完整驗證」會在拷完後把卡也重新讀一遍,這種情況也能查出來。
| 模式 | 讀回什麼 | 適合 |
|---|---|---|
| 不驗證 | 只拷貝,不讀回 | 不建議用於原始素材 |
| 回讀驗證(預設) | 每份拷貝從磁碟上完整讀回 | 日常拷卡 |
| 完整驗證 | 每份拷貝讀回,記憶卡也重讀一遍 | 重要拍攝,準備格式化之前 |
完整驗證要多讀一遍卡,會多花些時間。也可以先用回讀驗證,拷完再點「補做記憶卡複核」補上這一步。
留下紀錄:MHL 與 ASC MHL
驗證的結果要能交給下一個人。光渡會在每顆目的地硬碟上留下 MHL 檔案,並在素材資料夾裡寫一份 ASC MHL。ASC MHL 是美國電影攝影師協會(ASC)技術委員會制定的開放規範,2022 年發布 1.0 版,支援 xxh64、xxh128、md5 等格式。它要求每複製一次就新建一份清單,素材從片場一路拷到後期,經手的每一步都有據可查。沒通過驗證的檔案,不會被記成已驗證。
小結
- 靜默出錯是有據可查的事實,進度條走完不代表拷貝無誤;
- 比對指紋是確認拷貝完整的辦法,XXH64 快到不拖慢任何一張卡;
- 回讀要從磁碟上真讀,完整驗證連卡本身也核對一遍;
- MHL 紀錄讓下一個人也能重新核對。
至於什麼時候可以放心格式化卡,那是另一個問題,另一篇文章會談。
資料來源
- Bernd Panzer-Steindel,Data integrity,CERN/IT,Draft 1.3,2007 年 4 月
- Bairavasundaram 等,An Analysis of Data Corruption in the Storage Stack,USENIX FAST ’08
- xxHash 官方說明與測速表
- Lexar Professional DIAMOND CFexpress 4.0 Type B 產品頁
- Sony CEA-G/CEA-M 系列 CFexpress Type A 寫入速度說明
- SanDisk Extreme PRO CFexpress Type B 規格表
- SanDisk Extreme PRO SD UHS-II V90 規格表
- Apple File System Programming Guide:Performance Tips
- Netflix:Production Assets: Data Management
- ASC Media Hash List (ASC MHL) Specification v1.0