全部文章

拷貝顯示完成,為什麼還要驗證

進度條走完只代表資料送出去了,不代表磁碟上存的就是原樣。談談驗證值是什麼,以及光渡怎樣從磁碟讀回來核對。

拷卡時進度條走到 100%,只代表資料已經從卡裡讀出來、交給了硬碟。硬碟上最後存下的是不是和卡裡一模一樣,進度條並不知道。這篇從資料談起:拷貝到底會不會悄悄出錯,驗證值是怎麼回事,光渡為什麼預設用 XXH64,以及它具體怎麼核對。

拷貝真的會悄悄出錯嗎

會,而且有大規模的實測資料。下面兩項研究經常被引用,測的都是資料中心裡有備援、有監控的設備:

研究規模發現
CERN 資料完整性報告(2007,內部報告)3000 台伺服器反覆寫入再讀回,約 5 週100 台機器上查出 500 次資料錯誤;抽查 33,700 個檔案(約 8.7 TB),有 22 個和磁帶上記錄的驗證值對不上,約每 1,500 個檔案壞 1 個
NetApp 等,FAST ’08 論文153 萬顆硬碟,41 個月查到 40 多萬次驗證不符;近線硬碟有 0.86%、企業級硬碟有 0.065% 出現過「硬碟沒報任何錯,資料卻變了」

CERN 報告裡有一句話很到位:各層的保護機制並不是百分之百有效,資料流裡的錯誤不一定都會被正確處理、回報給上層。它還測了 1 萬個壓縮檔:只錯 1 個位元,有 99.8% 的情況整個檔案都讀不出來。相機錄的 H.264、HEVC、ProRes 也是壓縮格式,出錯時不一定整段打不開,但破圖、掉格一樣沒辦法交付。

拷卡現場的情況比資料中心更複雜。一次拷貝要經過讀卡機、線材、接口、硬碟外接盒和硬碟本身,任何一環出問題,系統都可能不報錯:

  • 讀卡機或線材接觸不良,偶爾讀錯幾個位元組;
  • 硬碟外接盒、擴充座供電不穩,寫入時出錯;
  • 硬碟中途被拔掉或斷電,檔案只寫了一半;
  • 記憶卡老化,同一個位置兩次讀出來的內容不一樣。

驗證值:檔案的指紋

驗證,就是替檔案算一個「指紋」,也叫驗證值或雜湊值。同樣的內容,算出來的指紋永遠一樣;哪怕只改一個位元,指紋也會完全不同。下面是我們在 1 GiB 測試資料上實測的結果:

資料XXH64 指紋
1 GiB 測試資料0a08cc4c8b94db2b
同一份資料,只翻轉其中 1 個位元5a21bb20086ea713

所以比較兩份檔案的指紋,就能知道它們是不是一模一樣,不用逐位元組去對。XXH64 的指紋有 2⁶⁴ 種取值,約 1.8×10¹⁹,拷貝時隨機出錯、指紋卻剛好不變的可能性小到可以忽略。它不是密碼學演算法,不用來防人為竄改;用來發現意外出錯,正是業界的通行做法。

為什麼預設用 XXH64,而不是 MD5

一個字:快。MD5 設計於 1991 年,是照密碼學的要求設計的,算得慢;XXH64 只為發現資料錯誤而生,速度高出一個數量級。我們在 Mac 上用和光渡同版本的函式庫實測:

單執行緒驗證速度(越長越快)

  • XXH12827.6 GB/s
  • XXH64光渡預設21.8 GB/s
  • MD50.76 GB/s
Apple M5 Max,單執行緒,記憶體中 1 GiB 資料,每 8 MiB 一塊計算;使用與光渡相同版本的 xxhash-rust 0.8.21 與 md-5 0.10.6,三次執行取中位數(2026-11-17 實測)。xxHash 官方測速在 Intel i7-9700K 上測得 XXH64 19.4 GB/s、MD5 0.6 GB/s,量級一致。

0.76 GB/s 聽起來不慢,但現在的卡更快。把 MD5 的速度和幾張主流卡的標稱讀取速度放在一起看:

記憶卡標稱讀取速度,虛線是 MD5 單執行緒速度

  • CFexpress 4.0 Type BLexar DIAMOND3.7 GB/s
  • CFexpress 4.0 Type ASony CEA-G1.8 GB/s
  • CFexpress 2.0 Type BSanDisk Extreme PRO1.7 GB/s
  • SD UHS-II V90SanDisk Extreme PRO0.3 GB/s
卡速為廠商標稱的「最高」循序讀取速度(1 MB = 10⁶ 位元組),實際還受讀卡機和接口限制:Lexar Professional DIAMOND CFexpress 4.0 Type B、Sony CEA-G(CFexpress 4.0 版)、SanDisk Extreme PRO CFexpress Type B、SanDisk Extreme PRO SD UHS-II。XXH64 的 21.8 GB/s 超出圖的範圍。

凡是在虛線右邊的卡,只用 MD5 驗證時,拷貝速度就會被 MD5 拖住;XXH64 則遠快於任何一張卡,驗證幾乎不佔時間。所以光渡一律用 XXH64。交付方要求別的格式時,可以在設定裡打開「附加驗證值」,同時算 MD5 或 XXH128。例如 Netflix 的製片資料管理規範要求原始素材的每一份拷貝都做驗證,接受 xxHash64、xxHash128 或 MD5,並推薦 ASC MHL 格式。

光渡怎麼驗證

拷貝時,光渡只把卡讀一遍:每讀一段資料,先算進指紋,再同時寫到所有目的地硬碟,所以雙磁碟備份不用把卡讀兩遍。寫完以後,預設的「回讀驗證」會把每一份拷貝從硬碟上完整讀回來,重新算指紋,再和拷貝時從卡上算出的指紋比對。

  1. 01讀一遍卡,邊讀邊算指紋

    A001Sony · 128 GB

    指紋 · XXH649f3a·71c2

  2. 02同時寫進兩顆硬碟

    SSD 2TB工作磁碟

    HDD 4TB備份磁碟

  3. 03各自從磁碟讀回,再算一次

    從磁碟讀回

    9f3a·71c2一致

    從磁碟讀回

    9f3a·71c2一致

一次讀卡,同時寫進兩顆硬碟,再各自從磁碟讀回比對(範例資料)。

指紋對不上時,光渡不會馬上判失敗,而是繞過快取再讀一次。第二次對上了,算通過,但會提醒你檢查讀卡機和線材;還是對不上,就記為驗證失敗。出錯的拷貝不會被刪掉:你確認後,它會被原樣移進隔離資料夾,再從卡上重新拷一份。

三種驗證模式

回讀驗證證明的是:硬碟上的拷貝,和拷貝那一刻從卡上讀到的內容一樣。但如果那一刻讀卡機就讀錯了,錯的資料會被原樣寫進每顆硬碟,回讀照樣「對得上」。「完整驗證」會在拷完後把卡也重新讀一遍,這種情況也能查出來。

模式讀回什麼適合
不驗證只拷貝,不讀回不建議用於原始素材
回讀驗證(預設)每份拷貝從磁碟上完整讀回日常拷卡
完整驗證每份拷貝讀回,記憶卡也重讀一遍重要拍攝,準備格式化之前

完整驗證要多讀一遍卡,會多花些時間。也可以先用回讀驗證,拷完再點「補做記憶卡複核」補上這一步。

留下紀錄:MHL 與 ASC MHL

驗證的結果要能交給下一個人。光渡會在每顆目的地硬碟上留下 MHL 檔案,並在素材資料夾裡寫一份 ASC MHL。ASC MHL 是美國電影攝影師協會(ASC)技術委員會制定的開放規範,2022 年發布 1.0 版,支援 xxh64、xxh128、md5 等格式。它要求每複製一次就新建一份清單,素材從片場一路拷到後期,經手的每一步都有據可查。沒通過驗證的檔案,不會被記成已驗證。

小結

  • 靜默出錯是有據可查的事實,進度條走完不代表拷貝無誤;
  • 比對指紋是確認拷貝完整的辦法,XXH64 快到不拖慢任何一張卡;
  • 回讀要從磁碟上真讀,完整驗證連卡本身也核對一遍;
  • MHL 紀錄讓下一個人也能重新核對。

至於什麼時候可以放心格式化卡,那是另一個問題,另一篇文章會談。

資料來源

歡迎聯繫與交流