コピー完了と表示されても、なぜ検証が必要なのか
進行バーが終わっても、データを送り終えただけで、ドライブに元と同じものが残った保証にはなりません。チェックサムの仕組みと、光渡がコピーを読み戻して確かめる方法を解説します。
取り込みの進行バーが 100% になっても、わかるのは「カードからデータを読み出し、ドライブに渡した」ことだけです。ドライブに最終的に残ったものがカードとまったく同じかどうかは、進行バーにはわかりません。この記事では、コピーが本当に静かに壊れるのか、チェックサムとは何か、光渡がなぜ XXH64 を標準にしているのか、そして実際にどう確かめているのかを、データから順に見ていきます。
コピーは本当に静かに壊れるのか
壊れます。大規模な実測データもあります。よく引用される次の 2 つの研究は、冗長化と監視のあるデータセンターの機器を対象にしたものです。
| 研究 | 規模 | 結果 |
|---|---|---|
| CERN「Data integrity」(2007 年、内部報告) | 3000 台のサーバーで書き込みと読み戻しを約 5 週間 | 100 台で 500 件のデータエラー。33,700 ファイル(約 8.7 TB)を調べたところ、22 件がテープに記録したチェックサムと一致せず、約 1,500 ファイルに 1 件の割合 |
| NetApp ほか、FAST ’08 論文 | 153 万台のドライブ、41 か月 | 40 万件を超えるチェックサム不一致。ニアラインの 0.86%、エンタープライズの 0.065% のドライブで「エラー報告なしにデータが変わる」現象が発生 |
CERN の報告は、各層の保護機構は 100% 機能するわけではなく、データの流れの中のエラーがすべて正しく処理・報告されるとは限らない、と述べています。圧縮ファイル 1 万件を使った試験では、1 ビットの誤りだけで 99.8% の確率でファイル全体が読めなくなりました。カメラが記録する H.264、HEVC、ProRes も圧縮形式です。必ずしも開けなくなるとは限りませんが、ブロックノイズやコマ落ちがあれば納品はできません。
撮影現場はデータセンターよりも条件が複雑です。コピーはカードリーダー、ケーブル、ポート、ケース、ドライブ本体を通り、どこかに問題があってもシステムがエラーを出さないことがあります。
- リーダーやケーブルの接触不良で、ときどき数バイトを読み違える。
- ケースやドックの電源が不安定で、書き込みが乱れる。
- コピー中にドライブが抜けたり電源が落ちたりして、ファイルが途中までしか書かれない。
- カードの劣化で、同じ場所を 2 回読んでも結果が変わる。
チェックサムはファイルの指紋
検証とは、ファイルごとに「指紋」を計算することです。チェックサムやハッシュとも呼ばれます。同じ内容からはいつも同じ指紋が得られ、1 ビットでも変われば指紋はまったく別のものになります。1 GiB のテストデータで実測した結果です。
| データ | XXH64 の指紋 |
|---|---|
| 1 GiB のテストデータ | 0a08cc4c8b94db2b |
| 同じデータの 1 ビットだけを反転 | 5a21bb20086ea713 |
だから指紋を比べれば、1 バイトずつ照合しなくても 2 つのファイルが同一かどうかがわかります。XXH64 の指紋は 2⁶⁴ 通り、約 1.8×10¹⁹ あり、コピー中の偶発的な誤りで指紋がたまたま変わらない可能性は無視できるほど小さいものです。暗号学的ハッシュではないので意図的な改ざんの防止には向きませんが、偶発的な誤りの検出にはまさに業界の標準として使われています。
なぜ MD5 ではなく XXH64 なのか
速さです。MD5 は 1991 年に暗号用として設計されたため計算が重く、XXH64 はデータの誤り検出だけを目的に作られていて、桁違いに高速です。光渡と同じバージョンのライブラリを使って Mac で実測しました。
シングルスレッドでの検証速度(長いほど高速)
0.76 GB/s は遅くないように思えますが、いまのカードはそれより速いのです。MD5 の速度と、代表的なカードの公称読み出し速度を並べてみます。
カードの公称読み出し速度。破線は MD5 のシングルスレッド速度
破線より右にあるカードは、MD5 だけで検証するとコピー速度が MD5 に引きずられます。XXH64 はどのカードよりもはるかに速く、検証にほとんど時間がかかりません。だから光渡は常に XXH64 を計算します。納品先が別の形式を求める場合は、設定の「追加チェックサム」で MD5 や XXH128 も同時に計算できます。たとえば Netflix の制作データ管理ガイドラインは、オリジナル素材のすべてのコピーを xxHash64、xxHash128、MD5 のいずれかで検証すること、ASC MHL 形式を使うことを推奨しています。
光渡の検証の流れ
光渡はコピー中、カードを 1 回だけ読みます。読んだデータは指紋の計算に加えたうえで、すべての保存先へ同時に書き込むので、2 台へのバックアップでもカードを 2 回読む必要はありません。書き込みが終わると、標準の「読み戻し」検証が各コピーをドライブから最後まで読み戻して指紋を計算し直し、カードから計算した指紋と照合します。
01カードを 1 回読み、読みながら指紋を計算
A001Sony · 128 GB
022 台のドライブへ同時に書き込む
SSD 2TB作業ドライブ
HDD 4TBバックアップドライブ
03それぞれディスクから読み戻し、もう一度計算
ディスクから読み戻し
ディスクから読み戻し
指紋が一致しなくても、光渡はすぐに失敗とは判定しません。キャッシュを通さずにもう一度読み直します。2 回目で一致すれば合格としつつ、リーダーやケーブルの確認を促します。それでも一致しなければ、検証失敗として記録します。不正なコピーは削除しません。確認のうえでそのまま隔離フォルダへ移し、カードからコピーし直します。
3 つの検証モード
読み戻し検証で確かめられるのは、ドライブ上のコピーが、コピーの瞬間にカードから読んだ内容と一致していることです。もしその瞬間にリーダーが読み違えていたら、誤ったデータがそのまますべてのドライブに書かれ、読み戻しでも「一致」してしまいます。「完全」検証はコピー後にカードももう一度読むので、この場合も見つけられます。
| モード | 読み戻す対象 | 向いている場面 |
|---|---|---|
| なし | コピーのみで読み戻さない | オリジナル素材にはおすすめしません |
| 読み戻し(標準) | すべてのコピーをドライブから最後まで | 日々の取り込み |
| 完全 | すべてのコピーに加えて、カードももう一度 | 大切な撮影、フォーマット前 |
完全検証はカードをもう一度読むぶん、時間がかかります。読み戻しでコピーしたあとに「カードを再確認」を押して、この手順を追加することもできます。
次の人へ渡す記録:MHL と ASC MHL
検証の結果は、次の人も確かめられてこそ意味があります。光渡は各保存先に MHL ファイルを残し、素材フォルダの中に ASC MHL も書き出します。ASC MHL は米国撮影監督協会(ASC)の技術委員会が策定したオープンな仕様で、2022 年に v1.0 が公開され、xxh64、xxh128、md5 などに対応しています。コピーのたびに新しいマニフェストを作るので、現場からポスプロまでの受け渡しを一つずつたどれます。検証に合格しなかったファイルが、検証済みとして記録されることはありません。
まとめ
- 静かなデータ破損は実際に記録されている。進行バーが終わってもコピーが正しいとは限らない。
- 指紋の比較でコピーを確かめる。XXH64 ならどのカードも遅くならない。
- 読み戻しはディスクから実際に読む。完全検証ならカード自体も確かめる。
- MHL の記録があれば、次の人ももう一度検証できる。
いつカードをフォーマットしてよいかは、また別の問題です。別の記事で解説します。
参考資料
- Bernd Panzer-Steindel「Data integrity」CERN/IT、Draft 1.3、2007 年 4 月
- Bairavasundaram ほか「An Analysis of Data Corruption in the Storage Stack」USENIX FAST ’08
- xxHash の README とベンチマーク
- Lexar Professional DIAMOND CFexpress 4.0 Type B 製品ページ
- Sony CEA-G/CEA-M シリーズ CFexpress Type A の書き込み速度について
- SanDisk Extreme PRO CFexpress Type B データシート
- SanDisk Extreme PRO SD UHS-II V90 データシート
- Apple File System Programming Guide:Performance Tips
- Netflix:Production Assets: Data Management
- ASC Media Hash List (ASC MHL) Specification v1.0