전체 글

복사가 완료되었다는데, 왜 검증이 필요할까

진행 막대가 끝났다고 해서 드라이브에 원본 그대로 저장되었다는 뜻은 아닙니다. 체크섬의 원리와 Lightferry가 각 사본을 드라이브에서 다시 읽어 확인하는 방법을 설명합니다.

카드 복사 진행 막대가 100%에 도달해도, 그것은 데이터를 카드에서 읽어 드라이브로 전달했다는 뜻일 뿐입니다. 드라이브에 최종적으로 저장된 파일이 카드 원본과 완전히 같은지는 진행 막대가 알 수 없습니다. 이 글에서는 데이터부터 살펴봅니다. 복사가 정말 조용히 잘못될 수 있는지, 체크섬이 무엇인지, Lightferry가 왜 기본값으로 XXH64를 쓰는지, 그리고 사본을 구체적으로 어떻게 검증하는지 정리했습니다.

복사는 정말 조용히 잘못될까

그렇습니다. 대규모 실측 데이터도 존재합니다. 널리 인용되는 다음 두 연구는 이중화와 모니터링을 갖춘 데이터센터 장비를 대상으로 측정했습니다.

연구규모결과
CERN “Data integrity” (2007년, 내부 보고서)서버 3,000대에서 약 5주간 반복 쓰기 및 재읽기 시험100대 장비에서 500건의 데이터 오류 발견. 33,700개 파일(약 8.7 TB)을 점검한 결과 22개가 테이프에 기록된 체크섬과 불일치(약 1,500개당 1개)
NetApp 외, FAST ’08 논문드라이브 153만 대, 41개월 추적40만 건 이상의 체크섬 불일치 발견. 니어라인 드라이브의 0.86%, 엔터프라이즈 드라이브의 0.065%에서 드라이브가 오류를 보고하지 않은 채 데이터가 변조됨

CERN 보고서는 핵심을 정확히 짚습니다. 각 계층의 보호 메커니즘이 언제나 완벽하게 작동하는 것은 아니며, 데이터 흐름 속 모든 오류가 상위로 올바르게 처리·보고되는 것도 아닙니다. 압축 파일 1만 개를 대상으로 한 시험에서는 단 1비트만 잘못되어도 99.8%의 확률로 파일 전체를 읽을 수 없게 되었습니다. 카메라가 기록하는 H.264, HEVC, ProRes 역시 압축 형식입니다. 파일 전체가 안 열리지는 않더라도 화면 깨짐이나 프레임 드롭이 생기면 납품할 수 없습니다.

촬영 현장은 데이터센터보다 훨씬 변수가 많습니다. 복사는 카드 리더, 케이블, 포트, 외장 인클로저, 드라이브 본체를 거치며 어느 한 곳에서 문제가 생겨도 시스템이 오류를 띄우지 않을 수 있습니다.

  • 카드 리더나 케이블 접촉 불량으로 가끔 몇 바이트를 잘못 읽는 경우
  • 외장 인클로저나 독의 전원 공급이 불안정해 쓰기 오류가 발생하는 경우
  • 복사 도중 드라이브가 뽑히거나 전원이 끊겨 파일이 절반만 기록되는 경우
  • 노후된 메모리 카드가 같은 위치를 두 번 읽을 때 서로 다른 데이터를 반환하는 경우

체크섬: 파일의 지문

검증이란 파일마다 ‘지문’을 계산하는 과정입니다. 이를 체크섬(checksum) 또는 해시(hash)라고 합니다. 내용이 같으면 언제나 같은 지문이 나오고, 단 1비트만 달라져도 지문은 완전히 달라집니다. 1 GiB 테스트 데이터로 직접 측정한 결과입니다.

데이터XXH64 지문
1 GiB 테스트 데이터0a08cc4c8b94db2b
같은 데이터에서 1비트만 반전5a21bb20086ea713

따라서 지문만 비교해도 두 파일이 완전히 동일한지 일일이 바이트 단위로 대조하지 않고 확인할 수 있습니다. XXH64 지문은 2⁶⁴가지(약 1.8×10¹⁹) 값을 가지므로, 복사 중 우발적인 오류로 지문이 우연히 같아질 가능성은 무시해도 될 수준입니다. 암호학적 해시가 아니므로 의도적인 위변조를 막는 용도는 아니지만, 우연한 데이터 오류를 잡아내는 데는 업계 표준으로 쓰입니다.

왜 MD5가 아니라 XXH64를 기본으로 쓸까

이유는 속도입니다. MD5는 1991년에 암호학적 요구 사항에 맞춰 설계되어 계산이 느립니다. 반면 XXH64는 오직 데이터 오류 검출을 위해 만들어져 한 자릿수 이상 빠릅니다. Lightferry에 탑재된 것과 같은 버전의 라이브러리로 Mac에서 직접 측정했습니다.

단일 스레드 체크섬 속도 (길수록 빠름)

  • XXH12827.6 GB/s
  • XXH64Lightferry 기본값21.8 GB/s
  • MD50.76 GB/s
Apple M5 Max, 단일 스레드, 메모리 내 1 GiB 데이터를 8 MiB 블록 단위로 계산. Lightferry와 동일한 xxhash-rust 0.8.21 및 md-5 0.10.6을 사용해 3회 실행 중앙값 기록(2026-11-17 측정). xxHash 공식 벤치마크에서도 Intel i7-9700K 기준 XXH64 19.4 GB/s, MD5 0.6 GB/s로 같은 규모 차이를 보입니다.

0.76 GB/s는 느리지 않아 보이지만 최신 카드는 그보다 훨씬 빠릅니다. MD5 속도와 주요 메모리 카드의 표기 읽기 속도를 함께 비교해 보겠습니다.

메모리 카드 표기 읽기 속도 (점선은 MD5 단일 스레드 속도)

  • CFexpress 4.0 Type BLexar DIAMOND3.7 GB/s
  • CFexpress 4.0 Type ASony CEA-G1.8 GB/s
  • CFexpress 2.0 Type BSanDisk Extreme PRO1.7 GB/s
  • SD UHS-II V90SanDisk Extreme PRO0.3 GB/s
카드 속도는 제조사 표기 ‘최대’ 순차 읽기 기준(1 MB = 10⁶ 바이트)이며 실제 속도는 리더와 인터페이스의 영향도 받습니다: Lexar Professional DIAMOND CFexpress 4.0 Type B, Sony CEA-G(CFexpress 4.0 모델), SanDisk Extreme PRO CFexpress Type B, SanDisk Extreme PRO SD UHS-II. XXH64의 21.8 GB/s는 그래프 범위를 훨씬 넘어섭니다.

점선 오른쪽에 있는 카드라면 MD5만으로 검증할 때 복사 속도가 MD5 계산에 발목 잡히게 됩니다. 반면 XXH64는 어떤 카드보다도 훨씬 빨라 검증에 거의 시간이 들지 않습니다. 그래서 Lightferry는 항상 XXH64를 계산합니다. 납품처가 다른 형식을 요구하면 설정에서 추가 체크섬을 켜 MD5 또는 XXH128을 함께 계산할 수 있습니다. 예를 들어 Netflix의 프로덕션 데이터 관리 지침은 원본 카메라 파일의 모든 사본을 xxHash64, xxHash128 또는 MD5로 검증하도록 요구하며 ASC MHL 형식을 권장합니다.

Lightferry의 검증 방식

Lightferry는 복사하는 동안 카드를 단 한 번만 읽습니다. 데이터를 블록 단위로 읽으며 지문을 계산하는 동시에 모든 대상 드라이브에 기록하므로, 이중 백업을 하더라도 카드를 두 번 읽을 필요가 없습니다. 쓰기가 끝나면 기본값인 재읽기 검증이 각 사본을 드라이브에서 끝까지 다시 읽어 지문을 새로 계산하고, 복사 시 카드에서 구한 지문과 대조합니다.

  1. 01카드를 한 번 읽으며 동시에 지문 계산

    A001Sony · 128 GB

    지문 · XXH649f3a·71c2

  2. 02두 드라이브에 동시에 기록

    SSD 2TB작업 드라이브

    HDD 4TB백업 드라이브

  3. 03각 사본을 드라이브에서 다시 읽어 재계산

    드라이브에서 다시 읽기

    9f3a·71c2일치

    드라이브에서 다시 읽기

    9f3a·71c2일치

카드를 한 번 읽어 두 드라이브에 동시에 기록한 뒤, 각 사본을 디스크에서 다시 읽어 대조합니다(예시 데이터).

지문이 일치하지 않더라도 Lightferry는 곧바로 실패로 단정하지 않고, 캐시를 우회해 한 번 더 읽습니다. 두 번째 읽기에서 일치하면 통과로 처리하되 카드 리더와 케이블을 점검하도록 안내합니다. 그래도 일치하지 않으면 검증 실패로 기록합니다. 손상된 사본은 삭제하지 않으며, 사용자가 확인하면 원본 그대로 격리 폴더로 옮긴 뒤 카드에서 다시 복사합니다.

세 가지 검증 모드

재읽기 검증이 증명하는 것은 ‘드라이브의 사본이 복사 시점에 카드에서 읽은 내용과 같다’는 사실입니다. 만약 그 순간 카드 리더가 잘못 읽었다면, 틀린 데이터가 모든 드라이브에 그대로 기록되어 재읽기에서도 ‘일치’하게 됩니다. 전체 검증은 복사가 끝난 뒤 카드도 한 번 더 읽어 이런 경우까지 잡아냅니다.

모드다시 읽는 대상추천 상황
끔복사만 수행, 다시 읽지 않음원본 촬영본에는 권장하지 않음
재읽기 검증 (기본값)각 사본을 드라이브에서 끝까지 다시 읽기일상적인 카드 복사
전체 검증각 사본 재읽기 + 원본 카드 한 번 더 읽기중요한 촬영, 포맷 직전

전체 검증은 카드를 한 번 더 읽는 만큼 시간이 더 걸립니다. 평소처럼 재읽기 검증으로 복사한 뒤 원본 카드 재확인을 눌러 이 단계를 나중에 추가할 수도 있습니다.

다음 담당자를 위한 기록: MHL과 ASC MHL

검증 결과는 다음 단계의 담당자도 확인할 수 있어야 의미가 있습니다. Lightferry는 모든 대상 드라이브에 MHL 파일을 남기고, 촬영본 폴더 안에 ASC MHL을 기록합니다. ASC MHL은 미국촬영감독협회(ASC) 기술위원회가 제정한 개방형 표준으로, 2022년 v1.0이 발표되었으며 xxh64, xxh128, md5 등을 지원합니다. 복사가 일어날 때마다 새 매니페스트를 추가하므로 현장에서 후반 작업까지 모든 인계 이력을 추적할 수 있습니다. 검증을 통과하지 못한 파일은 절대 검증됨으로 기록되지 않습니다.

요약

  • 조용한 데이터 손상은 실측으로 확인된 현상이며, 진행 막대 완료가 무결성을 보장하지 않습니다.
  • 지문 비교가 사본을 확인하는 방법이며, XXH64는 어떤 카드 속도도 늦추지 않을 만큼 빠릅니다.
  • 재읽기는 캐시를 우회해 디스크에서 직접 읽어야 하며, 전체 검증은 카드 자체까지 다시 확인합니다.
  • MHL 기록을 남기면 다음 담당자도 언제든 다시 검증할 수 있습니다.

그렇다면 카드를 언제 안심하고 포맷해도 되는지는 별도의 주제이며, 다른 글에서 자세히 다룹니다.

참고 자료

언제든 인사해 주세요