La copia dice que terminó. ¿Por qué verificar?
Una barra de progreso terminada significa que los datos se enviaron, no que el disco conserve una copia exacta. Qué es una suma de comprobación y cómo Lightferry relee cada copia para comprobarla.
Cuando un volcado llega al 100%, lo único que sabe la barra de progreso es que los datos se leyeron de la tarjeta y se enviaron al disco. Si el disco terminó guardando una copia exacta o no es algo que la barra no puede decirte. Este artículo parte de la evidencia: si las copias realmente fallan en silencio, qué es una suma de comprobación, por qué Lightferry usa XXH64 de forma predeterminada y cómo comprueba exactamente tus copias.
¿Las copias realmente fallan en silencio?
Sí, y existen datos a gran escala que lo demuestran. Estos dos estudios ampliamente citados midieron equipos de centros de datos con redundancia y supervisión constante:
| Estudio | Escala | Hallazgo |
|---|---|---|
| CERN, “Data integrity” (2007, informe interno) | 3,000 servidores escribiendo y releyendo datos de prueba durante unas 5 semanas | 500 errores en 100 máquinas. De 33,700 archivos revisados (unos 8.7 TB), 22 ya no coincidían con las sumas de comprobación guardadas en cinta: cerca de 1 archivo dañado por cada 1,500 |
| NetApp et al., artículo FAST ’08 | 1.53 millones de discos durante 41 meses | Más de 400,000 sumas de comprobación no coincidentes. El 0.86% de los discos nearline y el 0.065% de los empresariales devolvieron datos alterados sin informar error alguno |
El informe del CERN lo resume con claridad: los distintos mecanismos de protección no funcionan al 100%, y no todos los errores en el flujo de datos se gestionan ni se notifican correctamente. También probó 10,000 archivos comprimidos y observó que, con una probabilidad del 99.8%, un solo bit alterado vuelve ilegible todo el archivo. H.264, HEVC y ProRes también son formatos comprimidos: un clip dañado quizá se abra, pero con bloques corruptos o fotogramas perdidos tampoco se puede entregar.
Un rodaje es mucho menos controlado que un centro de datos. Cada copia atraviesa un lector de tarjetas, un cable, un puerto, una carcasa y el propio disco, y cualquiera de ellos puede fallar sin que el sistema informe un error:
- Un lector o un cable inestable lee mal unos pocos bytes de vez en cuando.
- Una carcasa o un dock con alimentación irregular escribe datos corruptos.
- Un disco se desconecta o se queda sin energía a mitad de la copia y deja un archivo a medias.
- Una tarjeta envejecida devuelve datos distintos en dos lecturas del mismo sector.
Una suma de comprobación es la huella digital de un archivo
Verificar significa calcular una huella digital para cada archivo, llamada suma de comprobación o hash. El mismo contenido siempre produce la misma huella; basta con cambiar un solo bit para obtener una huella completamente distinta. Esto fue lo que medimos con 1 GiB de datos de prueba:
| Datos | Huella XXH64 |
|---|---|
| 1 GiB de datos de prueba | 0a08cc4c8b94db2b |
| Los mismos datos con un solo bit invertido | 5a21bb20086ea713 |
Comparar huellas permite saber si dos archivos son idénticos sin tener que compararlos byte por byte. Una huella XXH64 tiene 2⁶⁴ valores posibles —unos 1.8×10¹⁹—, de modo que la probabilidad de que un error aleatorio de copia la deje intacta es despreciable. No es un hash criptográfico ni está pensada para impedir manipulaciones deliberadas; detectar errores accidentales es exactamente el uso estándar en la industria.
¿Por qué XXH64 en lugar de MD5?
Por velocidad. MD5 data de 1991 y se diseñó bajo criterios criptográficos, lo que lo hace lento. XXH64 nació exclusivamente para detectar errores de datos y es más de un orden de magnitud más rápido. Medimos ambos en un Mac con las mismas versiones de bibliotecas que incluye Lightferry:
Velocidad de suma de comprobación en un solo hilo (más largo es más rápido)
0.76 GB/s puede no parecer lento, pero las tarjetas actuales son más rápidas. Aquí está la velocidad de MD5 junto a las velocidades máximas de lectura anunciadas por varias tarjetas populares:
Velocidades de lectura anunciadas; la línea discontinua es MD5 en un hilo
En cualquier tarjeta situada a la derecha de la línea, verificar solo con MD5 frenaría la copia. XXH64 es mucho más rápido que cualquier tarjeta, así que verificar casi no cuesta tiempo; por eso Lightferry siempre lo calcula. Si un destinatario exige otro formato, activa Sumas de comprobación adicionales en Ajustes para calcular MD5 o XXH128 al mismo tiempo. Por ejemplo, la guía de gestión de datos de producción de Netflix indica que cada copia del material original de cámara debe verificarse con xxHash64, xxHash128 o MD5, y recomienda el formato ASC MHL.
Cómo verifica Lightferry
Lightferry lee la tarjeta una sola vez al copiar. Cada bloque se suma a la huella y se escribe simultáneamente en todos los destinos, de modo que un doble respaldo no obliga a leer la tarjeta dos veces. Cuando termina la escritura, el modo predeterminado —la verificación por relectura— vuelve a leer por completo cada copia desde el disco, calcula de nuevo su huella y la compara con la obtenida de la tarjeta.
01Lee la tarjeta una vez mientras calcula la huella
A001Sony · 128 GB
02Escribe en ambos discos a la vez
SSD 2TBDisco de trabajo
HDD 4TBDisco de respaldo
03Relee cada copia desde el disco y vuelve a calcular
Releído desde el disco
Releído desde el disco
Cuando una huella no coincide, Lightferry no marca el archivo como fallido al instante: lo vuelve a leer sin caché una segunda vez. Si la segunda lectura coincide, el archivo aprueba, pero con un aviso para revisar el lector y el cable. Si sigue sin coincidir, se registra como fallido. Las copias dañadas nunca se eliminan: tras tu confirmación, se mueven tal cual a una carpeta de cuarentena y se vuelven a copiar desde la tarjeta.
Tres modos de verificación
La verificación por relectura demuestra que la copia en el disco coincide con lo que se leyó de la tarjeta durante la copia. Sin embargo, si el lector leyó mal la tarjeta en ese momento, los datos erróneos se escribirán tal cual en cada disco y la relectura seguirá “coincidiendo”. La verificación completa vuelve a leer la tarjeta tras terminar la copia, detectando también ese caso.
| Modo | Qué vuelve a leer | Recomendado para |
|---|---|---|
| Desactivada | Solo copia, no relee nada | No recomendada para material original |
| Por relectura (predeterminada) | Cada copia completa desde el disco | Volcados del día a día |
| Completa | Cada copia y además la tarjeta una vez más | Rodajes importantes y antes de formatear |
La verificación completa tarda más porque lee la tarjeta una vez adicional. También puedes copiar con verificación por relectura y hacer clic después en Releer tarjeta para añadir ese paso.
Un registro para quien venga después: MHL y ASC MHL
Verificar solo sirve de verdad si la siguiente persona en la cadena también puede comprobarlo. Lightferry guarda archivos MHL en cada destino y un registro ASC MHL dentro de las carpetas de material. ASC MHL es una especificación abierta del consejo tecnológico de la American Society of Cinematographers (ASC), publicada en su versión 1.0 en 2022, compatible con xxh64, xxh128, md5 y más. Como genera un manifiesto nuevo en cada copia, crea una cadena de custodia verificable desde el rodaje hasta la posproducción. Los archivos que no superaron la verificación nunca se registran como verificados.
En resumen
- La corrupción silenciosa está documentada; una barra de progreso terminada no garantiza una copia intacta.
- Comparar huellas confirma la copia, y XXH64 es lo bastante rápido como para no frenar ninguna tarjeta.
- La relectura debe leer realmente desde el disco; la verificación completa comprueba además la propia tarjeta.
- Los registros MHL permiten que la siguiente persona vuelva a verificar el material.
Cuándo es seguro formatear la tarjeta es una cuestión aparte que tratamos en otro artículo.
Fuentes
- Bernd Panzer-Steindel, “Data integrity”, CERN/IT, borrador 1.3, abril de 2007
- Bairavasundaram et al., “An Analysis of Data Corruption in the Storage Stack”, USENIX FAST ’08
- README y pruebas de rendimiento de xxHash
- Página de producto de Lexar Professional DIAMOND CFexpress 4.0 Type B
- Rendimiento de escritura de Sony CEA-G/CEA-M CFexpress Type A
- Hoja de datos de SanDisk Extreme PRO CFexpress Type B
- Hoja de datos de SanDisk Extreme PRO SD UHS-II V90
- Apple File System Programming Guide: Performance Tips
- Netflix: Production Assets: Data Management
- ASC Media Hash List (ASC MHL) Specification v1.0