Parquet 错误恢复

如果文件元数据损坏，则整个文件将丢失。如果列元数据损坏，则该列块（column chunk）将丢失，但同一列在其他行组（row group）中的列块仍然完好。如果页头（page header）损坏，则该列块中剩余的所有页面都将丢失。如果某个页面内的数据损坏，则该页面将丢失。使用较小的行组可以提高文件对损坏的抵抗能力。

潜在的扩展方案

当行组较小时，最大的风险在于文件元数据通常存储在文件末尾。如果在写入文件元数据时发生错误，则所有已写入的数据将变得不可读。一个解决方案是每写入 N 个行组，就写入一次文件元数据。

每次写入的文件元数据应当是累积的，即包含到目前为止所有已写入的行组。结合类似 rc 或 avro 文件的同步标记（sync markers）策略，读取器可以从部分写入的文件中恢复数据。

最佳实践

减少单个行组的大小
- 由于较小的行组可以减少数据损坏的影响，因此在数据写入时，尽量将行组的大小控制在合理范围，例如 128MB 或更小，以增强数据的可恢复性。
定期写入文件元数据
- 避免只在文件末尾写入元数据，而是每 N 个行组（如 1000 个）写入一次完整的文件元数据，以降低写入失败导致的全部数据丢失的风险。
使用同步标记（Sync Markers）
- 采用与 Avro 或 RCFile 类似的同步标记技术，使得即便文件写入未完成，读取器仍然可以解析其中的一部分数据，而不至于完全不可读。
启用数据校验和（Checksum）
- 启用 CRC 校验 或其他数据完整性检查方法，确保每个页面、列块和行组的完整性，并在读取时验证数据，发现错误时可尝试恢复部分数据。
日志与备份策略
- 在数据写入前使用 WAL（Write-Ahead Logging） 机制，或者在多个存储节点上维护定期快照，以便在发生数据损坏时进行恢复。
优化存储介质
- 如果可能的话，使用支持 数据冗余和错误校正（如 RAID、HDFS 副本机制）的存储系统，以减少数据损坏带来的影响。

通过这些策略，可以提高 Apache Parquet 文件的容错性和数据恢复能力，减少数据损坏带来的影响。