寒蝉 Hancic
【Hudi】 更新怎么定位 — File Group + Index
一条更新来了，Hudi 怎么知道要改哪个文件？这就是 File Group 和 Index 要解决的事。 为什么不能扫全表 最简单的更新方案是：找出所有分区里所有 Parquet 文件，逐个读出来，找到要改的行，写回去。这就是全量重写的逻辑。 - 一张 100GB 的表，改一行也要扫 100GB -
一条更新来了，Hudi 怎么知道要改哪个文件？这就是 File Group 和 Index 要解决的事。 为什么不能扫全表 最简单的更新方案是：找出所有分区里所有 Parquet 文件，逐个读出来，找到要改的行，写回去。这就是全量重写的逻辑。 - 一张 100GB 的表，改一行也要扫 100GB -
