摘自LDD3 为了编写可以在不同平台之间可移植的数据项的数据结构，除了规定特定的字节序以外，还应该始终强制数据项的自然对齐。 自然对齐（Natural Alignment）是指在数据项大小的整数倍（例如，8字节数据项存入8的整数倍的地址）的地址处存储数据项。 强制自然对齐可以防止编译器移动 ...

1.存储格式 　　textfile 　　rcfile 　　orc 　　parquet 2.存储方式 　　按行存储 　　　　-》textfile 　　按列存储 　　　　-》parquet 3.压缩比 　　 4.存储textfile的原文件 ...

Parquet 列式存储格式 参考文章： https://blog.csdn.net/kangkangwanwan/article/details/78656940 http://parquet.apache.org/documentation/latest/ 列式存储的优势 把IO只 ...

Parquet列式存储 Apache Parquet是Hadoop生态系统中的列式存储格式，面向分析型业务，与数据处理框架、数据模型、编程语言无关。 ● 优势降低存储空间：按列存，能够更好地压缩数据，因为一列的数据一般都是同质的（homogenous）提高IO效率：扫描（遍历/scan ...

常用的存储格式 1.textfile Hive数据表的默认格式，数据不做压缩，磁盘开销大，数据解析开销大。存储方式：行存储。 可以使用Gzip压缩算法，但压缩后的文件不支持split。 在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比SequenceFile高 ...

　　Apache Iceberg作为一款新兴的数据湖解决方案在实现上高度抽象，在存储上能够对接当前主流的HDFS，S3文件系统并且支持多种文件存储格式，例如Parquet、ORC、AVRO。相较于Hudi、Delta与Spark的强耦合，Iceberg可以与多种计算引擎对接，目前社区已经支持 ...

好的数据结构。对于检索数据，插入数据的效率就会非常高。 常见的数据结构 B+树 根节点和枝节点非常easy，分别记录每一个叶子节点的最小值，并用一个指针指向叶子节点。 ...

一、为什么使用varint编码 在常规的TLV（TAG Length Value）编码格式中，我们注意到其中有一个必然存在的Length字段。这个就是管理的成本，也就是为了实现管理，管理结构本身也会带来消耗。对int这种最为常见的类型来说，通常现实生活中的自然数范围都比较小，所以定长的4个字 ...