delta

Delta 包引入:

bin/spark-shell --packages io.delta:delta-core_2.11:0.5.0

创建delta表:

val data = spark.range(0, 5) data.write.format("delta").save("/tmp/delta-table")

读取delta 表数据:

val df = spark.read.format("delta").load("/tmp/delta-table") df.show()

delta表修改表结构

mergeSchema 适用于增加字段

overwriteSchema 适用于完全修改表结构