Apache Spark DataFrame ETL 流水线

分享海报

@user_3c6cb52e/spark-dataframe-etl-pipeline

自动化PySpark DataFrame转换，包括模式推断、分区修剪和Delta Lake合并操作。与AWS Glue数据目录和Apache Iceberg表格式集成，用于lakehouse架构。