Glue Job 无法解析嵌套 XML 的根本原因是其内置 XMLClassifier 和 XmlSource 仅支持扁平化、单根节点、无命名空间或显式声明命名空间的简单 XML，对多层嵌套结构（如 val）解析不准确，易导致字段合并或丢失。
Glue Job 无法解析嵌套 XML 的根本原因
AWS Glue 内置的 XMLClassifier 和 XmlSource 仅支持扁平化、单根节点、无命名空间或命名空间显式声明的简单 XML。遇到
val 当作字段名、 当作子字段，但实际生成的 DataFrame 列可能是 meta_tag（合并）或直接丢弃深层结构——这取决于 rowTag 设置是否准确、是否启用 ignoreNamespace，以及底层使用的 spark-xml 版本兼容性。
必须手动指定 rowTag 并禁用命名空间解析
如果 XML 文件中每条记录对应一个 或 节点，必须通过 rowTag 明确告诉 Glue “哪一层是行级单位”。否则 Glue 会尝试将整个文档当一行处理，导致后续 explode 失败或字段为空。
-
rowTag值必须严格匹配 XML 中的实际标签名（区分大小写），例如就不能写成order - 若 XML 含
xmlns="http://example.com/ns"，必须设置ignoreNamespace=True，否则 Spark XML 解析器会拒绝匹配任何标签 - Glue 4.0+ 使用
com.databricks:spark-xml_2.12:0.15.0，该版本对空命名空间处理较敏感，ignoreNamespace=False时即使没显式声明 xmlns 也可能触发解析异常
dyf = glueContext.create_dynamic_frame_from_options(
connection_type="s3",
connection_options={
"paths": ["s3://my-bucket/data/input.xml"],
"recurse": True
},
format="xml",
format_options={
"rowTag": "Order",
"ignoreNamespace": True,
"attributePrefix": "@",
"valueTag": "$"
}
)
深层嵌套字段需用 resolveChoice + apply_mapping 二次处理
Spark XML 解析后，嵌套结构常表现为 StructType 字段（如 shipping_address: struct），而 Glue 的默认分类器或 Athena 表 DDL 不会自动展开它。直接写入 S3 Parquet 后，Athena 查询 shipping_address.city 会报错字段不存在——因为 Parquet schema 里它仍是 struct，不是扁平列。
- 先用
resolveChoice把 struct 字段转为 string（临时展平），再用apply_mapping拆解；或更稳妥地：用Map.apply+select在 Spark DataFrame 层显式展开 - 避免在
DynamicFrame阶段依赖toDF()后直接调select("address.*")—— Glue 3.x/4.x 的toDF()可能不保留嵌套字段的可展开性 - 若字段含重复子节点（如多个
），必须配合explode函数，且注意explode_outer与explode对 null 的处理差异
大文件分片与内存溢出的硬性规避手段
XML 解析是 CPU 和内存密集型操作，Glue Worker 类型选错或未调优会导致 java.lang.OutOfMemoryError: Java heap space 或任务卡死在 parseXml 阶段。这不是代码问题，而是资源约束。
