本文介绍使用 python `html.unescape()` 配合 udf 在 pyspark 中高效、安全地批量解码 html 实体（如 `&`、`>`、`”`），避免手动维护替换字典或链式 `regexp_replace` 的繁琐与遗漏风险。
在 PySpark 中处理从 Web 抓取、CMS 导出或用户输入等来源读取的字符串数据时，常会遇到 HTML 编码字符（如 &、>、<、”、’ 等）。虽然可通过多次调用 regexp_replace() 逐个替换（例如 regexp_replace(col(“text”), “&”, “&”)），但该方式存在明显缺陷：难以覆盖全部标准实体、易漏写变体（如数字字符引用 >）、代码冗长且不可维护。更重要的是，regexp_replace 不支持直接传入字典进行批量映射——它仅接受单个正则模式与替换字符串，无法原生实现“字典驱动”的多模式替换。
更优解是借助 Python 标准库 html.unescape() —— 它由 CPython 维护，完整支持 HTML5 实体规范，可自动识别并转换所有命名实体（ ）、十进制（ ）和十六进制（ ）字符引用，且对非法或未定义实体保持原样（安全兜底）。
以下为推荐实践方案：
✅ 基础用法：对单列解码
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, udf
from pyspark.sql.types import StringType
import html
spark = SparkSession.builder.appName("HTMLUnescape").getOrCreate()
# 示例数据
df = spark.createDataFrame([
("Hello & World",),
("Price > $100",),
("He said: "Yes!"",),
("Special: © & ✅",)
], ["content"])
# 定义安全 UDF：仅对字符串类型处理，其余值保持原样
def unescape_html(value):
return html.unescape(value) if isinstance(value, str) else value
unescape_udf = udf(unescape_html, StringType())
# 应用于指定列
result_df = df.withColumn("content", unescape_udf(col("content")))
result_df.show(truncate=False)
输出：
