APPROX_COUNT_DISTINCT 是 BigQuery 中基于 HLL 的快速去重估算函数,误差约±1.6%,仅适用于容忍偏差的场景;误用于计费、审计或等值判断将引发逻辑错误,且不支持 FLOAT64/STRUCT 类型及与普通 COUNT 混用 HAVING。
APPROX_COUNT_DISTINCT 在 BigQuery 中怎么用才不翻车
直接用 APPROX_COUNT_DISTINCT 比 COUNT(DISTINCT ...) 快得多,尤其在 TB 级表上——但它返回的是带误差的估算值(标准误差约 ±1.6%),不是精确结果。如果你的报表允许容忍少量偏差(比如用户活跃数、设备分布概览),它就是首选。
常见错误是把它当精确函数用:比如用于计费、合规审计或下游做等值比对(WHERE approx_count = 1000),这时会出逻辑漏洞。
- 只支持
STRING、INT64、BYTES类型字段,传FLOAT64或STRUCT会报错Function cannot be used with argument type - 聚合时不能和普通
COUNT混在同一个SELECT里再加HAVING过滤——BigQuery 不允许在HAVING中引用近似聚合别名(会报Invalid alias reference),得用子查询或 CTE - 空值(
NULL)默认被忽略,行为和COUNT(DISTINCT ...)一致,无需额外处理
HLL_COUNT.INIT 和 HLL_COUNT.MERGE 的典型链路
当你需要分批计算再合并去重数(比如按天预聚合用户 ID,月底合并),就得用 HyperLogLog(HLL)底层接口:HLL_COUNT.INIT 生成 sketch,HLL_COUNT.MERGE 合并多个 sketch。这比全量重跑 APPROX_COUNT_DISTINCT 节省 90%+ 计算资源。
关键点在于 sketch 是二进制 blob,必须用 BYTES 类型存,且不能跨项目/region 直接 merge(HLL 实现细节有微小差异)。