日志性能优化关键在于级别控制、格式化精简、异步写入和结构化克制:WARNING以上级别可使低级日志零成本;禁用%(funcName)s等动态字段;用QueueHandler实现异步;避免extra中传未序列化对象。
日志级别设为 WARNING 以上时,几乎不拖慢程序
Python 的 logging 模块默认采用懒求值设计:当当前 logger 的有效级别高于某条日志的级别(比如 logger 设为 WARNING,却调用 logger.debug(...)),整个日志语句的参数格式化、堆栈捕获、处理器分发等操作都会被跳过。这意味着 logger.debug("user_id={}".format(user_id)) 这类调用在 DEBUG 级别未启用时,连字符串拼接都不会执行。
常见错误是误以为“只要写了 logger.debug 就有开销”,其实只要日志级别关得够高,这部分代码就是零成本的条件判断。
- 确认生效级别:用
logger.getEffectiveLevel()查看实际值,注意父 logger 和 root logger 的继承关系 - 避免手动拼接再传入:写成
logger.debug("user_id=%s", user_id)而非logger.debug("user_id=" + str(user_id)),前者只在真正输出时才转换 - 对高频路径(如每毫秒调用一次的函数),即使
INFO级别开启,也建议用if logger.isEnabledFor(logging.INFO)提前拦截
%(asctime)s 和 %(funcName)s 是性能黑洞
格式化字符串中含 %(asctime)s、%(funcName)s、%(lineno)d、%(pathname)s 等动态字段时,每次日志输出都需实时获取调用栈、格式化时间、解析文件路径——这些操作无法缓存,且随日志量线性增长。
尤其 %(funcName)s 和 %(lineno)d 在 CPython 中依赖 inspect.currentframe(),实测在循环中打 10 万条带这两个字段的日志,比不带慢 3–5 倍。
立即学习“Python免费学习笔记(深入)”;
- 生产环境禁用
%(funcName)s和%(lineno)d;调试阶段可临时启用,但不要长期开着 -
%(asctime)s若必须,改用%(created)f(Unix 时间戳浮点数),避免time.strftime的锁和格式化开销 - 自定义 Formatter 时,重写
format()方法并缓存time.time()结果,可进一步压降 10%–20% 时间
Handler 写文件时的阻塞与缓冲策略
默认的 FileHandler 是同步阻塞的:每次 logger.info() 都会触发一次 write() 系统调用,频繁小写入极易卡住主线程。而 RotatingFileHandler 在检查 rollover 条件时还会加锁并读取文件大小,进一步放大延迟。