如何正确实现英文单词去后缀“ness”并处理“i→y”变形的词干提取-Python教程

本文介绍在去除英文单词后缀“ness”时，如何正确处理如“heaviness→heavy”这类需将末尾“i”替换为“y”的拼写规则，并提供手动实现与专业词干提取库两种可靠方案。

在自然语言处理中，简单地截掉后缀（如 -ness）远不足以完成准确的词干提取（stemming）。以 heaviness 为例：直接移除末4字符得到 heavi，但英语正字法规则要求将词根末尾的 i 在加 -ness 前变为 y（即 heavy + ness → heaviness），因此还原时必须反向执行 i → y 变形。原代码存在多个逻辑错误：

• without_ness[:-5] 索引越界（若 without_ness 长度不足5会报错）；
• list(word) 转为字符列表后，without_ness 是列表而非字符串，无法调用 .replace()；
• 判断条件应检查倒数第一个字符是否为 ‘i’，而非错误索引 [:-5]；
• 缺少对 ‘i’ 出现在非末尾位置的容错（如 business 不应变为 bussyness → bussy）。

✅ 正确的手动实现应如下（仅适用于基础场景）：

def remove_suffix_ness(word):
    if not word.endswith("ness"):
        return word
    stem = word[:-4]  # 移除 "ness"
    # 仅当 stem 以 'i' 结尾且长度 ≥ 2 时，替换为 'y'
    if len(stem) >= 2 and stem.endswith("i"):
        stem = stem[:-1] + "y"
    return stem

# 测试
print(remove_suffix_ness("sadness"))     # → "sad"
print(remove_suffix_ness("heaviness"))   # → "heavy"
print(remove_suffix_ness("happiness"))   # → "happy"
print(remove_suffix_ness("business"))    # → "business"（不误改）

⚠️ 注意：该函数仍无法覆盖所有英语变形规则（如 darkness→dark、loneliness→lonely 中的元音重复、辅音双写等），且未处理大小写、标点或不规则词。