Inference 在 AI 里常译作“推理”。这个词容易让人误会，以为它只指复杂逻辑推理。其实在机器学习语境里，推理更广泛：它指使用已经训练好的模型，对新输入给出预测、分类、生成或决策结果。
训练是模型学习的阶段，推理是模型使用的阶段。你打开聊天工具问问题、上传图片让模型分析、调用 API 生成文本，基本都属于推理。
先用一句话抓住它
推理是把训练好的模型拿来实际使用，让它根据新输入给出输出。
生活里的类比是学完开车后真正上路。训练阶段像驾校练习，模型在大量数据中学习；推理阶段像实际开车，遇到新的路况，要根据学到的能力做判断。
推理和训练有什么不同
IBM 对 AI inference 的解释很清楚：推理就是用训练好的模型对新数据做预测。IBM Research 也把训练和推理类比为“学习”和“把学到的东西用于实践”的区别。
flowchart LR
Data["训练数据"] --> Train["训练"]
Train --> Model["训练好的模型"]
Input["新输入"] --> Inference["推理"]
Model --> Inference
Inference --> Output["预测 / 生成 / 决策"]训练通常成本很高，可能需要大量数据、算力和时间；推理则发生在每一次实际调用中。一个模型训练一次后，可能被推理调用千万次、上亿次。因此推理速度、成本和稳定性会直接影响产品体验。
为什么这个词常出现在 AI 产品里
当你使用大语言模型时，模型正在根据你的输入生成回答；当图像模型识别图片时，它正在对图片做推理；当推荐系统给你排序内容时，它也在用训练好的模型做推理。
在部署模型时，人们会关心推理延迟、吞吐量、显存占用、批处理、缓存和成本。因为用户不会感受到训练过程，但会直接感受到推理是否快、是否稳、是否便宜。
和“推理能力”的区别
中文里“推理”还有一个日常意思，指逻辑分析和解题能力。AI 文章里说“模型推理能力强”，可能是在讲它会做复杂思考；说“推理成本”“推理服务”“推理延迟”，通常是在讲模型部署和调用阶段。
这两个意思有关，但不完全一样。Inference 作为工程术语，重点是“使用模型产生输出”；reasoning 作为能力描述，重点是“模型能不能进行复杂思考”。
容易误解的地方
推理不是模型继续学习。大多数普通推理调用不会修改模型参数。你问模型一个问题，它回答了，但这不代表模型本体被重新训练了。
另一个误区是只关注训练成本。对大量用户使用的产品来说，推理成本可能更长期、更关键。每次请求都要消耗计算资源，模型越大、上下文越长、输出越长，推理成本通常越高。
怎么判断它该不该用
只要你是在“用一个训练好的模型处理新输入”，你就在使用推理。普通用户不需要管理推理细节，但理解这个词有助于看懂 API 计费、模型部署、本地模型、AI 网关和性能优化。
如果你关心的是模型怎么学会能力，那是在看训练；如果你关心的是模型怎么回答你的这次问题，那就是在看推理。