最近秋招看岗位时,经常会看到 AI Infra 这个词。
AI Infra 的全称是 AI Infrastructure,也就是“人工智能基础设施”。它和 AI / Agent 开发最大的区别,可以直接理解成:
AI / Agent 开发负责把模型用起来,AI Infra 负责让模型跑起来。
AI / Agent 开发更靠近应用。比如做智能助手、RAG 知识库、Agent、工作流,主要关注模型怎么调用、怎么接工具、怎么接业务。常见的技术包括 Prompt、RAG、Agent、MCP、Function Calling、LangChain、Dify、FastAPI、向量数据库 等。
AI Infra 更靠近底层。一个 Agent 调用模型接口时,背后还需要解决模型部署、GPU 使用、推理速度、并发、显存、服务稳定性等问题,这些通常就是 AI Infra 在做的事情。常见技术包括 vLLM、SGLang、Docker、Kubernetes、GPU、CUDA、模型服务、推理优化 等。
可以简单看成:
1 | 用户 → AI / Agent 应用 → 模型服务 → 推理框架 → GPU |
前半部分更偏 AI / Agent 开发,后半部分更偏 AI Infra。
看招聘 JD 时也很好区分。如果经常出现 Agent、RAG、MCP、知识库、工作流、Prompt,一般偏 AI 应用开发;如果出现 GPU、vLLM、模型部署、Kubernetes、推理优化、并发,就更偏 AI Infra。
如果再看到 CUDA、NCCL、RDMA、Tensor Parallel、Pipeline Parallel、算子优化、分布式训练 这些词,基本就是更底层的 AI Infra 了,和普通 Agent 开发区别会比较明显。
不过岗位名称并不完全统一。有些岗位虽然叫 AI Infra,实际主要做模型部署和模型服务,并不会特别底层。所以秋招时比起看岗位名字,更重要的是直接看 JD 里要求什么。
目前自己的理解是,AI 相关岗位可以粗略看成一条链路:
1 | AI / Agent 开发 → AI 平台 / 模型服务 → AI Infra → GPU / 硬件 |
AI / Agent 开发是在用 AI 做产品,AI Infra 是在给 AI 搭底座。
