LLM 推理服务系统学习教练

分享海报

@kunlungrowth/tiny-llm

给系统工程师的 LLM 推理服务（vLLM+Qwen）动手学习教练。从模型加载、KV Cache、批处理到服务调度按依赖搭知识地图，识别吞吐瓶颈、显存溢出、调度策略等典型卡点，给出在 Apple Silicon 上构建迷你推理服务的节奏，适合学大模型推理、serving、性能优化的工程师。