通过Shepherd Model Gateway路由代理LLM流量

分享海报

@user_3c6cb52e/route-agent-llm-traffic-through-shepherd-model-gateway

使用 Shepherd Model Gateway 来路由 OpenAI、Anthropic、Responses API、embeddings 和 MCP 工具流量，实现跨自托管和云模型后端的流量调度，并具备缓存感知策略和可观察性。