岗位职责： 1. 负责大模型推理平台（含多模态）与传统网关场景的统一流量接入与调度体系建设：入口网关到推理后端的路由、转发、灰度、熔断、降级与回滚策略落地 2. 设计与实现面向推理业务的流量调度算法：按模型/租户/优先级/成本/延迟目标进行动态路由与容量分配，持续优化 TTFT / TPOT / P99 等指标 3. 建设流量治理能力：限流（全局/分层/配额）、并发控制、排队与背压、超时与重试、连接管理、长连接与流式请求治理、突发保护与弹性策略 4. 完善可观测性与问题定位：全链路 tracing、结构化日志、指标与告警体系；建设压测/回放/故障演练能力，提升定位与恢复效率 5. 推进平台化与工程化：沉淀配置/策略编排/发布体系，保障多集群、多环境的一致性、稳定性与安全合规 6. 持续跟进业界先进网关与推理流量技术/算法，推动在生产环境落地与迭代 任职要求： 1. 本科及以上，计算机相关专业；3 年及以上后端/平台研发经验，有网关、流量治理或分布式系统经验 2. 精通 Go / Rust / C++ 其一（熟悉另一门更佳），具备高并发网络服务研发、性能优化与线上问题处理经验 3. 熟悉服务治理与网关核心能力与原理：L7/L4 转发、LB、限流、熔断、降级、超时重试、连接池/断路器、流式请求治理、流量回放等 4. 熟悉可观测性体系：Prometheus/Grafana、OpenTelemetry/Jaeger 等；能设计指标与 tracing 规范并落地 5. 熟悉 Kubernetes 与云原生生态：Ingress/Gateway API、Service/Endpoint、发布回滚、多集群治理与HPA等 6. 具备良好的系统设计与跨团队协作能力，能将能力产品化/平台化 加分项： 1. 有网关/数据面相关经验：Envoy / Traefik / Higress 等的落地、二次开发、插件机制（如 ext_proc/wasm）、性能调优经验 2. 熟悉大模型推理服务、流量特性和观测指标：理解长上下文、流式输出、批处理/排队、KV Cache/Prefix Cache 等对路由与限流策略的影响；有 vLLM / SGLang / Dynamo / TensorRT-LLM 等实践更佳 3. 熟悉/参与过相关开源项目或架构：aibrix、llm-d、sgl-router 等（或同类推理流量编排/路由/调度项目），能快速阅读源码并推动工程落地 4. 有调度/路由算法实践（大模型场景）：基于延迟/负载/成本的动态路由、优先级队列、多级限流配额、cache-aware、virtual token counter、PD分离、拥塞控制与 SLO 驱动调度等 5. 有大规模线上稳定性建设经验：容量评估、压测体系、故障演练、多活容灾、灰度与回滚体系 6. 有MaaS平台开发与运维相关经验

微信扫一扫，及时了解投递状态

您目前还没有登录：立即登录