工作职责:
1、负责大模型推理引擎相关项目的推进与交付，包括推理框架在多硬件平台上的适配移植、多模型架构的验证接入，以及不同业务场景下的深度性能调优，持续提升推理服务的吞吐与效率;
2、参与推理引擎相关产品的架构设计与工程化落地，面向多模型、多场景、多硬件平台需求完成定制化适配，保障推理服务的稳定性与性能指标;
跟踪大模型推理领域的前沿技术动态，推动新优化方案在项目中的验证与应用,产出相关技术文档与性能测试报告。
任职要求:
1、计算机相关专业研究生以上学历，具有大模型推理引擎相关技术工作经验者优先;
2、熟悉vllm sglang等主流推理框架，核心技术以及通用优化策略
3、最好接触过国产芯片有分布式部署以及性能调优经验。
