About this role
Summary: Design and optimize large-scale distributed training and inference systems for AI models. Focus on performance tuning, hardware acceleration, and infrastructure stability to support core business applications.
1. 参与 Soul 大模型、多模态模型、推荐模型等核心 AI 任务的训练与推理基础设施建设，提升模型从实验到线上部署的整体效率。
2. 负责大规模分布式训练系统的性能优化，包括数据并行、张量并行、流水线并行、专家并行、参数/梯度/优化器状态切分、显存优化、通信调度等方向，提升 GPU/NPU 集群利用率。
3. 参与高性能推理引擎建设，围绕大模型在线服务中的低延迟、高吞吐、弹性扩缩容、多租户隔离、KV Cache 管理、批处理调度、量化部署等问题进行系统优化。
4. 针对 Soul 的实时社交、多模态内容理解、AIGC 互动等场景，设计和优化端到端 AI 系统架构，降低训练和推理成本，保障核心业务的稳定性和体验质量。
5. 参与异构计算算子优化和计算图优化，包括 CUDA、Triton、CUTLASS、Ascend C、TileLang 等方向，针对 Attention、MoE、Embedding、推荐模型特征交互、多模态编码等关键模块进行性能调优。
6. 参与 AI 编译器和模型编译优化相关工作，围绕 IR 表达、算子融合、内存复用、调度优化、跨硬件后端适配等方向，提升模型在不同硬件平台上的执行效率。
7. 建设训练/推理性能分析、故障诊断、自动化调优、资源调度和可观测性工具，提升 AI 基础设施的工程效率与稳定性。
8. 跟踪并吸收业界前沿大模型系统技术，在合适的业务场景中完成工程化验证和落地。
1. 计算机基础扎实，熟悉操作系统、计算机体系结构、并发编程、网络通信、内存管理等底层知识，具备较强的问题定位和性能分析能力。
2. 熟练掌握 C/C++、Python，具备 CUDA、Triton、Ascend C、CUTLASS、CuTe DSL、TileLang 等一种或多种高性能计算开发经验。
3. 熟悉大规模分布式训练或推理系统，理解数据并行、张量并行、流水线并行、ZeRO/FSDP、MoE、Checkpoint、Offload、通信重叠等核心机制。
4. 熟悉 NCCL、NVSHMEM、RDMA、InfiniBand、RoCE、Verbs 等通信机制或工具链，有 GPU/NPU 集群通信优化经验者优先。
5. 熟悉主流深度学习框架和训练生态，包括 PyTorch、Megatron、DeepSpeed、FSDP、vLLM、SGLang、TensorRT-LLM、TorchInductor 等，有源码级优化经验者优先。
6. 熟悉 AI 编译器、计算图优化或异构计算工具链，包括 MLIR、LLVM、TVM、XLA、Triton Compiler、Torch Dynamo/Inductor 等相关技术者优先。
7. 具备扎实的工程能力，能够独立完成复杂系统问题拆解、性能瓶颈分析、方案设计、代码实现和线上验证。
8. 熟悉 Transformer、Diffusion、Embedding/Recommendation、Multimodal Encoder、MoE 等常见模型结构，能够理解模型结构对系统性能和资源使用的影响。