About this role
Summary: Responsible for end-side AI model deployment, optimization, and acceleration across various hardware backends. The role involves building deployment toolchains, optimizing inference performance metrics like TTFT and throughput, and implementing model lightweighting techniques such as quantization and pruning.
岗位职责
1. 负责端侧 AI 模型部署全链路建设，覆盖模型转换、计算图优化、量化与目标硬件适配，搭建模型"一键部署"工具链与回归基线；
2. 负责端侧推理性能优化，围绕首字时延（TTFT）、解码吞吐、内存占用与功耗开展专项攻坚，建立量化指标体系；
3. 深入 NPU / GPU / CPU 推理栈，完成模型在各硬件后端的部署适配与调优，处理算子支持、精度对齐与跨引擎协同等底层问题；
4. 主导大模型端侧部署与加速：KV Cache 管理、量化压缩、投机解码、批处理调度等机制的落地与调优；
5. 推进模型轻量化工作：INT8 / INT4 低比特量化、AWQ / GPTQ 等后训练量化方案、结构化剪枝与 LoRA 适配；
6. 协同算法、系统、产品团队输出技术方案，负责问题闭环，保障版本交付、多机型兼容与线上稳定性。
任职要求
1. 本科及以上，计算机、通信、电子信息相关专业，3 年以上端侧 AI 推理部署或系统级引擎开发经验；
2. 精通 C/C++，熟悉 JNI / NDK，具备独立模块设计、编码与问题排查能力；
3. 熟悉 Android Framework 与 Native 开发，理解内存管理（mmap / ashmem / AHardwareBuffer）、多线程与性能剖析方法；
4. 熟悉主流端侧推理框架（QNN / TFLite / MNN / llama.cpp / ONNX Runtime）至少一种，掌握从模型文件到硬件执行的完整部署链路；
5. 掌握模型部署相关技术：量化、图优化、算子适配，理解 LLM 推理全流程（Prefill / Decode、KV Cache、采样）；
6. 熟练使用性能剖析工具（Snapdragon Profiler / Perfetto / simpleperf / Nsight 等）定位瓶颈；
7. 良好的沟通协作能力，主动推进问题，责任心强。
加分项
1. 有端侧大模型量产落地经验，实现过可用的首字时延与解码速度；
2. 有自研算子 Kernel 或推理编译器经验，熟悉 TVM / MLIR / XLA 等框架；
3. 有 ARM 汇编级优化经验（NEON / SVE2），或深入理解 NPU 硬件架构与厂商 SDK；
4. 有 llama.cpp / MNN / onnxruntime / TVM 等开源项目贡献；
5. 具备跨平台部署经验，同一模型在 Android / Linux 多端的一致性能表现