About this role
Summary: Develop and deploy end-side multimodal large language models for scenario perception and active services. Responsibilities include SFT/LoRA fine-tuning, multi-modal content understanding, security engineering, and optimization for edge devices.
岗位职责
1. Omni/VLM 端侧任务化训练（SFT / LoRA）
基于 Qwen-Omni、Qwen-VL 等端侧模型，面向情景感知、主动服务、消息理解、安全拦截等任务做 SFT / LoRA 微调与对齐。
负责任务数据的采集、合成、标注、清洗和配比，搭建训练与评测流程。
管理多任务 LoRA，包括热切换与合并；训练时同步考虑量化部署（如 QAT、量化感知 LoRA），保证模型压缩后的效果。
2. 多模态内容渠道理解
理解系统通知、短信，以及飞书、钉钉、微信等三方消息中的文本、图片、语音、文件和卡片内容。
抽取会议、待办、行程、快递、账单等关键信息，完成重要性排序、摘要和意图识别，驱动提醒、日程、服务卡片等主动服务。
处理多渠道消息的去重、关联和时效管理。
3. 端侧模型输入输出工程安全
识别提示词注入（尤其是三方消息、网页、图片中隐藏指令造成的间接注入）、越狱和恶意指令。
拦截有害内容、隐私泄露和高风险操作，敏感的 Agent 动作需二次确认。
研发低开销的端侧安全模型或 LoRA 安全头，建立安全评测集和红队测试机制。
4. 端侧部署与评测协同
与推理引擎团队协作，完成模型在 NPU/GPU/CPU 上的量化部署与性能优化。
建立覆盖效果、性能、功耗、安全的评测体系，跟踪 TTFT、tokens/s、峰值内存、功耗等指标，做好量产回归。
任职要求
计算机、人工智能、电子信息等相关专业，硕士及以上学历，3 年以上相关经验；博士或能力突出者可放宽。
熟悉 Qwen-Omni、Qwen-VL、MiniCPM-o/V 等多模态大模型的结构与训练流程，有完整的 SFT / LoRA 微调实战经验，熟悉 PEFT、LLaMA-Factory、ms-swift、DeepSpeed 等工具。
在以下至少一个方向有深入经验（覆盖两个及以上者优先）：
主动服务、意图识别、用户行为序列建模
目标检测、开放词汇检测、重识别、视觉记忆
楼层检测、传感器行为识别（HAR）
通知 / 消息类信息抽取与多模态内容理解
大模型安全（Prompt Injection 防护、内容安全、Guardrail）
了解端侧部署约束，熟悉 GPTQ、AWQ、QAT 等量化方法，熟悉 llama.cpp、MNN、QNN、NeuroPilot、ExecuTorch 中至少一种端侧推理框架。
熟练使用 PyTorch 和 Python，具备 C++ 开发能力；熟悉 Android 传感器、通知监听、无障碍、权限等系统机制者优先。
具备良好的问题拆解和跨团队协作能力，能在效果、打扰、功耗、隐私、安全之间合理取舍，推动方案量产落地。
加分项
有 Omni/VLM 在手机、车机、可穿戴等端侧量产落地的经验。