ATH-AI创新事业部-AI Agent 评测与效果优化工程师-Qoder

1、面向对话式编程、代码审查及 Agent 自主编程等场景，构建线上与离线评测体系，将真实用户任务、代码交付质量和使用价值转化为可衡量、可验证的指标，综合评估产品效果、响应时延与推理成本；
2、深入研究 AI Coding 场景下的上下文工程，设计和优化代码检索、上下文筛选与组织、历史信息压缩及动态上下文管理策略，通过实验验证其对代码理解、生成质量和长程任务完成能力的影响；
3、设计和开发评测框架与基准任务集，结合代码执行验证、规则校验、人工评价及模型辅助评价等方法，建设可复现的自动化评测流程；持续检查评测方法的有效性、一致性与偏差，提升对真实产品效果的解释能力；
4、在数据合规与隐私保护前提下，分析补全接受率、后续编辑行为、会话过程及 Agent 执行轨迹，结合用户反馈开展失败归因，识别上下文缺失、工具使用、模型能力及交互设计等因素对结果的影响；
5、设计和执行离线对比实验与线上 A/B 实验，量化上下文策略、模型选型及功能迭代的实际收益，验证离线指标与线上用户价值的关联，推动效果、时延与成本之间的合理取舍；
6、针对现有指标难以覆盖的能力和体验问题，提出新的评测任务、指标或实验方法；与产品、算法及工程团队协作，将评测发现转化为可落地的改进方案，持续验证优化效果。

1、计算机科学、软件工程、人工智能、数据科学或相关专业本科及以上学历，3 年以上算法、数据科学、效果评测或相关研发经验，硕士、博士优先；
2、具备扎实的编程与数据处理能力，熟练使用 Python、SQL 及 Pandas 等工具，能够独立完成评测工具开发、实验数据处理与结果分析，重视代码质量和实验可复现性；
3、熟悉大模型与 Agent 的基本机制，理解任务规划、工具调用、上下文管理及执行反馈；对 Prompt Engineering、RAG、代码检索、上下文压缩或代码结构分析等方向有实际经验，并在其中至少一个方向有深入实践；
4、有独立设计评测体系、基准任务集或效果指标的实践经验，能够结合任务特点选择评价方法，识别样本偏差、数据泄漏及评价不一致等问题，并通过实验检验指标是否反映真实能力；
5、具备扎实的数据分析和实验设计能力，理解 A/B 实验、统计显著性与结果不确定性，能够合理控制变量、分析用户行为与效果变化，避免将单一行为指标或相关性直接作为优化结论；
6、深度使用 AI Coding 或通用 Agent 产品，对生成质量、能力边界和真实用户价值有独立判断；能够主动分析开放问题，清晰表达结论、适用条件与局限，并推动跨团队验证和落地。

加分项：
1、有 AI Coding、Agent 或开发者工具的效果优化经验，参与过仓库级代码理解、上下文工程、长程任务评测等项目，并取得可验证的效果或成本收益；
2、有模型后训练评测、第三方模型选型或模型辅助评价的实践经验；熟悉 PyTorch 等深度学习框架，能够结合模型机制分析能力差异；
3、熟悉用户访谈、行为观察或可用性测试，能够将用户研究转化为评测任务与标准；或有高质量评测工具、数据集及相关开源项目贡献。