上海人工智能创新中心招聘大模型训练系统青年研究员

上海人工智能创新中心

科研设计单位 科学研究和技术服务业 500人以上 上海市徐汇区

招聘信息

• 大模型训练系统青年研究员

  面议 上海市徐汇区 全职 博士 5 2023-12-31

  2023-10-09 11:53:54

  职位描述

  岗位职责：
  1、参与跟进学术界大模型训练技术的前沿发展，推进自研大模型训练技术演进
  2、针对超大规模神经网络训练中的显存不足问题，深入探索显存优化策略
  3、推进分布式训练中的计算和通信优化，充分利用算力，使用大量加速卡探索性能边界
  4、打破视觉模型的参数限制，训练百亿、千亿参数量级别的超大视觉模型
  
  任职要求：
  1. 拥有设计和构建高性能计算系统技术背景，包括但不限于在cache/内存优化、GPU编程、细粒度并行库及运行时系统、并行及分布式系统其中某一方面持续深入投入超过两年
  2. 计算机科学或相关领域的硕士研究生及以上学历，或具备对等技能或经历
  3. 熟练掌握C++、Python至少一门语言。熟悉Linux编程环境
  4. 具备书写简洁、高效、健壮代码的能力
  5. 自我驱动力强、良好的团队协作和沟通能力
  6. 优秀的英文阅读理解能力
  加分项
  1. 有AI system方面的工作经验，熟悉现有的AI计算框架（如TF, pytorch）
  2. 有HPC背景，了解各种并行训练策略，如数据并行、模型并行、pipeline并行
  3. 有实际搭建分布式训练环境的经验
  4. 计算机系统结构顶级刊物（如OSDI/SOSP, ASPLOS, PPoPP）上发表过论文
  
  

  职位类别:计算机软、硬件/互联网/IT

  专业要求:工学,理学,机械工程

  ap***com[点击查看]

单位简介

上海人工智能实验室是我国人工智能领域的新型科研机构，开展战略性、原创性、前瞻性的科学研究与技术攻关，突破人工智能的重要基础理论和关键核心技术，打造“突破型、引领型、平台型”一体化的大型综合性研究基地，支撑我国人工智能产业实现跨越式发展，目标建成国际一流的人工智能实验室，成为享誉全球的人工智能原创理论和技术的策源地。

联系方式

• 联系人：冯博雅
• 联系电话：
• 电子邮箱：hr@pjlab.org.cn
• 传真：

公司地址

• 地址：上海市徐汇区
• 邮编：