由 dawei 公开课上提到的AI服务到底是什么?开发一个AI服务和开发其它服务有哪些异同呢?
一、AI服务及开发挑战
01. AI服务是什么,他的开发过程是怎样的?
以AI视觉能力为例,一个完整的AI服务包括了基于AI模型的AI基础能力,也包括了对外提供服务的工程代码,最终用户通过不同的客户端对服务进行访问。一个完整的AI服务开发包括了工程代码开发、模型训练以及最终的集成阶段。
在工程代码开发阶段,工程师像开发普通服务一样通过coding, build, test等活动,最终产出发布物
在模型训练部分,工程师经过数据收集与标注、数据处理、模型训练与调优等活动最终产出一个AI模型
接下来,工程师需要将工程部分的发布物和AI模型打包在一起形成最终的产出物,并将最终产出物发布到线上02. AI产品研发面临的挑战有哪些?
相对于传统软件开发而言,AI产品的研发面临着诸多挑战:
1、项目协作难:项目涉及开发、测试、运维等多角色,而AI项目往往额外涉及多个AI算法团队,沟通、协调成本高,工作效率低
2、技术要求高:AI研发流程更长且专业性要求更高
3、环境周边成本高:AI数据、模型、服务、工具维护使用成本高、安全风险大
4、技术复用难:业务闭环迭代慢,且无法快速规模化迁移应用已有能力
二、AI服务开发全生命周期解决方案
针对以上问题,百度内部通过多年的探索和实践,最终形成了一套针对AI服务的DevOps解决方案。该方案涵盖了模型训练的部分,以及服务代码开发的DevOps部分,并已经实现了全部的产品化,被百度内部多个AI开发团队所使用。整套方案贯彻了DevOps理念中自动化一切的部分, 包括:
1、服务代码–模型组装–服务部署自动化
2、训练工具源码–训练工具集成自动化
3、训练数据管理–模型训练–模型评估自动化