从软件开发到AI领域工程师模型训练篇

    前言  

4月热播的韩剧《王国》,不知道大家有没有看?我一集不落地看完了。王子元子出生时,正逢宫内僵尸作乱,元子也被咬了一口,但是由于大脑神经元尚未形成,寄生虫无法控制神经元,所以医女在做了简单处理后,判断不会影响大脑。这里提到了人脑神经元,它也是AI神经网络的研究起源,具体展开讲讲。

人脑中总共有亿个神经元,其中大脑皮层有亿个神经元。大脑皮层的神经元数量决定了动物的智力水平,人的大脑皮层中神经元数量远高于其他物种,所以人类比其他物种更聪明。大象的脑子总共有亿个神经元,但是其中98%的神经元都存在于大象的小脑中,而大象的大脑皮层只有56亿个神经元,无法与人类相比。大脑皮层中的神经元数量越大,能耗也越大。人脑每天消耗的能量占人体全部耗能的25%,这也就是为什么我们每天都要吃多餐,很容易饿的原因。人之所以能够很快超越其他物种,主要是因为人类掌握了烹饪技术,能够在短时间内摄入大量卡路里以支持大脑运转,其他物种则将摄入的卡路里用于维护身体运转,不得不牺牲大脑皮层的神经元数量。

之所以先谈大脑神经元原理,也是为了引出本文的重点--现代AI技术。在正式进入AI技术前,我先讲讲软件工程师这份工作,因为现在有很多软件工程师准备转入AI行业。

    软件工程师  

我是软件工程师出身,年刚毕业时我写的是JSP代码(一种将Java语言嵌入在HTML代码中的编写方式),工作几年后转入分布式软件技术,再后来进入大数据技术领域,最近的4年时间我一直在从事AI平台研发工作。

软件工程师的要求,我总体分为基础编码和系统架构两方面,因此我对于软件工程师的考察,特别是校招学生时,为了进一步考察他们的综合能力,我每次都会自己准备面试题,这些题目包括了编程基本概念、算法编程题、操作系统、数据库编程、开源代码阅读、垃圾回收机制、系统架构描述等。

编码的话题展开来可以讲很久,发展历史很悠久,我15岁学编程时用的是Basic语言,读大学时学的是C语言,大学毕业参加工作后第一门用的语言是Java,其中的各种故事和理解可以写几篇文章,这里不展开谈。

我觉得谈到软件工程师工作,避不开软件架构设计。大众谈软件架构,很多人会认为软件架构就是一堆框架的组合,其实不对,软件架构本身是对于软件实体的组织形式的阐述,使用框架的意义是快速完成软件架构设计,而不是取代软件架构设计,两者本质上不是一类事物,更像是设计图纸和所使用的原材料。软件架构就是通过对软件生命周期的拆分,在符合业务架构的前提下,以达到软件本身访问增长目的的方式。这个增长需要软件开发的增长,也需要软件运行的增长,由此达到所支撑业务的增长。

市面上也确实有很多例如“分布式系统架构”、“微服务架构”等等跟随着潮流的书籍,但是看完后只停留在会采用一些开源框架进行整体框架搭建,我说的是搭建,而不是设计。确实是搭建,你所拥有的能力就好像小孩子搭积木,只会采用固定讨论,或者学得差点,连固定套路都没学会,这样对你的个人能力发展其实没有多大好处,这也是为什么很多程序员在完成了程序员-架构师的转型后,没过多久就转为纯管理,或者彻底离开了技术界,因为从来没有大彻大悟理解系统架构。

之所以谈了这么多系统架构相关的工作理解,是因为我认为系统架构师系统化的思维,我们搞AI系统也是系统化的思维,从有较强编程能力的系统架构师转AI技术,相对容易一些。

    AI工程师  

为什么要从软件工程师转行到AI产品研发?因为AI产品研发有更大的吸引力,因为它更难,难到我们并不确定什么时候才能真正做出来,做出来真正能够可复制的AI产品。表面上看它也是一个门槛—一个“可用”且“可复制”的AI技术,但因为难度足够大,所以有挑战性,必须不断地改善技术,做全球范围内还没有做出来的技术。搞软件开发时处理的一些问题可能是其他公司已经解决的,并非“人类”都还没有解决的问题。

AI的研究最早可以被追溯到亚里士多德的三段论,然后莱布尼茨创立了处理逻辑,布尔在布尔代数上的贡献,弗雷德在近代逻辑上的贡献,罗素在逻辑主义方面的贡献,这些工作都是在数据逻辑上的。一般认为,现代AI技术讨论,起源于年在达特茅斯学院召开的夏季研讨会,而这门学科的源头可能是AlanTuring(阿兰.图灵)年在英国国家物理实验室(NPL)写过的一份内部报告,这份报告中提到了肉体智能和无肉体智能,从某种意义上预示了后来符号派和统计派之争,或是Turing在年在哲学杂志《心》(Mind)上发表的文章“计算机与智能”,反正都是Turing。

可以这么认为,现代AI是一系列通用目的技术的总称。现代AI技术,主要指基于机器学习(MachineLearning,简称ML)/深度学习(DeepLearning,简称DL)的一系列方法和应用,这只是AI领域的一个分支,也是目前发展最快、应用最广的分支。

机器学习/深度学习的原理可以这样理解:建立一个模型,给一个输入,通过模型的运算,得到一个输出。可以用于解决一个简单问题,例如识别图片是不是狗,也可以用来解决复杂问题,例如下棋、开车、医疗诊断、交通治理等等,也可以理解为,模型就是一个函数f(x),上述过程,可以表达为:f(一张图片)=狗/不是狗。

一个AI应用开发,大概分为三个阶段:

第一阶段,识别问题、构建模型、选择模型。AI的开发和培养一个小孩子类似,不同的孩子有不同的爱好和特长,同样地,AI也有很多模型/算法,不同的模型/算法适合解决不同的问题。所以,首先要识别你要解决的是个什么问题,然后选择一个合适的模型/算法;

第二阶段,训练模型。和培养小孩子一样,即使你发现小孩子有音乐天分,他也不可能天生就是钢琴家,他需要专业的训练。AI开发也一样,选定模型/算法后,即使算法再好,也不能马上有效工作,你需要用大量的数据训练这个模型,训练过程中不断优化参数,让模型能够更为有效地工作。这个阶段AI模型的工作状态,叫做“训练”;

第三阶段,模型部署。模型训练结束后就可以部署了。比如一个人脸识别的模型,你可以把它部署在手机上,用于开机鉴权,也可以把它部署在园区闸机上,用于出入管理,还可以把它部署在银行的客户端上,用于业务鉴权,等等。如同一个孩子成长为钢琴家后,既可以在音乐会上演奏,也可以在家庭聚会上表演。AI模型部署之后的工作状态,专业的说法,叫做“推理”。

通过上述AI开发过程的简述,可以发现,算法、数据和算力,是驱动AI发展的三大动力,三者缺一不可。

算法相当于是基因。基因不好,再努力也白搭。如何识别问题,并根据问题选择算法,甚至开发新的算法,是高端AI专家的核心竞争力;

数据相当于是学习材料。光基因好,没有好的教材,也教不出大师。AI的训练,需要海量的、高质量的数据作为输入。AlhpaGo通过自己和自己下棋,下了几千万盘,人类一辈子最多也就下几千盘。没有这样的训练量,AlhpaGo根本不可战胜人类。自动驾驶,Google已经搞了10年,训练了几十万小时,远远超过一个专业赛车手的训练量,但离真正的无人驾驶还差很远。另外,数据的质量也很重要,如果你给AI输入的数据是错的,那么训练出来的AI,也会做出错误的结果。简单的说,如果你把猫的图片当做狗的图片去训练AI,那么训练出来的AI,就一定会把猫当做狗。数据的重要性直接导致了中国涌现了大批以数据标注为生存手段的公司和个人;

一个小孩,光有天分和好的学习材料,自己如果不努力,不投入时间和精力好好学习,绝对不可能成为大师。同样的道理,一个AI模型,算法再好、数据再多,如果没有足够的算力,支撑它持续不断的训练,这个模型永远也不能成为一个真正好用的模型。这就是为什么英伟达崛起的原因,这家公司的GPU芯片提供了最为适配于人脑神经网络的计算算力,现在国内工业界也有了类似的公司产品-华为的达芬奇芯片。

    训练AI应用模型  

动手实践前

接下来,我们通过对一个AI应用模型的训练和推理过程介绍,开始动手实践。训练模型需要算力,对于算力的获取,训练和推理可以根据自己的业务需求,选择使用公有云或自己购买带算力芯片的服务器,本文案我选择的是某花厂的AI开发平台,因为近期他们刚推出一个免费算力的推广活动,可以省下一笔训练费用。为了便于调试,我首先在自己的CPU个人电脑上编写代码、训练模型,这样做的缺点是模型收敛的时间长了一些。

疫情期间,对于民众来说,佩戴口罩是最有效防止被传染新冠病毒的方式,保护自己的同时也保护他人。所以本文的案例是佩戴口罩的识别模型训练。识别算法离不开目标检测。目标检测(ObjectDetection)的任务是找出图像中所有感兴趣的目标(物体),确定它们的位置和大小。由于各类物体有不同的形状、大小和数量,加上物体间还会相互遮挡,因此目标检测一直都是机器视觉领域中最具挑战性的难题之一。

基于深度学习的人脸检测算法,多数都是基于深度学习目标检测算法进行的改进,或者说是把通用的目标检测模型,为适应人脸检测任务而进行的特定配置。而众多的目标检测模型(FasterRCNN、SSD、YOLO)中,人脸检测算法最常用的是SSD算法(SingleShotMultiBoxDetector,“SingleShot”指的是单目标检测,“MultiBox”中的“Box”就像是我们平时拍摄时用到的取景框,只



转载请注明地址:http://www.henanledxianshiping.com/zxrjkf/20120.html
  • 上一篇文章:
  • 下一篇文章: 没有了