汽(qì)车行业是推动人工智能(néng)(AI)发展的重要行业之一(yī),这(zhè)是(shì)因为(wéi)该(gāi)行业(yè)致力于自动驾驶汽车和高(gāo)级驾驶员辅助系统(ADAS)的(de)泛在利(lì)益。
portant;" />
汽车正在变得越来越智能,但是如果汽车行业要实现完全自动驾驶的目(mù)标,他们(men)还有(yǒu)很长的(de)路要走。尽(jìn)管业界还在讨论实现全自动化所需的(de)理想技术组合,但(dàn)是有(yǒu)一(yī)点(diǎn)是明确(què)的,那(nà)就是(shì)人工智能(néng),尤其是神经网络将(jiāng)发(fā)挥(huī)重要(yào)作(zuò)用。
神经网(wǎng)络
神经网络的作(zuò)用是执行对于传(chuán)统(tǒng)视觉或模式识别系(xì)统来说具(jù)有挑战性的任(rèn)务。通过使每个神经网络各自不同,并针(zhēn)对(duì)特定(dìng)任务进行设计,它可以更高效(xiào)、更精(jīng)确地执(zhí)行任务。
所有(yǒu)神经网络的组织模式都是在多个层面上多次处理(lǐ)数(shù)据。因(yīn)此(cǐ),神经网络可(kě)以在不同的输(shū)入模式(shì)下运行十到二十次(cì),而不是(shì)用一组特定(dìng)的参数只运行一次操作。这个(gè)想法是,通过所有这(zhè)些不同(tóng)的(de)路径,选择的(de)数量(liàng)就(jiù)会增加。当到了需要做出(chū)决(jué)策的时候,它已经从输(shū)入中提(tí)取了所有的信息。
portant;" />
在(zài)路标(biāo)识别的(de)示例中,第一层可能正在寻找一个(gè)标识的(de)角形(xíng)状,然后是(shì)颜色等各个步骤执行下去,直到它可以非常确信地(dì)说这是一个(gè)路标并说明其(qí)含义(yì)。这样做(zuò)的(de)好处在于无需对每一个(gè)步骤都进行编程,神经(jīng)网(wǎng)络将(jiāng)会自(zì)己(jǐ)完成,并且随着时间的(de)推移(yí)而不断学(xué)习。该算法知道它需要识别的内容(róng),并将尝试不(bú)同的(de)方法,直(zhí)到实(shí)现(xiàn)目标,并在过(guò)程中不断学习。一旦神(shén)经网络在经过培(péi)训之后,它便(biàn)可以在实际应用(yòng)中发挥作(zuò)用。这(zhè)意味着工程师不必花费数小时来微调复杂的算法,他们只需向神经网络展示它(tā)需要发(fā)现的内容并让其(qí)自学完(wán)成。
这(zhè)些(xiē)技术已经在车(chē)辆中被(bèi)广泛用于目标检测、分类和分析,而驾驶员监(jiān)测、访问控制以及语(yǔ)音和手(shǒu)势(shì)识别也可以(yǐ)利(lì)用不同类型(xíng)的(de)神经网络。此外,将传统视觉(jiào)与(yǔ)神经(jīng)网络相结(jié)合(hé)的人工智能(néng)方法,可用于行人路径分析和环绕(rào)视图等应(yīng)用场(chǎng)景,它将同时依赖于图形(xíng)处理器(GPU)和神经(jīng)网(wǎng)络加速器(qì)(NNA)。
在从传感器到电子(zǐ)控(kòng)制单元(ECU)整个链(liàn)路中(zhōng)也(yě)可以使(shǐ)用神(shén)经网络,在预处理、中间处理和后(hòu)处理中使用的各(gè)种技术(shù)将人工智能引入了其中。
此外(wài),车联网(V2X)技术(shù)正在开(kāi)发中,该技术(shù)将主要(yào)使用自动(dòng)驾驶汽车作为传感(gǎn)载体,为各种智慧城(chéng)市和智慧交通场景提供数(shù)据和信息。同(tóng)样,这些进(jìn)展将依赖于采用GPU和(hé)NNA的方法实现人工智(zhì)能,以(yǐ)支持来自越来(lái)越大的输(shū)入(rù)集的各种分析(xī)和计算(suàn)。
传感器(qì)融合
自(zì)动驾驶和高度自动化的(de)车辆将严重依赖(lài)各种类型的(de)传感器(qì),包括(kuò)摄像头、热成(chéng)像、雷达、激光雷达(LiDAR)等。所有(yǒu)这些传(chuán)感器传出的信号都(dōu)需要(yào)进行解读和融合,以便(biàn)全面了解(jiě)车辆内部和外部发生的情况。
传感器(qì)融合对于自动驾驶至关重要,它(tā)将涉及到GPU和神经网络以及机器学习(xí)和人工智能的结合。
车(chē)辆内(nèi)部传(chuán)感(gǎn)器融合的一(yī)个很好的(de)示例是驾驶员(yuán)监测。在当今的车辆(liàng)中,各种各样的传感器(qì)都能够检(jiǎn)测到驾驶员是(shì)否(fǒu)注意力不集中。神经(jīng)网络可(kě)以分析拍(pāi)摄到的驾驶员图(tú)像,以(yǐ)判断(duàn)他或她是否在睡觉(jiào)、处于疲倦状态、注(zhù)意力不集中,甚(shèn)至通过移动设备(bèi)讲话或发信(xìn)息。这(zhè)对于(yú)早期的自动驾驶车辆来说是至关重要的信息,因为它可能需要驾驶(shǐ)员在(zài)某些时候重新(xīn)控制车辆,因为汽(qì)车需要知道(dào)驾驶员是否(fǒu)处于合(hé)适的状态才(cái)能这样做。
portant;" />
驾驶(shǐ)员监测是如何工作的?对准驾驶员面部的摄像头为分析面部元(yuán)素(尤其是眼睛)的算法提(tí)供(gòng)了(le)输入(rù)。是睁着眼睛还(hái)是闭着眼睛(jīng)?如(rú)果是闭着眼睛,闭眼多长时(shí)间?眼神是否飘忽不定?驾驶(shǐ)员正在看向哪里?
研究整个面部可以确(què)定驾驶(shǐ)员是(shì)生(shēng)气还是悲(bēi)伤。如果是(shì)愤怒,系统会建议驾驶员先靠(kào)边停车并冷静下来,然后(hòu)再(zài)继续行驶(shǐ)。
所(suǒ)有这些都是基于构建一个(gè)面部图像,提取关键点(diǎn)并使用神经(jīng)网络提取情绪、注视(shì)时(shí)间等来判断驾(jià)驶员的精神(shén)状态。
在未来的两(liǎng)三年(nián)内,驾驶员监测可能(néng)会成为(wéi)必(bì)须从欧洲新车(chē)评(píng)估计划(NCAP)和(hé)美(měi)国国家(jiā)高速(sù)公路通(tōng)行安全管理(lǐ)局(NHTSA)获得批准的一项要求,因此驾驶员监测会成为汽车制(zhì)造商必须(xū)要(yào)实施的技术,不(bú)仅要适(shì)用于高端汽车,还要适用于所有车辆。
自动(dòng)驾驶(shǐ)的(de)等(děng)级
美国汽车工程师学会(SAE)和美国高速公路交通(tōng)安(ān)全(quán)管理局已将(jiāng)自动驾(jià)驶汽车的能力分为六个等级。基(jī)本上,等(děng)级0完全没有自动化,而在等(děng)级1中(zhōng),汽车将为驾驶员(yuán)提供(gòng)一些帮助。等级(jí)2具有更多的(de)驾(jià)驶(shǐ)辅助(zhù)功能,甚至可以(yǐ)自(zì)主执行一些任务,例如自动(dòng)紧(jǐn)急制动以避免碰撞(zhuàng)。
等级3是(shì)一个棘手的问(wèn)题,虽然(rán)汽车是自(zì)动(dòng)驾驶,但驾驶员必须随(suí)时(shí)准备驾驶车辆。驾驶(shǐ)员监测将是等级3自动驾驶的关键,因(yīn)为驾(jià)驶员(yuán)必(bì)须做(zuò)好(hǎo)干预的(de)准备,并且在(zài)一定程度上,车(chē)辆有责任确保驾驶员(yuán)做好准(zhǔn)备。
在等级4中,即使驾(jià)驶员可以(yǐ)接(jiē)手车辆(liàng)驾驶,但从理论上讲,车(chē)辆也(yě)可以(yǐ)处(chù)理它所(suǒ)处(chù)现场的所有情(qíng)况。等级5的车辆将实现全自动化,没有(yǒu)方向盘和踏板。
车辆自动驾驶(shǐ)性能每提高一个级别,所需的计算性(xìng)能就会增加大约十倍。这就是为(wéi)什(shí)么神经网络(luò)很(hěn)重要的原因,因为它们可以在非常低的功耗下提供这种性能。
目标检测
以(yǐ)一(yī)个行(háng)人为例,汽车的车载摄像(xiàng)头和传感器(qì)可以记录行人是在行走或(huò)站立;神(shén)经网络可被(bèi)用于绘制行(háng)人可能要走的路线,并计算车(chē)辆是否需要减速或快速制动。神经网络(luò)还可以观察同一幅图像并对其进行分割,从(cóng)中(zhōng)挑选出其他物体,并应用目标识别(bié)技术来判断(duàn)出它们是否代表了车辆需(xū)要(yào)注意(yì)的东西。所有这些都必须把车辆(liàng)的位置以及它(tā)想要(yào)去的地方纳入考虑(lǜ)之中,如果车辆正在(zài)倒(dǎo)车,并检测到在车辆后面(miàn)有一个小孩,就需要(yào)迅速处(chù)理并进行刹(shā)车。要做到这(zhè)一点,就需要人工智(zhì)能和神(shén)经网络来查看那里(lǐ)是否有物体(tǐ)存(cún)在(zài),并对(duì)其(qí)进(jìn)行(háng)识别认(rèn)出(chū)是一个孩子,然后(hòu)向执行器或(huò)驾驶员发送一个信号,以采取措施。
由于摄像头通常(cháng)会带有某(mǒu)种鱼眼镜头(tóu),因此这(zhè)将使其变得更(gèng)加复(fù)杂(zá)。这会产生一张变(biàn)形的图片,需(xū)要先矫正(zhèng)然后(hòu)进(jìn)行解读。来(lái)自这个(gè)设备以及其他传感器的输(shū)入需要结合起来,从而在瞬间做(zuò)出决策。
数据处(chù)理
与此同(tóng)时,来自汽车周围的其他信息也源源不断地被送(sòng)达,包(bāo)括来自于所有传感器的以(yǐ)及(jí)从其他车辆或(huò)基础设施通过无线通信接收到(dào)的信(xìn)息。这是一个巨大的数据量,可能(néng)在太(tài)字(zì)节(terabyte)范围(wéi)内。
ECU将遍布汽车各处,并根(gēn)据数据做出决策。这可能会涉及到100个或者更多的ECU。业界(jiè)正在使(shǐ)用一些方法来(lái)研究如何用(yòng)更少的ECU和(hé)更(gèng)多的(de)计算能力来(lái)实现这一点。摄像头或传(chuán)感器旁边的嵌入式人工智能(néng)可以做(zuò)出一些决定,从(cóng)而减少车辆需(xū)要传递(dì)的信息。
这意味着需要不(bú)同等级(jí)的处理方式。数据可以(yǐ)在捕获点进(jìn)行预处理,例如(rú)拉直鱼眼镜头的图像。中间处(chù)理(lǐ)可能包括各种已计划(huá)的任务、目标(biāo)识别、决策制定(dìng)等。之后(hòu)可以进行后处理,当信息(xī)可以被清理整齐(qí)并显示(shì)在屏幕上时,让驾驶员就知道正(zhèng)在发生什么或已经(jīng)发生了(le)什么(me)。
应用
这(zhè)些数据处理技(jì)术也(yě)被用于创建当前(qián)正在(zài)开发的应用(yòng),以在(zài)车内创建虚(xū)拟环视车(chē)身支撑柱(zhù)。在此用例中,将(jiāng)在支撑柱(连接(jiē)车顶和车身的(de)支撑柱)上(shàng)安装摄(shè)像(xiàng)头来捕(bǔ)获车外(wài)发(fā)生的事情。支(zhī)撑柱的内(nèi)部(bù)将提供一个显示器,以显示这些摄像头正(zhèng)在捕获的内容(róng),从而(ér)为驾驶员提供一个不间断的视场。
这个(gè)过程非(fēi)常难以实现。系统必须了解驾驶员(yuán)正(zhèng)在查(chá)看的另一(yī)侧是(shì)什么情景(jǐng)。图片将需要修正(zhèng)变形并放置在不平(píng)整或弯曲(qǔ)的(de)表面(miàn)上(shàng),然后(hòu)重(chóng)新变形到支撑柱的(de)轮廓上。
尽管这一进步是未来的趋势,但(dàn)一些高(gāo)端(duān)车辆(liàng)已经提供了环绕视图系统,并且它们很(hěn)快将应用于中(zhōng)档和入门级(jí)车辆(liàng)。GPU被用(yòng)于分(fèn)析遍布车辆周围的各个(gè)摄像头所捕(bǔ)获的图(tú)像(通(tōng)常(cháng)有四个或(huò)五个摄像头),并将图像拼接在一起(qǐ)。根据拼接(jiē)的图像,神经网(wǎng)络(luò)将(jiāng)执行目标检测(cè)和路(lù)径预(yù)测,以查看(kàn)这些目(mù)标是(shì)否有可(kě)能(néng)拦挡(dǎng)车辆的路(lù)径。
信(xìn)息娱乐(lè)和导航
在车载信息娱乐系统(IVI)和导(dǎo)航方面,GPU也起(qǐ)着重要作用。它们(men)还参与语音(yīn)控(kòng)制,这很可能成(chéng)为人与车之间的(de)关键接口(kǒu)。因此,对(duì)于卫(wèi)星导航系统来说,驾驶(shǐ)员不必操作(zuò)按钮和(hé)键盘来(lái)输入目的地,而(ér)是只需说出邮政编码或街道名字,然后就可要求系统(tǒng)绘制出路线。
仪表盘将被连接到外部摄像头,以用于路标(biāo)识别等操作。如(rú)果摄像头捕(bǔ)捉到一个限速(sù)的标志,该(gāi)标(biāo)志(zhì)可以在有效的时间内显(xiǎn)示在驾驶(shǐ)员面前;如果汽车超过限速,就会发出声响警告。
实际上,整个仪表(biǎo)显示(shì)区将(jiāng)使(shǐ)用GPU进行图像渲(xuàn)染(rǎn)和信息优先级排序。如果系(xì)统确定驾驶员需要了解(jiě)一些关键信息,该信息可能会从仪表(biǎo)显示区中(zhōng)弹出,甚至(zhì)可以投射到挡风(fēng)玻璃上。挡风(fēng)玻(bō)璃上的图(tú)像也可以被用作导航系统的一部分,向驾驶员显示(shì)正确的(de)转弯方(fāng)向(xiàng)或说明汽车(chē)在即将到来的(de)路口需要驶入哪