演讲嘉宾：索喜科技 汽车电子方案组市场部高级经理 Tony Zhou
二十世纪非常著名的预言家凯文· 凯利说接下来20年最重要的创新是机器智能，机器视觉就是机器智能中非常重要的功能。索喜科技希望通过一些新的产品包括视觉处理器，在这个领域做一些添砖加瓦的工作。
关于机器视觉，重点是跨学科。其实机器视觉是一个非常难做的领域，涉及到非常多的学科，包括底层视觉与感知这是第一块，然后涉及到光学、信号处理。第二块是基于图像的物理建模，这中间又涉及到很多的学科，包括立体结构学，神经生物学、心理学，还有数据统计学等，这些名字都比较拗口，第三块是精确识别与模块。
人来看图像是很简单也非常容易理解，但是假如让机器看图像，要让它了解这是什么样的场景，建筑物有多远，车在哪里，对机器是很难的。对人来说我们从小到大这个大脑经过长时间训练，对场景、建筑物包括车都更加了解，这也是机器视觉的难点之处。视觉这块谈了这么多，人跟物理世界做交流做沟通最主要是通过两个方式，一个是通过语音，第二是通过眼睛。人对机器处理是一维数据，但是对机器是二维的数据，空间来说是三维的，所以采集数据是很困难的。人类视觉皮层占大脑皮层50%左右，大家可以看到人脑已经变成非常强的超级计算机，大部分处理是视觉。视觉的重要性也可以在大部分的应用场景里面看到，包括安全、健康，包括监控这些，包括海康、大华智能监控设备都用到了这些技术。所以从这个布局来说，视觉上可以做非常广泛、非常强的应用技术。
简单的回顾一下关于机器视觉相关发展历史。Minsky是机器视觉开篇鼻祖，1966年开始做安全机器视觉的本科生暑期项目，这开启了机器视觉的发展历程。之后到70年代图像理解最主要做一些图像检测，那个时候计算机的性能还非常低，不能够满足大规模数据的运算。到80年代人工神经网络开始发展，然后人脸识别，然后开始做一些视觉的处理。2010年代，基于卷积神经网络深度学习。总体来说，这个领域的发展非常短，每隔十年有一个变化，越往后面发展越快，大量的算法可以在现有的基础面上得到比较好的实现。
今天介绍重点是VPU。作为一个处理器简单的架构，可以看到处理器和总线加上内存，这个构成一个基本处理单位，早期是做一些逻辑处理比较合适的，这个显示器越来越大，游戏发展的出现，需要有GPU出来，来做rendering，GPU做点、线、面各种绘制信息。同时VPU和内存之间交互的效率也很重要。
首先讲一下现在常见机器视觉的架构。纯硬件结构的ASIC，这种设计模式性能不错，功耗也非常低，但是它的缺点是如果重新做设计，灵活性比较低，假如客户有修改，这个成本会比较高了。第二个是GPU阵列的模式，英伟达在这个领域很靠前，他采用大量的PPU排成阵列，这些GPU互相交互完成功能，它的特点是灵活性非常强，缺点也是成本高，同时功耗非常高的，英伟达深度学习的一块板，上面需要放冷却系统才可以保证产品正常运作。
还有一个比较流行的是用FPGA，现在它的发展速度很快，但是有一个缺陷是频率非常高，不像ASIC可以跑到非常高的位置，在处理单位增加方面会大大提高成本。
索喜不是一家新公司，我们虽然成立是在2015年，但是我们已经做了十几年的SOC，我们是原来松下半导体和FUJITSU合并成立的分公司。我们是一家提供芯片、软件，也提供HMI设计工具，有一整套方案。索喜提出的VPU的概念，首先从VPU的架构上来说，我们采用了混合式架构，当然我们采用了稳定DPA跟HWA，DPA做可变成式的数据流处理，HWA是硬件加速。如果平常梳理一个图像从720进入420之后，通常对图像进行分割，把图像分成一块一块的，大部分时间做单个图像集成，做数据流的处理，同时再复杂一点做一些卷积运算。这些可以从图像处理或者机器视觉处理过程中按照架构切分好，实现VPU的处理。第二是可靠性，因为这个VPU不是做了分割，光有硬件还不够，还需要软件，因此需要有一个标准开放式平台，这是我们VPU设计的目标。刚才谈到GPU阵列的缺陷，我们希望在提高灵活性的前提下，把功耗降到更低，因为功耗是非常重要的，特别是在车载上面的应用。
VPU的基本硬件架构，刚才谈到有这个DPA可变成的数据处理单元，它是可以有128个线程，同时有32个bit单元。可以理解128个线程单元做处理，它是一个单独的硬件单元，这些硬件单元可以串在一起，假如有6个摄像头输入，或者说输入进来的图像上面有一部分需要做车道线偏离，有一部分需要做标牌的识别。这个DPA模块是并行的，可以把几个DPA模块组合在一起，并行做所有的摄像头、分出来切块处理。我们的模块里面也有很多单元，可以做滤波，可以卷积等。
刚才谈到无论什么样处理器，内存处理效率是非常重要的，大家看到VPU处理里面，很重要的是加入了LinkMem，不需要处理过程中访问，这个访问是非常繁忙的，因为大量处理的时候负荷非常高，效率也非常低，当然把所有单元连在一起时效率是非常高的，这也是我们VPU设计的一个亮点之一。
只有硬件很难把生态系统完善起来，GPU有长足的发展是因为OPENGL发展，包括线路上面发展，软件是分不开的。现在视觉处理这一块有两个比较重要标准，一个是OPENCV，第二个是OPENVX，接下来会简单介绍一下这两个的差别。OPENCV实现基本上是社区开发，是一种开源的，很多爱好者在上面做开发的工作，基本基于PC做一些开发。OPENVX是以芯片厂家为主导，可以实现的芯片厂家做一些软件的开发。第二个是做完之后的测试标准，OPENCV是没有标准测试的集，OPENVX有非常严格认证测试的标准。必须通过认证测试之后，才可以说这个产品通过了认证。第三点是一致性，因为这个算法要一直修改，接口很重要，OPENCV由于是开源模式，所以它的接口可以做一些随意的改动，写过程序知道这个接口一旦修改，这个程序需做大量的调整。OPENVX核心接口基本固定下来。还有对OPENCV来说有一千多个图像和视频处理的ACI接口，OPENVX接口小于一百个，最主要是专注在硬件加速上面。效率上面来说也完全不一样，OPENCV是基于传统的内存，每次操作读写要写内容，但是OPENVX是图象处理的优化作数据的阐述，刚才谈到VPU里面有LinkMem做处理。最后一个是OPENCV是基于电脑的原形，OPENVX是做嵌入式SOC芯片的产品开发，这是芯片厂家会遵循规范的标准。
现在正在做的是增加下一代CNN的卷积神经网络，增加硬件单元，进行进一步拓展更加便利的设计。VPU是一个硬件单位，不能作为一个独立载体存在，需要整合一颗SOC，我们整合富士通GDC，松下的VPU，融合在一起，我们推的产品叫做美兰达，这是我们的SOC。介绍一下Miranda是第一款，是嵌入式处理器，是第一家嵌入式SOC。Miranda SOC架构里面VPO是做视觉处理，SOC开发板可以支持6路高清摄像头的输入，同时可以推动三个运行屏，可以推动高清，可以推动抬头显示，VPU大部分功能显示会放在抬头显示的位置。
索喜的全球架构，在欧洲最主要是在德国和奥地利；在亚洲的上海、深圳都有团队。我们的产品核心竞争力是大量的视觉处理的经验积累，还有我们用到高端的主干路上做一些传输。我们在汽车领域做了十几年，我们的客户也是遍布全球，国内比亚迪也用到我们最新的产品。我们专注做汽车屏相关的，包括跟流媒体后视镜，包括跟摄像头相关的应用——ADAS应用。