TDA4横扫行泊一体市场与其背后的OpenVX
发布网友
发布时间：2024-08-20 12:24
共1个回答
热心网友
时间：2024-08-24 11:15
TDA4系列涵盖了六大场景，如图所示。TDA4VM是该系列的入门级产品，而TDA4VH和TDA4AH则代表了TDA4系列的顶尖性能。它们具备32TOPS的AI算力（4个MMA）、100K DMIPS的CPU算力（8个2.0GHz的Cortex-A72内核）、16K DMIPS的MCU算力（8个Cortex-R5F内核）、320 GFLOPS的DSP算力（4个C7X）、4个4K60显示，内置4口以太网交换和2口PCIe交换。
以下是一个典型的行泊一体框架图，展示了10个摄像头如何与TDA4VMP配合使用。在行车方面，TDA4VMP可以实现盲区检测(BSD)、开门预警(DOW)、车道偏离预警(LDW)、前向碰撞预警(FCW)、智能远光灯控制(IHC)、前方穿行预警(FCTA)、后方穿行预警(RCTA)、后方碰撞预警(RCW)、自适应巡航(ACC)、车道保持辅助 (LKA)、手动变道(PLC)、交通拥堵辅助(TJA)、高速辅助驾驶(HWA)、自动紧急制动(AEB)、交互式高速公路自动驾驶(HWP)、交互式高速公路拥堵自动驾驶(TJP)、自动辅助导航驾驶(NOA)等功能。在泊车方面，TDA4VMP可以实现全景功能(AVM)、自动泊车辅助(APA)、遥控泊车辅助(RPA)、家庭区域记忆泊车(HAVP)等功能。
福瑞泰克推出的最顶级ADC30域控制器架构，基于3颗地平线征程®5芯片、2颗TDA4VH以及2颗英飞凌TC397的架构。其中，3颗征程®5芯片负责BEV鸟瞰图，而高精度地图处理、传感器融合、轨迹预测、行为决策、路径规划和自动泊车则由TDA4VH负责。据悉，一汽红旗将采用这个域控制器，成为福瑞泰克的重要客户。
关键的算法部分是OpenVX。
OpenVX是芯片内部的硬件加速器与视觉应用间的桥梁，可以理解为一种API。一个Graph代表一个图像处理流程，每个进程内可以有多个context（上下文），每个context内可以有多个graph（图，或连接关系），每个graph内可以有多个node（节点）。一个node是一个最小的调度单元，可以是图像预处理算法，也可以是边缘检测算法；一个graph就是一个功能，是由多个步骤连接在一起的完整功能；当graph构造完成后，即可调用vxVerifyGraph函数，交由OpenVX后端去检查参数是否合法。如果合法，即可调用vxProcessGraph函数，交由OpenVX后端将任务分发给特定的加速器和异构核心，等待全部计算完成后即函数返回。
OpenVX是非盈利开源组织Khronos定义的一套API框架，包括...
OpenCL与OpenVX对比，OpenVX受限于硬件，国内接触的很少，熟悉OpenCL的人很多。
目前支持OpenVX的主要有树莓派、日本索喜、德州仪器、英特尔、AMD、高通，还有IP公司芯原、Imagination、CADENCE、Synopsys和 ETRI （韩国电信研究院）。2016年推出第一版OpenVX标准，目前是2019年的1.3版本，AMD和德州仪器是最早使用OpenVX的公司。
TIOVX Framework包含了官方OpenVX的标准API和TI扩展的API，其中包括public: Context, Parameter, Kernel, Node, Graph Array, Image, Scalar, Pyramid, ObjectArray ；TI: Target, Target Kernel, Obj Desc。TIOVX Platform提供了特定硬件(如TDAx, AM65x)的操作系统(如TI-RTOS, Linux)调用API。API就像饭店服务员，厨师就是底层的硬件系统，食客就像软件应用调度，食客是看不见厨师的，封装好的内核就像菜单，厨师一般只能按菜单做，新菜也能做，但会比较麻烦。
TIOVX Kernel Wrapper提供了由硬件模块VPAC(Vision Pre-processing Accelerator)和DMPAC(Depth and Motion Perception Accelerator)封装成的Kernel，用户也可用Wrapper将自定义的算法(如OpenCV算法，DSP算法)封装成Kernel。Kernel是指OpenVX中的一种功能，比如对一个图片进行高通滤波，这在OpenVX 里面叫做一个user kernel。在OpenVX中，把参数定义初始化好后的kernel叫做node，因此，node就是 kernel的一个实例化--即拥有指定参数的 kernel。
视觉预处理加速器(VPAC)是一组常见的视觉基元函数，执行内存到内存 (M2M)像素数据处理任务，例如：颜色处理和增强、噪声过滤、宽动态范围 (WDR)处理，镜头失真校正，用于去扭曲的像素重新映射，即时比例生成，即时金字塔生成。VPAC从主SoC处理器（ARM、DSP等）卸载这些常见任务，因此可以将这些CPU用于差异化的高级算法。VPAC旨在通过在时分复用模式下工作来支持多个摄像头。VPAC用作视觉处理的前端，并为SoC中的其他视觉加速器或处理器内核的进一步处理。
DMPAC包含两个模块，即 Sterei Disparity Engine（SDE, 用于加速立体深度预测）和Dense Optical Flow Engine (DOF Engine，用于加速密集光流）。DMPAC计算来自相机输入的密集立体深度图（深度）和密集光流矢量（运动）。基于图像/视频传感器的环境感知（也称为场景理解）是汽车、工业和消费电子领域许多新兴应用的核心。通常这涉及通过分析一个或多个相关的输入视频流来检测场景中的所有对象，以及它们相对于观察者或汽车的3D位置和运动。
上图为TIOVX的典型应用，L2级智能驾驶最核心功能AEB。每一步就是一个node。EVE是一个比较复杂的应用，需要调用ARM CPU和DSP。HWA是硬件加速，可以理解为FPGA那种查找表类型的硬连线输出。
用TDA4来做ADAS，算法工作量可以大幅度缩减，并且执行效率远高于手工OpenCV代码，研发成本可以大幅度降低，这也是TDA4横扫行泊一体市场的原因。
声明：本文仅代表作者个人观点。
