国家自然科学基金青年项目 “高速公路上自适应于交通流的紧急消息分发机制研究”（批准号：61103179，2012.1 - 2014.12）、上海市科委“科技创新行动计划”高新技术领域项目“基于边缘计算的车路协同关键技术研发”（项目编号：21511102400，2021.9-2023.8）、上海市科委重点课题“空港智慧货运通道构建关键技术”（项目编号：22dz1203400，2022.9-2024.8）、科技部“十一五”主题863项目“车路协同系统设计、信息交互和集成验证研究”（项目编号：2011AA110401，2011.1-2013.12）、国家重点研发计划“自动驾驶电动汽车评价理论研究”（项目编号: 2018YFB0105101，2018.5-2020.12）、阿利昂斯汽车研发（上海）有限公司合作项目“基于云平台——自然数据采集&自主泊车”（2019.12.15-2021.2.28）、上海汽车集团股份有限公司合作项目“V2X项目车队功能开发”（合同编号：4900059202，2019.3-2020.1）、上汽科技基金会产学研课题“V2X典型应用场景下的控制算法研究平台”（项目编号：1820，2018.9-2020.8）、联合汽车电子有限公司合作项目“5G V2X关键技术研发与应用”（2023.7-2024.9）、吉利汽车研究院宁波有限公司合作项目（合同编号：JYN2312Y01793，2023.12-2024.12）。

主要的成果如下：

• 基于Neural Rendering (神经立体渲染)的、专用于远距离、超远距离的小目标探测、几何推理的高精度图像感知系统

路侧摄像头可以提供大量丰富的交通场景信息，其中包括交通参与者的信息：行人、汽车、卡车等和交通参与者的几何形状、地理位置、定位信息。图像感知算法可以通过利用DNN （Deep Neural Network）方法近似三维物体到二维图像的渲染过程，从而通过交通参与者在二维图像画面中的几何位置、位姿，以及精准标定过的传感器参数，计算得到交通参与者的精确定位信息。

​

图 基于神经渲染的Ray Marching算法，通过神经元网络近似二维图像到三维交通场景的渲染过程。

拟采取的深度神经元网络架构如下图所示，其中图像原始数据以时间序列的格式输入给迭代神经元网络系统，其中像素原始数据被深度卷积神经元处理并进行图像编码（encoding）。图像编码过后的张量（tensor）被基于LSTM的Ray Marching算子进行迭代计算，计算图像几何形状和像素点的距离、深度信息。该方法可用于对远距离的小目标进行探测与定位。

• 基于优化算法的路侧传感器参数自动化批量求解

交通摄像头以及其相关传感器，例如毫米波雷达（所谓“雷视”相机）的参数描述体系对感知算法的定位准确度有直接影响。基于优化计算的传感器参数求解算法可以通过比较感知转化二维图像到三维空间地理信息之后的结果和高精度标准参考位置坐标（RTK GPS测量的位置信息）进行比较，计算误差函数作为优化目标，通过计算目标函数的偏微分方程，进行优化迭代、计算传感器的参数。该方法可用于批量自动化标定路侧传感器的参数。

• 基于BEV的多模态融合感知定位

将相机PV数据与毫米波雷达BEV底层数据RAMAP进行提取，通过不同视图间的转换矩阵，利用深度估计的关联算法实现异质数据的高精度关联。并通过融合结果对雷达感知模型训练进行监督，为雷达与相机的感知融合提供数据真值参照。该方法对夜间暗光场景、两行人交错、以及目标大部分已离开相机视野情况下能够增强探测效果，如下图所示。

• 基于深度学习的端到端的低时延高效视频编解码传输

端到端神经网络视频编码（End-to-End Neural Video Coding，E2E-NVC），简称为“端到端系统”，它充分利用深度神经网络以端到端全局优化的学习方式进行视频压缩，从而避免了传统编码方案中根据先验知识设计固定的编码方式导致的性能受限问题。通过模型结构优化、网络剪枝和权值量化实现模型轻量化，采用ROI策略可调节码率，基于VMAF适应不同的网络条件。与H.264/H.265相比，不仅压缩率高，而且时延低，适合于5G远程遥控驾驶等场景。

• 解析CAD数据并转成GIS数据，同时映射动态交通要素，构建动态电子地图LDM

通过对CAD图纸的解析，实现对道路交通网络的数字化描述，通过GIS符号库渲染后转成可用OpenDRIVE打开的XODR的文件，并进一步通过映射车辆、行人等动态交通要素，构建矢量动态电子地图LDM，并可完成动态的更新与发布。