您有没有想过用 40 TB 的存储空间可以做什么?例如,您可以存储 3,500 小时的 4K 质量流媒体内容。或 400,000 张 RAW 格式的 51 兆像素数码相机拍摄的照片。此外,还有机会在移动中体验 40 TB:旨在帮助自动驾驶汽车自动驾驶的传感器也会生成海量数据——每天和每辆车。
Investec
Customer
Partner
Microsoft Enterprise ServicesIndustry
Organization Size
Large (1,000 - 9,999 employees)Country
未经事先适当培训,自动驾驶汽车上的软件无法正确评估交通状况。这次培训的关键是什么?测试车辆中的传感器收集的数据。这个过程每天每辆车产生多达 40 TB 的数据——几乎无法分析的海量数据。对此,工程服务提供商 FEV Europe GmbH 开发了一种基于 Microsoft Azure 的巧妙解决方案,可以从字面上在数据大海捞针中找到针头,并自动标记相关驾驶情况。那么开发者是如何把这只兔子从帽子里拉出来的呢?
在开发 SAE 3 级系统的同时,汽车中的一整套附加传感器会累积行驶里程,从而触发这一系列数据。“对于 3 级自动驾驶汽车,只有在汽车出现紧急情况时,驾驶员才需要接管,”Ing 博士说。FEV Group GmbH 智能移动/电气化集团副总裁 Thomas Hülshorst。欧盟推出的其中一项举措是开展范围广泛的研究项目,以尽可能简化交接流程。目的:使 SAE 3 级功能能够在车队中进行测试,同时最大限度地减少错误数量,以便为后续研究中的批量生产做好准备。该项目的重点领域包括高速公路驾驶、交通拥堵、市区驾驶和停车情况,例如家庭区域停车。
这些测试车队的一个突出特点是:除了作为标准安装在车辆上的摄像机、激光雷达(光探测和测距)和雷达(无线电探测和测距)传感器的集合外,它们还带来了参考系统他们。这些额外的摄像机(四个用于捕捉周围环境,三个用于内部)和激光雷达传感器生成一个参考数据集,随后将在评估过程中使用该数据集来揭示标准设备中的任何错误。例如,这些错误可能是由于雾或大雨造成的,并且可能会影响录音。此外,内部摄像头会拍摄驾驶员的面部和脚部以及车辆仪表,以记录人们在移交控制权时的反应。
借助云实时标记相关信息
FEV Europe GmbH 的项目经理 Markus Kremer 说:“作为工程服务提供商,我们负责选择数据记录器作为欧盟项目的一部分,该数据记录器可供项目中的所有 OEM 全面使用。” “换句话说,这意味着硬件和软件会记录测试车辆上的所有传感器数据,以及 ECU 通过 CAN(控制器局域网)总线和以太网发送的数据,”Kremer 补充道。记录结果:平均每天 8 到 40 TB。
FEV 专家清楚地看到,几乎不可能以有意义的方式确定欧盟项目框架内定义为关键的 50 种左右的驾驶情况。由于这些是车辆必须完美掌握的驾驶情况,这就是开发人员关注的地方。工程师使用测试车队中积累的传感器数据“训练”——简单地说——实验室中的软件,该软件随后将监控生产车辆上的汽车。
FEV 开发了一个独立于欧盟项目的迷你数据记录器,以处理所涉及的大量数据。该设备专门监控通过 CAN 总线发送的数据流,并通过移动无线电向在 Microsoft Azure 上运行的软件解决方案永久发送 200 个信号。Thomas Hülshorst 对此进行了扩展:“由于所需的时间和资源,我们从未考虑过开发自己的云基础架构。我们寻求的是一个专业运营的交钥匙环境。” Hülshorst 补充道:“我们最终选择了 Azure,因为该平台(例如,带有 IoT 中心或流分析)恰好提供了对数据记录器项目至关重要的功能。” Azure 的集成功能还可以将数据记录器快速安全地链接到云:
为此,FEV 能够使用 Azure 中的统包证书基础结构,而无需在内部自行开发相关组件。FEV 根据欧盟项目定义的标准评估了向云端传输的接口和数据的安全性,因为网络安全方面是该项目的另一个重点。结果:Azure 在这方面做到了一切,特别是因为存储在 Azure 中的所有数据在上传后都会自动加密。
搜索数据大海捞针
由 FEV 开发并在 Azure 环境中运行的算法监控微型数据记录器传输的信号。其中包括来自驾驶系统的信息、与其他物体的距离信息以及由 GPS 确定的测试车辆的速度或位置。该算法在这些信号中搜索关键驾驶情况的指示。例如,这使软件能够检测到另一辆车的任何突然加速——并在数据流中标记事件。
该时间戳随后可用于分配实际记录器记录的原始数据。“使用 Python 脚本,我们根据时间戳复制必要的传感器数据。从相应的事件开始,脚本从事件前后几分钟的累积整体中提取数据,并将其提供给开发人员,”Markus Kremer 说。
FEV 的解决方案然后根据用途将原始数据存储在不同的存储层中。因此,只有可归因于危急情况的传感器数据才存储在更昂贵且永久可用的存储器(热存储器)中。仅用于验证目的的原始数据存储在更便宜的存档(冷存储)中。
面向 FEV 客户的新产品——考虑到人工智能
FEV 希望将数据记录器解决方案(包括相关软件)集成到公司现有的软件产品中,以验证传感器数据。“作为集成和开发合作伙伴,我们参与了一系列汽车制造商的批量生产项目,”Thomas Hülshorst 解释说。“尤其是在这些项目中,评估和验证传感器数据会很快得到回报。” 新产品是一种标签软件(FEV Annotation Tool)的初步步骤也是由 FEV 开发的。在 Azure 环境中实施的工具会自动标记传感器数据中的对象,并且仅在需要时才调用人工操作员。这里的目标是让人类只对整体材料的一小部分进行分类,让机器承担大部分工作。如果迷你数据记录器已经标记了最相关的驾驶情况,则所涉及的工作将进一步减少。
就目前情况而言,用于识别驾驶情况的程序仍然基于预制规则起作用。然而,根据 Markus Kremer 的说法,这也可以在未来通过机器学习自动完成。Hülshorst 说:“锦上添花的是,人工智能还可以处理与行人有关的情况并正确预测人们在道路交通中的行为。”
然而,基于人工智能的软件已经适合今天的实际应用,因为机器学习为其铺平道路的广泛自动化从未比评估整个测试车辆车队的数据更重要。“Azure 在这里当然也有回报,”克雷默说。“这是因为在人工智能方面,我们还可以依靠预制功能,并优化简化我们使用 Microsoft 工具开发软件的方式,”Kremer 总结道。
该解决方案是朝着自动驾驶功能高效但安全且全面的验证环境迈出的又一步。这里一个突出且值得注意的元素是来自 Microsoft 服务的专家与 FEV 团队之间的出色合作,他们与之前的项目一样,能够非常迅速地将想法转化为功能性产品。因此,双方已经期待积极的后续合作。
想起曾经的自己,也总因为这些自我询问疑惑过,后来发现,想得再多,疑惑就更难以解决,反而平添烦恼,浪费了很多时间,还不如不问理由直接去做。
景航网络科技