11月5日，日本软银公司（SoftBank Corp）宣布开发出专为自动驾驶远程支持而设计的交通理解多模态人工智能（traffic understanding multimodal AI），旨在在低延迟边缘人工智能服务器上运行，以实现完全无人驾驶。该交通理解多模态人工智能旨在通过外部支持提高车辆安全性并降低运营成本，解决自动驾驶社会实施中的关键挑战。通过在软银的MEC（Multi-access Edge Computing，多接入边缘计算）和其他低延迟、高安全性的边缘人工智能服务器上实时运行多模态人工智能，该系统能够实时了解自动驾驶车辆的状态，为自动驾驶提供可靠的远程支持。
图片来源：软银公司
2024年10月，软银在庆应义塾大学湘南藤泽校区（所在地：神奈川县藤泽市，Fujisawa, Kanagawa，“SFC”）启动了利用交通理解多模态AI对自动驾驶进行远程支持的解决方案的现场试验。该实验旨在验证交通理解多模态AI能否为自动驾驶提供远程支持，以确保车辆在遇到可能妨碍驾驶的不可预见的情况时也能顺利运行。
交通理解多模态人工智能的主要特点
该交通理解多模态人工智能处理自动驾驶汽车的前方镜头（例如行车记录仪视频）并提示当前交通状况，以评估复杂的驾驶情况和潜在风险，并生成建议的措施以确保安全驾驶。基础人工智能模型已接受广泛的日本交通知识训练，包括交通手册和法规，以及一般驾驶场景和难以预测的风险情况以及相应的对策。通过这种训练，交通理解多模态人工智能能够获得自动驾驶汽车安全运行所必需的广泛知识，从而对交通状况和潜在驾驶风险有更深入的了解。
图片来源：软银公司
自动驾驶远程支持解决方案概述
在该解决方案中，自动驾驶汽车的摄像头画面通过5G系统实时传输到MEC（多接入边缘计算）。在GPU（图形处理单元）上运行的交通理解多模态AI根据传输的画面和其他数据即时分析潜在的驾驶风险，将这些风险和建议的对策翻译成语言，为自动驾驶提供实时远程支持。这使得自动驾驶汽车即使在无法独立评估风险的情况下也能继续安全行驶。目前，远程操作员根据交通理解多模态AI分析和口头表达的信息向自动驾驶汽车发出指令。但最终目标是通过让交通理解多模态AI直接向自动驾驶汽车发出指令，实现完全无人驾驶。
现场试验示例
在SFC进行的现场试验中，测试的一种场景涉及在车辆停在人行横道前的情况下驾驶。在这种情况下，可能会忽略左侧停下的车辆后方试图过马路的人，这可能会导致自动驾驶汽车在接近十字路口时与从车辆盲点出现的行人相撞。根据日本的交通法规，当接近前方停着的车辆的无信号人行横道时，驾驶员必须完全停下来才能继续前行。
图片来源：软银公司
在这种情况下，如果自动驾驶汽车高速接近人行横道或未能停车，远程操作员必须进行干预以防止发生事故。但是，由于远程操作员同时监控多辆车，因此存在他们可能无法立即发现危险或无法进行适当干预的风险。为了解决这个问题，交通理解多模态人工智能会生成有关当前“交通状况”、“驾驶风险”和“降低风险的建议行动”的实时信息，并直接向自动驾驶汽车发出指令。这使得从外部位置对自动驾驶进行有效的远程支持成为可能。
在本次实地试验中，当自动驾驶汽车接近停下的车辆和人行横道时，风险等级会增加，系统会发出指令：“人行横道前有车辆停下。请完全停下来，因为可能会突然出现行人。”这证实了从外部位置远程支持自动驾驶的可行性。
该自动驾驶远程支持解决方案正在MONET Technologies Inc.进行的自动驾驶技术试验中进行试验性应用。通过不断学习在实际驾驶环境中遇到的不可预测的驾驶风险和建议操作，交通理解多模态AI的准确性将得到进一步提高。
软银副总裁兼数据平台战略部负责人Hironobu Tamba表示：“软银正在推进日本最大的AI计算基础设施之一的开发，同时还在开发国内大型语言模型（LLM）。随着软银专有的交通理解多模态AI的成功开发及其在自动驾驶远程支持解决方案中的试验，我相信通信技术与AI的融合可以为社会挑战提供有希望的解决方案。”
