此次Waymo公布的数据集包含了3000段平均时长为20秒的驾驶记录,整个数据集包含六十万帧数据,约2500万3D边界框、2200万2D边界框,以及多样化的自动驾驶场景。数据公开之后,Waymo无人车传感器的特点也将一览无余。
Waymo公开自动驾驶数据集
但Waymo公开数据集的做法在自动驾驶行业内并首例。2018年3月8日,百度Apollo自动驾驶开放平台正式加入加州大学伯克利DeepDrive深度学习自动驾驶产业联盟,正式开放ApolloScape大规模自动驾驶数据集,这一举措将学术与企业紧密相连,也为无人车行业如虎添翼。
自动驾驶感知技术众多且难度大,其主要目的是实现场景的语义理解。以检测技术为例,其目的是在图像或者点云中找到涵盖物体的二维或者三维矩形框。现有的包括Waymo发布的数据集主要针对的就是这类检测技术。作为较为领先开放的数据集,ApolloScape是行业内环境最复杂、标注最精准的三维自动驾驶公开数据集。更重要的是,ApolloScape为开发更多的自动驾驶感知技术提供了不同的数据集,这些数据集可服务于,除了上述的物体检测技术,还包括物体及实例级别的分割技术,三维姿态估计,物体轨迹跟踪技术,相机自主定位技术,深度图像估计技术等等。目前ApolloScape已经发布了五个公开数据集包括场景解析,细粒度车道线,定位,三维车辆拟合和稠密轨迹。
ApolloScape中的场景解析(scene parsing)数据集包括了14.7万帧的具备逐像素语义标注的图像,相对于包括Waymo在内的仅具备矩形框标注的数据集,像素级标注提供了更为细致的而且不受物体间的遮挡影响的场景信息,旨在推动更为精准的视频场景语义理解技术。除了二维视频图像,其每帧相关的三维点云也被逐点标注了语义信息。另外,图像的逐像素标注的时间工作量超过了矩形框标注的工作量十倍以上。
道路线是一项基础的路面元素, ApolloScape车道线数据集提供了28类不同的道路线分类的逐像素级别和以及三维逐点级别的数据集,这是目前所有公开数据集都不具备的标注信息。
无人车需要精准的定位系统用以获取一系列信息,例如自身的位置,前方的情况,以及行驶区。其中定位精度一般需要控制在10厘米以内以避免出现碰撞和车道偏离的情况。ApolloScape自定位 (self-localization)数据集提供了近30万张带有高精GPU/IMU信息的覆盖近28公里的图像。
此外,如何利用图像快速感知周围车辆的三维位姿对于自动驾驶也至关重要。为了推进此问题的研究, ApolloScapeCar3D数据集应运而生。此数据集采集于中国的不同的城市,包含5,277多幅真实驾驶场景、6万多车辆的三维标注数据。除了车辆的三维位姿之外,百度还同时开放了真实三维车模型,66个三维/二维车辆关键点数据。接下来,我们或进一步开放部件级别的、稠密的三维车辆标注。
ApolloScape的物体轨迹跟踪数据集提供了图像和点云上的物体运动轨迹,其涵盖了不同的光照条件以及大量的车/人/骑行混杂的交通流,旨在推动物体跟踪以及运动行为预测技术。轨迹数据全长到2.5个小时,这个比现有的最大的轨迹数据集(NGSIM)大了三倍。
自2018年3月的发布以来,ApolloScape数据集已经被全球范围内下载上万次。由于其重要性,计算机视觉领域内顶级的杂志IEEE TPAMI收录了关于这个数据集的科技文章,这也是目前我们所知的唯一一篇发表在TPAMI上的关于自动驾驶数据集的文章。基于这些数据集,百度在世界级的顶会(例如CVPR和ECCV)和顶级平台上(例如Kaggle)上主持了多项竞赛。这些竞赛吸引了来自全球范围内上千个参赛队伍,其中包括英伟达,斯坦福大学,旷世,优图等著名的公司和大学。
除上述数据集外,之后,更多类型、更多属性的数据将持续加入ApolloScape,百度将最大程度地还原真实世界的场景,打造最大的自动驾驶开放平台以促进行业发展。
充分利用ApolloScape这个高精度数据集,百度同时开发了一种增强现实的自动驾驶仿真系统,为自动驾驶车辆提供更为可靠且廉价的仿真模拟方法,可大规模用于训练和测试评估自动驾驶系统的感知、决策和路径规划算法。该系统相较于现有仿真系统,在真实感、扩展性等方面都实现了突破性的技术进展,并发表于《科学》杂志《机器人学》子刊。《科学》杂志是全球最权威的学术期刊之一,代表了人类自然科学研究的最高水平。《科学·机器人学》杂志是其五个子刊之一,平均每期刊出不多于4篇的研究类文章,刊载难度很大。同时,该系统被超过70家国内外主流媒体报道。
在自动驾驶的开发测试中,优质的真实数据是必不可少的“原料”,少有团队有能力开发并维持一个适用的自动驾驶平台,定期校准并收集新数据,然而百度担起了行业发展的重任,最终搭建起了可供学界和业界参考学习的开放数据集,这一点在行业发展的过程中显得尤为可贵,为之后国内外无人车研究的学者和企业提供了巨大帮助。
一个新兴行业的健康发展从来不是一家独大,而是以开放的心态分享各自的技术突破,接受来自各界的交流合作。科技无国界,百度早就掀起了数据开放、共享的浪潮,掀起了世界范围内的协同合作。百度Apollo一直在为自动驾驶行业快速发展作出努力,百度Apollo开放平台秉承开放理念,将继续以宽广的胸怀向业内分享自身的成果、提出发展战略,不仅是数据公开,百度今后也在构建可持续发展的行业生态道路上大步向前。
