由东南大学交通学院刘志远教授指导的参赛队伍TLab团队 (参赛学生包括交通学院刘洋博士、吴凡优博士、吕呈硕士)从KDD Cup 2020 Reinforcement Learning Competition Track :Vehicle Repositioning Task 的1000余支参赛队伍脱颖而出,以优异的成绩摘得桂冠!
2020年KDD杯-强化学习赛道
ACM SIGKDD Conference on Knowledge Discovery and Data Mining(简称KDD)是国际数据挖掘领域的最高级别的学术会议之一。其中KDD CUP是ACM SIGKDD组织的年度赛事,是目前数据挖掘领域规模最大、水平最高、最具影响力的国际顶级赛事。该比赛同时面向企业界和学术界,每年都会吸引世界数据挖掘界的顶尖专家、学者、工程师、学生等参加,也被誉为是数据挖掘领域的「世界杯」。
2020年KDD CUP开设3个竞赛赛道,其中强化学习竞赛赛道“Learning to Dispatch and Reposition on a Mobility-on-Demand Platform” 由滴滴出行承办。参赛者需要解决网约车平台的订单匹配与车辆调度问题,邀请全球参赛团队聚焦按需出行平台,尝试应用机器学习来提出智能策略,进一步提高出行效率和司机收入,共同挑战共享出行领域优化难题。
巧破赛题、推陈出新
东南大学交通学院刘志远教授指导的参赛队伍TLab团队巧破赛题、推陈出新,提高车辆周转率,优化系统运营效率。
现有的多智能体强化学习方法将每一辆车看做是一个智能体,在进行仿真时,车辆按照调度算法前往目的地或者进行有偏随机游走,并没有考虑司机的偏好。这会带来以下问题,当多辆车state相同时(并发情况),这些车辆的决策是相同的,也就是在这种情况下多个智能体是“冗余”的,只是其中一个的“副本”。
针对现有方法的不足,刘志远教授指导的的参赛队伍TLab团队对现有方法进行了系统、全面的优化,进一步设计了一种更符合逻辑的单智能体深度强化学习方法。例如,该方法将单智能体作为智能“调度中心”,车辆发出调度请求后,“调度中心”进行全局运力调度。结合此前在大规模时空预测中的经验,进一步对研究区域进行筛选并自定义了一个N×N的网格,将全局信息(整个城市订单、车辆、价值的时空分布)和局部信息(车辆当前位置等)作为state。采用了一个经过剪枝的全局action space, 防止车辆陷入局部最优。
经过“开发阶段——方案验证——决赛评估阶段”共三个阶段为期几个月的激烈较量,东南大学交通学院刘志远教授指导的参赛队伍TLab团队的Dev Reposition Score、Total Reposition Score两项比分中大幅领先,最终以优异的成绩在1000余只队伍中摘得桂冠(奖金$8000),南京大学LAMDA Group、来自日本的NTTdocomo分别获得二三名。
2020年KDD杯-强化学习赛道获奖名单
团队成员简介
团队成员 刘洋
刘洋,博士,2017年加入东南大学交通学院刘志远教授课题组。
研究方向为机器学习算法及其在交通工程中的应用,已在国际刊物发表论文多篇,包括IEEE Transactions on Cybernetics、Transportation Research Part C、IEEE Transactions on Intelligent Transportation Systems、Computer-Aided Civil and Infrastructure Engineering、IEEE Intelligent Transportation Systems Magazine等。
刘洋博士已获得十余项人工智能算法大赛冠亚军,包括三届阿里巴巴天池算法大赛冠军(2016,2018,2019)、数字中国创新大赛冠军(2019)、IEEE计算学会Ucar人工智能大赛冠军(2018)、IJCAI人工智能对抗挑战赛冠军(2019)、KDD CUP Regular Machine Learning Competition Track-Task2亚军等。
团队成员 吕呈
吕呈,硕士,2018年毕业于东南大学交通工程专业,随后加入东南大学交通学院刘志远教授课题组攻读硕士学位。
研究方向为交通大数据分析与建模,已在SCI期刊IEEE Transactions on Intelligent Transportation System、Computer-Aided Civil and Infrastructure Engineering等发表论文5篇,同时也获得多项人工智能大赛奖项,包括2019全国高校新能源汽车大数据创新创业大赛金奖、2019全国高校大数据应用创新大赛一等奖、ICME 2019 Grand Challenge on Short Video Understanding Challenge第三名等。
指导老师简介
指导老师 刘志远
刘志远,博士,教授,博士生导师。目前担任东南大学交通学院副院长、学术委员会委员,澳大利亚蒙纳士大学客座教授。获评国家自科基金优青、江苏省双创人才、江苏省青年双创英才、东南大学青年首席教授、东南大学“五四青年奖章”。
主要研究领域包括交通网络规划与管理、交通大数据分析与建模、公共交通、多模式物流网络、智能交通系统等。迄今为止在这些领域中发表学术论文百余篇,其中被Transportation Research Part B/Part C/Part E, IEEE Transactions on Intelligent Transport Systems等SCI/SSCI期刊检索100余篇(第一或通讯作者70余篇),担任交通研究领域知名SCI期刊ASCE Journal of Transportation Engineering 以及IET Intelligent Transport Systems副主编。