TLab团队获得KDD CUP冠军
由东南大学交通学院刘志远教授指导的参赛队伍TLab (参赛学生包括刘洋博士，吴凡优博士，吕呈硕士)在KDD Cup 2020 Reinforcement Learning Competition Track：Vehicle Repositioning Task中获得冠军。
KDD CUP 2020
ACM SIGKDD Conference on Knowledge Discovery and Data Mining（简称KDD）是国际数据挖掘领域的最高级别的学术会议之一。其中KDD CUP是ACM SIGKDD组织的年度赛事，有数据挖掘领域“世界杯”之称，是目前数据挖掘领域最高水平、最具影响力、规模最大的国际顶级赛事。
2020年的KDD CUP开设3个竞赛赛道，其中强化学习竞赛赛道“Learning to Dispatch and Reposition on a Mobility-on-Demand Platform”由滴滴出行承办[1]。参赛者需要解决网约车平台的订单匹配与车辆调度问题,其中订单匹配任务需要每两秒钟进行一次匹配，车辆调度任务则需要在成都8000余个六边形网格内进行运力调度。相关算法可将乘客潜在出行需求与合适的司机相匹配，从而更高效地利用空置车辆，提高车辆周转率，提升用户体验与司机收入水平，优化系统运营效率。
2020年KDD杯-强化学习赛道
现有的多智能体强化学习方法将每一辆车看做是一个智能体，在进行仿真时，车辆按照调度算法前往目的地或者进行有偏随机游走，并没有考虑司机的偏好。这会带来以下问题，当多辆车state相同时（并发情况），这些车辆的决策是相同的，也就是在这种情况下多个智能体是‘冗余’的，只是其中一个的‘副本’。针对现有方法的不足，TLab团队对现有方法进行了系统、全面的优化，进一步设计了一种更符合逻辑的单智能体深度强化学习方法。例如，该方法将单智能体作为智能“调度中心”，车辆发出调度请求后，“调度中心”进行全局运力调度。结合此前在大规模时空预测中的经验，进一步对研究区域进行筛选并自定义了一个N×N的网格，将全局信息（整个城市订单、车辆、价值的时空分布）和局部信息（车辆当前位置等）作为state。采用了一个经过剪枝的全局action space, 防止车辆陷入局部最优。
经过几个月激烈较量，东南大学TLab团队在Dev Reposition Score、Total Reposition Score两项比分中大幅领先，最终以优异的成绩在1000余只队伍中摘得桂冠（奖金$8000）。南京大学LAMDA Group、来自日本的NTTdocomo团队分别获得二三名[2]。
2020年KDD杯-强化学习赛道获奖名单
[1] https://outreach.didichuxing.com/competition/kddcup2020/
[2] https://www.biendata.xyz/competition/kdd_didi/winners/
团队成员简介
刘洋博士于2017年入学，加入东南大学交通学院刘志远教授课题组，研究方向为机器学习算法及其在交通工程中的应用。研究领域包括机器学习及其在智能交通系统中的应用，已在国际刊物及国际会议发表论文多篇，包括IEEE Transactions on Cybernetics、Transportation Research Part C、Computer-Aided Civil and Infrastructure Engineering、IEEE Intelligent Transportation Systems Magazine等。刘洋博士已获得十余项人工智能算法大赛冠亚军，包括三届阿里巴巴天池算法大赛冠军（2016，2018，2019）、数字中国创新大赛冠军（2019）、IEEE计算学会Ucar人工智能大赛冠军（2018）、IJCAI人工智能对抗挑战赛冠军（2019）、KDD CUP Regular Machine Learning Competition Track-Task2亚军等。
吕呈于2018年毕业于东南大学交通工程专业，获得学士学位，随后加入东南大学交通学院刘志远教授课题组攻读硕士学位，研究方向为交通大数据分析与建模。已在SCI期刊IEEE Transactions on Intelligent Transportation System、Computer-Aided Civil and Infrastructure Engineering等发表论文5篇，同时也获得多项人工智能大赛奖项，包括2019全国高校新能源汽车大数据创新创业大赛金奖、2019全国高校大数据应用创新大赛一等奖、ICME 2019 Grand Challenge on Short Video Understanding Challenge第三名等。
刘志远，博士，教授，博士生导师。博士毕业于新加坡国立大学，曾任教于澳大利亚蒙纳士大学，自2015年回到东南大学交通学院工作。目前担任东南大学交通学院副院长、学术委员会委员、澳大利亚蒙纳士大学客座教授。获评国家青年****、自科基金优青、江苏省双创人才、江苏省青年双创英才、东南大学青年首席教授、东南大学“五四青年奖章”等。主要研究领域包括交通网络规划与管理、交通大数据分析与建模、公共交通、智能交通系统等，迄今为止在这些领域中发表SCI论文百余篇，担任交通研究领域知名SCI期刊ASCE Journal of Transportation Engineering 以及IET Intelligent Transport Systems副主编。
