分布式计算与超大规模交通系统分析

作者:发布时间:2020-01-14浏览次数:115

分布式计算与超大规模交通系统分析

研究团队于2015年在东南大学交通学院建成了交通大数据分析与分布式计算一期CPU计算平台,包括26Hadoop-Spark计算节点,536CPU核,3392G内存,为交通大数据的分析和利用提供了良好的实验条件和硬件支撑。在2019年,完成二期GPU集群的建设。包括17GPU计算节点,682080TI显卡,为挖掘交通大数据的深层语义搭建了机器学习和深度学习框架。该大数据平台(SEU Transportation Computing and big-data, SEUTCB)无论在技术指标,还是产出成果方面,均处于国内同领域院校领先地位,并具有鲜明的城市交通特色。

基于分布式计算大数据平台(SEUTCB),团队提出了利用并行Frank-Wolfe算法和Map-Reduce技术来加速城市交通网络用户均衡计算的算法,并利用Scala语言成功实现算法完成部署。研究团队从交通系统分析研究中选出了芝加哥、伯明翰、费城、奥斯汀四个大规模网络进行实例测试,测试证明提出的算法可有效加速城市交通网络中用户均衡问题的计算。例如,在芝加哥地区网络的情况下,单线程计算的执行时间是125053.3秒,在624个线程并行时可以将执行时间缩短为1542.1秒,最大加速比为81.09倍。另外,研究团队借助大数据平台(SEUTCB)中的GPU集群开展了基于深度学习的交通网络流量预测问题研究,提出的算法实现了超大规模交通网络中交通流量的高精度预测。