创新研发

解决世界级大数据难题阿里云自研MaxCompute再获科技大奖

来源:http://www.agyayou22.com 责任编辑:ag88环亚娱乐 2019-07-10 15:17

  浙江在线日,浙江省科学技术奖励大会在杭州举行。会上,由阿里巴巴技术委员会主席王坚领衔阿里云团队研发的EB级大数据计算平台-MaxCompute 2.0获省科技进步一等奖。

  据介绍,MaxCompute(大规模分布式的数据计算平台)是国内最早自研的大数据计算平台之一,主要应用于大规模数据处理场景。目前,这项源自浙江、解决世界级难题的成果已拥有EB(百京)级别的数据存储能力、百PB(千兆)级的单日计算能力。

  王坚在大会发言中介绍,从2009年创办阿里云开始,在解决云计算的体系结构和关键技术的同时,他和他团队中先后数千名工程师就开始了MaxCompute的研发,至今已历时十年有余,实现了EB级大规模数据处理核心技术的突破。王坚表示,这一技术不仅让EB级数据的处理从不可能变成可能,更大幅降低大数据使用门槛。

  “以2013年8月MaxCompute在云栖小镇完成上线K节点集群为标志,MaxCompute已在全球17个区域进行部署及应用。”王坚称。当年,阿里云历史性地突破了同一个集群内5000台服务器同时计算的局限,为未来的大规模服务奠定基础。之后几年,环亚娱乐ag88康沃动力注重研发创,MaxCompute能力不断提升:单日数据处理量从2015年100PB,2016年180PB,到2017年320PB,再到2018年的单日处理超过600PB。

  据他介绍,目前,阿里巴巴集团99%数据的存储以及95%数据的计算都在MaxCompute平台上完成。同时,该平台通过阿里云服务于全球上万家企业客户。国内近一半的独角兽公司的大数据计算平台都是基于MaxCompute。“它也正在成为浙江全面引领数字经济发展的技术和产业基础,杭州城市大脑的建设就是基于MaxCompute数据计算平台。”王坚说。

  除城市大脑外,MaxCompute也应用在“浙江最多跑一次”项目中,通过大数据处理平台打通政务数据,将与老百姓办事最密切相关的100个事项70多亿条数据,按照统一标准汇入统一的数据仓,纳指100:关于暂停申购与赎回业务实现共通共享共用。