阿里云MaxCompute Spark功能特性架构详解

阿里云双11特价:服务器拼团:1核2G 85元/年、2核4G3M三年664元、4核8G5M 1000元、8核16G5M...

注意:这个价格只有阿里云新用户才能看到,毕竟价格便宜,老用户借用他人身份重新注册也不亏。

阿里云MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务,它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持用户以熟悉的开发使用方式提交运行Spark作业,以满足更丰富的数据处理分析场景,阿里云百科网分享:

MaxCompute Spark关键特性

  • 支持原生多版本Spark作业
  • 社区原生Spark运行在MaxCompute里面,完全兼容Spark的API,支持多Spark版本同时运行。
    提供原生的Spark WebUI供用户查看。

  • 统一的计算资源
  • MaxCompute Spark像MaxCompute SQL/MR等任务类型一样,运行在MaxCompute项目开通的统一计算资源中。

  • 统一的数据和权限管理。
  • 完全遵循MaxCompute项目的权限体系,在访问用户权限范围内安全地查询数据。

  • 与开源系统相同的使用体验。
  • MaxCompute Spark会和开源保持相同的体验和用户使用习惯,比如开源应用的UI,在线交互等。开源UI对于开源应用的调试至关重要,MaxCompute Spark提供原生的开源实时UI,并且能查询历史日志。某些开源应用提供交互式,也就是把后台引擎拉起后,进行实时交互。

    系统结构

    MaxCompute Spark是阿里云通过Spark on MaxCompute的解决方案,让原生Spark能够运行在MaxCompute当中。该服务的架构图如下:

    MaxCompute Spark

    MaxCompute Spark


    左侧是原生Spark的架构图,右边Spark on MaxCompute运行在阿里云自研的Cupid的平台之上,该平台能够原生支持开源社区Yarn支持的计算框架,如Spark等。

    官方文档

    代金券:MaxCompute Spark概述

    注意:2020阿里云双十一价格出炉,又降价了!

    双十一拼团:阿里云双十一服务器拼团全网最低价(直接拼不用拉人)
    2020阿里云双十一代金券一键领取中(有账号就能领)
    「云服务器69元一年起,有高配,有香港节点」(这个价格几乎是亏本的)
    「2020阿里云你要的活动都在这」(云服务器/数据库/安全海量云产品都有活动)
    免费提供技术支持,可以联系本站客服: 咨询客服