阿里云MaxCompute Spark功能特性架构详解

阿里云MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务,它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持用户以熟悉的开发使用方式提交运行Spark作业,以满足更丰富的数据处理分析场景,阿里云百科网分享:

MaxCompute Spark关键特性

  • 支持原生多版本Spark作业
  • 社区原生Spark运行在MaxCompute里面,完全兼容Spark的API,支持多Spark版本同时运行。
    提供原生的Spark WebUI供用户查看。

  • 统一的计算资源
  • MaxCompute Spark像MaxCompute SQL/MR等任务类型一样,运行在MaxCompute项目开通的统一计算资源中。

  • 统一的数据和权限管理。
  • 完全遵循MaxCompute项目的权限体系,在访问用户权限范围内安全地查询数据。

  • 与开源系统相同的使用体验。
  • MaxCompute Spark会和开源保持相同的体验和用户使用习惯,比如开源应用的UI,在线交互等。开源UI对于开源应用的调试至关重要,MaxCompute Spark提供原生的开源实时UI,并且能查询历史日志。某些开源应用提供交互式,也就是把后台引擎拉起后,进行实时交互。

    系统结构

    MaxCompute Spark是阿里云通过Spark on MaxCompute的解决方案,让原生Spark能够运行在MaxCompute当中。该服务的架构图如下:

    MaxCompute Spark

    MaxCompute Spark


    左侧是原生Spark的架构图,右边Spark on MaxCompute运行在阿里云自研的Cupid的平台之上,该平台能够原生支持开源社区Yarn支持的计算框架,如Spark等。

    官方文档

    代金券:MaxCompute Spark概述

    2023腾讯云服务器超便宜,这个价格太可以了,抓紧上车!

    注意:以上特价轻量服务器限制条件为“产品首单特惠”,如果你的腾讯云账号已经是老用户,建议重新注册一个腾讯云账号,如果你是新用户符合条件,那么无脑入,这个CPU内存带宽配置,价格确实便宜,值得买!

    2023云厂商云服务器优惠活动汇总:

    ①阿里云:2023阿里云服务器69元一年起(1核2G/2核4G/4核8G...)
    ②腾讯云:腾讯云2核4G8M带宽服务器70元起(多配置可选 价格很低)
    ③华为云:华为云服务器60元一年起(查看更多配置报价)