有奖捉虫:办公协同&微信生态&物联网文档专题 HOT

共享引擎和独享引擎的区别是什么?

引擎类型
说明
计费模式
特点
共享引擎
为当前地域下所有用户公共使用的引擎
按量计费:按扫描量计费,不使用不产生任何费用
1. 无需配置即可使用
2. 适合数据量较小、临时数据计算场景。
独享引擎
为用户独享引擎资源
按量计费:按 CU 量计费,没有任务时可挂起集群,挂起时不产生任何费用
1. 资源独享,支持配置资源规模,弹性伸缩
2. 适合有一定任务量但任务周期不规律的数据计算场景
包年包月:按 CU 量计费,集群无需等待随时可用。弹性部分按量计费。
1. 资源独享,支持配置资源规模,弹性伸缩
2. 适合任务量大且稳定的数据计算场景

一个集群,支持多少任务并行?可以调整吗?

1个集群,任务并行数是5,如果需要调整,可以在 数据引擎 功能中,选择需要修改的引擎,单击规格配置进行调整。

为什么任务实际使用 CU 核数会小于引擎的集群规模中指定的 CU 核数?

以下几种情况都可能导致实际使用 CU 核数小于引擎的集群规模中指定的 CU 数:
1. 集群中有其他任务正在执行。
2. 批作业集群指定的 driver 资源 + executor 资源总数小于集群规模。
3. 按量计费集群,使用时才会发起资源申请,当 CU 核数较多时,不能确保资源完全满足申请的 CU 数。
4. 批处理作业指定了增强型网络配置用于打通其他 VPC 网络,但是其他 VPC 网络的 IP 数不足以启动所有的 executor。

DLC 集群是否可以访问同地域的其他 VPC 下的 IP/服务?是否可以访问外网?

DLC 引擎可以访问同地域下的其他 VPC,需要在 数据引擎 > 网络配置 中创建一个网络配置和目标 VPC 打通,并在批处理作业中指定使用改网络配置。DLC 引擎默认是无法访问外网的。但是通过增强型网络配置,并且目标 VPC 配置了可以访问外网的路由规则,那么 DLC 可以通过增强型网络配置访问外网。

如何修改集群的自动启停时间?

数据引擎 功能中,单击引擎列表中需要修改的引擎名称,进入修改页,单击启停策略配置进行修改。
?
?
?

若在任务运行中进行集群变配,是否会导致任务失败?

我们为您罗列了各类引擎在常见任务进行中,若发起变配带来的任务影响,请您参考:
引擎类型
购买方式
是否会影响任务失败
SuperSQL-Spark作业
按量计费
任务不会受影响
包年包月
当发起集群规格变配时
扩容集群规格不会影响任务
缩容集群规格,会在流程中等待pod运行结束后再去隔离/销毁缩容的机器,如果任务运行时间长可能导致流程卡住,导致任务重启
SuperSQL-SparkSQL
按量计费
当发起集群规格变配时,会导致任务重启
包年包月
当发起集群规格变配 或 减少集群数量时,会导致任务重启
SuperSQL-Presto
按量计费
当发起集群规格变配时,会导致任务重启
包年包月
当发起集群规格变配 或 减少集群数量时,会导致任务重启
?
?
?


http://www.vxiaotou.com