有奖捉虫:行业应用 & 管理与支持文档专题 HOT
弹性 MapReduce 支持在控制台新增组件时,部分组件支持自定义选择节点部署和部署数量;另部分组件已部署后支持卸载,以及相关服务角色的添加和移除。

支持自定义部署组件列表

说明:
1. 仅支持新增组件自定义部署,新建集群不支持自定义部署,系统默认部署。
2. 自定义部署仅支持 EMR on CVM 版本的 Hadoop 集群类型。
3. 若部分角色需要部署在 Router 节点上,请先在新增组件选择前,扩容准备好所需 Router 节点。
服务
角色
默认节点类型
可自定义节点类型
非HA集群节点数部署范围
HA集群节点数部署范围
YARN
JobHistoryServer
master
master
1
1
NodeManager
core,task
core,task
2~不限制
3~不限制
TimeLineServer
master
master
1
1
ResourceManager
master
master
1
2
HBASE
HRegionServer
core
core
2~不限制
3~不限制
HbaseThrift
master,router
master,router
1
2
HMaster
master,router
master,router
1
2
IMPALA
ImpalaServer
core,task
core,task
2~不限制
3~不限制
ImpalaServer
core,task
core,task
1~不限制
1~不限制
ImpalaCataLog
master,router
master,router
1
2
ImpalaStateStore
master,router
master,router
1
2
HIVE
HiveMetaStore
master,router
master,router
1
2
HiveServer2
master,router
master,router
1
2
HiveWebHcat
master,router
master,router
1
2
ALLUXIO
AlluxioJobMaster
master,router
master,router
1
2
AlluxioMaster
master,router
master,router
1
2
GOOSEFS
GooseFSJobMaster
master,router
master,router
1
2
GooseFSMaster
master,router
master,router
1
2
GooseFSProxy
master,router
master,router
1
2
KUDU
KuduMaster
master,common
master,common
3
3
KuduServer
core
core
2~不限制
3~不限制
HDFS
DataNode
core
core
1~不限制
3~不限制
HUE
Hue
master,router
master,router
1~不限制
2~不限制
COSRANGER
CosRangerServer
master,router
master,router
1
2
KYLIN
Kylin
master,router
master,router
1
2
KYUUBI
KyuubiServer
master,router,task
master,router,task
1~不限制
2~不限制
LIVY
LivyServer
master,router
master,router
1~不限制
2~不限制
OOZIE
Oozie
master,router
master,router
1
2
PRESTO
PrestoWorker
core,task
core,task
2~不限制
3~不限制
PRESTOSQL
PrestoSqlWorker
core,task
core,task
2~不限制
3~不限制
TRINO
TrinoWorker
core,task
core,task
2~不限制
3~不限制
RANGER
Ranger
master,router
master,router
1~不限制
2~不限制
SPARK
SparkJobHistoryServer
master,router
master,router
1~不限制
2~不限制
SUPERSET
Superset
master,router
master,router
1
2
TEZ
Tomcat
master,router
master,router
1
1
ZEPPELIN
Zeppelin
master,router
master,router
1
2

支持角色添加和移除列表

注意: 添加角色和移除角色,均需要优先保证“自定义部署组件列表”中的部署节点类型和数量范围 。
服务
角色
添加角色
移除角色
添加角色涉及配置文件
移除角色涉及配置文件
YARN
JobHistoryServer
支持
支持
-
-
NodeManager
支持
支持
YARN:["yarnhosts"]
YARN:["yarnhosts"]
TimeLineServer
支持
支持
KNOX:["emr.xml"],
TEZ:["configs.env"]
KNOX:["emr.xml"],
TEZ:["configs.env"]
ResourceManager
不支持
不支持
-
-
HBASE
HRegionServer
支持
支持
-
-
HbaseThrift
支持
支持
-
-
HMaster
支持
支持
-
HUE:["pseudo-distributed.ini"]
KNOX:["emr.xml"]
IMPALA
ImpalaServer
支持
支持
-
-
ImpalaServer
支持
支持
-
-
ImpalaCataLog
不支持
不支持
-
-
ImpalaStateStore
不支持
不支持
-
-
HIVE
HiveMetaStore
支持
支持
TRINO:["hive-site.xml"], TRINO:["hive.properties"], PRESTO:["hive.properties"], PRESTOSQL:["hive.properties"]
TRINO:["hive.properties"], PRESTO:["hive.properties"], PRESTOSQL:["hive.properties"]
HiveServer2
支持
支持
-
HUE:["pseudo-distributed.ini"], KNOX:["emr.xml"]
HiveWebHcat
支持
支持
-
-
ALLUXIO
AlluxioJobMaster
不支持
不支持
-
-
AlluxioMaster
不支持
不支持
-
-
GOOSEFS
GooseFSJobMaster
不支持
不支持
-
-
GooseFSMaster
不支持
不支持
-
-
GooseFSProxy
不支持
不支持
-
-
KUDU
KuduMaster
不支持
不支持
-
-
KuduServer
支持
支持
-
-
HDFS
DataNode
支持
支持
HDFS:["hdfshosts"]
HDFS:["hdfshosts"]
HUE
Hue
支持
支持
-
KNOX:["emr.xml"]
COSRANGER
CosRangerServer
不支持
不支持
HDFS:["core-site.xml"]
HDFS:["core-site.xml"]
KYLIN
Kylin
支持
支持
-
HUE:["pseudo-distributed.ini"], KNOX:["emr.xml"]
KYUUBI
KyuubiServer
支持
支持
-
-
LIVY
LivyServer
支持
支持
-
HUE:["pseudo-distributed.ini"], KNOX:["emr.xml"]
OOZIE
Oozie
支持
支持
-
HUE:["pseudo-distributed.ini"], KNOX:["emr.xml"]
PRESTO
PrestoWorker
支持
支持
-
-
PRESTOSQL
PrestoSqlWorker
支持
支持
-
-
TRINO
TrinoWorker
支持
支持
-
-
RANGER
Ranger
支持
支持
-
YARN:["ranger-yarn-security.xml"],
KNOX:["emr.xml"],
HIVE:["ranger-hive-security.xml.js"],
HDFS:["ranger-hdfs-security.xml.js"],
HBASE:["ranger-hbase-security.xml.js"]
ranger2.1.0版本及以上含如下: TRINO:["ranger-trino-security.xml.js"], PRESTOSQL:["ranger-presto-security.xml.js"], COSRANGER:["ranger-chdfs-security.xml.js","ranger-cos-security.xml.js"]
SPARK
SparkJobHistoryServer
支持
支持
-
HUE:["pseudo-distributed.ini"], KNOX:["emr.xml"]
SUPERSET
Superset
支持
支持
-
-
TEZ
Tomcat
支持
支持
-
KNOX:["emr.xml"]
ZEPPELIN
Zeppelin
支持
支持
-
-
?


http://www.vxiaotou.com