有奖:语音产品征文挑战赛火热进行中> HOT

功能介绍

节点状态 > 进程信息页面提供了控制台直观方式来查看当前集群各节点的进程部署情况。不仅展示了各个进程的状态,还提供了进程级别的实时日志和 Thread Dump 工具。
实时日志功能:可以让您实时查看每个进程的运行日志,包括系统运行信息、错误或异常信息等。这对于了解系统运行状态,快速定位和解决问题非常有帮助。
Thread Dump 功能:可获取当前进程的线程状态,包括线程的运行情况、锁定状态、等待资源等。可深入了解系统的并发问题,如死锁、资源竞争等,助力快速定位解决问题。
说明:
Realtime Logs 功能重点覆盖 EMR2.7.0及以上版本和 EMR3.5.0及以上版本新购集群,存在存量版本存量集群部分实时日志查询不到的情况,若需要使用请 提交工单 评估支持。
以下情况,Real Logs 功能不可用。
1.1 集群未使用腾讯云 VPC 网络。
1.2 部分未提供实时日志的进程,支持范围见
支持实时日志查看的服务范围
1.3 节点资源类型为 POD 类型。
以下情况,Thread Dump 功能不可用。
1.4 集群未使用腾讯云VPC网络。
1.5 非 Java 进程。
1.6 进程为非运行状态或缺失。
1.7 节点资源类型为 POD 类型。

操作步骤

1. 登录 弹性 MapReduce 控制台,在集群列表中单击对应的集群 ID/名称进入集群详情页。
2. 选择集群资源 > 节点状态 > 进程信息页签可查看节点部署进程信息,通过进程操作可查看进程实时日志信息、Dump 信息。
部署状态:可查看当前节点的服务部署情况,是否为标准进程、进程状态是否运行正常等。
?
进程操作 > Realtime Logs 可查询该进程相关运行时实时日志或相关审计日志。
?
进程操作 > Thread Dump 可查询该进程最近时间的 Jstack 信息。
?

支持实时日志查看的服务范围

服务
进程
日志路径
日志文件名
支持版本说明
HDFS
NameNode
/data/emr/hdfs/logs
hadoop-hadoop-namenode-rHOST.log
270、340、350
HDFS
NameNode
/data/emr/hdfs/logs
nn-audit.log
340、350
HDFS
DataNode
/data/emr/hdfs/logs
hadoop-hadoop-datanode-rHOST.log
270、340、350
HDFS
DataNode
/data/emr/hdfs/logs
SecurityAuth-datanode-audit.log
340、350
HDFS
JournalNode
/data/emr/hdfs/logs
hadoop-hadoop-journalnode-rHOST.log
270、340、350
HDFS
JournalNode
/data/emr/hdfs/logs
SecurityAuth-journalnode-audit.log
340、350
HDFS
ZKFailoverController
/data/emr/hdfs/logs
hadoop-hadoop-zkfc-rHOST.log
270、340、350
HDFS
ZKFailoverController
/data/emr/hdfs/logs
SecurityAuth-zkfc-audit.log
340、350
HDFS
DFSRouter
/data/emr/hdfs/logs
hadoop-hadoop-dfsrouter-rHOST.log
340、350
YARN
ResourceManager
/data/emr/yarn/logs
hadoop-hadoop-resourcemanager-rHOST.log
270、340、350
YARN
ResourceManager
/data/emr/yarn/logs
rm-audit.log
340、350
YARN
NodeManager
/data/emr/yarn/logs
hadoop-hadoop-nodemanager-rHOST.log
270、340、350
YARN
NodeManager
/data/emr/yarn/logs
nm-audit.log
340、350
YARN
JobHistoryServer
/data/emr/yarn/logs
hadoop-hadoop-historyserver-rHOST.log
270、340、350
YARN
TimeLineServer
/data/emr/yarn/logs
hadoop-hadoop-timelineserver-rHOST.log
270、340、350
Hive
HiveMetaStore
/data/emr/hive/logs
(1)hadoop-hivemetastore,(2)hcat.out
270(1)、340(1,2)、350(1)
Hive
HiveMetaStore
/data/emr/hive/logs
hadoop_hive_metastore_audit
270、340、350
Hive
HiveServer2
/data/emr/hive/logs
(1)hadoop-hive,(2)hadoop-hiveserver2
270(1)、340(2)、350(2)
Hive
HiveServer2
/data/emr/hive/logs
hadoop_hiveserver2_audit
270(手搓)、340、350
Hive
HiveWebHcat
/data/emr/hive/logs
webhcat-console.log
270、340、350
HBase
HMaster
/data/emr/hbase/logs
hbase-hadoop-master-rHOST.log
270、340、350
HBase
HMaster
/data/emr/hbase/logs
SecurityAuth-hmaster-audit.log
340、350
HBase
RegionServer
/data/emr/hbase/logs
hbase-hadoop-regionserver-rHOST.log
270、340、350
HBase
RegionServer
/data/emr/hbase/logs
SecurityAuth-regionserver-audit.log
340、350
HBase
HbaseThrift
/data/emr/hbase/logs
hbase-hadoop-thrift-rHOST.log
270、340、350
Zookeeper
QuorumPeerMain
/data/emr/zookeeper/logs
zookeeper-root-server-rHOST.log
270、340、350
Zookeeper
QuorumPeerMain
/data/emr/zookeeper/logs
zookeeper-audit.log
270、340、350
Kudu
KuduServer
/data/emr/kudu/log
kudu-tserver.INFO
270、340、350
Kudu
KuduMaster
/data/emr/kudu/log
kudu-master.INFO
270、340、350
Alluxio
AlluxioMaster
/data/emr/alluxio/logs
master.log
270、340、350
Alluxio
AlluxioWorker
/data/emr/alluxio/logs
worker.log
270、340、350
Ranger
EmbeddedServer
/data/emr/ranger/logs
ranger-admin--.log
270、340、350
Ranger
EnableUnixAuth
/usr/local/service/ranger/usersync/logs
usersync-rHOST-root.log
270、340、350
CosRanger
CosRangerServer
/data/emr/cosranger/logs
info.log
270、340、350
Impala
Impala-Statestore
/data/emr/impala/logs
statestored.INFO
270、340、350
Impala
Impala-Catalog
/data/emr/impala/logs
catalogd.INFO
270、340、350
Impala
Impala-Daemon
/data/emr/impala/logs
impalad.INFO
270、340、350
Spark
SparkJobHistoryServer
/data/emr/spark/logs
spark-hadoop-org.apache.spark.deploy.history.HistoryServer-1-rHOST.out
270、340、350
Knox
Knox
/data/emr/knox/logs
gateway.log,gateway-audit.log
270、340、350
Kylin
Kylin
/data/emr/kylin/logs
kylin.log
270、340、350
Doris
DorisFeFollower
/data/emr/doris/fe/log
fe.log
Doris120
Doris
DorisBe
/data/emr/doris/be/log
be.INFO
Doris120
Doris
DorisBroker
/data/emr/doris/broker/log
apache_hdfs_broker.log
Doris120
Doris
DorisFeObserver
/data/emr/doris/fe/log
fe.log
Doris120
Druid
broker
/data/emr/druid/var/log/druid
broker.log
Druid110
Druid
coordinator
/data/emr/druid/var/log/druid
coordinator.log
Druid110
Druid
router
/data/emr/druid/var/log/druid
router.log
Druid110
Druid
overload
/data/emr/druid/var/log/druid
overload.log
Druid110
Druid
historical
/data/emr/druid/var/log/druid
historical.log
Druid110
Druid
middleManager
/data/emr/druid/var/log/druid
middleManager.log
Druid110
Oozie
Oozie
/data/emr/oozie/logs
oozie.log,jetty.out
270、340、350
Storm
Nimbus
/data/emr/storm/logs
nimbus.log
270
Storm
Supervisor
/data/emr/storm/logs
supervisor.log
270
Livy
LivyServer
/data/emr/livy/logs
livy-hadoop-server.out
270、340、350
StarRocks
StarRocksFeFollower
/data/emr/starrocks/fe/log
fe.log
SR140、SR200
StarRocks
StarRocksFeObserver
/data/emr/starrocks/fe/log
fe.log
SR140、SR200
StarRocks
StarRocksBe
/data/emr/starrocks/be/log
be.INFO
SR140、SR200
StarRocks
StarRocksBroker
/data/emr/starrocks/broker/log
apache_hdfs_broker.log
SR140、SR200
StarRocks
StarRocksCn
/data/emr/starrocks/be/log
cn.INFO
SR140、SR200
Kyuubi
KyuubiServer
/data/emr/kyuubi/logs
kyuubi.log,kyuubi-hadoop-org.apache.kyuubi.server.KyuubiServer-rHOST.out
270、340、350
Trino
Trino-Coordinator
-
(1)/data/emr/trino/logs/coordinator.log,(2)/data/emr/trino/var/log/server.log
270(2)、340(1)、350(1)
Trino
Trino-Coordinator
/data/emr/trino/logs
trino-audit.log
340(手搓)、350(手搓)
Trino
Trino-Worker
?
(1)/data/emr/trino/logs/worker.log,
(2)/data/emr/trino/var/log/server.log
270(2)、340(1)、350(1)
Hue
Hue
/data/emr/hue/logs
supervisor.log,runcpserver.log
270、340、350
?


http://www.vxiaotou.com