有奖:语音产品征文挑战赛火热进行中> HOT

硬件环境

目前 GooseFS 支持主流 x86/x64 架构的 Linux/MacOS 运行环境(注意:MacOS M1处理器未验证支持)。详细的运行节点配置如下:

Master 节点

CPU:工作主频1GHz 及以上,考虑到 Master 需要处理大量的并发请求,建议生产环境使用多核架构处理器。
物理内存:1GB 及以上,生产环境建议使用8GB 以上的物理内存配置。
磁盘:20GB 及以上,建议生产环境配备高性能的 NVME SSD 盘作为元数据缓存盘(RocksDB 模式)。

Worker 节点

CPU:工作主频1GHz 及以上,考虑到 Worker 节点也需要处理大量的并发请求,同样建议生产环境使用多核架构处理器。
物理内存:2GB 及以上,生产环境建议根据性能需求选用合适的物理内存配置。例如,生产环境中需要将大量的数据块缓存到 Worker 节点的内存中或是采用 MEM + SSD/HDD 的混合存储时,需要根据实际可能会缓存到内存中的数据量来配备物理内存。无论使用何种缓存模式,生产环境都建议 Worker 节点配备16GB 及以上的物理内存。
磁盘:20GB 及以上 SSD/HDD 盘,建议根据实际生产环境中所需要预热缓存的数据量大小来估计每个 Worker 节点所需配置的磁盘空间。另外,为了更好的性能体验,建议配备采用 NVME 接口的 SSD 盘作为 Worker 节点的数据盘。

软件环境

Red Hat Enterprise Linux 5.5+、Ubuntu Linux 12.04 LTS+(不使用批量部署时可以支持)、CentOS 7.4+以及 TLinux 2.x(Tencent Linux 2.x),基于 Intel 架构 MacOS 10.8.3 以上版本。腾讯云 CVM 用户推荐使用 CentOS 7.4、Tencent(TLinux 2.x)或 TencentOS Server 2.4 版本的操作系统。
OpenJDK 1.8/Oracle JDK 1.8,需要注意的是,未验证支持 JDK 1.9 及以上版本。 支持 SSH 工具集(包括 SSH 和 SCP 工具)、Expect Shell(使用批量部署时需要)工具以及 Yum 包管理工具。

集群网络环境

Master/Worker 节点之间外网或内网互通。使用批量部署时,要求 Master 能够正常访问外网软件源,或正确配置包管理系统的内网软件源。
集群能够通过外网或内网访问到 COS 存储桶或者 CHDFS 文件系统。

安全组与用户权限要求

一般情况,GooseFS 建议用户使用专用的 Linux 账户部署运行 GooseFS, 例如在自建集群和 EMR 环境中,可以统一使用 hadoop 用户来部署运行 GooseFS。在批量部署中,则需要补充以下用户能力和权限:
具备切换到 root 或使用 sudo 权限的能力;
部署运行账户具备读写安装目录的权限;
Master 节点具备 SSH 登录到集群中所有 Worker 节点的权限;
集群中对应的节点角色需要放开对应的端口:Master(9200和9201)、Worker(9203和9204)、Job Master(9205、9206和9207)、Job Worker(9208、9209和9210)、Proxy(9211)以及 LogServer(9212)。


http://www.vxiaotou.com