调度资源

最近更新时间：2024-05-16 14:30:01

我的收藏

本页目录：

标准调度资源

本页面展示已经绑定在当前项目空间下的各种资源组信息，包括调度资源组、集成资源组、数据服务资源组、流计算资源组。详细介绍请参见 执行资源。
?
?
?
标准调度资源
专业版、企业版 WeData 提供不同规格标准化全托管执行资源用于任务调度，详情请参考计费说明。标准资源组变配、销毁等请前往控制台操作。
?
?
?
项目绑定标准调度资源组后，单击资源组名称可以进入资源组信息页面，查看资源信息、资源监控以及进行资源组运维。
?
?
?
资源信息
进入资源信息页面，可以查看资源基本信息与资源详细信息，详情请参见 资源信息。
?
?
?
资源监控
进入资源监控页面，可以监控该调度资源的使用情况，详情请参见 资源监控。
?
?
?
资源组运维
资源组运维目前提供 Python 包的安装运维管理功能，为数据开发中的 Python 任务提供 Python 包支持。
?
?
?
资源组运维界面提供了 Python 包安装、卸载、查看的入口以及命令执行记录列表，用户可以在此处查看 Python 安装和卸载的相关信息，包括名称、安装类型、创建人、状态、描述和时间等。
?
?
?
Python 包安装
1. 单击 Python 包安装后，在弹框中配置 Python 包信息。
注意：
该功能只在 新版规格 的调度资源中生效。 老的规格不支持安装。
?
信息
描述
命令名称
自动生成，默认为“ Python 安装包_当前时间 ”，用户可以修改。
包类型
Python 版本，包括 Python2、Python3。
选择安装包
支持关键词搜索，目前支持的安装包如下：
Python2：jieba、numpy、openpyxl、pandas、pyhive、requests、scikit-learn、thrift、thrift_sasl、tencentcloud-sdk-python。
Python3：jieba、numpy、openpyxl、pandas、pyhive、requests、scikit-learn、thrift、thrift_sasl、tencentcloud-sdk-python、pymysql、cos-python-sdk-v5、threadpool、tencentcloud-dlc-connector、matplotlib。
版本
可选择对应 Python 包不同的版本。
命令执行路径
WeData 提供的默认路径，Python 包的安装路径。
安装命令
自动生成。
超时时间
安装命令执行的最长时间，超过时间则终止执行。
描述
自定义描述信息。
2. Python 包安装步骤配置完成后即可生成安装命令，在资源组运维页面单击对应安装命令操作列下的运行，即可执行 Python 包安装命令，安装成功后，会在状态列提示命令运行成功信息。
?
3. 单击操作列下的查看结果，可以查看安装命令的执行的详细情况。
?
4. 单击列表中的命令名称，可以查看命令详情。
?
Python 包查看
单击 Python 包查看后，在弹框中可以分别看到 Python2、Python3 已安装的 Python 包信息。
?
Python 包卸载
单击 Python 包卸载后，在弹框中可以选择已安装的 Python 包进行卸载。
?
信息
描述
命令名称
自动生成，默认为“ Python 卸载包_当前时间 ”，用户可以修改。
包类型
Python 版本，包括 Python2、Python3。
选择卸载包
可选择已安装的 Python 包。
命令执行路径
WeData 提供的默认路径，Python 包的卸载路径。
卸载命令
自动生成。
超时时间
安装命令执行的最长时间，超过时间则终止执行。
自定义调度资源
企业版 WeData 允许关联当前用户账号下的 CVM 用于调度资源组，自定义调度资源组将由用户自持及自运维。
?
?
创建自定义调度资源组
1. 单击创建调度资源组，填写基本信息。
?
?
注意：
资源组与本空间下已配置计算引擎需位于同一地域。
2. 单击创建执行资源组，并填写资源组基本信息。完成后，单击下一步。
参数
说明
地域
本参数默认展示项目下计算引擎所处地域，执行资源组需与计算引擎建立在同一地域下。
资源组名称
资源组英文名称。
资源组备注
资源组备注显示名称。
3. 配置服务器，选择所属网络和服务器。
?
?
说明
 服务器与本空间下已配置计算引擎需位于同一网络。
4. 单击保存，并参照说明安装 Agent。
管理自定义调度资源组
添加服务器
1. 单击资源组管理 > 添加服务器，为当前执行资源组添加可供任务执行的服务器资源。
?
?
2. 您可以选择已有的云服务器（CVM），或购买新的云服务器，填写想要添加的服务器的基本信息后，单击下一步。建议的服务器配置如下：
网络：与项目计算引擎（如 EMR） 在同一个 VPC。
配置：32核64G内存（建议生产使用至少2台，测试1台）。
公网带宽：2Mbps。
系统镜像：CentOS 64位 CentOS 7.9 64位。
硬盘：500GB。
注意
 不要添加 EMR 节点到执行资源组，以免环境冲突。
参数说明
所属网络
选择 CVM 服务器所属网络，CVM 需与项目下已绑定的计算引擎属于同一 VPC 环境中。
内网 IP	
填写 CVM 服务器的对应的主 IPv4 内网 IP。
1. 获取方式说明：
1.1 进入 CVM 控制台，单击实例，进入实例列表。
?
?
1.2 在实例列表中选择所添加的服务器，并单击进入该 CVM 详情页。
?
?
1.3 确认所属网络信息并复制主 IPv4 内网 IP。
?
?
1.4 进入安装 Agent 页面，根据提示到服务器中进行 Agent 安装。
2. 退役/服役服务器
对于正常使用的服务器，如果您想要对其进行维护操作，可以选择将其退役。退役后，服务器将进入退役中状态，正在运行的任务会继续运营完，但不再接收新的任务。当正在运行的任务全部执行完后，服务器转为已退役状态，您可以开始对该服务器进行维护。维护结束后，单击服役，可以将该服务器恢复正常使用，开始接收新的任务。
?
?
3. 删除服务器
如果想要将服务器从执行资源组中剔除，可以先单击退役按钮，待该服务器状态转为已退役时（耗时视当前任务运行时长而定），再单击删除按钮，将该服务器删除，另作他用。
?
?
?

信息	描述
命令名称	自动生成，默认为“ Python 安装包_当前时间 ”，用户可以修改。
包类型	Python 版本，包括 Python2、Python3。
选择安装包	支持关键词搜索，目前支持的安装包如下： Python2：jieba、numpy、openpyxl、pandas、pyhive、requests、scikit-learn、thrift、thrift_sasl、tencentcloud-sdk-python。 Python3：jieba、numpy、openpyxl、pandas、pyhive、requests、scikit-learn、thrift、thrift_sasl、tencentcloud-sdk-python、pymysql、cos-python-sdk-v5、threadpool、tencentcloud-dlc-connector、matplotlib。
版本	可选择对应 Python 包不同的版本。
命令执行路径	WeData 提供的默认路径，Python 包的安装路径。
安装命令	自动生成。
超时时间	安装命令执行的最长时间，超过时间则终止执行。
描述	自定义描述信息。

参数	说明
地域	本参数默认展示项目下计算引擎所处地域，执行资源组需与计算引擎建立在同一地域下。
资源组名称	资源组英文名称。
资源组备注	资源组备注显示名称。