非容器化部署与管理 #
在私有环境中部署 SphereEx-DBPlusSuite。
- 部署架构图
- 最小化部署
主机 | 组件 | 组件 | 组件 | 组件 | 组件 | 组件 |
---|---|---|---|---|---|---|
主机1 | 治理中心1 | 监控中心-ZK-exporter | 计算节点1 | 日志中心-filebeat | 监控中心 | 日志中心-master1-data1 |
主机2 | 治理中心2 | 监控中心-ZK-exporter | 计算节2 | 日志中心-filebeat | 日志中心-master2-data2 | |
主机3 | 治理中心3 | 监控中心-ZK-exporter | 计算节点3 | 日志中心-filebeat | 日志中心-logstash | 日志中心-master3-data3 |
- 推荐部署
主机 | 组件 | 组件插件 |
---|---|---|
主机1 | 治理中心1 | 监控中心-ZK-exporter |
主机2 | 治理中心2 | 监控中心-ZK-exporter |
主机3 | 治理中心3 | 监控中心-ZK-exporter |
主机4 | 日志中心-master1-data1 | |
主机5 | 日志中心-master2-data2 | |
主机6 | 日志中心-master3-data3 | |
主机7 | 日志中心-logstash | |
主机8 | 计算节点1 | 日志中心-filebeat |
主机9 | 计算节点2 | 日志中心-filebeat |
主机10 | 计算节点3 | 日志中心-filebeat |
主机11 | 监控中心 |
集群生态工具的安装卸载 #
SphereEx-Boot 的安装卸载 #
- 安装 SphereEx-Boot
新建操作系统用户:
# groupadd spex
# useradd -g spex spex
# passwd spex
创建推荐的安装目录: /home/spex/boot
依赖:
sshpass 1.0.0+
Python 2.7 或者 Python 3.5+
pip 20.0.0+
安装 SphereEx-Boot
- 执行如下命令,安装 SphereEx-Boot。
# pip install sphereex‑boot‑1.1.0.tar.gz
Processing ./sphereex‑boot‑1.1.0.tar.gz
Requirement already satisfied: ansible<=2.10.7,>=2.8.0 in /usr/lib/python2.7/site-packages (from sphereex-boot==1.1.0) (2.10.7)
······
Building wheel for sphereex-boot (setup.py) ... done
Created wheel for spex: filename=sphereex_boot-1.1.0-py2-none-any.whl size=212249 sha256=5de4a3b4f347da57697ad942f74284be38ecf12e5e0d1fefda06e5e4282c22eb
Stored in directory: /root/.cache/pip/wheels/e5/c4/d7/64a96c1f48ffabc68df6aa164beb7a93a1ad4d81aba4b751d7
Successfully built sphereex-boot
Installing collected packages: sphereex-boot
Successfully installed sphereex‑boot‑1.1.0
查看 SphereEx-Boot 安装结果
执行命令查看 SphereEx-Boot 版本,如果输出的版本为当前安装的版本,说明安装成功。
# spex --version
Version 1.1.0
- 卸载 SphereEx-Boot
- 执行卸载命令
# pip uninstall sphereex‑boot
SphereEx-Console 的安装卸载 #
- 最小化部署
最小化部署 Console ,复用用户环境中已有的 5.7 版本及以上的 MySQL 数据库。
主机 | 生态工具 |
---|---|
主机1 | Console |
- 推荐部署
推荐部署 Console,使用独立主机和 Console 中内置的 MySQL 软件安装 Console 后台 MySQL 数据库。
主机 | 生态工具 | 组件 |
---|---|---|
主机1 | Console | Console 后台 MySQL 数据库(主) |
主机2 | Console 后台 MySQL 数据库(从) |
新建操作系统用户所有机器上操作(安装 Boot 时已创建此步可省略):
# groupadd spex
# useradd -g spex spex
# passwd spex
创建推荐的安装目录: /home/spex/console
依赖:
- JDK 1.8
- 开启 ssh 服务
- SphereEx-Boot
环境检查(校验依赖)
- 查看 JDK 版本
# java -version
- 检查是否开启 ssh 服务
# ps -aux | grep sshd
- 检查是否安装 SphereEx-Boot
# spex --version
- 安装 SphereEx-Console
- 获取软件: 请联系我们。
- 新建操作系统用户:
# groupadd spex
# useradd -g spex spex
# passwd spex
- 创建推荐的安装目录: /home/spex/boot
- 导出配置文件
# spex console export
生成安装 SphereEx-Console 的配置文件 console_install.yaml
最小化的安装方式的参数文件配置参考
最小化安装前提: a. 已有 MySQL 5.7 及以上数据库。
b. 且已经创建 spex 数据库用户,并允许 console 所在主机访问。
创建 spex 用户:
create database console
create user 'spex'@'[SpherexEx-Console IP]' identified by 'XXXXXX';
grant all on console.* to spex@'[SpherexEx-Console IP]';
数据库初始化脚本 SphereEx-Console 解压后的目录中的 db 目录下的:
schema.sql
schema-data.sql
c. 按实际情况,参考如下方式修改配置文件,未提及参数保持默认即可。
vi console_install.yaml
###################### SphereEx-Console Deploy Configuration Example #########################
# This file is an example configuration file.
# Here you can configure for the SphereEx-Console deploy.
# Deploy to remote must use ssh
#===================== Mysql Deploy Configuration ========================
# Required, Whether to install a new Mysql server
# If true Mysql master-slave will be installed
install_mysql: false
#==================== Console Deploy Configuration =======================
console:
# install on local or remote
ssh_user: spex
ssh_password: spex
ssh_port: 22
host: xxx.xxx.xxx.xxx
# Required, SphereEx-Console file. for example:/root/console/SphereEx-Console.tar.gz
file: /home/spex/boot/console.tar.gz
# Required, deployment directory, remote or local
install_dir: /home/spex/console
# Required, deployment directory, remote or local
console_config:
server:
port: 8088
# software home path
software:
home: /home/spex/console
spring:
# If install_mysql is true, the param will be overwritten
# If you use your own Mysql, edit the configuration below
datasource:
url: jdbc:mysql://[IP]:[PORT]/console?serverTimezone=UTC&useSSL=false&allowPublicKeyRetrieval=true # console mysql url
username: spex # console mysql user
password: sphereEx@2021 # console mysql password
driverClassName: com.mysql.jdbc.Driver # console mysql driver
- 推荐的安装方式的参数文件配置参考(参数文件解析请参考 链接)
- 按实际情况,将 SphereEx-Console 和 MySQL 主从分别部署在两台主机上,参考如下方式修改配置文件,未提及参数保持默认即可。
vi console_install.yaml
###################### SphereEx-Console Deploy Configuration Example #########################
# This file is an example configuration file.
# Here you can configure for the SphereEx-Console deploy.
# Deploy to remote must use ssh
#===================== Mysql Deploy Configuration ========================
# Required, Whether to install a new Mysql server
# If true Mysql master-slave will be installed
install_mysql: true
# If install Mysql is true the param is required
mysql:
master:
# install on local or remote
file: /home/spex/console/mysql.tar.xz
host: xxx.xxx.xxx.xxx
listen_port: 3306
ssh_user: spex
ssh_password: spex
ssh_port: 22
install_dir: /home/spex/console
slave:
# install on local or remote
host: xxx.xxx.xxx.xxx
file: /home/spex/boot/mysql.tar.xz
# If two Mysql servers are on the same machine, listen port must be different
listen_port: 3307
ssh_user: root
ssh_password: root
ssh_port: 22
install_dir: /home/spex/console
#==================== Console Deploy Configuration =======================
console:
# install on local or remote
ssh_user: spex
ssh_password: spex
ssh_port: 22
host: xxx.xxx.xxx.xxx
# Required, SphereEx-Console file. for example:/root/console/SphereEx-Console.tar.gz
file: /home/spex/boot/console.tar.gz
# Required, deployment directory, remote or local
install_dir: /home/spex/console
# Required, deployment directory, remote or local
console_config:
server:
port: 8088
# software home path
software:
home: /home/spex/console
- 执行命令安装 SphereEx-Console
# spex console install -n {console_name} -c console_install.yaml
- 查看 SphereEx-Console 列表
# spex console list
- 卸载 SphereEx-Console
# spex console uninstall -n {console_name}
集群生态工具的使用 #
SphereEx-Boot 的使用 #
- SphereEx-Boot 的启动与停止
无需启动和停止,安装完成直接使用 spex 命令即可。
SphereEx-Console 使用 #
- SphereEx-Console 的启动
登录 console 所在主机,进入 Console 的安装目录,执行启动命令。
bin/start.sh
使用服务器的 IP 地址加端口通过浏览器访问 SphereEx-Console 平台,使用配置文件中账号和密码登录。
例如:192.168.10.18:8080
内置超级管理员的用户名/密码: admin/admin
- SphereEx-Console 的停止
登录 SphereEx-Console 所在主机,进入 SphereEx-Console 的安装目录,执行停止命令。
bin/stop.sh
- SphereEx-Console 的备份
登录 SphereEx-Boot 所在主机,指定 SphereEx-Console 的名称进行卸载。
# spex console backup -n {name}
集群组件的安装卸载 #
计算节点和存储节点的安装卸载在集群的安装卸载部分做介绍 获取软件: 组件 治理中心(ZooKeeper) 、监控中心(Prometheus)、 日志中心(Elasticsearch Logstash Filebeat)console 内置,无需额外获取。
- 集群组件安装方式描述
自建资源或组件:指通过 console 或者 boot 新建的组件资源
注册资源或组件:指通过 console 注册的组件资源
如下列表中描述的是,生态工具可以完成的组件安装注册卸载的功能。其中安装是通过新建功能完成的,注册是注册功能完成的,注销和卸载是通过删除功能完成的。
功能 | 生态工具 | 计算节点 | 存储节点 | 治理中心 | 监控中心 | 日志中心 | 组件 |
---|---|---|---|---|---|---|---|
安装 | Boot | Y | Y | 计算节点和治理中心的安装,是合并提供,暂不支持独立安装 | |||
Console | Y | Y | Y | Y | 实际执行调用 Boot 完成 | ||
注册 | Boot | ||||||
Console | Y* | Y | Y | 此版本不提供对监控、日志中心的注册 目前 Proxy 添加集群,刷新到列表 | |||
卸载 | Boot | Y | Y | Y* | - 计算节点:无法独立卸载,计算节点停止后将离开集群 - 存储节点:卸载不删除数据库,仅删除关联关系 - 治理中心:支持自建资源卸载ZK,无法独立卸载,卸载集群时卸载 - 监控中心:卸载 prometheus,删除监控配置 - 日志中心:卸载删除 ELK,卸载软件,可独立卸载节点。 | ||
Console | Y | Y | Y | Y | Y | - 计算节点:即删除节点功能,卸载软件,卸载监控,卸载日志。 - 存储节点:卸载不删除数据库,仅删除关联关系。 - 治理中心:支持自建资源卸载ZK,注册资源无法卸载。 - 监控中心:卸载 prometheus,删除监控配置和数据 - 日志中心:卸载删除 ES、Logstash,卸载软件,可独立卸载节点。 | |
注销 | Boot | ||||||
Console | Y | Y | 删除不卸载软件的情况下是执行注销操作 - 存储节点:删除数据库,执行注销操作,不卸载数据库本身 - 治理中心:删除注册的治理中心,执行注销操作 |
- 组件与集群关系说明
如下是集群对组件的独享和共享说明: 独享:集群的独享组件,即集群与组件是一对一的关系,一个组件只能被一个集群使用 共享:集群间的共享组件,即集群与组件是一对多的关系,一个组件可以被多个集群使用 创建集群本质是创建 Engine-Proxy(计算节点)的集群。创建一个可用的集群,计算节点、治理节点、存储节点为必选的,监控中心日志中心为非必选的。
组件 | 独享/共享 | 是否必选 | 说明 |
---|---|---|---|
计算节点 | 独享 | 是 | 无法单独安装,安装计算节点即安装集群 |
治理中心 | 共享 | 是 | 治理中心为共享,治理中心的一个namespace为一个独立的集群 |
存储节点 | 共享 | 是 | 存储节点与集群为多对多的关系,一个db为一个存储节点,存储节点只能注册 |
监控中心 | 共享 | 否 | 监控中心为共享 |
日志中心 | 共享 | 否 | 日志中心为共享组件,仅管理计算节点的日志。 |
主机的注册与注销 #
主机资源高于计算节点、存储节点、治理中心、日志中心、监控中心;需要在完成资源配置后,再完成组件的配置。主机的注册分为:单台注册、批量注册。
- SphereEx-Console 注册单台主机
适用场景
单台注册主机,适用于注册少量主机,一台一台操作。
前提条件
主机已经安装操作系统,ssh服务已经开启,可以独立访问
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->主机 进入监控中心列表
- 点击右上角 注册 按钮,默认进入 单台注册 的页面
- 填写信息,具体参数见下表。
字段 | 数据来源 | 选填/必填 | 数据存储 | 长度限制 | 说明 |
---|---|---|---|---|---|
主机IP | 用户输入 | 必填 | console mysql 存储 | IP格式 | 主机列表校验唯一性 |
主机用户 | 用户输入 | 必填 | console mysql 存储 | 32 | |
用户口令 | 用户输入 | 必填 | console mysql 存储 | 符合密码保护规则 | |
SSH端口 | 用户输入 | 必填 | console mysql 存储 | 校验限制:1024-5000 | |
主机名称 | 有默认值,用户输入 | 选填 | console mysql 存储 | 50 | 默认值为主机IP,用户可以修改;主机列表校验唯一性 |
主机标签 | 用户选择;可以多选;可以输入 | 选填 | console mysql 存储 | 用户输入的标签不存在时,后台可执行添加标签的动作 | |
描述 | 用户输入 | 选填 | console mysql 存储 | 500 | 用户自定义 |
- SphereEx-Console 注册多台主机
适用场景
批量注册主机,适用于批量注册多台主机的场景
前提条件
主机已经安装操作系统,ssh服务已经开启,可以独立访问
操作步骤
- 登录 SphereEx-Console
- 点击 资源->主机 进入监控中心列表
- 点击右上角 注册 按钮,点击批量注册批量注册主机的页面
- 点击 点击上传 上传文件,文件格式xlsx;文件最大支持 5M,文件内容最多包含100台主机
- 点击 点击此处下载模版 可以下载模版
- 点击右下角 下一步 进入校验页面
- 模版中的参数见下表。
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
主机IP | 用户输入 | 必填 | IP格式 | 主机列表校验唯一性 |
主机用户 | 用户输入 | 必填 | 32 | |
用户口令 | 用户输入 | 必填 | 符合密码保护规则 | |
SSH端口 | 用户输入 | 必填 | 校验限制:1024-5000 | |
主机名称 | 有默认值;用户输入 | 选填 | 默认值为主机IP,用户可以修改;主机列表校验唯一性 | |
监控中心 | 用户输入 | 选填 | 用户输入,通过【资源】【监控】查找需要的监控中心 | |
监控插件 | 用户输入 | 选填 | 用户输入,通过【资源】【监控】【插件管理】查找需要的监控插件 | |
监控插件端口 | 用户输入 | 选填 | 用户输入,通过【资源】【监控】【插件管理】查找需要的监控插件对应的默认端口 | |
监控插件安装路径 | 用户输入 | 选填 | 用户输入,通过【资源】【监控】【插件管理】查找需要的监控插件对应的默认安装目录 | |
主机标签 | 用户输入 | 选填 | 用户输入的标签不存在时,后台可执行添加标签的动作 | |
描述 | 用户输入 | 选填 | 500 | 用户自定义 |
- 校验结果为通过的点击 下一步 完成主机的批量注册
- SphereEx-Console 注销主机资源
适用场景
不需要在 SphereEx-Console 中使用此主机资源
前提条件
主机未被使用,未配置监控,删除主机仅解除对主机的管理,不会删除物理主机
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->主机 进入监控中心列表。
- 点击列表操作列中的 删除 按钮。
- 点击提示框中的 确认 完成主机的注销。
监控中心的安装卸载 #
- SphereEx-Boot 安装监控中心
前提条件
SphereEx-Boot 主机和部署 Prometheus 的主机需要实现 SSH 互信认证。
说明: 安装 Prometheus 有如下两种方式。
- 指定参数安装
适用场景
当需要对单台主机快速进行 Prometheus 安装时可以直接输入命令进行安装。 操作步骤
- 在 Prometheus 官网下载好安装包 prometheus-xxx.xxx.tar.gz。
说明:也可以使用 Boot 工具包中的 Prometheus 安装包。
- 直接输入命令进行安装。
$ spex component install --user "root" --password "123456" --install-dir /root/prometheus --package ./prometheus-2.33.3.linux-amd64.tar.gz --host 127.0.0.1
- 指定配置文件安装
适用场景
当需要在多台主机部署 Prometheus 时,可以使用配置文件进行安装。
操作步骤
a. 在 Prometheus 官网下载好安装包 prometheus-xxx.xxx.tar.gz。
b. 导出配置模板 prometheus-config.yaml。
$ spex component install -t
$ ls
prometheus-config.yaml
- prometheus-config.yaml 配置文件样例如下,用户根据实际情况进行配置。
install_user: root # 用户名
install_password: root # 用户密码
prometheus:
file: /root/prometheus-x.x.x.tar.gz # prometheus 安装包路径
servers:
- host: 10.0.1.1 # 部署主机 IP
install_dir: /root/prometheus/ # 单独设置安装目录
- 配置好 prometheus-config.yaml 配置文件,使用如下命令进行安装。
$ spex component install -f ./prometheus-config.yaml
- SphereEx-Console 安装监控中心
适用场景
需要使用 SphereEx-Console 中的监控功能。
注意事项
安装监控中心的前提条件:主机已经注册,注册使用的主机用户的账号有目录的读写权限。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->监控中心 进入监控中心列表。
- 点击右上角 新建 按钮。
- 填写信息,具体参数见下表。
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
监控中心名称 | 用户输入 | 必填 | 50 | 在监控中心列表中校验唯一性 |
监控中心类型 | 下拉选择 | 必填 | 目前支持:Prometheus | |
添加节点 | ||||
IP | 下拉选择,主机资源列表 | 必填 | 同一主机可以装不同的软件,所以已经装过其他软件的的主机也可以显示 | |
端口 | 用户输入 | 必填 | 1024-5000 | |
安装目录 | 用户输入 | 必填 | 默认为 /opt 用户可以修改,没有时新建,没有权限时报错 | |
描述 | 用户输入 | 选填 | 500 |
- 点击 确定,完成监控中心的安装。
- SphereEx-Console 卸载监控中心
适用场景
不需要使用 SphereEx-Console 中的监控功能。
注意事项
- 删除监控中心需要保证监控中心未被使用,且被停止。
- 点击 删除 会提示是否卸载软件,删除时选择卸载软件的监控中心将无法被 console 再次管理。
操作步骤
- 登录SphereEx-Console。
- 在控制台左上角选择 资源 > 监控中心。
- 单击列表中操作列中的 删除 按钮。
- 点击提示框中的 确认,完成监控中心的卸载
治理中心的注册、注销、安装、卸载 #
- SphereEx-Console 注册治理中心
适用场景
将用户环境中已有的 ZooKeeper 注册到 SphereEx-Console。
注意事项
用户环境中已经 ZooKeeper 已经安装,可以正常提供服务。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 资源 > 治理中心。
- 单击右上角 注册 按钮。
- 填写信息,具体参数见下表。
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
治理中心类型 | 下拉选择 | 必填 | 目前支持:ZooKeeper | |
治理中心名称 | 用户输入 | 必填 | 50 | 校验唯一性 |
描述 | 用户输入 | 选填 | 500 |
- 点击 注册主机 完成主机注册,信息填写参考主机的注册部分。
- 点击提示框中的 确认,完成治理中心的注册。
- SphereEx-Console 注销治理中心
适用场景
从 SphereEx-Console 中删除注册的 ZooKeeper。
注意事项
ZooKeeper 不会被停止或卸载,直接可以删除,监控配置将被删除,监控插件将被卸载。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 资源 > 治理中心。
- 单击列表中操作列的 删除 按钮。
- 点击提示框中的 确认,完成治理中心的注销。
- SphereEx-Console 安装治理中心
适用场景
通过 SphereEx-Console 安装 ZooKeeper。
注意事项
主机已经被注册,注册使用的主机用户的账号有目录的读写权限。
操作步骤
- 登录SphereEx-Console。
- 在控制台左上角选择 资源 > 治理中心。
- 单击右上角 新建 按钮。
- 填写信息,具体参数见下表。
治理中心基本信息:
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
治理中心类型 | 下拉选择 | 必填 | 目前支持:Zookeeper | |
治理中心名称 | 用户输入 | 必填 | 50 | 校验唯一性 |
治理中心软件 | 下拉选择 | 必填 | 默认填充console内置的ZK对应的软件版本 | |
描述 | 用户输入 | 选填 | 500 | |
监控中心 | 下拉选择 | 选填 | 已经注册的监控中心 | |
监控插件软件 | 下拉选择 | 依赖于【监控中心】 | 默认填充console内置的ZK对应的监控插件的软件 如果监控中心已选,则此项为必填项 如果监控中心未选,则此项不能填写 |
节点信息:
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
节点IP | 用户输入 | 必填 | IP:端口集群列表校验唯一性,其子集或者交集都算违反唯一性约束 | |
节点端口 | 用户输入 | 必填 | 0-65536 | IP:端口集群列表校验唯一性,其子集或者交集都算违反唯一性约束 |
监控插件端口 | 自动填充,用户可编辑 | 依赖于【监控中心】 | 默认值为监控插件的默认端口 如果监控中心已选,则此项为必填项 如果监控中心未选,则此项不能填写 | |
内部通讯端口 | 自动填充,用户可编辑 | 必填 | 0-65536 | 用于集群内部的通讯端口 默认值为2888 |
内部选举端口 | 自动填充,用户可编辑 | 必填 | 0-65536 | 用于集群内部的选举端口 默认值为3888 |
安装目录 | 用户输入 | 必填 | 期望安装到的主机目录 |
- 点击提示框中的确认,完成治理中心的安装。
- SphereEx-Console 卸载治理中心
适用场景
从 SphereEx-Console 中删除通过 SphereEx-Console 安装的 ZooKeeper。
注意事项
ZooKeeper 需要先被停止,根据勾选判断是否卸载 ZooKeeper 软件,监控配置将被删除,监控插件将被卸载。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 资源 > 治理中心。
- 单击列表中操作列的 删除 按钮。
- 点击提示框中的 确认,完成治理中心的卸载。
日志中心的安装与卸载 #
- SphereEx-Console 安装日志中心
适用场景
需要使用 SphereEx-Console 中的日志管理功能。
注意事项
主机已经注册,注册使用的主机用户的账号有目录的读写权限。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->日志中心 进入监控中心列表。
- 点击右上角 新建 按钮。
- 填写信息,具体参数见下表。 基本信息:
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
日志中心名称 | 用户输入 | 必填 | 50 | 校验唯一性 |
描述 | 用户输入 | 选填 | 500 |
Elasticsearch(必填)信息:
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
软件 | 下拉选择 | 必填 | 默认填充 console 内置的 Elasticsearch 版本 | |
节点IP | 下拉选择 | 主机列表 | 必选 | 节点 IP、角色、节点端口校验唯一性 |
角色 | 用户选择 | 必须安装一个master-node和data-node 增加第三个节点是可以选择角色 | ||
内部通讯端口 | 用户输入 | 必填 | 校验限制:1024-5000 | 节点IP、角色、节点端口校验唯一性 |
节点端口 | 用户输入 | 必填 | 校验限制:1024-5000 | 节点IP、角色、节点端口校验唯一性 |
安装目录 | 用户输入 | 必填 | 当角色中无data-node时,数据目录不需要输入 | |
数据目录 | 用户输入 | 必填 | 当角色中无data-node时,数据目录不需要输入 | |
描述 | 用户输入 | 选填 |
Logstash(必填)信息:
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
软件 | 下拉选择 | 必填 | 默认填充console内置的logstash版本 | |
节点IP | 下拉选择 主机列表 | 必选 | 节点IP+端口校验唯一性 | |
节点端口 | 用户输入 | 必填 | 校验限制:1024-5000 | |
安装目录 | 用户输入 | 必填 | ||
描述 | 用户输入 | 选填 |
- 点击 确定,完成日志中心的安装。
- SphereEx-Console 卸载日志中心
适用场景
不需要使用 SphereEx-Console 中的此日志中心了。
注意事项
- 删除日志中心需要保证日志中心未被使用,且被停止。
- 点击删除会提示是否卸载软件,删除时选择卸载软件的日志中心将无法被 console 再次管理。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 资源 > 日志中心。
- 单击列表中操作列中的 删除 按钮。
- 点击提示框中的 确认,完成日志中心的卸载。
数据库资源的注册与注销 #
- SphereEx-Console 注册数据库资源
适用场景
将用户环境中已有的数据库注册到 SphereEx-Console 中管理。
前提条件
数据库已经安装,可以正常提供服务;允许 SphereEx-Console 访问的数据库账号已经被创建。数据库的权限,需要根据业务用户自行规划。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->数据库 进入数据库列表。
- 点击右上角 注册 按钮。
- 填写信息,具体参数见下表。
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
数据库地址 | 用户输入 | 必填 | IP ,数据库列表“实例地址”+“实例端口”唯一性校验 | |
数据库端口 | 用户输入 | 必填 | 校验限制:1024-5000 | |
数据库类型 | 下拉选择 | 必填 | 目前支持:MySQL | |
数据库用户 | 用户输入 | 必填 | 32 | 连接数据库实例用户 |
用户口令 | 用户输入 | 必填 | 密码保护规则 | |
描述 | 用户输入 | 选填 | 500 |
- 点击 注册主机 完成主机注册,信息填写参考主机的注册部分。
- 点击提示框中的 确认,完成数据库的注册。
- SphereEx-Console 注销数据库资源
适用场景
不需要在 SphereEx-Console 中使用此数据库资源。
前提条件
从 SphereEx-Console 中删除主机仅解除对数据库资源的管理,不会删除物理数据库。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->数据库 进入监控中心列表。
- 点击列表操作列中的 删除 按钮。
- 点击提示框中的 确认 完成数据库的注销。
集群组件的管理 #
计算节点和存储节点的管理在该部分做介绍。
主机资源管理功能说明 #
主机为集群的基础资源,只能使用 Console 管理。
功能列表如下:
功能 | 方式 | 说明 |
---|---|---|
探活 | Console | 探活 |
刷新 | Console | 刷新数据到数据库读取到页面 |
修改 | Console | 修改主机名密码 |
配置监控 | Console | 配置主机监控 |
- 探活
适用场景
探活主机
前提条件
主机已经被注册。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->主机 进入主机列表。
- 点击列表操作列中的 探活 按钮 完成主机探活。
- 指定主机刷新
适用场景
指定主机刷新
前提条件
主机已经被注册
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->主机 进入主机列表。
- 点击列表操作列中的 刷新 按钮 完成刷新。
- 所有主机刷新
适用场景
列表中所有主机刷新
前提条件
主机已经被注册
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->主机 进入主机列表。
- 点击右上角 刷新 按钮 完成刷新。
- 修改
适用场景
指定主机信息的修改
前提条件
主机已经被注册,未被使用时所有信息可以修改,已经被使用后主机IP不可以被修改。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->主机 进入主机列表。
- 点击列表操作列中的 修改 按钮 进入主机修改页面。
- 填写如下信息完成主机信息的修改:
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
主机IP | 主机列表 | 必填 | IP格式 | 校验唯一性,未关联组件,未配置监控时可以修改 |
主机用户 | 主机列表 | 必填 | 32 | 可以修改 |
用户口令 | 主机列表 | 必填 | 符合密码保护规则,可以修改 | |
SSH 端口 | 主机列表 | 必填 | 校验限制:1024-5000,可以修改 | |
主机名称 | 主机列表 | 选填 | 默认值为主机IP,用户可以修改 主机列表校验唯一性 | |
主机标签 | 主机列表 | 选填 | 用户输入的标签不存在时,后台可执行添加标签的动作,可以修改 | |
主机标签 | 主机列表 | 选填 | 用户输入的标签不存在时,后台可执行添加标签的动作,可以修改 |
- 点击提示框中的 确认 完成主机的修改。
配置监控
请参考监控告警-集群组件的监控-主机监控
监控中心管理功能说明 #
功能 | 方式 | 说明 |
---|---|---|
查看监控插件 | Console | 查看内置的监控插件 |
探活 | Console | ping 命令 |
刷新 | Console | 刷新数据到数据库读取到页面 |
修改 | Console | 修改主机名密码 |
启动 | Console | 启动监控中心资源 |
停止 | Console | 停止监控中心资源 |
- 查看监控插件
适用场景
查看内置的监控插件信息。
前提条件
无
操作步骤
- 登录 SphereEx-Console
- 点击 资源->监控中心 进入列表
- 点击右上角 监控插件 按钮进入监控插件列表页面
- 点击右上角 返回 按钮返回监控中心列表页面
- 探活
适用场景
探活监控中心
前提条件
监控中心已经被安装
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->监控中心 进入列表。
- 点击列表操作列中的 探活 按钮 完成探活。
- 指定监控中心刷新
适用场景
指定监控中心刷新。
前提条件
监控中心已经被安装。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->监控中心 进入监控中心列表。
- 点击列表操作列中的 刷新 按钮 完成刷新。
- 修改
适用场景
指定监控中心信息的修改,可以修改监控中心名称和描述。
前提条件
监控中心已经被安装。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->监控中心 进入列表。
- 点击列表操作列中的 修改 按钮 进入修改页面。
- 填写如下信息:
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
监控中心名称 | 用户输入 | 必填 | 可以修改 | |
描述 | 用户输入 | 选填 | 500 | 可以修改 |
- 点击 确认 按钮完成完成监控中心信息的修改。
- 启动
适用场景
启动指定监控中心
前提条件
监控中心已经被安装,监控中心不可重复启动,启动已经启动的监控中心会提示已启动。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->监控中心 进入监控中心列表。
- 点击列表操作列中的 启动 按钮 完成启动。
- 停止
适用场景
停止指定监控中心
前提条件
监控中心已经被安装,监控中心不可重复停止,启动已经停止的监控中心会提示已停止,监控中心停止后,监控功能将无法使用。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->监控中心 进入监控中心列表。
- 点击列表操作列中的 停止 按钮,完成停止。
治理中心管理功能说明 #
功能 | 方式 | 说明 |
---|---|---|
探活 | Console | Ping 命令 |
刷新 | Console | 刷新数据到数据库读取到页面 |
修改 | Console | 修改主机名密码 |
日志 | Console | 查看在 Console 平台中操作治理中心的日志 |
管理节点 | Console | 探活、刷新 |
配置监控 | Console、Boot | 注册主机、安装、卸载、停止、启动 |
启动 | Console、Boot | 启动治理中心资源 |
停止 | Console、Boot | 停止治理中心资源 |
- 探活
适用场景
探活治理中心
前提条件
治理中心已经被安装或注册
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->治理中心 进入列表。
- 点击列表操作列中的 探活 按钮 完成探活。
- 指定治理中心刷新
适用场景
指定治理中心刷新
前提条件
治理中心已经被注册或安装
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->治理中心 进入主机列表。
- 点击列表操作列中的 刷新 按钮,完成刷新。
- 所有治理中心刷新
适用场景
列表中所有治理中心刷新
前提条件
治理中心已经被注册或安装。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->治理中心 进入主机列表。
- 点击右上角 刷新 按钮,完成刷新。
- 修改
适用场景
指定治理中心信息的修改,可以修改监控中心名称和描述。
前提条件
治理中心已经被安装或注册
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->治理中心 进入列表。
- 点击列表操作列中的 修改 按钮,进入修改页面。
- 填写如下信息:
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
治理中心类型 | 下拉选择 | 必填 | 不能修改 | |
治理中心名称 | 用户输入 | 必填 | 50 | 校验唯一性 可以修改 |
描述 | 用户输入 | 选填 | 500 | 可以修改 |
- 点击确认按钮完成完成治理中心信息的修改
- 查看操作日志
适用场景
查看在 SphereEx-Console 平台内操作治理中心的日志。
前提条件
无
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->治理中心 进入列表。
- 点击操作列 日志 按钮进入查看操作日志页面。 可以从事件和日志两个维度查看操作的日志。
- 点击右上角 刷新 按钮刷新页面内容。
- 点击右上角 返回 按钮返回列表页面。
管理节点
- 节点探活
适用场景
探活治理中心节点
前提条件
治理中心中心已经被安装或注册
操作步骤
a. 登录 SphereEx-Console。
b. 点击 资源->治理中心 进入列表。
c. 点击列表操作列中的 管理节点 按钮 进入节点列表页面。
d. 点击节点列表中操作列 探活 按钮完成节点探活。
e. 点击右上角 返回 按钮返回治理中心列表。
- 节点刷新
适用场景
刷新治理中心节点
前提条件
治理中心已经被安装或注册。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->治理中心 进入列表。
- 点击列表操作列中的 管理节点 按钮 进入节点列表页面。
- 点击节点列表中操作列 刷新 按钮完成节点刷新。
- 点击右上角 返回 按钮返回治理中心列表。
配置监控
请参考监控告警-集群组件的监控-治理中心监控
- 启动
适用场景
启动指定治理中心
前提条件
- 治理中心已经被安装,不可重复启动,启动已经启动的治理中心会提示已启动。
- 当治理中心为注册的组件时,无法通过 SphereEx-Console 启动。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->治理中心 进入监控中心列表。
- 点击列表操作列中的 启动 按钮,完成启动。
- 停止
适用场景
停止指定治理中心
前提条件
- 治理中心已经被安装,不可重复停止,停止已经停止的治理中心会提示已停止。
- 当治理中心为注册的组件时,无法通过 SphereEx-Console 停止。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->治理中心 进入监控中心列表。
- 点击列表操作列中的 停止 按钮 完成停止。
日志中心管理功能说明 #
功能 | 方式 | 说明 |
---|---|---|
查看Filebeat | Console | 查看内置的filebeat版本 |
管理节点 | Console | 添加节点、探活、刷新、启动、停止、删除 |
日志 | Console | 查看在 Console 中操作日志中心的日志 |
启动 | Console | 启动日志中心 |
停止 | Console | 停止日志中心 |
- 查看 Filebeat
适用场景
查看内置的Filebeat插件信息
前提条件
无
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->日志中心 进入列表。
- 点击右上角 Filebeat 按钮进入 Filebeat 插件列表页面。
- 点击右上角 返回 按钮返回日志中心列表页面。
- 管理节点
- 添加节点
适用场景
为一个日志中心添加节点
前提条件
主机已经注册,注册使用的主机用户的账号有目录的读写权限。
操作步骤
a. 登录 SphereEx-Console。
b. 点击 资源->日志中心 进入列表。
c. 点击操作列 管理节点 按钮进入节点列表页面。
d. 点击右上角 添加节点 按钮进入添加节点页面。
e. 填写信息,具体参数见下表。
Elasticsearch
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
软件 | 下拉选择 | 必填 | 默认填充 console 内置的 Elasticsearch 版本 | |
节点IP | 下拉选择 主机列表 | 必选 | 节点IP+端口校验唯一性 | |
角色 | 用户选择 | 角色不能为空 | ||
节点端口 | 用户输入 | 必填 | 校验限制:1024-5000 | |
安装目录 | 用户输入 | 必填 | ||
软件 | console 目录中的软件列表 | 必填 | 从 console 的软件目录中选择,对应的软件包,文档中说明软件位置 | |
描述 | 用户输入 | 选填 |
Logstash
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
软件 | 下拉选择 | 必填 | 默认填充 console 内置的 logstash 版本 | |
节点IP | 下拉选择 主机列表 | 必选 | 节点IP+端口校验唯一性 | |
节点端口 | 用户输入 | 必填 | 校验限制:1024-5000 | |
安装目录 | 用户输入 | 必填 | ||
软件 | console目录中的软件列表 | 必填 | 从console的软件目录中选择,对应的软件包,文档中说明软件位置 | |
描述 | 用户输入 | 选填 | 500 |
f. 点击 确定 日志中心添加节点的功能。
g. 点击右上角 返回 按钮返回日志中心列表页面。
- 节点探活
适用场景
探活日志中心节点
前提条件
日志中心已经被安装
操作步骤
a. 登录 SphereEx-Console。
b. 点击 资源->日志中心 进入列表。
c. 点击列表操作列中的 管理节点 按钮 进入节点列表页面。
d. 点击节点列表中操作列 探活 按钮完成节点探活。
- 节点刷新
适用场景
刷新日志中心节点
前提条件
日志中心已经被安装
操作步骤
a. 登录 SphereEx-Console。
b. 点击 资源->日志中心 进入列表。
c. 点击列表操作列中的 管理节点 按钮进入节点列表页面。
d. 点击节点列表中操作列 刷新 或页面右上角 刷新 按钮完成制定节点和全部节点的刷新。
- 查看节点日志
适用场景
查看在 SphereEx-Console 平台内操作日志中心节点的日志。
前提条件
无
操作步骤
a. 登录 SphereEx-Console。
b. 点击 资源->日志中心 进入列表。
c. 点击列表操作列中的 管理节点 按钮进入节点列表页面。
d. 点击操作列 日志 按钮进入查看操作日志页面。
可以从事件和日志两个维度查看操作的日志。
e. 点击右上角 刷新 按钮刷新页面内容。
f. 点击右上角 返回 按钮返回节点列表页面。
- 启动节点
适用场景
启动日志中心节点
前提条件
已经启动的节点,启动为灰色不可点
操作步骤
a. 登录 SphereEx-Console。
b. 点击 资源->日志中心 进入列表。
c. 点击列表操作列中的 管理节点 按钮进入节点列表页面。
d. 点击列表操作列中的 启动 按钮,完成启动。
- 停止节点
适用场景
停止日志中心节点
注意事项
- 停止节点可能导致日志中心不可用,请谨慎操作。已经停止的节点,停止为灰色不可点。
- 当停止最后一个节点后,日志中心将停止。
操作步骤
a. 登录 SphereEx-Console。
b. 点击 资源->日志中心 进入列表。
c. 点击列表操作列中的 管理节点 按钮进入节点列表页面。
d. 点击列表操作列中的 停止 按钮,完成停止。
- 卸载日志中心节点
适用场景
缩容日志中心
注意事项
- 只有停止的节点才可以删除;正在被使用的节点无法删除。
- 点击删除会提示是否卸载软件,删除时不勾选卸载软件的日志中心节点将无法被 console 再次管理理,当只剩下最后一个节点时,将无法卸载,只能通过操作日志中心完成卸载。
操作步骤
a. 登录 SphereEx-Console。
b. 在控制台左上角选择 资源 > 日志中心。
c. 单击列表中操作列中的 删除 按钮。
d. 点击提示框中的 确认,完成日志中心节点的卸载。
- 查看日志中心日志
适用场景
查看在 SphereEx-Console 平台内操作日志中心的日志。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->日志中心 进入列表。
- 点击操作列 日志 按钮进入查看操作日志页面。 可以从事件和日志两个维度查看操作的日志。
- 点击右上角 刷新 按钮刷新页面内容。
- 点击右上角 返回 按钮返回列表页面。
- 启动
适用场景
启动日志中心
前提条件
如果节点已经启动,启动为灰色不可点。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->日志中心 进入列表。
- 点击列表操作列中的 启动 按钮,完成启动。
- 停止
适用场景
停止日志中心
注意事项
停止日志中心,日志中心将不可用,请谨慎操作。已经停止的日志中心,停止为灰色不可点。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->日志中心 进入列表。
- 点击列表操作列中的 管理节点 按钮进入节点列表页面。
- 点击列表操作列中的 停止 按钮,完成停止。
数据库资源管理功能说明 #
Console 目前仅支持MySQL数据库的管理。
功能 | 说明 |
---|---|
探活 | Ping 命令 |
刷新 | 刷新数据到数据库读取到页面 |
修改 | 修改主机名密码 |
配置监控 | 配置数据库监控,需要先配置主机 |
- 探活
适用场景
探活数据库实例
前提条件
数据库实例已经被注册。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->数据库 进入主机列表。
- 点击列表操作列中的 探活 按钮,完成探活。
- 指定数据库实例刷新
适用场景
指定数据库实例刷新
前提条件
数据库实例已经被注册。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->数据库 进入主机列表。
- 点击列表操作列中的 刷新 按钮,完成刷新。
- 所有数据库实例刷新
适用场景
列表中所有数据库实例刷新
前提条件
数据库实例已经被注册。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->数据库 进入主机列表。
- 点击右上角 刷新 按钮,完成刷新。
- 修改
适用场景
指定数据库实例信息的修改
前提条件
数据库实例已经被注册,修改数据库用户名和口令,不影响正在使用的存储节点,修改后注册的存储节点将使用新用户名和口令。
操作步骤
- 登录 SphereEx-Console。
- 点击 资源->数据库 进入主机列表。
- 点击列表操作列中的 修改 按钮进入主机修改页面。
- 填写如下信息完成信息的修改:
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
数据库用户 | 用户输入 | 必填 | 可以修改 | |
用户口令 | 用户输入 | 必填 | 500 | 可以修改 |
描述 | 用户输入 | 选填 | 可以修改 |
- 点击提示框中的 确认 完成修改。
配置监控
请参考监控告警-集群组件的监控-数据库监控
集群安装卸载 #
前提条件
创建集群前,需先完成相关资源(主机、数据库)和组件(治理中心、监控中心、日志中心)的创建或注册。
驱动说明
SphereEx-Boot 安装集群时,用户需要自行下载数据库驱动,放入 proxy 的目录中。
SphereEx-Console 安装集群时,自带 MySQL 8.0 驱动。
SphereEx-Boot 安装集群 #
说明:安装卸载集群,实际上是安装卸载计算节点,使用 SphereEx-Boot 创建集群会同步创建治理中心。
链接到快速入门部分的【使用 SphereEx-Boot 创建集群】
SphereEx-Boot 卸载集群 #
使用 SphereEx-Boot 卸载集群会同步卸载治理中心。
使用命令 spex cluster uninstall --name <cluster-name>
卸载集群,会删除掉部署目录。
SphereEx-Console 安装集群 #
适用场景
实际上是安装计算节点和注册存储节点,治理中心已被创建或注册是创建集群的必要条件。
注意事项
主机已经注册,注册使用的主机用户的账号有目录的读写权限。
数据库实例已经被注册。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击右上角 新建 按钮。
- 填写信息,具体参数见下表。 集群信息
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
集群名称 | 用户输入 | 必填 | 50 | 校验唯一性 |
描述 | 用户输入 | 选填 | 500 | |
治理中心地址 | 治理中心名称列表 | 必填 | ||
命名空间 | 用户输入 | 必填 | 50 | 字母数字下划线,不能添加一个已经存在的命名空间 |
监控中心 | 监控中心IP:端口 | 选填 | ||
日志中心 | 日志中心名称 | 选填 |
计算节点
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
计算节点软件 | 用户选择 | 必填 | 默认填充console支持的最新版本的engine | |
filebeat软件 | 用户选择 | 依赖于【日志中心】 | 默认填充console内置的filebeat 日志中心已填,此项为必填 日志中心未填,此项不能填 | |
节点名称 | 用户输入 | 必填 | 默认为IP:端口,集群内唯一性校验 | |
节点IP | 主机列表 | 必填 | 校验页面中计算节点的 IP和端口的唯一性 | |
节点端口 | 用户输入 | 必填 | 1024-5000 | |
监控插件端口 | 有默认值,用户可自定义 | 必填 | 默认填充9090,可以指定 | |
安装目录 | 用户输入 | 必填 | 默认为/opt,主机上无此目录时创建 | |
logstsh | 下拉选择 日志中心的logstash | 依赖于【日志中心】 | 日志中心已填,此项为必填 日志中心未填,此项不能填 | |
操作结果 | 返回安装、卸载结果或报错 |
存储节点( 可选)
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
节点名称 | 用户输入 | 必填 | 50 | 大小写字母,数字,下划线中的一种或组合 |
数据库实例 | 下拉选择 | 必填 | ||
端口 | 自动填充 | 必填 | 依据数据库实例自动填充 | |
用户名 | 自动填充,可以修改 | 必填 | 32 | 依据数据库实例自动填充 |
口令 | 自动填充,可以修改 | 必填 | 依据数据库实例自动填充 | |
数据库 | 下拉选择 | 必填 | ||
扩展参数(&分割) | 用户输入 | 选填 | 不限制 |
- 点击 确定,完成集群的安装。
SphereEx-Console 注册集群 #
适用场景
将已经安装好的集群,注册到 SphereEx-Console 中。
注意事项
集群已经被安装,且能正常提供服务。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击右上角 注册 按钮,进入注册页面。
- 填写信息,具体参数见下表。 基本信息
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
集群名称 | 用户输入 | 必填 | 50 | 唯一性校验 console中集群的名称 |
描述 | 用户输入 | 选填 | 500 | 用户在console中自定义的集群描述信息 |
计算节点信息
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
计算节点地址 | 用户输入 | 必填 | 任意一个proxy的地址,目前只支持IPv4的地址 | |
计算节点端口 | 用户输入 | 必填 | 对应proxy的端口 | |
计算节点用户名 | 用户输入 | 必填 | 32 | 对应proxy的用户名 |
用户口令 | 用户输入 | 必填 | 对应proxy的密码 |
- 点击注册主机完成主机注册,信息填写参考主机的注册部分。
- 点击确定,完成集群的注册。
SphereEx-Console 卸载集群 #
适用场景
从 SphereEx-Console 中删除集群、、卸载计算节点软件。
注意事项
集群已停止,勾选同步卸载软件,同步卸载计算节点的软件,并且卸载监控和日志配置,删除namespace信息, SphereEx-Console 解除对集群的管理。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群 进入集群列表。
- 单击列表中操作列的 删除 按钮。
- 点击提示框中的 确认,勾选同步卸载软件 完成集群的卸载。
SphereEx-Console 注销集群 #
适用场景
从 SphereEx-Console 解除对集群的管理。
注意事项
无需停止集群,仅解除对集群的管理。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群。
- 单击列表中操作列的 删除 按钮。
- 点击提示框中的 确认,不勾选同步卸载软件 完成集群的注销。
集群运维管理 #
集群管理功能说明 #
功能 | 说明 |
---|---|
刷新 | 刷新数据到数据库读取到页面 |
修改 | 修改集群信息 |
参数管理 | 管理集群参数 |
License管理 | 管理集群License |
配置日志 | 配置集群监控,需要先配置主机 |
配置监控 | 配置集群监控,需要先配置主机 |
启动 | 启动集群 |
停止 | 停止集群 |
- 指定集群刷新
适用场景
指定集群刷新
前提条件
集群已经被注册或安装。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群 进入集群列表。
- 点击列表操作列中的 刷新 按钮完成集群刷新。
- 所有集群刷新
适用场景
刷新列表中所有集群
前提条件
集群已经被注册或安装。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群 进入集群列表。
- 点击右上角 刷新 按钮 完成刷新。
- 参数管理
适用场景
管理集群参数,在值域范围内修改参数,将参数重置成默认值。
注意事项
集群可以访问
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群进入集群列表。
- 点击列表操作列中的参数管理按钮进入参数管理页面。
- 点击重置按钮弹出参数重置页面,左下角提示修改后是否立即生效,点击确认将参数重置为默认值。
- 点击修改按钮弹出参数修改页面,左下角提示修改后是否立即生效,点击确认完成参数修改。
- License
适用场景
管理集群License,更新license
注意事项
集群可以访问
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群 进入集群列表。
- 点击列表操作列中的 License 按钮进入管理页面。
有 License 时,可以看到 License 基本信息。
无 License 时,可以看到无 License 提示。
- 点击左上角返回按钮返回集群列表。
- 点击右上角更新 License。 添加 License key,点击预览可以预览 License 信息。
- 点击确认完成 License 的更新
- 修改
适用场景
可以修改集群的描述和 SphereEx-Console 登录计算节点的信息。
前提条件
集群已经被注册或安装。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群 进入集群列表。
- 点击列表操作列中的 修改 按钮,进入修改页面。
- 填写如下信息:
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
集群名称 | 用户输入 | 必填 | 50 | console中集群的名称,不能修改 |
描述 | 用户输入 | 选填 | 500 | 用户在console中自定义的集群描述信息,可以修改 |
计算节点地址 | 用户输入 | 必填 | 任意一个proxy的地址,可以修改 | |
计算节点端口 | 用户输入 | 必填 | 对应proxy的端口,可以修改 | |
计算节点用户名 | 用户输入 | 必填 | 32 | 对应proxy的用户名,可以修改 |
用户口令 | 用户输入 | 必填 | 对应proxy的密码,可以修改 |
- 点击提示框中的 确认 完成修改。
- 启动
适用场景
启动指定集群
注意事项
不可重复启动,已经启动会提示已启动
集群启动顺序:
a. 治理中心:为集群启动的必要条件,监测是否启动;如未启动,提示用户手动启动,集群将启动失败。
b. 日志中心:为集群启动的可选条件,监测是否启动;如有异常,提示错误,未启动提示用户手动启动,不影响集群的启动。
c. 监控中心:为集群启动的可选条件,监测是否启动;如有异常,提示错误,未启动提示用户手动启动,不影响集群的启动。
d. 计算节点:为集群启动的必选条件,监测是否启动;如有异常,提示错误,未启动提示用户手动启动;部分节点可用,即可启动,至少有一个。
e. 存储节点:如果存在存储节点则为必选项,如有异常,集群将启动失败,如果不存在存储节点,不影响集群启动。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群 进入集群列表。
- 点击列表操作列中的 启动 按钮完成启动。
- 停止
适用场景
停止指定集群
注意事项
- 停止集群实际上只停止计算节点,集群停止后将无法使用请谨慎操作。
- 集群被停止后,操作列按钮可点,但是无数据。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群 进入集群列表。
- 点击列表操作列中的 停止 按钮完成停止。
- 配置日志
适用场景
将集群计算节点的日志在 SphereEx-Console 平台集中管理。
配置集群的日志,即配置计算节点的日志,将运行日志和慢日志采集汇总到日志中心。可以通过Console的 SQL管理中慢日志和日志功能筛选、查看、导出日志。其中可以在慢日志中直接查看sql的执行计划。
注意事项
- 集群已经被安装或注册
- 集群计算节点所在的主机已经被注册,注册使用的主机用户的账号有目录的读写权限
- 日志中心已经安装
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群 进入集群列表。
- 点击列表操作列中的 配置日志 按钮进入配置日志页面。
- 填写如下信息:
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
计算节点IP | 前一页面输入 | 必填 | 不可编辑 | |
Logstash | 日志中心的Logstash | 必选 | filebeat与proxy是一对一关系 filebeat与logstash是多对一关系 一个logstash只能归属于一个集群 | |
Filebeat 安装目录 | 用户输入 | 必填 | 默认填充 Filebeat 默认安装目录 |
- 点击 注册主机 完成主机注册,信息填写参考主机的注册部分。
- 点击提示框中的 确认 完成配置。
配置监控
请参考监控告警-集群组件的监控-集群监控
计算节点管理功能说明 #
功能 | 说明 |
---|---|
添加节点 | 扩容集群 |
探活 | 探活节点 |
刷新 | 刷新节点信息 |
启用 | 启用计算节点 |
禁用 | 禁用计算节点,禁用后的计算节点,将无法接收流量 |
启动 | 启动计算节点 |
停止 | 停止计算节点 |
删除 | 卸载计算节点,缩容集群 |
- 添加节点
适用场景
为集群扩容计算资源
注意事项
主机已经注册,注册使用的主机用户的账号有目录的读写权限。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,默认进入计算点列表。
- 点击右上角 添加节点,进入添加节点页面。
- 填写信息,具体参数见下表:
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
节点IP | 用户选择 | 必填 | 已经注册的主机列表 | |
端口 | 用户输入 | 必填 | 1024-5000 | |
安装目录 | 用户输入 | 必填 | 默认为/opt,主机上无此目录时创建 | |
软件 | 用户选择 | 必填 | 默认填充console支持的最新版本的engine | |
节点名称 | 用户输入 | 必填 | 默认为IP:端口,集群内唯一性校验 | |
filebeat软件 | 用户选择 | 依赖于【日志中心】 | 默认填充console内置的filebeat 日志中心已填,此项为必填 日志中心未填,此项不能填 | |
监控插件端口 | 有默认值,用户可自定义 | 必填 | 默认填充9090,可以指定 | |
安装目录 | 用户输入 | 必填 | 默认为/opt,主机上无此目录时创建 | |
Logstsh | 下拉选择 日志中心的logstash | 依赖于【日志中心】 | 日志中心已填,此项为必填 日志中心未填,此项不能填 |
- 点击 确定,完成计算节点的添加。
- 探活
适用场景
探活计算节点
注意事项
集群已经被注册或安装
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,默认进入计算点列表。
- 点击列表操作列中的 探活 按钮完成节点探活。
- 刷新
适用场景
刷新计算节点
注意事项
集群已经被注册或安装。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,默认进入计算点列表。
- 点击列表操作列中的 刷新 按钮完成节点刷新。
- 启用
适用场景
启用已禁用的节点
注意事项
节点处于禁用状态
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,默认进入计算点列表。
- 点击列表操作列中的 启用 按钮完成节点启用。
- 禁用
适用场景
禁用节点,禁用后的节点将不会有新的流量,正在执行的进程不会受影响。
注意事项
节点处于启用状态。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,默认进入计算点列表。
- 点击列表操作列中的 禁用 按钮完成节点禁用。
- 使用SphereEx-Console启动计算节点
适用场景
启动处于停止状态的节点
注意事项
节点处于停止状态
集群处于停止状态时,可以点击管理节点逐个启动计算节点,只要有一个计算节点是可用时集群即可用。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,默认进入计算点列表。
- 点击列表操作列中的 启动 按钮完成节点启动。
- 单独启动计算节点
- 启动步骤
a. 下载 DBPlusEngine-Proxy 的最新发行版。
b. 解压缩后修改 conf/server.yaml 和以 config- 前缀开头的文件,如:conf/config-xxx.yaml 文件,进行分片规则、读写分离规则配置。
c. Linux 操作系统请运行 bin/start.sh,Windows 操作系统请运行 bin/start.bat 启动 ShardingSphere-Proxy。
- 选择数据库协议
使用 PostgreSQL
a. 使用任何 PostgreSQL 的客户端连接。如: psql -U root -h 127.0.0.1 -p 3307
使用 MySQL
b. 将 MySQL 的 JDBC 驱动程序复制至目录 ext-lib/。
c. 使用任何 MySQL 的客户端连接。如: mysql -u root -h 127.0.0.1 -P 3307
使用 openGauss
a. 将以 org.opengauss 包名为前缀的 openGauss 的 JDBC 驱动程序复制至目录 ext-lib/。
b. 使用任何 openGauss 的客户端连接。如: gsql -U root -h 127.0.0.1 -p 3307
- 选择元数据持久化仓库
使用 ZooKeeper
默认集成 ZooKeeper Curator 客户端。
使用 Etcd
将 Etcd 的客户端驱动程序复制至目录 ext-lib/。
- 使用分布式事务
具体可参考分布式事务。
- 使用自定义算法
当用户需要使用自定义的算法类时,可通过以下方式配置使用自定义算法,以分片为例:
a. 实现 ShardingAlgorithm 接口定义的算法实现类。
b. 在项目 resources 目录下创建 META-INF/services 目录。
c. 在 META-INF/services 目录下新建文件 org.apache.shardingsphere.sharding.spi.ShardingAlgorithm
d. 将实现类的绝对路径写入至文件 org.apache.shardingsphere.sharding.spi.ShardingAlgorithm
e. 将上述 Java 文件打包成 jar 包。
f. 将上述 jar 包拷贝至 DBPlusEngine-Proxy 解压后的 ext-lib/ 目录。
g. 将上述自定义算法实现类的 Java 文件引用配置在 YAML 文件中,具体可参考配置规则。
- 注意事项
a. DBPlusEngine-Proxy 默认使用 3307 端口,可以通过启动脚本追加参数作为启动端口号。如: bin/start.sh 3308
b. DBPlusEngine-Proxy 使用 conf/server.yaml 配置注册中心、认证信息以及公用属性。
c. DBPlusEngine-Proxy 支持多逻辑数据源,每个以 config- 前缀命名的 YAML 配置文件,即为一个逻辑数据源。
d. DBPlusEngine-Proxy 默认监听地址 0.0.0.0,可以通过启动脚本指定监听地址,使用方式可通过 bin/start.sh –help 获取。
- 使用SpehreEx-Console停止计算节点
适用场景
停止处于启动状态的节点
注意事项
- 节点处于启动状态
- 最后一个计算节点被停止后集群会停止
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,默认进入计算点列表。
- 点击列表操作列中的 停止 按钮完成节点停止。
- 单独停止计算节点
Linux 操作系统请运行 bin/stop.sh,Windows 操作系统请运行 bin/stop.bat 启动 ShardingSphere-Proxy。
- 删除
适用场景
从集群中计算节点
注意事项
勾选同步卸载软件会同步卸载计算节点的软件,并且卸载监控和日志配置
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,默认进入计算点列表。
- 单击列表中操作列的 删除 按钮。
- 点击提示框中的 确认,节点的删除。
存储节点管理功能说明 #
功能 | 说明 |
---|---|
注册 | 选择注册的数据库中添加存储节点到集群 |
刷新 | 刷新节点 |
探活 | 探活节点 |
修改 | 修改存储节点 |
删除 | 从 Console 列表中删除,正在被逻辑库引用的存储节点,不能被删除。删除不会影响其所属实例 |
- 注册
适用场景
集群扩容存储节点
注意事项
- 数据库实例已经被注册。
- 新添加的存储节点,属于集群,且未被使用。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,点击 存储节点 进入存储点列表。
- 单击右上角 添加节点 按钮,进入添加节点页面。
- 填写信息,具体参数见下表。
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
所属实例 | 数据库实例列表 | 必填 | 实例IP、实例端口、数据库唯一性校验,不可以重复添加。 | |
实例IP | 自动填充 | 必填 | 不可编辑 | |
实例端口 | 自动填充 | 必填 | 不可编辑 | |
实例类型 | 自动填充 | 必填 | 不可编辑 | |
用户名 | 自动填充 | 必填 | 32 | 可以更改 |
口令 | 自动填充 | 必填 | 可以更改 | |
数据库 | 数据库实例内部 | 必填 | 可以更改 | |
节点名称 | 用户输入 | 必填 | ||
扩展参数 | 用户输入 | 选填 | 可以更改 | |
URL连接串 | 自动填充,不可编辑 | 灰色不可编辑 |
- 点击 确认 完成节点添加。
- 探活
适用场景
探活存储节点
注意事项
集群已经被注册或安装
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,点击 存储节点 进入存储点列表。
- 点击列表操作列中的 探活 按钮完成节点探活。
- 刷新
适用场景
刷新存储节点
注意事项
集群已经被注册或安装
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,点击 存储节点 进入存储点列表。
- 点击列表操作列中的 刷新 按钮完成节点刷新。
- 修改
适用场景
修改存储节点信息
注意事项
只能修改存储节点的用户名密码,适用于用户存储节点的用户名密码发生变更的场景,修改存储节点的用户名密码,也不会影响到其所属实例。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,点击 存储节点 进入存储点列表。
- 点击列表操作列中的 修改 按钮,进入修改存储节点页面。
- 填写信息,具体参数见下表。
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
用户名 | 自动填充 | 必填 | 32 | 可以更改 |
口令 | 自动填充 | 必填 | 可以更改 | |
扩展参数 | 用户输入 | 选填 | 可以更改 |
- 删除
适用场景
删除未被使用的存储节点
注意事项
存储节点为被逻辑库使用
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,点击 存储节点 进入存储点列表。
- 点击列表操作列中的 删除 按钮,完成存储节点的删除。
逻辑库管理 #
逻辑库管理功能列表
功能 | 说明 |
---|---|
新建 | 新建逻辑库 |
刷新 | 刷新逻辑库 |
慢日志 | 查看逻辑库的慢日志 |
存储节点 | 为逻辑库增加可用的存储节点 |
删除 | 从 集群中删除逻辑库,不会删除集群中的存储节点 |
- 新建
适用场景
新建逻辑库
注意事项
- 集群可以正常访问,集群中有可用的存储节点
- 未被任何逻辑库的使用的存储节点,为可用的存储节点
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->逻辑库 进入逻辑库列表。
- 点击右上角 新建 按钮,进入新建逻辑库的页面。
- 填写信息,具体参数见下表。
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
逻辑库 | 用户输入 | 必填 | 30 | 校验唯一性,一套集群中的逻辑库名称保障唯一性 |
存储节点 | 选填 | 可选栏中为集群中可用的存储节点; 已选栏中为逻辑库可用的存储节点; |
- 点击 确认 完成逻辑库的新建。
- 刷新
适用场景
刷新逻辑库
注意事项
集群可以正常访问
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->逻辑库 进入逻辑库列表。
- 点击右上角 刷新 按钮,完成逻辑库刷新。
- 慢日志
适用场景
查看逻辑库产生的慢日志
注意事项
- 集群可以正常访问
- 慢日志已经打开
- 可以通过SQL 语句、DistSQL用户、计算节点、模糊查询;时间、SQL 类型,执行时长 等值查询 筛选慢日志
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->逻辑库 进入逻辑库列表。
- 点击操作列 慢日志 按钮,跳转至慢日志页面。
慢日志的内容包括:时间、用户、计算节点、逻辑库、SQL 类型、执行时长、SQL 语句。
悬停至 查看执行计划 可以跳转至执行计划页面,查看慢日志的执行路径。
- 点击 导出 可以导出符合条件的所有日志。
- 存储节点
适用场景
管理逻辑库的存储节点
注意事项
- 集群可以正常访问
- 未逻辑表使用的存储节点可以移除
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->逻辑库 进入逻辑库列表。
- 点击操作列 存储节点 按钮,跳转至存储节点管理页面。
- 通过调整 可选栏 和 已选栏 中的存储节点,完成逻辑库存储节点的调整。
- 删除
适用场景
删除逻辑库
注意事项
- 集群可以正常访问。
- 从集群中删除逻辑库,不会删除集群的存储节点。
- 删除逻辑库会同步删除逻辑库中的插件配置,且不可恢复,请谨慎操作。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->逻辑库 进入逻辑库列表。
- 点击操作列 删除 按钮。
- 点击提示中的 确认 按钮完成逻辑库的删除。
对象管理 #
表
功能 | 说明 |
---|---|
新建 | 新建逻辑表 |
表组管理 | 表组管理 |
查看表结构 | 查看建表(create table)语句 |
查看表分布 | 查看表的物理分布 |
修改表 | 修改表结构 |
删除表 | 删除表 |
插件
功能 | 说明 |
---|---|
添加分片 | 为已经存在的表增加分片插件配置 |
修改分片 | 为已经存在的表修改分片插件配置 |
添加加密 | 为已经存在的表增加加密插件配置 |
修改加密 | 为已经存在的表修改加密插件配置 |
- 新建表
适用场景
在逻辑库中新建表
注意事项
集群可以正常访问,已有逻辑库
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击右上角 新建表 按钮,进入新建表的页面。 新建表时,分片插件和加密插件可选添加;分片插件和加密插件分别可以使用常规和自定义的方式创建。
- 填写信息,具体参数见下表。 表配置
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
表类型 | 选择 | 必选 | 选择分片表时出现存储节点及以下信息 选择广播表时不出现存储节点及以下信息 |
添加分片配置 常规配置
分片插件配置:常规表示格式化的定义规则;自定义表示使用 DistSQL 定义规则,常规方式不用定义存储节点;常规和自定义二选一配置,选择哪种方式就出现对应的配置项。
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
存储节点 | 勾选逻辑库的存储节点 | 必填 | 可多选,存储节点的节点名称填充至存储节点的文本框中 | |
存储节点 | 自动填充 | 必填 | 多个存储节点的名称逗号分隔,不可编辑 | |
分片键 | 表结构中解析出的字段 | 必填 | 结合分片算法校验 | |
分片算法 | 内置算法 | 必填 | 结合分片键的类型校验 | |
算法参数 | 用户输入 | 必填 | 不限 | 根据分片算法校验参数,根据不同算法提供参数示例 |
分布式序列 | 表结构中解析出的字段 | 选填 | 需要使用主键生成策略的列 | |
分布式序列生成策略 | 内置算法 | 结合键值列的类型和长度校验【分布式序列】有数据时【分布式序列生成策略】为必填【分布式序列】无数据时【分布式序列生成策略】此行不显示 | ||
策略参数 | 用户输入 | 不限 | 根据键值生成策略法校验参数,根据不同策略提供参数示例【分布式序列生成策略】有数据时【策略参数】为必填【分布式序列生成策略】无数据时【策略参数,此行不显示| |
添加分片配置 自定义配置
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
用户输入 | 必填 | 不限 | DistSQL,执行时校验 |
添加加密配置 常规配置
加密插件配置:常规表示格式化的定义规则;自定义表示使用 DistSQL 定义规则,常规和自定义二选一配置,选择哪种方式就出现对应的配置项。
【使用加密列查询】勾选,查询时使用加密后数据列;不勾选,查询时使用加密前数据列。
默认为勾选。
当有明文存储未勾选时,【使用加密列查询】必须勾选,且不能更改。
当明文存储全部勾选时,【使用加密列查询】允许改为不勾选。
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
加密算法 | 内置算法 | 必填 | 结合逻辑列 逻辑列类型长度,密文列数据类型长度校验 | |
加密算法参数 | 用户输入 | 必填 | 不限 | 根据加密算法校验参数,根据不同算法提供参数示例 |
需要加密的列 | 下拉选择 | 必选 | 需要加密的列为逻辑列,明文列和密文列自动创建,明文列的数据类型和长度取自用户表中需要加密的列的数据类型和长度;密文列的数据类型和长度根据算法定义,同时添加两个加密列的时候,添加第二个加密列时筛选时不能出现第一个被加密的字段 | |
存储明文 | 用户勾选 | 勾选,在数据库中存储明文;不勾选,不在数据库中存储明文 |
添加加密配置 自定义配置
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
用户输入 | 必填 | 不限 | Distsql,执行时校验 |
- 点击 确认 完成表的新建。
- 表组管理
适用场景
将部署了相同算法的分片插件绑定成组,用于优化查询。
注意事项
集群可以正常访问,已有逻辑库,表的分片插件配置一致
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击右上角 表组管理 按钮,进入表组管理的页面。
- 填写信息,具体参数见下表。
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
首个成员 | 下拉列表中选择 当前逻辑库中分片表 | 必填 | 用户预期绑定规则的表中任选一个,无主次之分 | |
其他成员 | 下拉列表中选择 当前逻辑库中分片表,符合与首个成员绑定表规则的其他表 | 必填 | 可多选 |
- 点击 确认 完成表组的管理。
- 查看表结构
适用场景
查看create table形式的表结构,无法看到插件配置。
注意事项
集群可以正常访问,已有逻辑库,已有表。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击操作列 查看表结构 按钮,进入查看表结构的页面。
- 点击 返回,返回表对象列表。
- 查看表分布
适用场景
查看表所在的存储节点
注意事项
集群可以正常访问,已有逻辑库,已有表。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击操作列 查看表分布 按钮,进入查看表分布的页面。
- 点击 返回,返回表对象列表。
- 修改表
适用场景
修改表结构
注意事项
集群可以正常访问,已有逻辑库,已有表。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击操列 修改表 按钮,进入修改表的页面。
- 填写修改表结构的 SQL,可以点击示例,查看语句示例。
- 点击 确认 完成表修改。
- 删除
适用场景
删除表,删除插件配置,删除表结构和数据。
注意事项
集群可以正常访问,已有逻辑库,已有表,删除是物理删除,无法恢复,请谨慎操作。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击操列 删除 按钮,进入修改表的页面。
- 点击 确认 完成表删除。
- 插件-添加分片
适用场景
在已有表中增加分片插件配置。
注意事项
集群可以正常访问,已有逻辑库,已有表,表中无数据,表中无分片插件配置。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击插件列 添加分片 按钮,进入 添加分片 的页面。
- 填写信息,具体参数见下表。
分片插件配置:常规表示格式化的定义规则;自定义表示使用DIstSQL定义规则,常规方式不用定义存储节点;常规和自定义二选一配置,选择哪种方式就出现对应的配置项。
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
存储节点 | 勾选逻辑库的存储节点 | 必填 | 可多选,存储节点的节点名称填充至存储节点的文本框中 | |
存储节点 | 自动填充 | 必填 | 多个存储节点的名称逗号分隔,不可编辑 | |
分片键 | 表结构中解析出的字段 | 必填 | 结合分片算法校验 | |
分片算法 | 内置算法 | 必填 | 结合分片键的类型校验 | |
算法参数 | 用户输入 | 必填 | 不限 | 根据分片算法校验参数,根据不同算法提供参数示例 |
分布式序列 | 表结构中解析出的字段 | 选填 | 需要使用主键生成策略的列 | |
分布式序列生成策略 | 内置算法 | 结合键值列的类型和长度校验【分布式序列】有数据时【分布式序列生成策略】为必填;【分布式序列】无数据时【分布式序列生成策略】此行不显示 | ||
策略参数 | 用户输入 | 不限 | 根据键值生成策略法校验参数,根据不同策略提供参数示例【分布式序列生成策略】有数据时【策略参数】为必填【分布式序列生成策略】无数据时【策略参数】此行不显示 |
自定义
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
用户输入 | 必填 | 不限 | DistSQL,执行时校验 |
- 点击 确认 完成分片插件配置的添加。
- 插件-修改分片
适用场景
在已有表中增加分片插件配置。
注意事项
集群可以正常访问,已有逻辑库,已有表,表中无数据,表中已有分片插件配置。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击插件列 修改分片 按钮,进入修改分片的页面。 进入修改分片插件的页面,可以看到分片插件的配置,如果是常规方式添加的分片插件,会以常规方式显示;如果是自定义方式添加的分片插件,会以自定义方式显示。
- 填写信息,具体参数见下表。 分片插件配置:常规表示格式化的定义规则;自定义表示使用DIstSQL定义规则,常规方式不用定义存储节点;常规和自定义二选一配置,选择哪种方式就出现对应的配置项。
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
存储节点 | 勾选逻辑库的存储节点 | 必填 | 可多选,存储节点的节点名称填充至存储节点的文本框中 | |
存储节点 | 自动填充 | 必填 | 多个存储节点的名称逗号分隔,不可编辑 | |
分片键 | 表结构中解析出的字段 | 必填 | 结合分片算法校验 | |
分片算法 | 内置算法 | 必填 | 结合分片键的类型校验 | |
算法参数 | 用户输入 | 必填 | 不限 | 根据分片算法校验参数,根据不同算法提供参数示例 |
分布式序列 | 表结构中解析出的字段 | 选填 | 需要使用主键生成策略的列 | |
分布式序列生成策略 | 内置算法 | 结合键值列的类型和长度校验【分布式序列】有数据时【分布式序列生成策略】为必填;【分布式序列】无数据时【分布式序列生成策略】此行不显示 | ||
策略参数 | 用户输入 | 不限 | 根据键值生成策略法校验参数,根据不同策略提供参数示例【分布式序列生成策略】有数据时【策略参数】为必填【分布式序列生成策略】无数据时【策略参数】此行不显示 |
自定义
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
用户输入 | 必填 | 不限 | DistSQL,执行时校验 |
- 点击 确认 完成分片插件配置的修改。
- 插件-添加加密
适用场景
在已有表中增加加密插件配置。
注意事项
集群可以正常访问,已有逻辑库,已有表,表中无加密插件配置,不涉及数据清洗。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击插件列 添加加密 按钮,进入添加加密的页面。
- 填写信息,具体参数见下表。
加密插件配置:常规表示格式化的定义规则;自定义表示使用DIstSQL定义规则,常规和自定义二选一配置,选择哪种方式就出现对应的配置项 【使用加密列查询】勾选,查询时使用加密后数据列;不勾选,查询时使用加密前数据列;
默认为勾选;
当有明文存储未勾选时,【使用加密列查询】必须勾选,且不能更改;
当明文存储全部勾选时,【使用加密列查询】允许改为不勾选。
常规
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
加密算法 | 内置算法 | 必填 | 结合逻辑列 逻辑列类型长度,密文列数据类型长度校验 | |
加密算法参数 | 用户输入 | 必填 | 不限 | 根据加密算法校验参数,根据不同算法提供参数示例 |
需要加密的列 | 下拉选择 | 必选 | 需要加密的列为逻辑列,明文列和密文列自动创建,明文列的数据类型和长度取自用户表中需要加密的列的数据类型和长度;密文列的数据类型和长度根据算法定义,同时添加两个加密列的时候,添加第二个加密列时筛选时不能出现第一个被加密的字段 | |
存储明文 | 用户勾选 | 勾选,在数据库中存储明文;不勾选,不在数据库中存储明文 |
自定义
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
用户输入 | 必填 | 不限 | DistSQL,执行时校验 |
- 点击 确认 完成加密插件配置的添加。
- 插件-修改加密
适用场景
在已有表中增加分片插件配置。
注意事项
集群可以正常访问,已有逻辑库,已有表,表中已有加密插件配置,不涉及数据清洗。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击插件列 修改加密 按钮,进入修改加密的页面。 进入修改加密插件的页面,可以看到加密插件的配置,如果是常规方式添加的加密插件,会以常规方式显示;如果是自定义方式添加的加密插件,会以自定义方式显示 加密插件配置:常规表示格式化的定义规则;自定义表示使用 DistSQL 定义规则,常规和自定义二选一配置,选择哪种方式就出现对应的配置项。
- 填写信息,具体参数见下表。 【使用加密列查询】勾选,查询时使用加密后数据列;不勾选,查询时使用加密前数据列 ;
默认为勾选;
当有明文存储未勾选时,【使用加密列查询】必须勾选,且不能更改;
当明文存储全部勾选时,【使用加密列查询】允许改为不勾选。
常规配置
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
加密算法 | 内置算法 | 必填 | 结合逻辑列 逻辑列类型长度,密文列数据类型长度校验 | |
加密算法参数 | 用户输入 | 必填 | 不限 | 根据加密算法校验参数,根据不同算法提供参数示例 |
需要加密的列 | 下拉选择 | 必选 | 需要加密的列为逻辑列,明文列和密文列自动创建,明文列的数据类型和长度取自用户表中需要加密的列的数据类型和长度;密文列的数据类型和长度根据算法定义,同时添加两个加密列的时候,添加第二个加密列时筛选时不能出现第一个被加密的字段 | |
存储明文 | 用户勾选 | 勾选,在数据库中存储明文;不勾选,不在数据库中存储明文 |
自定义配置
字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
---|---|---|---|---|
用户输入 | 必填 | 不限 | DistSQL,执行时校验 |
- 点击 确认 完成加密插件配置的修改。
SQL管理 #
功能 | 说明 |
---|---|
慢日志 | 新建逻辑表 |
执行计划 | 表组管理 |
SQL审计 | 查看建表(create table)语句 |
- 慢日志
适用场景
查看集群产生的慢日志
注意事项
- 集群可以正常访问
- 慢日志已经打开
- 可以通过 SQL 语句、DistSQL 用户、计算节点、模糊查询;时间、逻辑库、SQL 类型,执行时长 等值查询 筛选慢日志。
操作步骤
- 登录 SphereEx-Console。
- 点击 SQL管理->慢日志 进入慢日志页面。 慢日志的内容包括:时间、用户、计算节点、逻辑库、SQL 类型、执行时长、SQL 语句。
悬停至 查看执行计划 可以跳转至执行计划页面,查看慢 SQL。
- 点击 导出 可以导出符合条件的所有日志
- 执行计划
适用场景
查看SQL的执行路径
注意事项
集群可以正常访问
操作步骤
- 登录 SphereEx-Console。
- 点击 SQL管理->执行计划 进入慢日志页面。
- 选择集群选择逻辑库输入SQL语句,点击 查看执行计划 按钮,查看执行计划。
- SQL审计
适用场景
通过查看集群执行过的所有SQL,做事后审计。
注意事项
- 集群可以正常访问
- 审计日志已经打开
- 可以通过 SQL 语句、DistSQL用户、计算节点、模糊查询;时间范围、SQL 类型,等值查询、筛选审计日志。
操作步骤
- 登录 SphereEx-Console。
- 点击 SQL管理->SQL审计 进入SQL审计日志页面。 审计日志的内容包括:时间、DistSQL用户、计算节点、逻辑库、SQL 类型、SQL 语句。
- 点击 导出 可以导出符合条件的所有日志。
日志管理 #
适用场景
通过查看集群计算节点的运行日志。
注意事项
- 集群可以正常访问
- 可以通过关键字模糊查询;时间范围等值查询筛选运行日志。
操作步骤
- 登录 SphereEx-Console。
- 点击 SQL管理->SQL审计 进入 SQL 审计日志页面。
- 点击 导出 可以导出符合条件的所有日志。
连接集群 #
用户可以使用多种方式登录到集群:
- SphereEx-Console:用户可使用 SphereEx-Console,登录后通过 GUI 界面完成管理动作(内置受约束的 DistSQL,SQL 终端此次尚不提供)。
- Database Command:例如 MySQL Client、PG PSQL,登录到集群中任意计算节点。通过 USE 定位到逻辑库,执行 SQL。
使用示例:
mysql -uroot -p -P3307 -h127.0.0.1
- Third Database Tools:例如 navicate 等工具,部分功能受限,待测试Todo。