集群安装卸载 #
前提条件
创建集群前,需先完成相关资源(主机、数据库)和组件(治理中心、监控中心、日志中心)的创建或注册。
驱动说明
SphereEx-Boot 安装集群时,用户需要自行下载数据库驱动,放入 proxy 的目录中。
SphereEx-Console 安装集群时,自带 MySQL 8.0 驱动。
SphereEx-Boot 安装集群 #
说明:安装卸载集群,实际上是安装卸载计算节点,使用 SphereEx-Boot 创建集群会同步创建治理中心。
链接到快速入门部分的【使用 SphereEx-Boot 创建集群】
SphereEx-Boot 卸载集群 #
使用 SphereEx-Boot 卸载集群会同步卸载治理中心。
使用命令 spex cluster uninstall --name <cluster-name> 卸载集群,会删除掉部署目录。
SphereEx-Console 安装集群 #
适用场景
实际上是安装计算节点和注册存储节点,治理中心已被创建或注册是创建集群的必要条件。
注意事项
主机已经注册,注册使用的主机用户的账号有目录的读写权限。
数据库实例已经被注册。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击右上角 新建 按钮。
- 填写信息,具体参数见下表。 集群信息
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 集群名称 | 用户输入 | 必填 | 50 | 校验唯一性 |
| 描述 | 用户输入 | 选填 | 500 | |
| 治理中心地址 | 治理中心名称列表 | 必填 | ||
| 命名空间 | 用户输入 | 必填 | 50 | 字母数字下划线,不能添加一个已经存在的命名空间 |
| 监控中心 | 监控中心IP:端口 | 选填 | ||
| 日志中心 | 日志中心名称 | 选填 |
计算节点
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 计算节点软件 | 用户选择 | 必填 | 默认填充console支持的最新版本的engine | |
| filebeat软件 | 用户选择 | 依赖于【日志中心】 | 默认填充console内置的filebeat 日志中心已填,此项为必填 日志中心未填,此项不能填 | |
| 节点名称 | 用户输入 | 必填 | 默认为IP:端口,集群内唯一性校验 | |
| 节点IP | 主机列表 | 必填 | 校验页面中计算节点的 IP和端口的唯一性 | |
| 节点端口 | 用户输入 | 必填 | 1024-5000 | |
| 监控插件端口 | 有默认值,用户可自定义 | 必填 | 默认填充9090,可以指定 | |
| 安装目录 | 用户输入 | 必填 | 默认为/opt,主机上无此目录时创建 | |
| logstsh | 下拉选择 日志中心的logstash | 依赖于【日志中心】 | 日志中心已填,此项为必填 日志中心未填,此项不能填 | |
| 操作结果 | 返回安装、卸载结果或报错 |
存储节点( 可选)
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 节点名称 | 用户输入 | 必填 | 50 | 大小写字母,数字,下划线中的一种或组合 |
| 数据库实例 | 下拉选择 | 必填 | ||
| 端口 | 自动填充 | 必填 | 依据数据库实例自动填充 | |
| 用户名 | 自动填充,可以修改 | 必填 | 32 | 依据数据库实例自动填充 |
| 口令 | 自动填充,可以修改 | 必填 | 依据数据库实例自动填充 | |
| 数据库 | 下拉选择 | 必填 | ||
| 扩展参数(&分割) | 用户输入 | 选填 | 不限制 |
- 点击 确定,完成集群的安装。
SphereEx-Console 注册集群 #
适用场景
将已经安装好的集群,注册到 SphereEx-Console 中。
注意事项
集群已经被安装,且能正常提供服务。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击右上角 注册 按钮,进入注册页面。
- 填写信息,具体参数见下表。 基本信息
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 集群名称 | 用户输入 | 必填 | 50 | 唯一性校验 console中集群的名称 |
| 描述 | 用户输入 | 选填 | 500 | 用户在console中自定义的集群描述信息 |
计算节点信息
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 计算节点地址 | 用户输入 | 必填 | 任意一个proxy的地址,目前只支持IPv4的地址 | |
| 计算节点端口 | 用户输入 | 必填 | 对应proxy的端口 | |
| 计算节点用户名 | 用户输入 | 必填 | 32 | 对应proxy的用户名 |
| 用户口令 | 用户输入 | 必填 | 对应proxy的密码 |
- 点击注册主机完成主机注册,信息填写参考主机的注册部分。
- 点击确定,完成集群的注册。
SphereEx-Console 卸载集群 #
适用场景
从 SphereEx-Console 中删除集群、、卸载计算节点软件。
注意事项
集群已停止,勾选同步卸载软件,同步卸载计算节点的软件,并且卸载监控和日志配置,删除namespace信息, SphereEx-Console 解除对集群的管理。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群 进入集群列表。
- 单击列表中操作列的 删除 按钮。
- 点击提示框中的 确认,勾选同步卸载软件 完成集群的卸载。
SphereEx-Console 注销集群 #
适用场景
从 SphereEx-Console 解除对集群的管理。
注意事项
无需停止集群,仅解除对集群的管理。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群。
- 单击列表中操作列的 删除 按钮。
- 点击提示框中的 确认,不勾选同步卸载软件 完成集群的注销。
集群运维管理 #
集群管理功能说明 #
| 功能 | 说明 |
|---|---|
| 刷新 | 刷新数据到数据库读取到页面 |
| 修改 | 修改集群信息 |
| 参数管理 | 管理集群参数 |
| License管理 | 管理集群License |
| 配置日志 | 配置集群监控,需要先配置主机 |
| 配置监控 | 配置集群监控,需要先配置主机 |
| 启动 | 启动集群 |
| 停止 | 停止集群 |
指定集群刷新 #
适用场景
指定集群刷新
前提条件
集群已经被注册或安装。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群 进入集群列表。
- 点击列表操作列中的 刷新 按钮完成集群刷新。
所有集群刷新 #
适用场景
刷新列表中所有集群
前提条件
集群已经被注册或安装。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群 进入集群列表。
- 点击右上角 刷新 按钮 完成刷新。
参数管理 #
适用场景
管理集群参数,在值域范围内修改参数,将参数重置成默认值。
注意事项
集群可以访问
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群进入集群列表。
- 点击列表操作列中的参数管理按钮进入参数管理页面。
- 点击重置按钮弹出参数重置页面,左下角提示修改后是否立即生效,点击确认将参数重置为默认值。
- 点击修改按钮弹出参数修改页面,左下角提示修改后是否立即生效,点击确认完成参数修改。
License #
适用场景
管理集群License,更新license
注意事项
集群可以访问
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群 进入集群列表。
- 点击列表操作列中的 License 按钮进入管理页面。
有 License 时,可以看到 License 基本信息。
无 License 时,可以看到无 License 提示。
- 点击左上角返回按钮返回集群列表。
- 点击右上角更新 License。 添加 License key,点击预览可以预览 License 信息。
- 点击确认完成 License 的更新
修改 #
适用场景
可以修改集群的描述和 SphereEx-Console 登录计算节点的信息。
前提条件
集群已经被注册或安装。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群 进入集群列表。
- 点击列表操作列中的 修改 按钮,进入修改页面。
- 填写如下信息:
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 集群名称 | 用户输入 | 必填 | 50 | console中集群的名称,不能修改 |
| 描述 | 用户输入 | 选填 | 500 | 用户在console中自定义的集群描述信息,可以修改 |
| 计算节点地址 | 用户输入 | 必填 | 任意一个proxy的地址,可以修改 | |
| 计算节点端口 | 用户输入 | 必填 | 对应proxy的端口,可以修改 | |
| 计算节点用户名 | 用户输入 | 必填 | 32 | 对应proxy的用户名,可以修改 |
| 用户口令 | 用户输入 | 必填 | 对应proxy的密码,可以修改 |
- 点击提示框中的 确认 完成修改。
启动 #
适用场景
启动指定集群
注意事项
不可重复启动,已经启动会提示已启动
集群启动顺序:
a. 治理中心:为集群启动的必要条件,监测是否启动;如未启动,提示用户手动启动,集群将启动失败。
b. 日志中心:为集群启动的可选条件,监测是否启动;如有异常,提示错误,未启动提示用户手动启动,不影响集群的启动。
c. 监控中心:为集群启动的可选条件,监测是否启动;如有异常,提示错误,未启动提示用户手动启动,不影响集群的启动。
d. 计算节点:为集群启动的必选条件,监测是否启动;如有异常,提示错误,未启动提示用户手动启动;部分节点可用,即可启动,至少有一个。
e. 存储节点:如果存在存储节点则为必选项,如有异常,集群将启动失败,如果不存在存储节点,不影响集群启动。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群 进入集群列表。
- 点击列表操作列中的 启动 按钮完成启动。
停止 #
适用场景
停止指定集群
注意事项
- 停止集群实际上只停止计算节点,集群停止后将无法使用请谨慎操作。
- 集群被停止后,操作列按钮可点,但是无数据。
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群 进入集群列表。
- 点击列表操作列中的 停止 按钮完成停止。
配置日志 #
适用场景
将集群计算节点的日志在 SphereEx-Console 平台集中管理。
配置集群的日志,即配置计算节点的日志,将运行日志和慢日志采集汇总到日志中心。可以通过Console的 SQL管理中慢日志和日志功能筛选、查看、导出日志。其中可以在慢日志中直接查看sql的执行计划。
注意事项
- 集群已经被安装或注册
- 集群计算节点所在的主机已经被注册,注册使用的主机用户的账号有目录的读写权限
- 日志中心已经安装
操作步骤
- 登录 SphereEx-Console。
- 在控制台左上角选择 集群管理 > 集群 进入集群列表。
- 点击列表操作列中的 配置日志 按钮进入配置日志页面。
- 填写如下信息:
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 计算节点IP | 前一页面输入 | 必填 | 不可编辑 | |
| Logstash | 日志中心的Logstash | 必选 | filebeat与proxy是一对一关系 filebeat与logstash是多对一关系 一个logstash只能归属于一个集群 | |
| Filebeat 安装目录 | 用户输入 | 必填 | 默认填充 Filebeat 默认安装目录 |
- 点击 注册主机 完成主机注册,信息填写参考主机的注册部分。
- 点击提示框中的 确认 完成配置。
配置监控 #
请参考集群监控
计算节点管理功能说明 #
| 功能 | 说明 |
|---|---|
| 添加节点 | 扩容集群 |
| 探活 | 探活节点 |
| 刷新 | 刷新节点信息 |
| 启用 | 启用计算节点 |
| 禁用 | 禁用计算节点,禁用后的计算节点,将无法接收流量 |
| 启动 | 启动计算节点 |
| 停止 | 停止计算节点 |
| 删除 | 卸载计算节点,缩容集群 |
添加节点 #
适用场景
为集群扩容计算资源
注意事项
主机已经注册,注册使用的主机用户的账号有目录的读写权限。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,默认进入计算点列表。
- 点击右上角 添加节点,进入添加节点页面。
- 填写信息,具体参数见下表:
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 节点IP | 用户选择 | 必填 | 已经注册的主机列表 | |
| 端口 | 用户输入 | 必填 | 1024-5000 | |
| 安装目录 | 用户输入 | 必填 | 默认为/opt,主机上无此目录时创建 | |
| 软件 | 用户选择 | 必填 | 默认填充console支持的最新版本的engine | |
| 节点名称 | 用户输入 | 必填 | 默认为IP:端口,集群内唯一性校验 | |
| filebeat软件 | 用户选择 | 依赖于【日志中心】 | 默认填充console内置的filebeat 日志中心已填,此项为必填 日志中心未填,此项不能填 | |
| 监控插件端口 | 有默认值,用户可自定义 | 必填 | 默认填充9090,可以指定 | |
| 安装目录 | 用户输入 | 必填 | 默认为/opt,主机上无此目录时创建 | |
| Logstsh | 下拉选择 日志中心的logstash | 依赖于【日志中心】 | 日志中心已填,此项为必填 日志中心未填,此项不能填 |
- 点击 确定,完成计算节点的添加。
探活 #
适用场景
探活计算节点
注意事项
集群已经被注册或安装
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,默认进入计算点列表。
- 点击列表操作列中的 探活 按钮完成节点探活。
刷新 #
适用场景
刷新计算节点
注意事项
集群已经被注册或安装。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,默认进入计算点列表。
- 点击列表操作列中的 刷新 按钮完成节点刷新。
启用 #
适用场景
启用已禁用的节点
注意事项
节点处于禁用状态
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,默认进入计算点列表。
- 点击列表操作列中的 启用 按钮完成节点启用。
禁用 #
适用场景
禁用节点,禁用后的节点将不会有新的流量,正在执行的进程不会受影响。
注意事项
节点处于启用状态。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,默认进入计算点列表。
- 点击列表操作列中的 禁用 按钮完成节点禁用。
使用SphereEx-Console启动计算节点 #
适用场景
启动处于停止状态的节点
注意事项
节点处于停止状态
集群处于停止状态时,可以点击管理节点逐个启动计算节点,只要有一个计算节点是可用时集群即可用。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,默认进入计算点列表。
- 点击列表操作列中的 启动 按钮完成节点启动。
单独启动计算节点 #
- 启动步骤
a. 下载 DBPlusEngine-Proxy 的最新发行版。
b. 解压缩后修改 conf/server.yaml 和以 config- 前缀开头的文件,如:conf/config-xxx.yaml 文件,进行分片规则、读写分离规则配置。
c. Linux 操作系统请运行 bin/start.sh,Windows 操作系统请运行 bin/start.bat 启动 ShardingSphere-Proxy。
- 选择数据库协议
使用 PostgreSQL
a. 使用任何 PostgreSQL 的客户端连接。如: psql -U root -h 127.0.0.1 -p 3307
使用 MySQL
b. 将 MySQL 的 JDBC 驱动程序复制至目录 ext-lib/。
c. 使用任何 MySQL 的客户端连接。如: mysql -u root -h 127.0.0.1 -P 3307
使用 openGauss
a. 将以 org.opengauss 包名为前缀的 openGauss 的 JDBC 驱动程序复制至目录 ext-lib/。
b. 使用任何 openGauss 的客户端连接。如: gsql -U root -h 127.0.0.1 -p 3307
- 选择元数据持久化仓库
使用 ZooKeeper
默认集成 ZooKeeper Curator 客户端。
使用 Etcd
将 Etcd 的客户端驱动程序复制至目录 ext-lib/。
- 使用分布式事务
具体可参考分布式事务。
- 使用自定义算法
当用户需要使用自定义的算法类时,可通过以下方式配置使用自定义算法,以分片为例:
a. 实现 ShardingAlgorithm 接口定义的算法实现类。
b. 在项目 resources 目录下创建 META-INF/services 目录。
c. 在 META-INF/services 目录下新建文件 org.apache.shardingsphere.sharding.spi.ShardingAlgorithm
d. 将实现类的绝对路径写入至文件 org.apache.shardingsphere.sharding.spi.ShardingAlgorithm
e. 将上述 Java 文件打包成 jar 包。
f. 将上述 jar 包拷贝至 DBPlusEngine-Proxy 解压后的 ext-lib/ 目录。
g. 将上述自定义算法实现类的 Java 文件引用配置在 YAML 文件中,具体可参考配置规则。
- 注意事项
a. DBPlusEngine-Proxy 默认使用 3307 端口,可以通过启动脚本追加参数作为启动端口号。如: bin/start.sh 3308
b. DBPlusEngine-Proxy 使用 conf/server.yaml 配置注册中心、认证信息以及公用属性。
c. DBPlusEngine-Proxy 支持多逻辑数据源,每个以 config- 前缀命名的 YAML 配置文件,即为一个逻辑数据源。
d. DBPlusEngine-Proxy 默认监听地址 0.0.0.0,可以通过启动脚本指定监听地址,使用方式可通过 bin/start.sh –help 获取。
使用SpehreEx-Console停止计算节点 #
适用场景
停止处于启动状态的节点
注意事项
- 节点处于启动状态
- 最后一个计算节点被停止后集群会停止
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,默认进入计算点列表。
- 点击列表操作列中的 停止 按钮完成节点停止。
单独停止计算节点 #
Linux 操作系统请运行 bin/stop.sh,Windows 操作系统请运行 bin/stop.bat 启动 ShardingSphere-Proxy。
删除 #
适用场景
从集群中计算节点
注意事项
勾选同步卸载软件会同步卸载计算节点的软件,并且卸载监控和日志配置
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,默认进入计算点列表。
- 单击列表中操作列的 删除 按钮。
- 点击提示框中的 确认,节点的删除。
存储节点管理功能说明 #
| 功能 | 说明 |
|---|---|
| 注册 | 选择注册的数据库中添加存储节点到集群 |
| 刷新 | 刷新节点 |
| 探活 | 探活节点 |
| 修改 | 修改存储节点 |
| 删除 | 从 Console 列表中删除,正在被逻辑库引用的存储节点,不能被删除。删除不会影响其所属实例 |
注册 #
适用场景
集群扩容存储节点
注意事项
- 数据库实例已经被注册。
- 新添加的存储节点,属于集群,且未被使用。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,点击 存储节点 进入存储点列表。
- 单击右上角 添加节点 按钮,进入添加节点页面。
- 填写信息,具体参数见下表。
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 所属实例 | 数据库实例列表 | 必填 | 实例IP、实例端口、数据库唯一性校验,不可以重复添加。 | |
| 实例IP | 自动填充 | 必填 | 不可编辑 | |
| 实例端口 | 自动填充 | 必填 | 不可编辑 | |
| 实例类型 | 自动填充 | 必填 | 不可编辑 | |
| 用户名 | 自动填充 | 必填 | 32 | 可以更改 |
| 口令 | 自动填充 | 必填 | 可以更改 | |
| 数据库 | 数据库实例内部 | 必填 | 可以更改 | |
| 节点名称 | 用户输入 | 必填 | ||
| 扩展参数 | 用户输入 | 选填 | 可以更改 | |
| URL连接串 | 自动填充,不可编辑 | 灰色不可编辑 |
- 点击 确认 完成节点添加。
探活 #
适用场景
探活存储节点
注意事项
集群已经被注册或安装
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,点击 存储节点 进入存储点列表。
- 点击列表操作列中的 探活 按钮完成节点探活。
刷新 #
适用场景
刷新存储节点
注意事项
集群已经被注册或安装
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,点击 存储节点 进入存储点列表。
- 点击列表操作列中的 刷新 按钮完成节点刷新。
修改 #
适用场景
修改存储节点信息
注意事项
只能修改存储节点的用户名密码,适用于用户存储节点的用户名密码发生变更的场景,修改存储节点的用户名密码,也不会影响到其所属实例。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,点击 存储节点 进入存储点列表。
- 点击列表操作列中的 修改 按钮,进入修改存储节点页面。
- 填写信息,具体参数见下表。
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 用户名 | 自动填充 | 必填 | 32 | 可以更改 |
| 口令 | 自动填充 | 必填 | 可以更改 | |
| 扩展参数 | 用户输入 | 选填 | 可以更改 |
删除 #
适用场景
删除未被使用的存储节点
注意事项
存储节点为被逻辑库使用
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->集群 进入集群列表。
- 点击操作列 管理节点,点击 存储节点 进入存储点列表。
- 点击列表操作列中的 删除 按钮,完成存储节点的删除。
逻辑库管理 #
逻辑库管理功能列表
| 功能 | 说明 |
|---|---|
| 新建 | 新建逻辑库 |
| 刷新 | 刷新逻辑库 |
| 慢日志 | 查看逻辑库的慢日志 |
| 存储节点 | 为逻辑库增加可用的存储节点 |
| 删除 | 从 集群中删除逻辑库,不会删除集群中的存储节点 |
新建 #
适用场景
新建逻辑库
注意事项
- 集群可以正常访问,集群中有可用的存储节点
- 未被任何逻辑库的使用的存储节点,为可用的存储节点
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->逻辑库 进入逻辑库列表。
- 点击右上角 新建 按钮,进入新建逻辑库的页面。
- 填写信息,具体参数见下表。
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 逻辑库 | 用户输入 | 必填 | 30 | 校验唯一性,一套集群中的逻辑库名称保障唯一性 |
| 存储节点 | 选填 | 可选栏中为集群中可用的存储节点; 已选栏中为逻辑库可用的存储节点; |
- 点击 确认 完成逻辑库的新建。
刷新 #
适用场景
刷新逻辑库
注意事项
集群可以正常访问
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->逻辑库 进入逻辑库列表。
- 点击右上角 刷新 按钮,完成逻辑库刷新。
慢日志 #
适用场景
查看逻辑库产生的慢日志
注意事项
- 集群可以正常访问
- 慢日志已经打开
- 可以通过SQL 语句、DistSQL用户、计算节点、模糊查询;时间、SQL 类型,执行时长 等值查询 筛选慢日志
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->逻辑库 进入逻辑库列表。
- 点击操作列 慢日志 按钮,跳转至慢日志页面。
慢日志的内容包括:时间、用户、计算节点、逻辑库、SQL 类型、执行时长、SQL 语句。
悬停至 查看执行计划 可以跳转至执行计划页面,查看慢日志的执行路径。
- 点击 导出 可以导出符合条件的所有日志。
存储节点 #
适用场景
管理逻辑库的存储节点
注意事项
- 集群可以正常访问
- 未逻辑表使用的存储节点可以移除
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->逻辑库 进入逻辑库列表。
- 点击操作列 存储节点 按钮,跳转至存储节点管理页面。
- 通过调整 可选栏 和 已选栏 中的存储节点,完成逻辑库存储节点的调整。
删除 #
适用场景
删除逻辑库
注意事项
- 集群可以正常访问。
- 从集群中删除逻辑库,不会删除集群的存储节点。
- 删除逻辑库会同步删除逻辑库中的插件配置,且不可恢复,请谨慎操作。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->逻辑库 进入逻辑库列表。
- 点击操作列 删除 按钮。
- 点击提示中的 确认 按钮完成逻辑库的删除。
对象管理 #
表
| 功能 | 说明 |
|---|---|
| 新建 | 新建逻辑表 |
| 表组管理 | 表组管理 |
| 查看表结构 | 查看建表(create table)语句 |
| 查看表分布 | 查看表的物理分布 |
| 修改表 | 修改表结构 |
| 删除表 | 删除表 |
插件
| 功能 | 说明 |
|---|---|
| 添加分片 | 为已经存在的表增加分片插件配置 |
| 修改分片 | 为已经存在的表修改分片插件配置 |
| 添加加密 | 为已经存在的表增加加密插件配置 |
| 修改加密 | 为已经存在的表修改加密插件配置 |
新建表 #
适用场景
在逻辑库中新建表
注意事项
集群可以正常访问,已有逻辑库
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击右上角 新建表 按钮,进入新建表的页面。 新建表时,分片插件和加密插件可选添加;分片插件和加密插件分别可以使用常规和自定义的方式创建。
- 填写信息,具体参数见下表。 表配置
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 表类型 | 选择 | 必选 | 选择分片表时出现存储节点及以下信息 选择广播表时不出现存储节点及以下信息 |
添加分片配置 常规配置
分片插件配置:常规表示格式化的定义规则;自定义表示使用 DistSQL 定义规则,常规方式不用定义存储节点;常规和自定义二选一配置,选择哪种方式就出现对应的配置项。
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 存储节点 | 勾选逻辑库的存储节点 | 必填 | 可多选,存储节点的节点名称填充至存储节点的文本框中 | |
| 存储节点 | 自动填充 | 必填 | 多个存储节点的名称逗号分隔,不可编辑 | |
| 分片键 | 表结构中解析出的字段 | 必填 | 结合分片算法校验 | |
| 分片算法 | 内置算法 | 必填 | 结合分片键的类型校验 | |
| 算法参数 | 用户输入 | 必填 | 不限 | 根据分片算法校验参数,根据不同算法提供参数示例 |
| 分布式序列 | 表结构中解析出的字段 | 选填 | 需要使用主键生成策略的列 | |
| 分布式序列生成策略 | 内置算法 | 结合键值列的类型和长度校验【分布式序列】有数据时【分布式序列生成策略】为必填【分布式序列】无数据时【分布式序列生成策略】此行不显示 | ||
| 策略参数 | 用户输入 | 不限 | 根据键值生成策略法校验参数,根据不同策略提供参数示例【分布式序列生成策略】有数据时【策略参数】为必填【分布式序列生成策略】无数据时【策略参数,此行不显示| |
添加分片配置 自定义配置
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 用户输入 | 必填 | 不限 | DistSQL,执行时校验 |
添加加密配置 常规配置
加密插件配置:常规表示格式化的定义规则;自定义表示使用 DistSQL 定义规则,常规和自定义二选一配置,选择哪种方式就出现对应的配置项。
【使用加密列查询】勾选,查询时使用加密后数据列;不勾选,查询时使用加密前数据列。
默认为勾选。
当有明文存储未勾选时,【使用加密列查询】必须勾选,且不能更改。
当明文存储全部勾选时,【使用加密列查询】允许改为不勾选。
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 加密算法 | 内置算法 | 必填 | 结合逻辑列 逻辑列类型长度,密文列数据类型长度校验 | |
| 加密算法参数 | 用户输入 | 必填 | 不限 | 根据加密算法校验参数,根据不同算法提供参数示例 |
| 需要加密的列 | 下拉选择 | 必选 | 需要加密的列为逻辑列,明文列和密文列自动创建,明文列的数据类型和长度取自用户表中需要加密的列的数据类型和长度;密文列的数据类型和长度根据算法定义,同时添加两个加密列的时候,添加第二个加密列时筛选时不能出现第一个被加密的字段 | |
| 存储明文 | 用户勾选 | 勾选,在数据库中存储明文;不勾选,不在数据库中存储明文 |
添加加密配置 自定义配置
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 用户输入 | 必填 | 不限 | Distsql,执行时校验 |
- 点击 确认 完成表的新建。
表组管理 #
适用场景
将部署了相同算法的分片插件绑定成组,用于优化查询。
注意事项
集群可以正常访问,已有逻辑库,表的分片插件配置一致
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击右上角 表组管理 按钮,进入表组管理的页面。
- 填写信息,具体参数见下表。
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 首个成员 | 下拉列表中选择 当前逻辑库中分片表 | 必填 | 用户预期绑定规则的表中任选一个,无主次之分 | |
| 其他成员 | 下拉列表中选择 当前逻辑库中分片表,符合与首个成员绑定表规则的其他表 | 必填 | 可多选 |
- 点击 确认 完成表组的管理。
查看表结构 #
适用场景
查看create table形式的表结构,无法看到插件配置。
注意事项
集群可以正常访问,已有逻辑库,已有表。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击操作列 查看表结构 按钮,进入查看表结构的页面。
- 点击 返回,返回表对象列表。
查看表分布 #
适用场景
查看表所在的存储节点
注意事项
集群可以正常访问,已有逻辑库,已有表。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击操作列 查看表分布 按钮,进入查看表分布的页面。
- 点击 返回,返回表对象列表。
修改表 #
适用场景
修改表结构
注意事项
集群可以正常访问,已有逻辑库,已有表。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击操列 修改表 按钮,进入修改表的页面。
- 填写修改表结构的 SQL,可以点击示例,查看语句示例。
- 点击 确认 完成表修改。
删除 #
适用场景
删除表,删除插件配置,删除表结构和数据。
注意事项
集群可以正常访问,已有逻辑库,已有表,删除是物理删除,无法恢复,请谨慎操作。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击操列 删除 按钮,进入修改表的页面。
- 点击 确认 完成表删除。
插件-添加分片 #
适用场景
在已有表中增加分片插件配置。
注意事项
集群可以正常访问,已有逻辑库,已有表,表中无数据,表中无分片插件配置。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击插件列 添加分片 按钮,进入 添加分片 的页面。
- 填写信息,具体参数见下表。
分片插件配置:常规表示格式化的定义规则;自定义表示使用DIstSQL定义规则,常规方式不用定义存储节点;常规和自定义二选一配置,选择哪种方式就出现对应的配置项。
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 存储节点 | 勾选逻辑库的存储节点 | 必填 | 可多选,存储节点的节点名称填充至存储节点的文本框中 | |
| 存储节点 | 自动填充 | 必填 | 多个存储节点的名称逗号分隔,不可编辑 | |
| 分片键 | 表结构中解析出的字段 | 必填 | 结合分片算法校验 | |
| 分片算法 | 内置算法 | 必填 | 结合分片键的类型校验 | |
| 算法参数 | 用户输入 | 必填 | 不限 | 根据分片算法校验参数,根据不同算法提供参数示例 |
| 分布式序列 | 表结构中解析出的字段 | 选填 | 需要使用主键生成策略的列 | |
| 分布式序列生成策略 | 内置算法 | 结合键值列的类型和长度校验【分布式序列】有数据时【分布式序列生成策略】为必填;【分布式序列】无数据时【分布式序列生成策略】此行不显示 | ||
| 策略参数 | 用户输入 | 不限 | 根据键值生成策略法校验参数,根据不同策略提供参数示例【分布式序列生成策略】有数据时【策略参数】为必填【分布式序列生成策略】无数据时【策略参数】此行不显示 |
自定义
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 用户输入 | 必填 | 不限 | DistSQL,执行时校验 |
- 点击 确认 完成分片插件配置的添加。
插件-修改分片 #
适用场景
在已有表中增加分片插件配置。
注意事项
集群可以正常访问,已有逻辑库,已有表,表中无数据,表中已有分片插件配置。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击插件列 修改分片 按钮,进入修改分片的页面。 进入修改分片插件的页面,可以看到分片插件的配置,如果是常规方式添加的分片插件,会以常规方式显示;如果是自定义方式添加的分片插件,会以自定义方式显示。
- 填写信息,具体参数见下表。 分片插件配置:常规表示格式化的定义规则;自定义表示使用DIstSQL定义规则,常规方式不用定义存储节点;常规和自定义二选一配置,选择哪种方式就出现对应的配置项。
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 存储节点 | 勾选逻辑库的存储节点 | 必填 | 可多选,存储节点的节点名称填充至存储节点的文本框中 | |
| 存储节点 | 自动填充 | 必填 | 多个存储节点的名称逗号分隔,不可编辑 | |
| 分片键 | 表结构中解析出的字段 | 必填 | 结合分片算法校验 | |
| 分片算法 | 内置算法 | 必填 | 结合分片键的类型校验 | |
| 算法参数 | 用户输入 | 必填 | 不限 | 根据分片算法校验参数,根据不同算法提供参数示例 |
| 分布式序列 | 表结构中解析出的字段 | 选填 | 需要使用主键生成策略的列 | |
| 分布式序列生成策略 | 内置算法 | 结合键值列的类型和长度校验【分布式序列】有数据时【分布式序列生成策略】为必填;【分布式序列】无数据时【分布式序列生成策略】此行不显示 | ||
| 策略参数 | 用户输入 | 不限 | 根据键值生成策略法校验参数,根据不同策略提供参数示例【分布式序列生成策略】有数据时【策略参数】为必填【分布式序列生成策略】无数据时【策略参数】此行不显示 |
自定义
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 用户输入 | 必填 | 不限 | DistSQL,执行时校验 |
- 点击 确认 完成分片插件配置的修改。
插件-添加加密 #
适用场景
在已有表中增加加密插件配置。
注意事项
集群可以正常访问,已有逻辑库,已有表,表中无加密插件配置,不涉及数据清洗。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击插件列 添加加密 按钮,进入添加加密的页面。
- 填写信息,具体参数见下表。
加密插件配置:常规表示格式化的定义规则;自定义表示使用DIstSQL定义规则,常规和自定义二选一配置,选择哪种方式就出现对应的配置项 【使用加密列查询】勾选,查询时使用加密后数据列;不勾选,查询时使用加密前数据列;
默认为勾选;
当有明文存储未勾选时,【使用加密列查询】必须勾选,且不能更改;
当明文存储全部勾选时,【使用加密列查询】允许改为不勾选。
常规
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 加密算法 | 内置算法 | 必填 | 结合逻辑列 逻辑列类型长度,密文列数据类型长度校验 | |
| 加密算法参数 | 用户输入 | 必填 | 不限 | 根据加密算法校验参数,根据不同算法提供参数示例 |
| 需要加密的列 | 下拉选择 | 必选 | 需要加密的列为逻辑列,明文列和密文列自动创建,明文列的数据类型和长度取自用户表中需要加密的列的数据类型和长度;密文列的数据类型和长度根据算法定义,同时添加两个加密列的时候,添加第二个加密列时筛选时不能出现第一个被加密的字段 | |
| 存储明文 | 用户勾选 | 勾选,在数据库中存储明文;不勾选,不在数据库中存储明文 |
自定义
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 用户输入 | 必填 | 不限 | DistSQL,执行时校验 |
- 点击 确认 完成加密插件配置的添加。
插件-修改加密 #
适用场景
在已有表中增加分片插件配置。
注意事项
集群可以正常访问,已有逻辑库,已有表,表中已有加密插件配置,不涉及数据清洗。
操作步骤
- 登录 SphereEx-Console。
- 点击 集群管理->对象 进入表对象列表。
- 点击插件列 修改加密 按钮,进入修改加密的页面。 进入修改加密插件的页面,可以看到加密插件的配置,如果是常规方式添加的加密插件,会以常规方式显示;如果是自定义方式添加的加密插件,会以自定义方式显示 加密插件配置:常规表示格式化的定义规则;自定义表示使用 DistSQL 定义规则,常规和自定义二选一配置,选择哪种方式就出现对应的配置项。
- 填写信息,具体参数见下表。 【使用加密列查询】勾选,查询时使用加密后数据列;不勾选,查询时使用加密前数据列 ;
默认为勾选;
当有明文存储未勾选时,【使用加密列查询】必须勾选,且不能更改;
当明文存储全部勾选时,【使用加密列查询】允许改为不勾选。
常规配置
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 加密算法 | 内置算法 | 必填 | 结合逻辑列 逻辑列类型长度,密文列数据类型长度校验 | |
| 加密算法参数 | 用户输入 | 必填 | 不限 | 根据加密算法校验参数,根据不同算法提供参数示例 |
| 需要加密的列 | 下拉选择 | 必选 | 需要加密的列为逻辑列,明文列和密文列自动创建,明文列的数据类型和长度取自用户表中需要加密的列的数据类型和长度;密文列的数据类型和长度根据算法定义,同时添加两个加密列的时候,添加第二个加密列时筛选时不能出现第一个被加密的字段 | |
| 存储明文 | 用户勾选 | 勾选,在数据库中存储明文;不勾选,不在数据库中存储明文 |
自定义配置
| 字段 | 数据来源 | 选填/必填 | 长度限制 | 说明 |
|---|---|---|---|---|
| 用户输入 | 必填 | 不限 | DistSQL,执行时校验 |
- 点击 确认 完成加密插件配置的修改。
SQL管理 #
| 功能 | 说明 |
|---|---|
| 慢日志 | 新建逻辑表 |
| 执行计划 | 表组管理 |
| SQL审计 | 查看建表(create table)语句 |
慢日志 #
适用场景
查看集群产生的慢日志
注意事项
- 集群可以正常访问
- 慢日志已经打开
- 可以通过 SQL 语句、DistSQL 用户、计算节点、模糊查询;时间、逻辑库、SQL 类型,执行时长 等值查询 筛选慢日志。
操作步骤
- 登录 SphereEx-Console。
- 点击 SQL管理->慢日志 进入慢日志页面。 慢日志的内容包括:时间、用户、计算节点、逻辑库、SQL 类型、执行时长、SQL 语句。
悬停至 查看执行计划 可以跳转至执行计划页面,查看慢 SQL。
- 点击 导出 可以导出符合条件的所有日志
执行计划 #
适用场景
查看SQL的执行路径
注意事项
集群可以正常访问
操作步骤
- 登录 SphereEx-Console。
- 点击 SQL管理->执行计划 进入慢日志页面。
- 选择集群选择逻辑库输入SQL语句,点击 查看执行计划 按钮,查看执行计划。
SQL审计 #
适用场景
通过查看集群执行过的所有SQL,做事后审计。
注意事项
- 集群可以正常访问
- 审计日志已经打开
- 可以通过 SQL 语句、DistSQL用户、计算节点、模糊查询;时间范围、SQL 类型,等值查询、筛选审计日志。
操作步骤
- 登录 SphereEx-Console。
- 点击 SQL管理->SQL审计 进入SQL审计日志页面。 审计日志的内容包括:时间、DistSQL用户、计算节点、逻辑库、SQL 类型、SQL 语句。
- 点击 导出 可以导出符合条件的所有日志。
日志管理 #
通过 SphereEx-Console 查看日志 #
适用场景
通过查看集群计算节点的运行日志。
注意事项
- 集群可以正常访问
- 可以通过关键字模糊查询;时间范围等值查询筛选运行日志。
操作步骤
- 登录 SphereEx-Console。
- 点击 日志管理 进入 日志管理页面。
- 点击 导出 可以导出符合条件的所有日志。
日志管理相关参数 #
system-log-level 系统日志级别,非内置 logger 均使用该配置 system-log-pattern 系统日志格式,全局通用
DistSQL 参数修改示例
SET DIST VARIABLE system_log_level = DEBUG
SET DIST VARIABLE system_log_pattern = '[%-8level] %d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %logger{39} - %msg%n'
通过 SphereEx-Console 调整运行日志参数请参考集群管理参数管理
通过 DistSQL 调整运行日志请参考日志管理
参数详解请参考 集群参数列表
连接集群 #
用户可以使用多种方式登录到集群:
- SphereEx-Console:用户可使用 SphereEx-Console,登录后通过 GUI 界面完成管理动作(内置受约束的 DistSQL,SQL 终端此次尚不提供)。
- Database Command:例如 MySQL Client、PG PSQL,登录到集群中任意计算节点。通过 USE 定位到逻辑库,执行 SQL。
使用示例:
mysql -uroot -p -P3307 -h127.0.0.1 - Third Database Tools:例如 navicate 等工具,部分功能受限,待测试Todo。