集群安装卸载 #

前提条件

创建集群前，需先完成相关资源（主机、数据库）和组件（治理中心、监控中心、日志中心）的创建或注册。

驱动说明

SphereEx-Boot 安装集群时，用户需要自行下载数据库驱动，放入 proxy 的目录中。

SphereEx-Console 安装集群时，自带 MySQL 8.0 驱动。

SphereEx-Boot 安装集群 #

说明：安装卸载集群，实际上是安装卸载计算节点，使用 SphereEx-Boot 创建集群会同步创建治理中心。

链接到快速入门部分的【使用 SphereEx-Boot 创建集群】

SphereEx-Boot 卸载集群 #

使用 SphereEx-Boot 卸载集群会同步卸载治理中心。

使用命令 spex cluster uninstall --name <cluster-name> 卸载集群，会删除掉部署目录。

SphereEx-Console 安装集群 #

适用场景

实际上是安装计算节点和注册存储节点，治理中心已被创建或注册是创建集群的必要条件。

注意事项

• 主机已经注册，注册使用的主机用户的账号有目录的读写权限。

• 数据库实例已经被注册。

• 安装启动计算节点默认会同时启动 Engine-Agent

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->集群 进入集群列表。
3. 点击右上角 新建 按钮。
4. 填写信息，具体参数见下表。 集群信息

计算节点

存储节点（ 可选）

5. 点击 确定，完成集群的安装。

SphereEx-Console 注册集群 #

适用场景

将已经安装好的集群，注册到 SphereEx-Console 中。

注意事项

• 集群已经被安装，且能正常提供服务。
• 注册的集群中如果有 oracle 存储单元，需要将 proxy_frontend_database_protocol_type 参数调整为 MySQL，且将oracle的驱动放入proxy 的 lib目录下，在 Console 中操作重启

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->集群 进入集群列表。
3. 点击右上角 注册 按钮，进入注册页面。
4. 填写信息，具体参数见下表。 基本信息

计算节点信息

5. 点击注册主机完成主机注册，信息填写参考主机的注册部分。
6. 点击确定，完成集群的注册。

SphereEx-Console 卸载集群 #

适用场景

从 SphereEx-Console 中删除集群、、卸载计算节点软件。

注意事项

集群已停止，勾选同步卸载软件，同步卸载计算节点的软件，并且卸载监控和日志配置，删除namespace信息， SphereEx-Console 解除对集群的管理。

操作步骤

1. 登录 SphereEx-Console。
2. 在控制台左上角选择 集群管理 > 集群 进入集群列表。
3. 单击列表中操作列的 删除 按钮。
4. 点击提示框中的 确认 勾选同步卸载软件 完成集群的卸载。

SphereEx-Console 注销集群 #

适用场景

从 SphereEx-Console 解除对集群的管理。

注意事项

无需停止集群，仅解除对集群的管理。

操作步骤

1. 登录 SphereEx-Console。
2. 在控制台左上角选择 集群管理 > 集群。
3. 单击列表中操作列的 删除 按钮。
4. 点击提示框中的 确认 不勾选同步卸载软件 完成集群的注销。

集群运维管理 #

集群管理功能说明 #

指定集群刷新 #

适用场景

指定集群刷新

前提条件

集群已经被注册或安装。

操作步骤

1. 登录 SphereEx-Console。
2. 在控制台左上角选择 集群管理 > 集群 进入集群列表。
3. 点击列表操作列中的 刷新 按钮完成集群刷新。

所有集群刷新 #

适用场景

刷新列表中所有集群

前提条件

集群已经被注册或安装。

操作步骤

1. 登录 SphereEx-Console。
2. 在控制台左上角选择 集群管理 > 集群 进入集群列表。
3. 点击右上角 刷新 按钮 完成刷新。

参数管理 #

适用场景

管理集群参数，在值域范围内修改参数，将参数重置成默认值。

注意事项

集群可以访问

操作步骤

1. 登录 SphereEx-Console。
2. 在控制台左上角选择 集群管理 > 集群进入集群列表。
3. 点击列表操作列中的参数管理按钮进入参数管理页面。
4. 点击重置按钮弹出参数重置页面，左下角提示修改后是否立即生效，点击确认将参数重置为默认值。
5. 点击修改按钮弹出参数修改页面，左下角提示修改后是否立即生效，点击确认完成参数修改。

License #

适用场景

管理集群License，更新license

注意事项

集群可以访问

操作步骤

1. 登录 SphereEx-Console。
2. 在控制台左上角选择 集群管理 > 集群 进入集群列表。
3. 点击列表操作列中的 License 按钮进入管理页面。

有 License 时，可以看到 License 基本信息。

无 License 时，可以看到无 License 提示。

4. 点击左上角返回按钮返回集群列表。
5. 点击右上角更新 License。 添加 License key，点击预览可以预览 License 信息。
6. 点击确认完成 License 的更新

修改 #

适用场景

可以修改集群的描述和 SphereEx-Console 登录计算节点的信息。

前提条件

集群已经被注册或安装。

操作步骤

1. 登录 SphereEx-Console。
2. 在控制台左上角选择 集群管理 > 集群 进入集群列表。
3. 点击列表操作列中的 修改 按钮，进入修改页面。
4. 填写如下信息：

5. 点击提示框中的 确认 完成修改。

启动 #

适用场景

启动指定集群

注意事项

不可重复启动，已经启动会提示已启动

集群启动顺序：

a. 治理中心：为集群启动的必要条件，监测是否启动；如未启动，提示用户手动启动，集群将启动失败。

b. 日志中心：为集群启动的可选条件，监测是否启动；如有异常，提示错误，未启动提示用户手动启动，不影响集群的启动。

c. 监控中心：为集群启动的可选条件，监测是否启动；如有异常，提示错误，未启动提示用户手动启动，不影响集群的启动。

d. 计算节点：为集群启动的必选条件，监测是否启动；如有异常，提示错误，未启动提示用户手动启动；部分节点可用，即可启动，至少有一个。

e. 存储节点：如果存在存储节点则为必选项，如有异常，集群将启动失败，如果不存在存储节点，不影响集群启动。

操作步骤

1. 登录 SphereEx-Console。
2. 在控制台左上角选择 集群管理 > 集群 进入集群列表。
3. 点击列表操作列中的 启动 按钮完成启动。

停止 #

适用场景

停止指定集群

注意事项

• 停止集群实际上只停止计算节点，集群停止后将无法使用请谨慎操作。
• 集群被停止后，操作列按钮可点，但是无数据。

操作步骤

1. 登录 SphereEx-Console。
2. 在控制台左上角选择 集群管理 > 集群 进入集群列表。
3. 点击列表操作列中的 停止 按钮完成停止。

配置日志 #

适用场景

将集群计算节点的日志在 SphereEx-Console 平台集中管理。

配置集群的日志，即配置计算节点的日志，将运行日志和慢日志采集汇总到日志中心。可以通过Console的 SQL管理中慢日志和日志功能筛选、查看、导出日志。其中可以在慢日志中直接查看sql的执行计划。

注意事项

• 集群已经被安装或注册
• 集群计算节点所在的主机已经被注册，注册使用的主机用户的账号有目录的读写权限
• 日志中心已经安装

操作步骤

1. 登录 SphereEx-Console。
2. 在控制台左上角选择 集群管理 > 集群 进入集群列表。
3. 点击列表操作列中的 配置日志 按钮进入配置日志页面。
4. 填写如下信息：

5. 点击 注册主机 完成主机注册，信息填写参考主机的注册部分。
6. 点击提示框中的 确认 完成配置。

配置监控 #

请参考集群监控

计算节点管理功能说明 #

添加节点 #

适用场景

为集群扩容计算资源

注意事项

主机已经注册，注册使用的主机用户的账号有目录的读写权限。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->集群 进入集群列表。
3. 点击操作列 管理节点，默认进入计算点列表。
4. 点击右上角 添加节点，进入添加节点页面。
5. 填写信息，具体参数见下表：

6. 点击 确定，完成计算节点的添加。

探活 #

适用场景

探活计算节点

注意事项

集群已经被注册或安装

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->集群 进入集群列表。
3. 点击操作列 管理节点，默认进入计算点列表。
4. 点击列表操作列中的 探活 按钮完成节点探活。

刷新 #

适用场景

刷新计算节点

注意事项

集群已经被注册或安装。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->集群 进入集群列表。
3. 点击操作列 管理节点，默认进入计算点列表。
4. 点击列表操作列中的 刷新 按钮完成节点刷新。

启用 #

适用场景

启用已禁用的节点

注意事项

节点处于禁用状态

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->集群 进入集群列表。
3. 点击操作列 管理节点，默认进入计算点列表。
4. 点击列表操作列中的 启用 按钮完成节点启用。

禁用 #

适用场景

禁用节点，禁用后的节点将不会有新的流量，正在执行的进程不会受影响。

注意事项

节点处于启用状态。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->集群 进入集群列表。
3. 点击操作列 管理节点，默认进入计算点列表。
4. 点击列表操作列中的 禁用 按钮完成节点禁用。

使用SphereEx-Console启动计算节点 #

适用场景

启动处于停止状态的节点

注意事项

• 节点处于停止状态

• 集群处于停止状态时，可以点击管理节点逐个启动计算节点，只要有一个计算节点是可用时集群即可用。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->集群 进入集群列表。
3. 点击操作列 管理节点，默认进入计算点列表。
4. 点击列表操作列中的 启动 按钮完成节点启动。

单独启动计算节点 #

1. 启动步骤

  a. 下载 DBPlusEngine-Proxy 的最新发行版。

  b. 解压缩后修改 conf/global.yaml 和以 database- 前缀开头的文件，如：conf/database-xxx.yaml 文件，进行分片规则、读写分离规则配置。

  c. Linux 操作系统请运行 bin/start.sh，Windows 操作系统请运行 bin/start.bat 启动 ShardingSphere-Proxy。

2. 选择数据库协议

使用 PostgreSQL

  a. 使用任何 PostgreSQL 的客户端连接。如: psql -U root -h 127.0.0.1 -p 3307

使用 MySQL

  b. 将 MySQL 的 JDBC 驱动程序复制至目录 ext-lib/。

  c. 使用任何 MySQL 的客户端连接。如: mysql -u root -h 127.0.0.1 -P 3307

使用 openGauss

  a. 将以 org.opengauss 包名为前缀的 openGauss 的 JDBC 驱动程序复制至目录 ext-lib/。

  b. 使用任何 openGauss 的客户端连接。如: gsql -U root -h 127.0.0.1 -p 3307

3. 选择元数据持久化仓库

使用 ZooKeeper

默认集成 ZooKeeper Curator 客户端。

使用 Etcd

将 Etcd 的客户端驱动程序复制至目录 ext-lib/。

4. 使用分布式事务

具体可参考分布式事务。

5. 使用自定义算法

当用户需要使用自定义的算法类时，可通过以下方式配置使用自定义算法，以分片为例：

  a. 实现 ShardingAlgorithm 接口定义的算法实现类。

  b. 在项目 resources 目录下创建 META-INF/services 目录。

  c. 在 META-INF/services 目录下新建文件 org.apache.shardingsphere.sharding.spi.ShardingAlgorithm

  d. 将实现类的绝对路径写入至文件 org.apache.shardingsphere.sharding.spi.ShardingAlgorithm

  e. 将上述 Java 文件打包成 jar 包。

  f. 将上述 jar 包拷贝至 DBPlusEngine-Proxy 解压后的 ext-lib/ 目录。

  g. 将上述自定义算法实现类的 Java 文件引用配置在 YAML 文件中，具体可参考配置规则。

6. 注意事项

  a. DBPlusEngine-Proxy 默认使用 3307 端口，可以通过启动脚本追加参数作为启动端口号。如: bin/start.sh 3308

  b. DBPlusEngine-Proxy 使用 conf/global.yaml 配置注册中心、认证信息以及公用属性。

  c. DBPlusEngine-Proxy 支持多逻辑数据源，每个以 database- 前缀命名的 YAML 配置文件，即为一个逻辑数据源。

  d. DBPlusEngine-Proxy 默认监听地址 0.0.0.0，可以通过启动脚本指定监听地址，使用方式可通过 bin/start.sh –help 获取。

使用SpehreEx-Console停止计算节点 #

适用场景

停止处于启动状态的节点

注意事项

• 节点处于启动状态
• 最后一个计算节点被停止后集群会停止

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->集群 进入集群列表。
3. 点击操作列 管理节点，默认进入计算点列表。
4. 点击列表操作列中的 停止 按钮完成节点停止。

单独停止计算节点 #

Linux 操作系统请运行 bin/stop.sh，Windows 操作系统请运行 bin/stop.bat 启动 ShardingSphere-Proxy。

删除 #

适用场景

从集群中计算节点

注意事项

勾选同步卸载软件会同步卸载计算节点的软件，并且卸载监控和日志配置

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->集群 进入集群列表。
3. 点击操作列 管理节点，默认进入计算点列表。
4. 单击列表中操作列的 删除 按钮。
5. 点击提示框中的 确认，节点的删除。

存储节点管理功能说明 #

注册 #

适用场景

集群扩容存储节点

注意事项

• 数据库实例已经被注册。
• 新添加的存储节点，属于集群，且未被使用。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->集群 进入集群列表。
3. 点击操作列 管理节点，点击 存储节点 进入存储点列表。
4. 单击右上角 添加节点 按钮，进入添加节点页面。
5. 填写信息，具体参数见下表。

6. 点击 确认 完成节点添加。

探活 #

适用场景

探活存储节点

注意事项

集群已经被注册或安装

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->集群 进入集群列表。
3. 点击操作列 管理节点，点击 存储节点 进入存储点列表。
4. 点击列表操作列中的 探活 按钮完成节点探活。

刷新 #

适用场景

刷新存储节点

注意事项

集群已经被注册或安装

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->集群 进入集群列表。
3. 点击操作列 管理节点，点击 存储节点 进入存储点列表。
4. 点击列表操作列中的 刷新 按钮完成节点刷新。

修改 #

适用场景

修改存储节点信息

注意事项

只能修改存储节点的用户名密码，适用于用户存储节点的用户名密码发生变更的场景，修改存储节点的用户名密码，也不会影响到其所属实例。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->集群 进入集群列表。
3. 点击操作列 管理节点，点击 存储节点 进入存储点列表。
4. 点击列表操作列中的 修改 按钮，进入修改存储节点页面。
5. 填写信息，具体参数见下表。

删除 #

适用场景

删除未被使用的存储节点

注意事项

存储节点为被逻辑库使用

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->集群 进入集群列表。
3. 点击操作列 管理节点，点击 存储节点 进入存储点列表。
4. 点击列表操作列中的 删除 按钮，完成存储节点的删除。

逻辑库管理 #

逻辑库管理功能列表

新建 #

适用场景

新建逻辑库

注意事项

• 集群可以正常访问，集群中有可用的存储节点
• 未被任何逻辑库的使用的存储节点，为可用的存储节点

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->逻辑库 进入逻辑库列表。
3. 点击右上角 新建 按钮，进入新建逻辑库的页面。
4. 填写信息，具体参数见下表。

5. 点击 确认 完成逻辑库的新建。

刷新 #

适用场景

刷新逻辑库

注意事项

集群可以正常访问

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->逻辑库 进入逻辑库列表。
3. 点击右上角 刷新 按钮，完成逻辑库刷新。

慢日志 #

适用场景

查看逻辑库产生的慢日志

注意事项

• 集群可以正常访问
• 慢日志已经打开
• 可以通过SQL 语句、DistSQL用户、计算节点、模糊查询；时间、SQL 类型，执行时长 等值查询 筛选慢日志

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->逻辑库 进入逻辑库列表。
3. 点击操作列 慢日志 按钮，跳转至慢日志页面。

慢日志的内容包括：时间、用户、计算节点、逻辑库、SQL 类型、执行时长、SQL 语句。

悬停至 查看执行计划 可以跳转至执行计划页面，查看慢日志的执行路径。

4. 点击 导出 可以导出符合条件的所有日志。

存储节点 #

适用场景

管理逻辑库的存储节点

注意事项

• 集群可以正常访问
• 未逻辑表使用的存储节点可以移除

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->逻辑库 进入逻辑库列表。
3. 点击操作列 存储节点 按钮，跳转至存储节点管理页面。
4. 通过调整 可选栏 和 已选栏 中的存储节点，完成逻辑库存储节点的调整。

UDF #

适用场景

使用 udf 实现对 oracle 数据库的存储过程进行加密

注意事项

• 集群可以正常访问
• 仅有一个逻辑库，逻辑库中注册了一个存储单元，存储单元的类型为 oracle

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->逻辑库 进入逻辑库列表。
3. 点击操作列 UDF 按钮，跳转至 UDF 配置页面。
4. 通过调整点击开关，开启或关闭 UDF。

Oracle 数据库的存储过程功能的详细介绍请参考Oracle 存储过程加密

删除 #

适用场景

删除逻辑库

注意事项

• 集群可以正常访问。
• 从集群中删除逻辑库，不会删除集群的存储节点。
• 删除逻辑库会同步删除逻辑库中的插件配置，且不可恢复，请谨慎操作。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->逻辑库 进入逻辑库列表。
3. 点击操作列 删除 按钮。
4. 点击提示中的 确认 按钮完成逻辑库的删除。

表 #

新建表 #

适用场景

在逻辑库中新建表

注意事项

• 集群可以正常访问，已有逻辑库
• 当逻辑库中注册的是在 oracle 存储单元时，建表语句中不能不能带分号";"

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->对象 进入表对象列表。
3. 点击右上角 新建表 按钮，进入新建表的页面。 新建表时，分片插件和加密插件可选添加；分片插件和加密插件分别可以使用常规和自定义的方式创建。
4. 填写信息，具体参数见下表。 表配置

添加分片配置 常规配置

分片配置：常规表示格式化的定义规则；自定义表示使用 DistSQL 定义规则，常规方式不用定义存储节点；常规和自定义二选一配置，选择哪种方式就出现对应的配置项。

添加分片配置 自定义配置

添加加密配置 常规配置

加密插件配置：常规表示格式化的定义规则；自定义表示使用 DistSQL 定义规则，常规和自定义二选一配置，选择哪种方式就出现对应的配置项。

【使用加密列查询】勾选，查询时使用加密后数据列；不勾选，查询时使用加密前数据列。

默认为勾选。

当有明文存储未勾选时，【使用加密列查询】必须勾选，且不能更改。

当明文存储全部勾选时，【使用加密列查询】允许改为不勾选。

添加加密配置 自定义配置

添加脱敏配置 常规配置

脱敏配置：常规表示格式化的定义规则；自定义表示使用 DistSQL 定义规则，常规方式不用定义存储节点；常规和自定义二选一配置，选择哪种方式就出现对应的配置项。

添加脱敏配置 自定义配置

5. 点击 确认 完成表的新建。

批量加密脱敏 #

适用场景

根据敏感数据识别功能生成的报告批量配置 加密、脱敏或加密和脱敏。

注意事项

集群可以正常访问，已有逻辑库，已经在敏感数据识别功能中生成对应逻辑库的存储单元的报告。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->表 进入表列表。
3. 点击右上角 批量加密脱敏 按钮，进入表组管理的页面。
4. 选择报告
5. 调整匹配度（可选）
6. 添加不包含在报告中的列的脱敏或加密配置
7. 删除选中的列的脱敏或加密配置
8. 点击加密或脱敏配置列的编辑按钮可以修改对应加密脱敏配置
9. 配置加密可以选择立即洗数和配置洗数资源
10. 点击 批量加密 批量脱敏 批量加密脱敏 完成批量加密脱敏，如果选择了立即数据，会启动洗数后台任务 点击 查看洗数进度 查看洗数进度，在表列表中的加密列的操作中也可以看到正在洗数的标识和洗数进度

脱敏配置 #

适用场景

用户已经整理出需要脱敏的配置，添加脱敏配置后就可以像模版一样去使用了

注意事项

Console 已经正常启动

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->表 进入表列表。
3. 点击右上角 脱敏配置 按钮，进入脱敏配置的页面。
4. 编辑如下内容，点击 确认 完成脱敏配置的添加和编辑。

加密配置 #

适用场景

用户已经整理出需要的加密配置，添加加密配置后就可以像模版一样去使用了

注意事项

Console 已经正常启动

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->表 进入表列表。
3. 点击右上角 加密配置 按钮，进入加密配置的页面。
4. 编辑如下内容，点击 确认 完成加密配置的添加和编辑。

删除脱敏 #

适用场景

用户需要删除表中的脱敏配置

注意事项

集群可以正常访问，已有逻辑库，已有表，表中的列已经配置了脱敏

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->表 进入表列表。
3. 选中表
4. 点击右上角 删除脱敏 按钮，完成对表中的列的配置的删除

分片 #

添加分片 #

适用场景

在已有表中增加分片配置。

注意事项

集群可以正常访问，已有逻辑库，已有表，表中无数据，表中无分片配置。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->对象 进入表对象列表。
3. 点击插件列 添加分片 按钮，进入 添加分片 的页面。
4. 填写信息，具体参数见下表。

分片配置：常规表示格式化的定义规则；自定义表示使用DIstSQL定义规则，常规方式不用定义存储节点；常规和自定义二选一配置，选择哪种方式就出现对应的配置项。

自定义

5. 点击 确认 完成分片插件配置的添加。

修改分片 #

适用场景

在已有表中增加分片插件配置。

注意事项

集群可以正常访问，已有逻辑库，已有表，表中无数据，表中已有分片插件配置。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->对象 进入表对象列表。
3. 点击插件列 修改分片 按钮，进入修改分片的页面。 进入修改分片插件的页面，可以看到分片插件的配置，如果是常规方式添加的分片插件，会以常规方式显示；如果是自定义方式添加的分片插件，会以自定义方式显示。
4. 填写信息，具体参数见下表。 分片插件配置：常规表示格式化的定义规则；自定义表示使用DIstSQL定义规则，常规方式不用定义存储节点；常规和自定义二选一配置，选择哪种方式就出现对应的配置项。

自定义

5. 点击 确认 完成分片插件配置的修改。

加密 #

添加加密配置 常规配置 #

适用场景

在已有表中增加加密插件配置。

注意事项

集群可以正常访问，已有逻辑库，已有表，表中无加密插件配置，不涉及数据清洗。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->对象 进入表对象列表。
3. 点击 配置加密 按钮，进入配置加密的页面。
4. 点击 新建 按钮，进入新建加密的页面。
5. 填写信息，具体参数见下表。

加密插件配置：常规表示格式化的定义规则；自定义表示使用DIstSQL定义规则，常规和自定义二选一配置，选择哪种方式就出现对应的配置项 【使用加密列查询】勾选，查询时使用加密后数据列；不勾选，查询时使用加密前数据列；

默认为勾选；

当有明文存储未勾选时，【使用加密列查询】必须勾选，且不能更改；

当明文存储全部勾选时，【使用加密列查询】允许改为不勾选。

常规

自定义

5. 点击 确认 完成加密插件配置的添加。

配置加密 #

适用场景

用于用户对表中的列做加密配置

1. 开启关闭存储明文

开启关闭存储明文会操作数据库增减字段，需谨慎操作

2. 开启关闭使用明文查询

开启使用明文查询：会使用明文列查询

关闭使用明文查询：会使用密文列查询

3. 开启关闭模糊查询

开启模糊查询后即可在加密列上使用 Like 语法查询数据

关闭模糊查询后使用 Like 语法查询数据时会报错

4. 修改加密配置

通过修改加密配置可以修改加密算法和密钥，会将密文先洗成明文，再将明文使用新的密钥洗成秘闻。所以此功能的使用前提是开启存储明文和关闭使用明文查询。

5. 删除当前列的加密配置

注意事项

当表正在配置加密过程不可以做任何操作。点击黄色沙漏可以看到配置加密的进度，一般进度会很快，当使用oracle存储过程加密时，配置加密的时间会相对较长。

洗数 #

适用场景

查看洗数进度

注意事项

正在洗数的表不可以做任何操作，可以查看加密配置

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->表 进入表列表。
3. 点击批量加密脱敏点击洗数或者是直接点击表的加密列的洗数进度洗数进度的查询，有洗数任务的表，洗数按钮旁边会出现黄色沙漏。

查看加密配置、删除加密配置、开启关闭明文存储、开启关闭明文查询、开启关闭模糊查询、修改加密配置、删除当前列的加密配置

脱敏 #

| 脱敏 | 添加脱敏配置、删除脱敏配置、修改脱敏配置|

添加脱敏配置 常规配置 #

脱敏配置：常规表示格式化的定义规则；自定义表示使用 DistSQL 定义规则，常规方式不用定义存储节点；常规和自定义二选一配置，选择哪种方式就出现对应的配置项。

添加脱敏配置 自定义配置 #

修改表中列的脱敏配置 #

1. 登录 SphereEx-Console。
2. 点击 集群管理->表 进入表列表。
3. 点击表列表中脱敏列 修改 按钮，进入脱敏修改的页面。
4. 编辑如下内容，点击 确认 完成脱敏配置的修改。

删除表中的脱敏配置 #

1. 登录 SphereEx-Console。
2. 点击 集群管理->表 进入表列表。
3. 点击表列表中脱敏列 删除 按钮，完成脱敏配置的删除。

表组管理 #

适用场景

将部署了相同算法的分片插件绑定成组，用于优化查询。

注意事项

集群可以正常访问，已有逻辑库，表的分片插件配置一致

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->对象 进入表对象列表。
3. 点击右上角 表组管理 按钮，进入表组管理的页面。
4. 填写信息，具体参数见下表。

5. 点击 确认 完成表组的管理。

查看表结构 #

适用场景

查看create table形式的表结构，无法看到插件配置。

注意事项

集群可以正常访问，已有逻辑库，已有表。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->对象 进入表对象列表。
3. 点击操作列 查看表结构 按钮，进入查看表结构的页面。
4. 点击 返回，返回表对象列表。

查看表分布 #

适用场景

查看表所在的存储节点

注意事项

集群可以正常访问，已有逻辑库，已有表。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->对象 进入表对象列表。
3. 点击操作列 查看表分布 按钮，进入查看表分布的页面。
4. 点击 返回，返回表对象列表。

修改表 #

适用场景

修改表结构

注意事项

集群可以正常访问，已有逻辑库，已有表。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->对象 进入表对象列表。
3. 点击操列 修改表 按钮，进入修改表的页面。
4. 填写修改表结构的 SQL，可以点击示例，查看语句示例。
5. 点击 确认 完成表修改。

删除 #

适用场景

删除表，删除插件配置，删除表结构和数据。

注意事项

集群可以正常访问，已有逻辑库，已有表，删除是物理删除，无法恢复，请谨慎操作。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->对象 进入表对象列表。
3. 点击操列 删除 按钮，进入修改表的页面。
4. 点击 确认 完成表删除。

用户权限 #

用户

新建用户 #

适用场景

使用 DBPlusEngine 的统一权限管理功能

注意事项

集群可以正常访问，已有逻辑库

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->用户权限 进入用户列表。
3. 点击右上角 新建用户 按钮，进入新建用户的页面。
4. 填写信息，具体参数见下表。

修改密码 #

适用场景

修改 DBPlusEngine Dist user 的密码

注意事项

集群可以正常访问，已有逻辑库

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->用户权限 进入用户列表。
3. 点击操作列 修改密码 按钮 输入新密码，点击确认完成密码修改

查看权限 #

适用场景

查看 DBPlusEngine Dist user 的权限

注意事项

集群可以正常访问，已有逻辑库

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->用户权限 进入用户列表。
3. 点击操作列 查看权限 按钮，查看用户权限呢

管理授权 #

适用场景

调整 DBPlusEngine Dist user 的权限

注意事项

集群可以正常访问，已有逻辑库

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->用户权限 进入用户列表。
3. 点击操作列 管理授权 按钮，进入授权管理页面。

删除 #

适用场景

删除 DBPlusEngine Dist user

注意事项

集群可以正常访问，已有逻辑库

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->用户权限 进入用户列表。
3. 点击操作列 删除 按钮，完成用户的删除

删除 #

适用场景

为 DBPlusEngine Dist user 添加角色

注意事项

集群可以正常访问，已有逻辑库

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->用户权限 进入用户列表。
3. 点击角色列 添加 按钮，完成用户角色的添加

角色

新建角色 #

适用场景

使用 DBPlusEngine 的统一权限管理功能，使用角色管理用户权限

注意事项

集群可以正常访问，已有逻辑库

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->用户权限->角色 进入角色列表。
3. 点击右上角 新建角色 按钮，进入新建角色的页面。
4. 填写信息，具体参数见下表。

查看权限 #

适用场景

查看角色的权限

注意事项

集群可以正常访问，已有逻辑库

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->用户权限->角色 进入角色列表。
3. 点击操作列 查看权限 按钮，查看角色权限

管理授权 #

适用场景

调整角色的权限

注意事项

集群可以正常访问，已有逻辑库

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->用户权限->角色 进入角色列表。
3. 点击操作列 管理授权 按钮，进入授权管理页面。

删除 #

适用场景

删除角色

注意事项

集群可以正常访问，已有逻辑库

操作步骤

1. 登录 SphereEx-Console。
2. 点击 集群管理->用户权限->角色 进入角色列表。
3. 点击操作列 删除 按钮，完成角色删除

SQL管理 #

慢日志 #

适用场景

查看集群产生的慢日志

注意事项

• 集群可以正常访问
• 慢日志已经打开
• 可以通过 SQL 语句、DistSQL 用户、计算节点、模糊查询；时间、逻辑库、SQL 类型，执行时长 等值查询 筛选慢日志。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 SQL管理->慢日志 进入慢日志页面。 慢日志的内容包括：时间、用户、计算节点、逻辑库、SQL 类型、执行时长、SQL 语句。

悬停至 查看SQL路由 可以跳转至SQL路由页面，查看慢 SQL的执行路由。

3. 点击 导出 可以导出符合条件的所有日志

SQL路由 #

适用场景

查看SQL的执行路由

注意事项

集群可以正常访问

操作步骤

1. 登录 SphereEx-Console。
2. 点击 SQL管理->SQL路由 进入SQL路由页面。
3. 选择集群选择逻辑库输入SQL语句，点击 查看SQL路由 按钮，查看执行路由。

SQL审计 #

适用场景

通过查看集群执行过的所有SQL，做事后审计。

注意事项

• 集群可以正常访问
• 审计日志已经打开
• 可以通过 SQL 语句、DistSQL用户、计算节点、模糊查询；时间范围、SQL 类型，等值查询、筛选审计日志。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 SQL管理->SQL审计 进入SQL审计日志页面。 审计日志的内容包括：时间、DistSQL用户、计算节点、逻辑库、SQL 类型、SQL 语句。
3. 点击 导出 可以导出符合条件的所有日志。

日志管理 #

通过 SphereEx-Console 查看日志 #

适用场景

通过查看集群计算节点的运行日志。

注意事项

• 集群可以正常访问
• 可以通过关键字模糊查询；时间范围等值查询筛选运行日志。

操作步骤

1. 登录 SphereEx-Console。
2. 点击 日志管理 进入 日志管理页面。
3. 点击 导出 可以导出符合条件的所有日志。

日志管理相关参数 #

system-log-level 系统日志级别，非内置 logger 均使用该配置 system-log-pattern 系统日志格式，全局通用

DistSQL 参数修改示例

SET DIST VARIABLE system_log_level = DEBUG
SET DIST VARIABLE system_log_pattern = '[%-8level] %d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %logger{39} - %msg%n'

通过 SphereEx-Console 调整运行日志参数请参考集群管理参数管理

通过 DistSQL 调整运行日志请参考日志管理

参数详解请参考 集群参数列表

敏感数据识别 #

介绍 #

如下图为数据全生命周期，敏感数据识别 SphereEx-SDD （简称SDD）解决的是第一阶段的问题，可帮助用户快速识别敏感数据风险，给出安全规范及可行的实施建议，加速用户安全改造工作落地。

规则管理 #

内置规则

目前内置 30 条内置规则，涵盖大部分个人信息和一部分敏感信息。

自定义规则

用户可以根据自己的数据场景，自定义规则的的正则 操作步骤：

1. 点击新增规则
2. 填写规则名称、选择数据分类、支持字段名称列表和字段名称正则表达式两种方式配置字段映射，填写规则描述
3. 根据情况选填描述
4. 点击确认

内置规则组

目前内置GDPR、GB/T 35273 两个标准规则组，分别包含内置规则，方便用户直接使用

自定义规则组

用户可以使用创建自定义规则组的方式，选择一个或者多个规则，做针对性的识别。

操作步骤：

1. 点击新增规则组
2. 填写规则组名称、选择规则
3. 点击确认

创建内置规则副本，方便用户在现有规则组中增减规则

操作步骤：

1. 内置规则组操作中点击创建副本
2. 填写规则组名称、调整规则
3. 点击确认

设置规则组中的规则

可以在规则组中配置规则的 内置字段映射、自定义字段映射、数据分级、安全建议

数据源管理 #

为数据识别添加对应的数据源，目前可以支持 MySQL、Oracle、SQLServer、PostgreSQL、Presto、Hive 多种数据源，新增数据源后可以直接在操作列点“新建识别任务”可以直接创建任务。

操作步骤

1. 点击新增
2. 填写信息
3. 点击确认

系统配置 #

1. License 配置

将SphereEx授权的 License-Key 贴入文本域，点击确认即可完成License的注册。

2. 备份恢复

可以选择备份自定义规则和规则组、数据源。适用于日常备份和系统升级

任务管理 #

配置执行识别任务

操作步骤：

1. 点击新增
2. 选择 数据源和规则组
3. 选择执行模式
4. 根据需要填写备注信息
5. 选择是否立即执行
6. 点击确认

• 任务模式说明

极速模式：每张表取5W条数据，5个并发执行

全量模式：每张表取全量数据，每次取5W条数据，串行执行

自定义模式：用户定义并发和采样

• 自定义模式并行度配置

  	默认值	值域范围	说明
  并行的schema的数量	5	1～100	schema级别的并行控制，可以并行执行的schema个数
  并行的tables的数量	10	1～100	table级别的并行控制，同一个schema内可以并行执行的table的个数
  并行的条目数	10	1～100	table切片级别的并行控制，同一个table内可以并行执行的切片的个数，如果表的配置中有partition_task_num，则partition_task_num的优先级更高

• 自定义模式并行度配置采样配置

用于配置识别工具的采样

随机采样：指定采样比例，按指定的采样比例随机抽样

指定采样条数：指定扫描的行数，按数据库的分页算法取指定的条数

全量采样：全量扫描

任务执行完成会生成识别后的报告，可以在报告管理页面查看，一个任务多次执行会生成多份报告。

报告管理 #

操作列中点击查看报告即可查看对应报告。

报告中用户可以调整匹配阈值、解读标准、识别结果显示四个配置得到对应的报告结果。

• 匹配度：识别任务执行完成后得到每个字段的规则匹配度
• 匹配阈值：用户自定义可以显示在报告中的识别结果
• 修改以上配置后点击“查看报告”可以查看报告。
• 可以全文模糊搜索，可以对 字段名、匹配度、识别结果、数据分级、安全建议进行排序
• 点击“下载报告”可以将报告下载至本地，目前支持 excel 和 html 两种报告类型。

连接集群 #

用户可以使用多种方式登录到集群：

• SphereEx-Console：用户可使用 SphereEx-Console，登录后通过 GUI 界面完成管理动作（内置受约束的 DistSQL，SQL 终端此次尚不提供）。
• Database Command：例如 MySQL Client、PG PSQL，登录到集群中任意计算节点。通过 USE 定位到逻辑库，执行 SQL。 使用示例：mysql -uroot -p -P3307 -h127.0.0.1
• Third Database Tools：例如 navicate 等工具，部分功能受限，待测试Todo。