Logo
非容器化部署与管理

非容器化部署与管理 #

在私有环境中部署 SphereEx-DBPlusSuite。

  • 部署架构图

部署架构图

  • 最小化部署
主机组件组件组件组件组件组件
主机1治理中心1监控中心-ZK-exporter计算节点1日志中心-filebeat监控中心日志中心-master1-data1
主机2治理中心2监控中心-ZK-exporter计算节2日志中心-filebeat日志中心-master2-data2
主机3治理中心3监控中心-ZK-exporter计算节点3日志中心-filebeat日志中心-logstash日志中心-master3-data3
  • 推荐部署
主机组件组件插件
主机1治理中心1监控中心-ZK-exporter
主机2治理中心2监控中心-ZK-exporter
主机3治理中心3监控中心-ZK-exporter
主机4日志中心-master1-data1
主机5日志中心-master2-data2
主机6日志中心-master3-data3
主机7日志中心-logstash
主机8计算节点1日志中心-filebeat
主机9计算节点2日志中心-filebeat
主机10计算节点3日志中心-filebeat
主机11监控中心

集群生态工具的安装卸载 #

SphereEx-Boot 的安装卸载 #

  • 安装 SphereEx-Boot

新建操作系统用户:

# groupadd spex
# useradd -g spex spex 
# passwd spex

创建推荐的安装目录: /home/spex/boot

依赖:

  • sshpass 1.0.0+

  • Python 2.7 或者 Python 3.5+

  • pip 20.0.0+

安装 SphereEx-Boot

  1. 执行如下命令,安装 SphereEx-Boot。
# pip install sphereex‑boot‑1.1.0.tar.gz
 Processing ./sphereex‑boot‑1.1.0.tar.gz
 Requirement already satisfied: ansible<=2.10.7,>=2.8.0 in /usr/lib/python2.7/site-packages (from sphereex-boot==1.1.0) (2.10.7)
 ······
  Building wheel for sphereex-boot (setup.py) ... done
  Created wheel for spex: filename=sphereex_boot-1.1.0-py2-none-any.whl size=212249 sha256=5de4a3b4f347da57697ad942f74284be38ecf12e5e0d1fefda06e5e4282c22eb
  Stored in directory: /root/.cache/pip/wheels/e5/c4/d7/64a96c1f48ffabc68df6aa164beb7a93a1ad4d81aba4b751d7

Successfully built sphereex-boot

Installing collected packages: sphereex-boot
Successfully installed sphereex‑boot‑1.1.0

查看 SphereEx-Boot 安装结果

执行命令查看 SphereEx-Boot 版本,如果输出的版本为当前安装的版本,说明安装成功。

# spex --version
Version 1.1.0
  • 卸载 SphereEx-Boot
  1. 执行卸载命令
# pip uninstall sphereex‑boot

SphereEx-Console 的安装卸载 #

  • 最小化部署

最小化部署 Console ,复用用户环境中已有的 5.7 版本及以上的 MySQL 数据库。

主机生态工具
主机1Console
  • 推荐部署

推荐部署 Console,使用独立主机和 Console 中内置的 MySQL 软件安装 Console 后台 MySQL 数据库。

主机生态工具组件
主机1ConsoleConsole 后台 MySQL 数据库(主)
主机2Console 后台 MySQL 数据库(从)

新建操作系统用户所有机器上操作(安装 Boot 时已创建此步可省略):

# groupadd spex
# useradd -g spex spex 
# passwd spex

创建推荐的安装目录: /home/spex/console

依赖:

  • JDK 1.8
  • 开启 ssh 服务
  • SphereEx-Boot

环境检查(校验依赖)

  • 查看 JDK 版本
# java -version
  • 检查是否开启 ssh 服务
# ps -aux | grep sshd
  • 检查是否安装 SphereEx-Boot
# spex --version
  • 安装 SphereEx-Console

安装流程

  1. 获取软件: 请联系我们
  2. 新建操作系统用户
# groupadd spex
# useradd -g spex spex 
# passwd spex
  1. 创建推荐的安装目录: /home/spex/boot
  2. 导出配置文件
# spex console export 
  1. 生成安装 SphereEx-Console 的配置文件 console_install.yaml

  2. 最小化的安装方式的参数文件配置参考

  3. 最小化安装前提: a. 已有 MySQL 5.7 及以上数据库。

b. 且已经创建 spex 数据库用户,并允许 console 所在主机访问。

创建 spex 用户:

create database console
create user 'spex'@'[SpherexEx-Console IP]' identified by 'XXXXXX';
grant all on console.* to spex@'[SpherexEx-Console IP]';

数据库初始化脚本 SphereEx-Console 解压后的目录中的 db 目录下的:

  schema.sql
  schema-data.sql

c. 按实际情况,参考如下方式修改配置文件,未提及参数保持默认即可。

 vi console_install.yaml
###################### SphereEx-Console Deploy Configuration Example #########################
 
# This file is an example configuration file.
# Here you can configure for the SphereEx-Console deploy.
# Deploy to remote must use ssh
 
#===================== Mysql Deploy Configuration ========================
 
# Required, Whether to install a new Mysql server
# If true Mysql master-slave will be installed
 
install_mysql: false
 

 #==================== Console Deploy Configuration =======================
console:
  # install on local or remote
  ssh_user: spex
  ssh_password: spex
  ssh_port: 22
  host: xxx.xxx.xxx.xxx
  # Required, SphereEx-Console file. for example:/root/console/SphereEx-Console.tar.gz
  file: /home/spex/boot/console.tar.gz
  # Required, deployment directory, remote or local
  install_dir: /home/spex/console
  # Required, deployment directory, remote or local
  console_config:
    server:
      port: 8088
    # software home path
    software:
      home: /home/spex/console
      spring:
      # If install_mysql is true, the param will be overwritten
      # If you use your own Mysql, edit the configuration below
    datasource:
      url: jdbc:mysql://[IP]:[PORT]/console?serverTimezone=UTC&useSSL=false&allowPublicKeyRetrieval=true # console mysql url
      username: spex  # console mysql user
      password: sphereEx@2021 # console mysql password
      driverClassName: com.mysql.jdbc.Driver # console mysql driver
  1. 推荐的安装方式的参数文件配置参考(参数文件解析请参考 链接)
  2. 按实际情况,将 SphereEx-Console 和 MySQL 主从分别部署在两台主机上,参考如下方式修改配置文件,未提及参数保持默认即可。
 vi console_install.yaml
###################### SphereEx-Console Deploy Configuration Example #########################
 
# This file is an example configuration file.
# Here you can configure for the SphereEx-Console deploy.
# Deploy to remote must use ssh
 
#===================== Mysql Deploy Configuration ========================
 
# Required, Whether to install a new Mysql server
# If true Mysql master-slave will be installed
 
install_mysql: true
 
# If install Mysql is true the param is required
 
mysql:
  master:
    # install on local or remote
    file: /home/spex/console/mysql.tar.xz
    host: xxx.xxx.xxx.xxx
    listen_port: 3306
    ssh_user: spex
    ssh_password: spex
    ssh_port: 22
    install_dir: /home/spex/console
 
  slave:
    # install on local or remote
    host: xxx.xxx.xxx.xxx
    file: /home/spex/boot/mysql.tar.xz
    # If two Mysql servers are on the same machine, listen port must be different
    listen_port: 3307
    ssh_user: root
    ssh_password: root
    ssh_port: 22
    install_dir: /home/spex/console
 
 #==================== Console Deploy Configuration =======================
console:
  # install on local or remote
  ssh_user: spex
  ssh_password: spex
  ssh_port: 22
  host: xxx.xxx.xxx.xxx
  # Required, SphereEx-Console file. for example:/root/console/SphereEx-Console.tar.gz
  file: /home/spex/boot/console.tar.gz
  # Required, deployment directory, remote or local
  install_dir: /home/spex/console
  # Required, deployment directory, remote or local
  console_config:
    server:
      port: 8088
    # software home path
    software:
      home: /home/spex/console
  1. 执行命令安装 SphereEx-Console
# spex console install -n {console_name} -c console_install.yaml
  • 查看 SphereEx-Console 列表
# spex console list
  • 卸载 SphereEx-Console
# spex console uninstall -n {console_name} 

集群生态工具的使用 #

SphereEx-Boot 的使用 #

  • SphereEx-Boot 的启动与停止

无需启动和停止,安装完成直接使用 spex 命令即可。

SphereEx-Console 使用 #

  • SphereEx-Console 的启动

登录 console 所在主机,进入 Console 的安装目录,执行启动命令。

bin/start.sh 

使用服务器的 IP 地址加端口通过浏览器访问 SphereEx-Console 平台,使用配置文件中账号和密码登录。

例如:192.168.10.18:8080

内置超级管理员的用户名/密码: admin/admin

Console 首页

概览页

  • SphereEx-Console 的停止

登录 SphereEx-Console 所在主机,进入 SphereEx-Console 的安装目录,执行停止命令。

bin/stop.sh 
  • SphereEx-Console 的备份

登录 SphereEx-Boot 所在主机,指定 SphereEx-Console 的名称进行卸载。

# spex console backup -n {name}

集群组件的安装卸载 #

计算节点和存储节点的安装卸载在集群的安装卸载部分做介绍 获取软件: 组件 治理中心(ZooKeeper) 、监控中心(Prometheus)、 日志中心(Elasticsearch Logstash Filebeat)console 内置,无需额外获取。

  • 集群组件安装方式描述

自建资源或组件:指通过 console 或者 boot 新建的组件资源

注册资源或组件:指通过 console 注册的组件资源

如下列表中描述的是,生态工具可以完成的组件安装注册卸载的功能。其中安装是通过新建功能完成的,注册是注册功能完成的,注销和卸载是通过删除功能完成的。

功能生态工具计算节点存储节点治理中心监控中心日志中心组件
安装BootYY计算节点和治理中心的安装,是合并提供,暂不支持独立安装
ConsoleYYYY实际执行调用 Boot 完成
注册Boot
ConsoleY*YY此版本不提供对监控、日志中心的注册
目前 Proxy 添加集群,刷新到列表
卸载BootYYY*- 计算节点:无法独立卸载,计算节点停止后将离开集群
- 存储节点:卸载不删除数据库,仅删除关联关系
- 治理中心:支持自建资源卸载ZK,无法独立卸载,卸载集群时卸载
- 监控中心:卸载 prometheus,删除监控配置
- 日志中心:卸载删除 ELK,卸载软件,可独立卸载节点。
ConsoleYYYYY- 计算节点:即删除节点功能,卸载软件,卸载监控,卸载日志。
- 存储节点:卸载不删除数据库,仅删除关联关系。
- 治理中心:支持自建资源卸载ZK,注册资源无法卸载。
- 监控中心:卸载 prometheus,删除监控配置和数据
- 日志中心:卸载删除 ES、Logstash,卸载软件,可独立卸载节点。
注销Boot
ConsoleYY删除不卸载软件的情况下是执行注销操作
- 存储节点:删除数据库,执行注销操作,不卸载数据库本身
- 治理中心:删除注册的治理中心,执行注销操作
  • 组件与集群关系说明

如下是集群对组件的独享和共享说明: 独享:集群的独享组件,即集群与组件是一对一的关系,一个组件只能被一个集群使用 共享:集群间的共享组件,即集群与组件是一对多的关系,一个组件可以被多个集群使用 创建集群本质是创建 Engine-Proxy(计算节点)的集群。创建一个可用的集群,计算节点、治理节点、存储节点为必选的,监控中心日志中心为非必选的。

组件独享/共享是否必选说明
计算节点独享无法单独安装,安装计算节点即安装集群
治理中心共享治理中心为共享,治理中心的一个namespace为一个独立的集群
存储节点共享存储节点与集群为多对多的关系,一个db为一个存储节点,存储节点只能注册
监控中心共享监控中心为共享
日志中心共享日志中心为共享组件,仅管理计算节点的日志。

主机的注册与注销 #

主机资源高于计算节点、存储节点、治理中心、日志中心、监控中心;需要在完成资源配置后,再完成组件的配置。主机的注册分为:单台注册、批量注册。

  • SphereEx-Console 注册单台主机

适用场景

单台注册主机,适用于注册少量主机,一台一台操作。

前提条件

主机已经安装操作系统,ssh服务已经开启,可以独立访问

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->主机 进入监控中心列表
  3. 点击右上角 注册 按钮,默认进入 单台注册 的页面
  4. 填写信息,具体参数见下表。
字段数据来源选填/必填数据存储长度限制说明
主机IP用户输入必填console mysql 存储IP格式主机列表校验唯一性
主机用户用户输入必填console mysql 存储32
用户口令用户输入必填console mysql 存储符合密码保护规则
SSH端口用户输入必填console mysql 存储校验限制:1024-5000
主机名称有默认值,用户输入选填console mysql 存储50默认值为主机IP,用户可以修改;主机列表校验唯一性
主机标签用户选择;可以多选;可以输入选填console mysql 存储用户输入的标签不存在时,后台可执行添加标签的动作
描述用户输入选填console mysql 存储500用户自定义
  • SphereEx-Console 注册多台主机

适用场景

批量注册主机,适用于批量注册多台主机的场景

前提条件

主机已经安装操作系统,ssh服务已经开启,可以独立访问

操作步骤

  1. 登录 SphereEx-Console
  2. 点击 资源->主机 进入监控中心列表
  3. 点击右上角 注册 按钮,点击批量注册批量注册主机的页面
  4. 点击 点击上传 上传文件,文件格式xlsx;文件最大支持 5M,文件内容最多包含100台主机
  5. 点击 点击此处下载模版 可以下载模版
  6. 点击右下角 下一步 进入校验页面
  7. 模版中的参数见下表。
字段数据来源选填/必填长度限制说明
主机IP用户输入必填IP格式主机列表校验唯一性
主机用户用户输入必填32
用户口令用户输入必填符合密码保护规则
SSH端口用户输入必填校验限制:1024-5000
主机名称有默认值;用户输入选填默认值为主机IP,用户可以修改;主机列表校验唯一性
监控中心用户输入选填用户输入,通过【资源】【监控】查找需要的监控中心
监控插件用户输入选填用户输入,通过【资源】【监控】【插件管理】查找需要的监控插件
监控插件端口用户输入选填用户输入,通过【资源】【监控】【插件管理】查找需要的监控插件对应的默认端口
监控插件安装路径用户输入选填用户输入,通过【资源】【监控】【插件管理】查找需要的监控插件对应的默认安装目录
主机标签用户输入选填用户输入的标签不存在时,后台可执行添加标签的动作
描述用户输入选填500用户自定义
  1. 校验结果为通过的点击 下一步 完成主机的批量注册
  • SphereEx-Console 注销主机资源

适用场景

不需要在 SphereEx-Console 中使用此主机资源

前提条件

主机未被使用,未配置监控,删除主机仅解除对主机的管理,不会删除物理主机

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->主机 进入监控中心列表。
  3. 点击列表操作列中的 删除 按钮。
  4. 点击提示框中的 确认 完成主机的注销。

监控中心的安装卸载 #

  • SphereEx-Boot 安装监控中心

前提条件

SphereEx-Boot 主机和部署 Prometheus 的主机需要实现 SSH 互信认证。

说明: 安装 Prometheus 有如下两种方式。

  • 指定参数安装

适用场景

当需要对单台主机快速进行 Prometheus 安装时可以直接输入命令进行安装。 操作步骤

  1. Prometheus 官网下载好安装包 prometheus-xxx.xxx.tar.gz。

说明:也可以使用 Boot 工具包中的 Prometheus 安装包。

  1. 直接输入命令进行安装。
$ spex component install --user "root" --password "123456" --install-dir /root/prometheus --package ./prometheus-2.33.3.linux-amd64.tar.gz --host 127.0.0.1
  • 指定配置文件安装

适用场景

当需要在多台主机部署 Prometheus 时,可以使用配置文件进行安装。

操作步骤

a. 在 Prometheus 官网下载好安装包 prometheus-xxx.xxx.tar.gz。

b. 导出配置模板 prometheus-config.yaml。

$ spex component install -t
$ ls 
prometheus-config.yaml
  1. prometheus-config.yaml 配置文件样例如下,用户根据实际情况进行配置。
install_user: root # 用户名
install_password: root # 用户密码
prometheus:
  file: /root/prometheus-x.x.x.tar.gz # prometheus 安装包路径
  servers:
    - host: 10.0.1.1 # 部署主机 IP
      install_dir: /root/prometheus/ # 单独设置安装目录
  1. 配置好 prometheus-config.yaml 配置文件,使用如下命令进行安装。
$ spex component install -f ./prometheus-config.yaml
  • SphereEx-Console 安装监控中心

适用场景

需要使用 SphereEx-Console 中的监控功能。

注意事项

安装监控中心的前提条件:主机已经注册,注册使用的主机用户的账号有目录的读写权限。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->监控中心 进入监控中心列表。
  3. 点击右上角 新建 按钮。
  4. 填写信息,具体参数见下表。
字段数据来源选填/必填长度限制说明
监控中心名称用户输入必填50在监控中心列表中校验唯一性
监控中心类型下拉选择必填目前支持:Prometheus
添加节点
IP下拉选择,主机资源列表必填同一主机可以装不同的软件,所以已经装过其他软件的的主机也可以显示
端口用户输入必填1024-5000
安装目录用户输入必填默认为 /opt 用户可以修改,没有时新建,没有权限时报错
描述用户输入选填500
  1. 点击 确定,完成监控中心的安装。
  • SphereEx-Console 卸载监控中心

适用场景

不需要使用 SphereEx-Console 中的监控功能。

注意事项

  • 删除监控中心需要保证监控中心未被使用,且被停止。
  • 点击 删除 会提示是否卸载软件,删除时选择卸载软件的监控中心将无法被 console 再次管理。

操作步骤

  1. 登录SphereEx-Console。
  2. 在控制台左上角选择 资源 > 监控中心
  3. 单击列表中操作列中的 删除 按钮。
  4. 点击提示框中的 确认,完成监控中心的卸载

治理中心的注册、注销、安装、卸载 #

  • SphereEx-Console 注册治理中心

适用场景

将用户环境中已有的 ZooKeeper 注册到 SphereEx-Console。

注意事项

用户环境中已经 ZooKeeper 已经安装,可以正常提供服务。

操作步骤

  1. 登录 SphereEx-Console。
  2. 在控制台左上角选择 资源 > 治理中心
  3. 单击右上角 注册 按钮。
  4. 填写信息,具体参数见下表。
字段数据来源选填/必填长度限制说明
治理中心类型下拉选择必填目前支持:ZooKeeper
治理中心名称用户输入必填50校验唯一性
描述用户输入选填500
  1. 点击 注册主机 完成主机注册,信息填写参考主机的注册部分。
  2. 点击提示框中的 确认,完成治理中心的注册。
  • SphereEx-Console 注销治理中心

适用场景

从 SphereEx-Console 中删除注册的 ZooKeeper。

注意事项

ZooKeeper 不会被停止或卸载,直接可以删除,监控配置将被删除,监控插件将被卸载。

操作步骤

  1. 登录 SphereEx-Console。
  2. 在控制台左上角选择 资源 > 治理中心
  3. 单击列表中操作列的 删除 按钮。
  4. 点击提示框中的 确认,完成治理中心的注销。
  • SphereEx-Console 安装治理中心

适用场景

通过 SphereEx-Console 安装 ZooKeeper。

注意事项

主机已经被注册,注册使用的主机用户的账号有目录的读写权限。

操作步骤

  1. 登录SphereEx-Console。
  2. 在控制台左上角选择 资源 > 治理中心
  3. 单击右上角 新建 按钮。
  4. 填写信息,具体参数见下表。

治理中心基本信息:

字段数据来源选填/必填长度限制说明
治理中心类型下拉选择必填目前支持:Zookeeper
治理中心名称用户输入必填50校验唯一性
治理中心软件下拉选择必填默认填充console内置的ZK对应的软件版本
描述用户输入选填500
监控中心下拉选择选填已经注册的监控中心
监控插件软件下拉选择依赖于【监控中心】默认填充console内置的ZK对应的监控插件的软件
如果监控中心已选,则此项为必填项
如果监控中心未选,则此项不能填写

节点信息:

字段数据来源选填/必填长度限制说明
节点IP用户输入必填IP:端口集群列表校验唯一性,其子集或者交集都算违反唯一性约束
节点端口用户输入必填0-65536IP:端口集群列表校验唯一性,其子集或者交集都算违反唯一性约束
监控插件端口自动填充,用户可编辑依赖于【监控中心】默认值为监控插件的默认端口
如果监控中心已选,则此项为必填项
如果监控中心未选,则此项不能填写
内部通讯端口自动填充,用户可编辑必填0-65536用于集群内部的通讯端口
默认值为2888
内部选举端口自动填充,用户可编辑必填0-65536用于集群内部的选举端口
默认值为3888
安装目录用户输入必填期望安装到的主机目录
  1. 点击提示框中的确认,完成治理中心的安装。
  • SphereEx-Console 卸载治理中心

适用场景

从 SphereEx-Console 中删除通过 SphereEx-Console 安装的 ZooKeeper。

注意事项

ZooKeeper 需要先被停止,根据勾选判断是否卸载 ZooKeeper 软件,监控配置将被删除,监控插件将被卸载。

操作步骤

  1. 登录 SphereEx-Console。
  2. 在控制台左上角选择 资源 > 治理中心
  3. 单击列表中操作列的 删除 按钮。
  4. 点击提示框中的 确认,完成治理中心的卸载。

日志中心的安装与卸载 #

  • SphereEx-Console 安装日志中心

适用场景

需要使用 SphereEx-Console 中的日志管理功能。

注意事项

主机已经注册,注册使用的主机用户的账号有目录的读写权限。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->日志中心 进入监控中心列表。
  3. 点击右上角 新建 按钮。
  4. 填写信息,具体参数见下表。 基本信息:
字段数据来源选填/必填长度限制说明
日志中心名称用户输入必填50校验唯一性
描述用户输入选填500

Elasticsearch(必填)信息:

字段数据来源选填/必填长度限制说明
软件下拉选择必填默认填充 console 内置的 Elasticsearch 版本
节点IP下拉选择主机列表必选节点 IP、角色、节点端口校验唯一性
角色用户选择必须安装一个master-node和data-node
增加第三个节点是可以选择角色
内部通讯端口用户输入必填校验限制:1024-5000节点IP、角色、节点端口校验唯一性
节点端口用户输入必填校验限制:1024-5000节点IP、角色、节点端口校验唯一性
安装目录用户输入必填当角色中无data-node时,数据目录不需要输入
数据目录用户输入必填当角色中无data-node时,数据目录不需要输入
描述用户输入选填

Logstash(必填)信息:

字段数据来源选填/必填长度限制说明
软件下拉选择必填默认填充console内置的logstash版本
节点IP下拉选择
主机列表
必选节点IP+端口校验唯一性
节点端口用户输入必填校验限制:1024-5000
安装目录用户输入必填
描述用户输入选填
  1. 点击 确定,完成日志中心的安装。
  • SphereEx-Console 卸载日志中心

适用场景

不需要使用 SphereEx-Console 中的此日志中心了。

注意事项

  • 删除日志中心需要保证日志中心未被使用,且被停止。
  • 点击删除会提示是否卸载软件,删除时选择卸载软件的日志中心将无法被 console 再次管理。

操作步骤

  1. 登录 SphereEx-Console。
  2. 在控制台左上角选择 资源 > 日志中心
  3. 单击列表中操作列中的 删除 按钮。
  4. 点击提示框中的 确认,完成日志中心的卸载。

数据库资源的注册与注销 #

  • SphereEx-Console 注册数据库资源

适用场景

将用户环境中已有的数据库注册到 SphereEx-Console 中管理。

前提条件

数据库已经安装,可以正常提供服务;允许 SphereEx-Console 访问的数据库账号已经被创建。数据库的权限,需要根据业务用户自行规划。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->数据库 进入数据库列表。
  3. 点击右上角 注册 按钮。
  4. 填写信息,具体参数见下表。
字段数据来源选填/必填长度限制说明
数据库地址用户输入必填IP ,数据库列表“实例地址”+“实例端口”唯一性校验
数据库端口用户输入必填校验限制:1024-5000
数据库类型下拉选择必填目前支持:MySQL
数据库用户用户输入必填32连接数据库实例用户
用户口令用户输入必填密码保护规则
描述用户输入选填500
  1. 点击 注册主机 完成主机注册,信息填写参考主机的注册部分。
  2. 点击提示框中的 确认,完成数据库的注册。
  • SphereEx-Console 注销数据库资源

适用场景

不需要在 SphereEx-Console 中使用此数据库资源。

前提条件

从 SphereEx-Console 中删除主机仅解除对数据库资源的管理,不会删除物理数据库。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->数据库 进入监控中心列表。
  3. 点击列表操作列中的 删除 按钮。
  4. 点击提示框中的 确认 完成数据库的注销。

集群组件的管理 #

计算节点和存储节点的管理在该部分做介绍。

主机资源管理功能说明 #

主机为集群的基础资源,只能使用 Console 管理。

功能列表如下:

功能方式说明
探活Console探活
刷新Console刷新数据到数据库读取到页面
修改Console修改主机名密码
配置监控Console配置主机监控
  • 探活

适用场景

探活主机

前提条件

主机已经被注册。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->主机 进入主机列表。
  3. 点击列表操作列中的 探活 按钮 完成主机探活。
  • 指定主机刷新

适用场景

指定主机刷新

前提条件

主机已经被注册

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->主机 进入主机列表。
  3. 点击列表操作列中的 刷新 按钮 完成刷新。
  • 所有主机刷新

适用场景

列表中所有主机刷新

前提条件

主机已经被注册

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->主机 进入主机列表。
  3. 点击右上角 刷新 按钮 完成刷新。
  • 修改

适用场景

指定主机信息的修改

前提条件

主机已经被注册,未被使用时所有信息可以修改,已经被使用后主机IP不可以被修改。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->主机 进入主机列表。
  3. 点击列表操作列中的 修改 按钮 进入主机修改页面。
  4. 填写如下信息完成主机信息的修改:
字段数据来源选填/必填长度限制说明
主机IP主机列表必填IP格式校验唯一性,未关联组件,未配置监控时可以修改
主机用户主机列表必填32可以修改
用户口令主机列表必填符合密码保护规则,可以修改
SSH 端口主机列表必填校验限制:1024-5000,可以修改
主机名称主机列表选填默认值为主机IP,用户可以修改
主机列表校验唯一性
主机标签主机列表选填用户输入的标签不存在时,后台可执行添加标签的动作,可以修改
主机标签主机列表选填用户输入的标签不存在时,后台可执行添加标签的动作,可以修改
  1. 点击提示框中的 确认 完成主机的修改。

配置监控

请参考监控告警-集群组件的监控-主机监控

监控中心管理功能说明 #

功能方式说明
查看监控插件Console查看内置的监控插件
探活Consoleping 命令
刷新Console刷新数据到数据库读取到页面
修改Console修改主机名密码
启动Console启动监控中心资源
停止Console停止监控中心资源
  • 查看监控插件

适用场景

查看内置的监控插件信息。

前提条件

操作步骤

  1. 登录 SphereEx-Console
  2. 点击 资源->监控中心 进入列表
  3. 点击右上角 监控插件 按钮进入监控插件列表页面
  4. 点击右上角 返回 按钮返回监控中心列表页面
  • 探活

适用场景

探活监控中心

前提条件

监控中心已经被安装

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->监控中心 进入列表。
  3. 点击列表操作列中的 探活 按钮 完成探活。
  • 指定监控中心刷新

适用场景

指定监控中心刷新。

前提条件

监控中心已经被安装。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->监控中心 进入监控中心列表。
  3. 点击列表操作列中的 刷新 按钮 完成刷新。
  • 修改

适用场景

指定监控中心信息的修改,可以修改监控中心名称和描述。

前提条件

监控中心已经被安装。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->监控中心 进入列表。
  3. 点击列表操作列中的 修改 按钮 进入修改页面。
  4. 填写如下信息:
字段数据来源选填/必填长度限制说明
监控中心名称用户输入必填可以修改
描述用户输入选填500可以修改
  1. 点击 确认 按钮完成完成监控中心信息的修改。
  • 启动

适用场景

启动指定监控中心

前提条件

监控中心已经被安装,监控中心不可重复启动,启动已经启动的监控中心会提示已启动。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->监控中心 进入监控中心列表。
  3. 点击列表操作列中的 启动 按钮 完成启动。
  • 停止

适用场景

停止指定监控中心

前提条件

监控中心已经被安装,监控中心不可重复停止,启动已经停止的监控中心会提示已停止,监控中心停止后,监控功能将无法使用。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->监控中心 进入监控中心列表。
  3. 点击列表操作列中的 停止 按钮,完成停止。

治理中心管理功能说明 #

功能方式说明
探活ConsolePing 命令
刷新Console刷新数据到数据库读取到页面
修改Console修改主机名密码
日志Console查看在 Console 平台中操作治理中心的日志
管理节点Console探活、刷新
配置监控Console、Boot注册主机、安装、卸载、停止、启动
启动Console、Boot启动治理中心资源
停止Console、Boot停止治理中心资源
  • 探活

适用场景

探活治理中心

前提条件

治理中心已经被安装或注册

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->治理中心 进入列表。
  3. 点击列表操作列中的 探活 按钮 完成探活。
  • 指定治理中心刷新

适用场景

指定治理中心刷新

前提条件

治理中心已经被注册或安装

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->治理中心 进入主机列表。
  3. 点击列表操作列中的 刷新 按钮,完成刷新。
  • 所有治理中心刷新

适用场景

列表中所有治理中心刷新

前提条件

治理中心已经被注册或安装。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->治理中心 进入主机列表。
  3. 点击右上角 刷新 按钮,完成刷新。
  • 修改

适用场景

指定治理中心信息的修改,可以修改监控中心名称和描述。

前提条件

治理中心已经被安装或注册

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->治理中心 进入列表。
  3. 点击列表操作列中的 修改 按钮,进入修改页面。
  4. 填写如下信息:
字段数据来源选填/必填长度限制说明
治理中心类型下拉选择必填不能修改
治理中心名称用户输入必填50校验唯一性
可以修改
描述用户输入选填500可以修改
  1. 点击确认按钮完成完成治理中心信息的修改
  • 查看操作日志

适用场景

查看在 SphereEx-Console 平台内操作治理中心的日志。

前提条件

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->治理中心 进入列表。
  3. 点击操作列 日志 按钮进入查看操作日志页面。 可以从事件和日志两个维度查看操作的日志。
  4. 点击右上角 刷新 按钮刷新页面内容。
  5. 点击右上角 返回 按钮返回列表页面。
  • 管理节点

    • 节点探活

    适用场景

    探活治理中心节点

    前提条件

    治理中心中心已经被安装或注册

    操作步骤

    a. 登录 SphereEx-Console。

    b. 点击 资源->治理中心 进入列表。

    c. 点击列表操作列中的 管理节点 按钮 进入节点列表页面。

    d. 点击节点列表中操作列 探活 按钮完成节点探活。

    e. 点击右上角 返回 按钮返回治理中心列表。

    • 节点刷新

    适用场景

    刷新治理中心节点

    前提条件

    治理中心已经被安装或注册。

    操作步骤

    1. 登录 SphereEx-Console。
    2. 点击 资源->治理中心 进入列表。
    3. 点击列表操作列中的 管理节点 按钮 进入节点列表页面。
    4. 点击节点列表中操作列 刷新 按钮完成节点刷新。
    5. 点击右上角 返回 按钮返回治理中心列表。

配置监控

请参考监控告警-集群组件的监控-治理中心监控

  • 启动

适用场景

启动指定治理中心

前提条件

  • 治理中心已经被安装,不可重复启动,启动已经启动的治理中心会提示已启动。
  • 当治理中心为注册的组件时,无法通过 SphereEx-Console 启动。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->治理中心 进入监控中心列表。
  3. 点击列表操作列中的 启动 按钮,完成启动。
  • 停止

适用场景

停止指定治理中心

前提条件

  • 治理中心已经被安装,不可重复停止,停止已经停止的治理中心会提示已停止。
  • 当治理中心为注册的组件时,无法通过 SphereEx-Console 停止。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->治理中心 进入监控中心列表。
  3. 点击列表操作列中的 停止 按钮 完成停止。

日志中心管理功能说明 #

功能方式说明
查看FilebeatConsole查看内置的filebeat版本
管理节点Console添加节点、探活、刷新、启动、停止、删除
日志Console查看在 Console 中操作日志中心的日志
启动Console启动日志中心
停止Console停止日志中心
  • 查看 Filebeat

适用场景

查看内置的Filebeat插件信息

前提条件

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->日志中心 进入列表。
  3. 点击右上角 Filebeat 按钮进入 Filebeat 插件列表页面。
  4. 点击右上角 返回 按钮返回日志中心列表页面。
  • 管理节点
    • 添加节点

适用场景

为一个日志中心添加节点

前提条件

主机已经注册,注册使用的主机用户的账号有目录的读写权限。

操作步骤

a. 登录 SphereEx-Console。

b. 点击 资源->日志中心 进入列表。

c. 点击操作列 管理节点 按钮进入节点列表页面。

d. 点击右上角 添加节点 按钮进入添加节点页面。

e. 填写信息,具体参数见下表。

Elasticsearch

字段数据来源选填/必填长度限制说明
软件下拉选择必填默认填充 console 内置的 Elasticsearch 版本
节点IP下拉选择
主机列表
必选节点IP+端口校验唯一性
角色用户选择角色不能为空
节点端口用户输入必填校验限制:1024-5000
安装目录用户输入必填
软件console 目录中的软件列表必填从 console 的软件目录中选择,对应的软件包,文档中说明软件位置
描述用户输入选填

Logstash

字段数据来源选填/必填长度限制说明
软件下拉选择必填默认填充 console 内置的 logstash 版本
节点IP下拉选择
主机列表
必选节点IP+端口校验唯一性
节点端口用户输入必填校验限制:1024-5000
安装目录用户输入必填
软件console目录中的软件列表必填从console的软件目录中选择,对应的软件包,文档中说明软件位置
描述用户输入选填500

f. 点击 确定 日志中心添加节点的功能。

g. 点击右上角 返回 按钮返回日志中心列表页面。

  • 节点探活

适用场景

探活日志中心节点

前提条件

日志中心已经被安装

操作步骤

a. 登录 SphereEx-Console。

b. 点击 资源->日志中心 进入列表。

c. 点击列表操作列中的 管理节点 按钮 进入节点列表页面。

d. 点击节点列表中操作列 探活 按钮完成节点探活。

  • 节点刷新

适用场景

刷新日志中心节点

前提条件

日志中心已经被安装

操作步骤

a. 登录 SphereEx-Console。

b. 点击 资源->日志中心 进入列表。

c. 点击列表操作列中的 管理节点 按钮进入节点列表页面。

d. 点击节点列表中操作列 刷新 或页面右上角 刷新 按钮完成制定节点和全部节点的刷新。

  • 查看节点日志

适用场景

查看在 SphereEx-Console 平台内操作日志中心节点的日志。

前提条件

操作步骤

a. 登录 SphereEx-Console。

b. 点击 资源->日志中心 进入列表。

c. 点击列表操作列中的 管理节点 按钮进入节点列表页面。

d. 点击操作列 日志 按钮进入查看操作日志页面。

可以从事件和日志两个维度查看操作的日志。

e. 点击右上角 刷新 按钮刷新页面内容。

f. 点击右上角 返回 按钮返回节点列表页面。

  • 启动节点

适用场景

启动日志中心节点

前提条件

已经启动的节点,启动为灰色不可点

操作步骤

a. 登录 SphereEx-Console。

b. 点击 资源->日志中心 进入列表。

c. 点击列表操作列中的 管理节点 按钮进入节点列表页面。

d. 点击列表操作列中的 启动 按钮,完成启动。

  • 停止节点

适用场景

停止日志中心节点

注意事项

  • 停止节点可能导致日志中心不可用,请谨慎操作。已经停止的节点,停止为灰色不可点。
  • 当停止最后一个节点后,日志中心将停止。

操作步骤

a. 登录 SphereEx-Console。

b. 点击 资源->日志中心 进入列表。

c. 点击列表操作列中的 管理节点 按钮进入节点列表页面。

d. 点击列表操作列中的 停止 按钮,完成停止。

  • 卸载日志中心节点

适用场景

缩容日志中心

注意事项

  • 只有停止的节点才可以删除;正在被使用的节点无法删除。
  • 点击删除会提示是否卸载软件,删除时不勾选卸载软件的日志中心节点将无法被 console 再次管理理,当只剩下最后一个节点时,将无法卸载,只能通过操作日志中心完成卸载。

操作步骤

a. 登录 SphereEx-Console。

b. 在控制台左上角选择 资源 > 日志中心

c. 单击列表中操作列中的 删除 按钮。

d. 点击提示框中的 确认,完成日志中心节点的卸载。

  • 查看日志中心日志

适用场景

查看在 SphereEx-Console 平台内操作日志中心的日志。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->日志中心 进入列表。
  3. 点击操作列 日志 按钮进入查看操作日志页面。 可以从事件和日志两个维度查看操作的日志。
  4. 点击右上角 刷新 按钮刷新页面内容。
  5. 点击右上角 返回 按钮返回列表页面。
  • 启动

适用场景

启动日志中心

前提条件

如果节点已经启动,启动为灰色不可点。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->日志中心 进入列表。
  3. 点击列表操作列中的 启动 按钮,完成启动。
  • 停止

适用场景

停止日志中心

注意事项

停止日志中心,日志中心将不可用,请谨慎操作。已经停止的日志中心,停止为灰色不可点。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->日志中心 进入列表。
  3. 点击列表操作列中的 管理节点 按钮进入节点列表页面。
  4. 点击列表操作列中的 停止 按钮,完成停止。

数据库资源管理功能说明 #

Console 目前仅支持MySQL数据库的管理。

功能说明
探活Ping 命令
刷新刷新数据到数据库读取到页面
修改修改主机名密码
配置监控配置数据库监控,需要先配置主机
  • 探活

适用场景

探活数据库实例

前提条件

数据库实例已经被注册。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->数据库 进入主机列表。
  3. 点击列表操作列中的 探活 按钮,完成探活。
  • 指定数据库实例刷新

适用场景

指定数据库实例刷新

前提条件

数据库实例已经被注册。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->数据库 进入主机列表。
  3. 点击列表操作列中的 刷新 按钮,完成刷新。
  • 所有数据库实例刷新

适用场景

列表中所有数据库实例刷新

前提条件

数据库实例已经被注册。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->数据库 进入主机列表。
  3. 点击右上角 刷新 按钮,完成刷新。
  • 修改

适用场景

指定数据库实例信息的修改

前提条件

数据库实例已经被注册,修改数据库用户名和口令,不影响正在使用的存储节点,修改后注册的存储节点将使用新用户名和口令。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 资源->数据库 进入主机列表。
  3. 点击列表操作列中的 修改 按钮进入主机修改页面。
  4. 填写如下信息完成信息的修改:
字段数据来源选填/必填长度限制说明
数据库用户用户输入必填可以修改
用户口令用户输入必填500可以修改
描述用户输入选填可以修改
  1. 点击提示框中的 确认 完成修改。

配置监控

请参考监控告警-集群组件的监控-数据库监控

集群安装卸载 #

前提条件

创建集群前,需先完成相关资源(主机、数据库)和组件(治理中心、监控中心、日志中心)的创建或注册。

驱动说明

SphereEx-Boot 安装集群时,用户需要自行下载数据库驱动,放入 proxy 的目录中。

SphereEx-Console 安装集群时,自带 MySQL 8.0 驱动。

SphereEx-Boot 安装集群 #

说明:安装卸载集群,实际上是安装卸载计算节点,使用 SphereEx-Boot 创建集群会同步创建治理中心。

链接到快速入门部分的【使用 SphereEx-Boot 创建集群】

SphereEx-Boot 卸载集群 #

使用 SphereEx-Boot 卸载集群会同步卸载治理中心。

使用命令 spex cluster uninstall --name <cluster-name> 卸载集群,会删除掉部署目录。

SphereEx-Console 安装集群 #

适用场景

实际上是安装计算节点和注册存储节点,治理中心已被创建或注册是创建集群的必要条件。

注意事项

  • 主机已经注册,注册使用的主机用户的账号有目录的读写权限。

  • 数据库实例已经被注册。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->集群 进入集群列表。
  3. 点击右上角 新建 按钮。
  4. 填写信息,具体参数见下表。 集群信息
字段数据来源选填/必填长度限制说明
集群名称用户输入必填50校验唯一性
描述用户输入选填500
治理中心地址治理中心名称列表必填
命名空间用户输入必填50字母数字下划线,不能添加一个已经存在的命名空间
监控中心监控中心IP:端口选填
日志中心日志中心名称选填

计算节点

字段数据来源选填/必填长度限制说明
计算节点软件用户选择必填默认填充console支持的最新版本的engine
filebeat软件用户选择依赖于【日志中心】默认填充console内置的filebeat
日志中心已填,此项为必填
日志中心未填,此项不能填
节点名称用户输入必填默认为IP:端口,集群内唯一性校验
节点IP主机列表必填校验页面中计算节点的 IP和端口的唯一性
节点端口用户输入必填1024-5000
监控插件端口有默认值,用户可自定义必填默认填充9090,可以指定
安装目录用户输入必填默认为/opt,主机上无此目录时创建
logstsh下拉选择
日志中心的logstash
依赖于【日志中心】日志中心已填,此项为必填
日志中心未填,此项不能填
操作结果返回安装、卸载结果或报错

存储节点( 可选)

字段数据来源选填/必填长度限制说明
节点名称用户输入必填50大小写字母,数字,下划线中的一种或组合
数据库实例下拉选择必填
端口自动填充必填依据数据库实例自动填充
用户名自动填充,可以修改必填32依据数据库实例自动填充
口令自动填充,可以修改必填依据数据库实例自动填充
数据库下拉选择必填
扩展参数(&分割)用户输入选填不限制
  1. 点击 确定,完成集群的安装。

SphereEx-Console 注册集群 #

适用场景

将已经安装好的集群,注册到 SphereEx-Console 中。

注意事项

集群已经被安装,且能正常提供服务。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->集群 进入集群列表。
  3. 点击右上角 注册 按钮,进入注册页面。
  4. 填写信息,具体参数见下表。 基本信息
字段数据来源选填/必填长度限制说明
集群名称用户输入必填50唯一性校验
console中集群的名称
描述用户输入选填500用户在console中自定义的集群描述信息

计算节点信息

字段数据来源选填/必填长度限制说明
计算节点地址用户输入必填任意一个proxy的地址,目前只支持IPv4的地址
计算节点端口用户输入必填对应proxy的端口
计算节点用户名用户输入必填32对应proxy的用户名
用户口令用户输入必填对应proxy的密码
  1. 点击注册主机完成主机注册,信息填写参考主机的注册部分。
  2. 点击确定,完成集群的注册。

SphereEx-Console 卸载集群 #

适用场景

从 SphereEx-Console 中删除集群、、卸载计算节点软件。

注意事项

集群已停止,勾选同步卸载软件,同步卸载计算节点的软件,并且卸载监控和日志配置,删除namespace信息, SphereEx-Console 解除对集群的管理。

操作步骤

  1. 登录 SphereEx-Console。
  2. 在控制台左上角选择 集群管理 > 集群 进入集群列表。
  3. 单击列表中操作列的 删除 按钮。
  4. 点击提示框中的 确认,勾选同步卸载软件 完成集群的卸载。

SphereEx-Console 注销集群 #

适用场景

从 SphereEx-Console 解除对集群的管理。

注意事项

无需停止集群,仅解除对集群的管理。

操作步骤

  1. 登录 SphereEx-Console。
  2. 在控制台左上角选择 集群管理 > 集群
  3. 单击列表中操作列的 删除 按钮。
  4. 点击提示框中的 确认,不勾选同步卸载软件 完成集群的注销。

集群运维管理 #

集群管理功能说明 #

功能说明
刷新刷新数据到数据库读取到页面
修改修改集群信息
参数管理管理集群参数
License管理管理集群License
配置日志配置集群监控,需要先配置主机
配置监控配置集群监控,需要先配置主机
启动启动集群
停止停止集群
  • 指定集群刷新

适用场景

指定集群刷新

前提条件

集群已经被注册或安装。

操作步骤

  1. 登录 SphereEx-Console。
  2. 在控制台左上角选择 集群管理 > 集群 进入集群列表。
  3. 点击列表操作列中的 刷新 按钮完成集群刷新。
  • 所有集群刷新

适用场景

刷新列表中所有集群

前提条件

集群已经被注册或安装。

操作步骤

  1. 登录 SphereEx-Console。
  2. 在控制台左上角选择 集群管理 > 集群 进入集群列表。
  3. 点击右上角 刷新 按钮 完成刷新。
  • 参数管理

适用场景

管理集群参数,在值域范围内修改参数,将参数重置成默认值。

注意事项

集群可以访问

操作步骤

  1. 登录 SphereEx-Console。
  2. 在控制台左上角选择 集群管理 > 集群进入集群列表。
  3. 点击列表操作列中的参数管理按钮进入参数管理页面。
  4. 点击重置按钮弹出参数重置页面,左下角提示修改后是否立即生效,点击确认将参数重置为默认值。
  5. 点击修改按钮弹出参数修改页面,左下角提示修改后是否立即生效,点击确认完成参数修改。
  • License

适用场景

管理集群License,更新license

注意事项

集群可以访问

操作步骤

  1. 登录 SphereEx-Console。
  2. 在控制台左上角选择 集群管理 > 集群 进入集群列表。
  3. 点击列表操作列中的 License 按钮进入管理页面。

有 License 时,可以看到 License 基本信息。

无 License 时,可以看到无 License 提示。

  1. 点击左上角返回按钮返回集群列表。
  2. 点击右上角更新 License。 添加 License key,点击预览可以预览 License 信息。
  3. 点击确认完成 License 的更新
  • 修改

适用场景

可以修改集群的描述和 SphereEx-Console 登录计算节点的信息。

前提条件

集群已经被注册或安装。

操作步骤

  1. 登录 SphereEx-Console。
  2. 在控制台左上角选择 集群管理 > 集群 进入集群列表。
  3. 点击列表操作列中的 修改 按钮,进入修改页面。
  4. 填写如下信息:
字段数据来源选填/必填长度限制说明
集群名称用户输入必填50console中集群的名称,不能修改
描述用户输入选填500用户在console中自定义的集群描述信息,可以修改
计算节点地址用户输入必填任意一个proxy的地址,可以修改
计算节点端口用户输入必填对应proxy的端口,可以修改
计算节点用户名用户输入必填32对应proxy的用户名,可以修改
用户口令用户输入必填对应proxy的密码,可以修改
  1. 点击提示框中的 确认 完成修改。
  • 启动

适用场景

启动指定集群

注意事项

不可重复启动,已经启动会提示已启动

集群启动顺序:

a. 治理中心:为集群启动的必要条件,监测是否启动;如未启动,提示用户手动启动,集群将启动失败。

b. 日志中心:为集群启动的可选条件,监测是否启动;如有异常,提示错误,未启动提示用户手动启动,不影响集群的启动。

c. 监控中心:为集群启动的可选条件,监测是否启动;如有异常,提示错误,未启动提示用户手动启动,不影响集群的启动。

d. 计算节点:为集群启动的必选条件,监测是否启动;如有异常,提示错误,未启动提示用户手动启动;部分节点可用,即可启动,至少有一个。

e. 存储节点:如果存在存储节点则为必选项,如有异常,集群将启动失败,如果不存在存储节点,不影响集群启动。

操作步骤

  1. 登录 SphereEx-Console。
  2. 在控制台左上角选择 集群管理 > 集群 进入集群列表。
  3. 点击列表操作列中的 启动 按钮完成启动。
  • 停止

适用场景

停止指定集群

注意事项

  • 停止集群实际上只停止计算节点,集群停止后将无法使用请谨慎操作。
  • 集群被停止后,操作列按钮可点,但是无数据。

操作步骤

  1. 登录 SphereEx-Console。
  2. 在控制台左上角选择 集群管理 > 集群 进入集群列表。
  3. 点击列表操作列中的 停止 按钮完成停止。
  • 配置日志

适用场景

将集群计算节点的日志在 SphereEx-Console 平台集中管理。

配置集群的日志,即配置计算节点的日志,将运行日志和慢日志采集汇总到日志中心。可以通过Console的 SQL管理中慢日志和日志功能筛选、查看、导出日志。其中可以在慢日志中直接查看sql的执行计划。

注意事项

  • 集群已经被安装或注册
  • 集群计算节点所在的主机已经被注册,注册使用的主机用户的账号有目录的读写权限
  • 日志中心已经安装

操作步骤

  1. 登录 SphereEx-Console。
  2. 在控制台左上角选择 集群管理 > 集群 进入集群列表。
  3. 点击列表操作列中的 配置日志 按钮进入配置日志页面。
  4. 填写如下信息:
字段数据来源选填/必填长度限制说明
计算节点IP前一页面输入必填不可编辑
Logstash日志中心的Logstash必选filebeat与proxy是一对一关系
filebeat与logstash是多对一关系
一个logstash只能归属于一个集群
Filebeat 安装目录用户输入必填默认填充 Filebeat 默认安装目录
  1. 点击 注册主机 完成主机注册,信息填写参考主机的注册部分。
  2. 点击提示框中的 确认 完成配置。

配置监控

请参考监控告警-集群组件的监控-集群监控

计算节点管理功能说明 #

功能说明
添加节点扩容集群
探活探活节点
刷新刷新节点信息
启用启用计算节点
禁用禁用计算节点,禁用后的计算节点,将无法接收流量
启动启动计算节点
停止停止计算节点
删除卸载计算节点,缩容集群
  • 添加节点

适用场景

为集群扩容计算资源

注意事项

主机已经注册,注册使用的主机用户的账号有目录的读写权限。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->集群 进入集群列表。
  3. 点击操作列 管理节点,默认进入计算点列表。
  4. 点击右上角 添加节点,进入添加节点页面。
  5. 填写信息,具体参数见下表:
字段数据来源选填/必填长度限制说明
节点IP用户选择必填已经注册的主机列表
端口用户输入必填1024-5000
安装目录用户输入必填默认为/opt,主机上无此目录时创建
软件用户选择必填默认填充console支持的最新版本的engine
节点名称用户输入必填默认为IP:端口,集群内唯一性校验
filebeat软件用户选择依赖于【日志中心】默认填充console内置的filebeat
日志中心已填,此项为必填
日志中心未填,此项不能填
监控插件端口有默认值,用户可自定义必填默认填充9090,可以指定
安装目录用户输入必填默认为/opt,主机上无此目录时创建
Logstsh下拉选择
日志中心的logstash
依赖于【日志中心】日志中心已填,此项为必填
日志中心未填,此项不能填
  1. 点击 确定,完成计算节点的添加。
  • 探活

适用场景

探活计算节点

注意事项

集群已经被注册或安装

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->集群 进入集群列表。
  3. 点击操作列 管理节点,默认进入计算点列表。
  4. 点击列表操作列中的 探活 按钮完成节点探活。
  • 刷新

适用场景

刷新计算节点

注意事项

集群已经被注册或安装。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->集群 进入集群列表。
  3. 点击操作列 管理节点,默认进入计算点列表。
  4. 点击列表操作列中的 刷新 按钮完成节点刷新。
  • 启用

适用场景

启用已禁用的节点

注意事项

节点处于禁用状态

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->集群 进入集群列表。
  3. 点击操作列 管理节点,默认进入计算点列表。
  4. 点击列表操作列中的 启用 按钮完成节点启用。
  • 禁用

适用场景

禁用节点,禁用后的节点将不会有新的流量,正在执行的进程不会受影响。

注意事项

节点处于启用状态。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->集群 进入集群列表。
  3. 点击操作列 管理节点,默认进入计算点列表。
  4. 点击列表操作列中的 禁用 按钮完成节点禁用。
  • 使用SphereEx-Console启动计算节点

适用场景

启动处于停止状态的节点

注意事项

  • 节点处于停止状态

  • 集群处于停止状态时,可以点击管理节点逐个启动计算节点,只要有一个计算节点是可用时集群即可用。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->集群 进入集群列表。
  3. 点击操作列 管理节点,默认进入计算点列表。
  4. 点击列表操作列中的 启动 按钮完成节点启动。
  • 单独启动计算节点
  1. 启动步骤

  a. 下载 DBPlusEngine-Proxy 的最新发行版。

  b. 解压缩后修改 conf/server.yaml 和以 config- 前缀开头的文件,如:conf/config-xxx.yaml 文件,进行分片规则、读写分离规则配置。

  c. Linux 操作系统请运行 bin/start.sh,Windows 操作系统请运行 bin/start.bat 启动 ShardingSphere-Proxy。

  1. 选择数据库协议

使用 PostgreSQL

  a. 使用任何 PostgreSQL 的客户端连接。如: psql -U root -h 127.0.0.1 -p 3307

使用 MySQL

  b. 将 MySQL 的 JDBC 驱动程序复制至目录 ext-lib/。

  c. 使用任何 MySQL 的客户端连接。如: mysql -u root -h 127.0.0.1 -P 3307

使用 openGauss

  a. 将以 org.opengauss 包名为前缀的 openGauss 的 JDBC 驱动程序复制至目录 ext-lib/。

  b. 使用任何 openGauss 的客户端连接。如: gsql -U root -h 127.0.0.1 -p 3307

  1. 选择元数据持久化仓库

使用 ZooKeeper

默认集成 ZooKeeper Curator 客户端。

使用 Etcd

将 Etcd 的客户端驱动程序复制至目录 ext-lib/。

  1. 使用分布式事务

具体可参考分布式事务。

  1. 使用自定义算法

当用户需要使用自定义的算法类时,可通过以下方式配置使用自定义算法,以分片为例:

  a. 实现 ShardingAlgorithm 接口定义的算法实现类。

  b. 在项目 resources 目录下创建 META-INF/services 目录。

  c. 在 META-INF/services 目录下新建文件 org.apache.shardingsphere.sharding.spi.ShardingAlgorithm

  d. 将实现类的绝对路径写入至文件 org.apache.shardingsphere.sharding.spi.ShardingAlgorithm

  e. 将上述 Java 文件打包成 jar 包。

  f. 将上述 jar 包拷贝至 DBPlusEngine-Proxy 解压后的 ext-lib/ 目录。

  g. 将上述自定义算法实现类的 Java 文件引用配置在 YAML 文件中,具体可参考配置规则。

  1. 注意事项

  a. DBPlusEngine-Proxy 默认使用 3307 端口,可以通过启动脚本追加参数作为启动端口号。如: bin/start.sh 3308

  b. DBPlusEngine-Proxy 使用 conf/server.yaml 配置注册中心、认证信息以及公用属性。

  c. DBPlusEngine-Proxy 支持多逻辑数据源,每个以 config- 前缀命名的 YAML 配置文件,即为一个逻辑数据源。

  d. DBPlusEngine-Proxy 默认监听地址 0.0.0.0,可以通过启动脚本指定监听地址,使用方式可通过 bin/start.sh –help 获取。

  • 使用SpehreEx-Console停止计算节点

适用场景

停止处于启动状态的节点

注意事项

  • 节点处于启动状态
  • 最后一个计算节点被停止后集群会停止

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->集群 进入集群列表。
  3. 点击操作列 管理节点,默认进入计算点列表。
  4. 点击列表操作列中的 停止 按钮完成节点停止。
  • 单独停止计算节点

Linux 操作系统请运行 bin/stop.sh,Windows 操作系统请运行 bin/stop.bat 启动 ShardingSphere-Proxy。

  • 删除

适用场景

从集群中计算节点

注意事项

勾选同步卸载软件会同步卸载计算节点的软件,并且卸载监控和日志配置

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->集群 进入集群列表。
  3. 点击操作列 管理节点,默认进入计算点列表。
  4. 单击列表中操作列的 删除 按钮。
  5. 点击提示框中的 确认,节点的删除。

存储节点管理功能说明 #

功能说明
注册选择注册的数据库中添加存储节点到集群
刷新刷新节点
探活探活节点
修改修改存储节点
删除从 Console 列表中删除,正在被逻辑库引用的存储节点,不能被删除。删除不会影响其所属实例
  • 注册

适用场景

集群扩容存储节点

注意事项

  • 数据库实例已经被注册。
  • 新添加的存储节点,属于集群,且未被使用。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->集群 进入集群列表。
  3. 点击操作列 管理节点,点击 存储节点 进入存储点列表。
  4. 单击右上角 添加节点 按钮,进入添加节点页面。
  5. 填写信息,具体参数见下表。
字段数据来源选填/必填长度限制说明
所属实例数据库实例列表必填实例IP、实例端口、数据库唯一性校验,不可以重复添加。
实例IP自动填充必填不可编辑
实例端口自动填充必填不可编辑
实例类型自动填充必填不可编辑
用户名自动填充必填32可以更改
口令自动填充必填可以更改
数据库数据库实例内部必填可以更改
节点名称用户输入必填
扩展参数用户输入选填可以更改
URL连接串自动填充,不可编辑灰色不可编辑
  1. 点击 确认 完成节点添加。
  • 探活

适用场景

探活存储节点

注意事项

集群已经被注册或安装

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->集群 进入集群列表。
  3. 点击操作列 管理节点,点击 存储节点 进入存储点列表。
  4. 点击列表操作列中的 探活 按钮完成节点探活。
  • 刷新

适用场景

刷新存储节点

注意事项

集群已经被注册或安装

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->集群 进入集群列表。
  3. 点击操作列 管理节点,点击 存储节点 进入存储点列表。
  4. 点击列表操作列中的 刷新 按钮完成节点刷新。
  • 修改

适用场景

修改存储节点信息

注意事项

只能修改存储节点的用户名密码,适用于用户存储节点的用户名密码发生变更的场景,修改存储节点的用户名密码,也不会影响到其所属实例。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->集群 进入集群列表。
  3. 点击操作列 管理节点,点击 存储节点 进入存储点列表。
  4. 点击列表操作列中的 修改 按钮,进入修改存储节点页面。
  5. 填写信息,具体参数见下表。
字段数据来源选填/必填长度限制说明
用户名自动填充必填32可以更改
口令自动填充必填可以更改
扩展参数用户输入选填可以更改
  • 删除

适用场景

删除未被使用的存储节点

注意事项

存储节点为被逻辑库使用

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->集群 进入集群列表。
  3. 点击操作列 管理节点,点击 存储节点 进入存储点列表。
  4. 点击列表操作列中的 删除 按钮,完成存储节点的删除。

逻辑库管理 #

逻辑库管理功能列表

功能说明
新建新建逻辑库
刷新刷新逻辑库
慢日志查看逻辑库的慢日志
存储节点为逻辑库增加可用的存储节点
删除从 集群中删除逻辑库,不会删除集群中的存储节点
  • 新建

适用场景

新建逻辑库

注意事项

  • 集群可以正常访问,集群中有可用的存储节点
  • 未被任何逻辑库的使用的存储节点,为可用的存储节点

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->逻辑库 进入逻辑库列表。
  3. 点击右上角 新建 按钮,进入新建逻辑库的页面。
  4. 填写信息,具体参数见下表。
字段数据来源选填/必填长度限制说明
逻辑库用户输入必填30校验唯一性,一套集群中的逻辑库名称保障唯一性
存储节点选填可选栏中为集群中可用的存储节点;
已选栏中为逻辑库可用的存储节点;
  1. 点击 确认 完成逻辑库的新建。
  • 刷新

适用场景

刷新逻辑库

注意事项

集群可以正常访问

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->逻辑库 进入逻辑库列表。
  3. 点击右上角 刷新 按钮,完成逻辑库刷新。
  • 慢日志

适用场景

查看逻辑库产生的慢日志

注意事项

  • 集群可以正常访问
  • 慢日志已经打开
  • 可以通过SQL 语句、DistSQL用户、计算节点、模糊查询;时间、SQL 类型,执行时长 等值查询 筛选慢日志

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->逻辑库 进入逻辑库列表。
  3. 点击操作列 慢日志 按钮,跳转至慢日志页面。

慢日志的内容包括:时间、用户、计算节点、逻辑库、SQL 类型、执行时长、SQL 语句。

悬停至 查看执行计划 可以跳转至执行计划页面,查看慢日志的执行路径。

  1. 点击 导出 可以导出符合条件的所有日志。
  • 存储节点

适用场景

管理逻辑库的存储节点

注意事项

  • 集群可以正常访问
  • 未逻辑表使用的存储节点可以移除

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->逻辑库 进入逻辑库列表。
  3. 点击操作列 存储节点 按钮,跳转至存储节点管理页面。
  4. 通过调整 可选栏已选栏 中的存储节点,完成逻辑库存储节点的调整。
  • 删除

适用场景

删除逻辑库

注意事项

  • 集群可以正常访问。
  • 从集群中删除逻辑库,不会删除集群的存储节点。
  • 删除逻辑库会同步删除逻辑库中的插件配置,且不可恢复,请谨慎操作。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->逻辑库 进入逻辑库列表。
  3. 点击操作列 删除 按钮。
  4. 点击提示中的 确认 按钮完成逻辑库的删除。

对象管理 #

功能说明
新建新建逻辑表
表组管理表组管理
查看表结构查看建表(create table)语句
查看表分布查看表的物理分布
修改表修改表结构
删除表删除表

插件

功能说明
添加分片为已经存在的表增加分片插件配置
修改分片为已经存在的表修改分片插件配置
添加加密为已经存在的表增加加密插件配置
修改加密为已经存在的表修改加密插件配置
  • 新建表

适用场景

在逻辑库中新建表

注意事项

集群可以正常访问,已有逻辑库

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->对象 进入表对象列表。
  3. 点击右上角 新建表 按钮,进入新建表的页面。 新建表时,分片插件和加密插件可选添加;分片插件和加密插件分别可以使用常规和自定义的方式创建。
  4. 填写信息,具体参数见下表。 表配置
字段数据来源选填/必填长度限制说明
表类型选择必选选择分片表时出现存储节点及以下信息 选择广播表时不出现存储节点及以下信息

添加分片配置 常规配置

分片插件配置:常规表示格式化的定义规则;自定义表示使用 DistSQL 定义规则,常规方式不用定义存储节点;常规和自定义二选一配置,选择哪种方式就出现对应的配置项。

字段数据来源选填/必填长度限制说明
存储节点勾选逻辑库的存储节点必填可多选,存储节点的节点名称填充至存储节点的文本框中
存储节点自动填充必填多个存储节点的名称逗号分隔,不可编辑
分片键表结构中解析出的字段必填结合分片算法校验
分片算法内置算法必填结合分片键的类型校验
算法参数用户输入必填不限根据分片算法校验参数,根据不同算法提供参数示例
分布式序列表结构中解析出的字段选填需要使用主键生成策略的列
分布式序列生成策略内置算法结合键值列的类型和长度校验【分布式序列】有数据时【分布式序列生成策略】为必填【分布式序列】无数据时【分布式序列生成策略】此行不显示
策略参数用户输入不限根据键值生成策略法校验参数,根据不同策略提供参数示例【分布式序列生成策略】有数据时【策略参数】为必填【分布式序列生成策略】无数据时【策略参数,此行不显示|

添加分片配置 自定义配置

字段数据来源选填/必填长度限制说明
用户输入必填不限DistSQL,执行时校验

添加加密配置 常规配置

加密插件配置:常规表示格式化的定义规则;自定义表示使用 DistSQL 定义规则,常规和自定义二选一配置,选择哪种方式就出现对应的配置项。

【使用加密列查询】勾选,查询时使用加密后数据列;不勾选,查询时使用加密前数据列。

默认为勾选。

当有明文存储未勾选时,【使用加密列查询】必须勾选,且不能更改。

当明文存储全部勾选时,【使用加密列查询】允许改为不勾选。

字段数据来源选填/必填长度限制说明
加密算法内置算法必填结合逻辑列 逻辑列类型长度,密文列数据类型长度校验
加密算法参数用户输入必填不限根据加密算法校验参数,根据不同算法提供参数示例
需要加密的列下拉选择必选需要加密的列为逻辑列,明文列和密文列自动创建,明文列的数据类型和长度取自用户表中需要加密的列的数据类型和长度;密文列的数据类型和长度根据算法定义,同时添加两个加密列的时候,添加第二个加密列时筛选时不能出现第一个被加密的字段
存储明文用户勾选勾选,在数据库中存储明文;不勾选,不在数据库中存储明文

添加加密配置 自定义配置

字段数据来源选填/必填长度限制说明
用户输入必填不限Distsql,执行时校验
  1. 点击 确认 完成表的新建。
  • 表组管理

适用场景

将部署了相同算法的分片插件绑定成组,用于优化查询。

注意事项

集群可以正常访问,已有逻辑库,表的分片插件配置一致

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->对象 进入表对象列表。
  3. 点击右上角 表组管理 按钮,进入表组管理的页面。
  4. 填写信息,具体参数见下表。
字段数据来源选填/必填长度限制说明
首个成员下拉列表中选择
当前逻辑库中分片表
必填用户预期绑定规则的表中任选一个,无主次之分
其他成员下拉列表中选择
当前逻辑库中分片表,符合与首个成员绑定表规则的其他表
必填可多选
  1. 点击 确认 完成表组的管理。
  • 查看表结构

适用场景

查看create table形式的表结构,无法看到插件配置。

注意事项

集群可以正常访问,已有逻辑库,已有表。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->对象 进入表对象列表。
  3. 点击操作列 查看表结构 按钮,进入查看表结构的页面。
  4. 点击 返回,返回表对象列表。
  • 查看表分布

适用场景

查看表所在的存储节点

注意事项

集群可以正常访问,已有逻辑库,已有表。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->对象 进入表对象列表。
  3. 点击操作列 查看表分布 按钮,进入查看表分布的页面。
  4. 点击 返回,返回表对象列表。
  • 修改表

适用场景

修改表结构

注意事项

集群可以正常访问,已有逻辑库,已有表。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->对象 进入表对象列表。
  3. 点击操列 修改表 按钮,进入修改表的页面。
  4. 填写修改表结构的 SQL,可以点击示例,查看语句示例。
  5. 点击 确认 完成表修改。
  • 删除

适用场景

删除表,删除插件配置,删除表结构和数据。

注意事项

集群可以正常访问,已有逻辑库,已有表,删除是物理删除,无法恢复,请谨慎操作。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->对象 进入表对象列表。
  3. 点击操列 删除 按钮,进入修改表的页面。
  4. 点击 确认 完成表删除。
  • 插件-添加分片

适用场景

在已有表中增加分片插件配置。

注意事项

集群可以正常访问,已有逻辑库,已有表,表中无数据,表中无分片插件配置。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->对象 进入表对象列表。
  3. 点击插件列 添加分片 按钮,进入 添加分片 的页面。
  4. 填写信息,具体参数见下表。

分片插件配置:常规表示格式化的定义规则;自定义表示使用DIstSQL定义规则,常规方式不用定义存储节点;常规和自定义二选一配置,选择哪种方式就出现对应的配置项。

字段数据来源选填/必填长度限制说明
存储节点勾选逻辑库的存储节点必填可多选,存储节点的节点名称填充至存储节点的文本框中
存储节点自动填充必填多个存储节点的名称逗号分隔,不可编辑
分片键表结构中解析出的字段必填结合分片算法校验
分片算法内置算法必填结合分片键的类型校验
算法参数用户输入必填不限根据分片算法校验参数,根据不同算法提供参数示例
分布式序列表结构中解析出的字段选填需要使用主键生成策略的列
分布式序列生成策略内置算法结合键值列的类型和长度校验【分布式序列】有数据时【分布式序列生成策略】为必填;【分布式序列】无数据时【分布式序列生成策略】此行不显示
策略参数用户输入不限根据键值生成策略法校验参数,根据不同策略提供参数示例【分布式序列生成策略】有数据时【策略参数】为必填【分布式序列生成策略】无数据时【策略参数】此行不显示

自定义

字段数据来源选填/必填长度限制说明
用户输入必填不限DistSQL,执行时校验
  1. 点击 确认 完成分片插件配置的添加。
  • 插件-修改分片

适用场景

在已有表中增加分片插件配置。

注意事项

集群可以正常访问,已有逻辑库,已有表,表中无数据,表中已有分片插件配置。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->对象 进入表对象列表。
  3. 点击插件列 修改分片 按钮,进入修改分片的页面。 进入修改分片插件的页面,可以看到分片插件的配置,如果是常规方式添加的分片插件,会以常规方式显示;如果是自定义方式添加的分片插件,会以自定义方式显示。
  4. 填写信息,具体参数见下表。 分片插件配置:常规表示格式化的定义规则;自定义表示使用DIstSQL定义规则,常规方式不用定义存储节点;常规和自定义二选一配置,选择哪种方式就出现对应的配置项。
字段数据来源选填/必填长度限制说明
存储节点勾选逻辑库的存储节点必填可多选,存储节点的节点名称填充至存储节点的文本框中
存储节点自动填充必填多个存储节点的名称逗号分隔,不可编辑
分片键表结构中解析出的字段必填结合分片算法校验
分片算法内置算法必填结合分片键的类型校验
算法参数用户输入必填不限根据分片算法校验参数,根据不同算法提供参数示例
分布式序列表结构中解析出的字段选填需要使用主键生成策略的列
分布式序列生成策略内置算法结合键值列的类型和长度校验【分布式序列】有数据时【分布式序列生成策略】为必填;【分布式序列】无数据时【分布式序列生成策略】此行不显示
策略参数用户输入不限根据键值生成策略法校验参数,根据不同策略提供参数示例【分布式序列生成策略】有数据时【策略参数】为必填【分布式序列生成策略】无数据时【策略参数】此行不显示

自定义

字段数据来源选填/必填长度限制说明
用户输入必填不限DistSQL,执行时校验
  1. 点击 确认 完成分片插件配置的修改。
  • 插件-添加加密

适用场景

在已有表中增加加密插件配置。

注意事项

集群可以正常访问,已有逻辑库,已有表,表中无加密插件配置,不涉及数据清洗。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->对象 进入表对象列表。
  3. 点击插件列 添加加密 按钮,进入添加加密的页面。
  4. 填写信息,具体参数见下表。

加密插件配置:常规表示格式化的定义规则;自定义表示使用DIstSQL定义规则,常规和自定义二选一配置,选择哪种方式就出现对应的配置项 【使用加密列查询】勾选,查询时使用加密后数据列;不勾选,查询时使用加密前数据列;

默认为勾选;

当有明文存储未勾选时,【使用加密列查询】必须勾选,且不能更改;

当明文存储全部勾选时,【使用加密列查询】允许改为不勾选。

常规

字段数据来源选填/必填长度限制说明
加密算法内置算法必填结合逻辑列 逻辑列类型长度,密文列数据类型长度校验
加密算法参数用户输入必填不限根据加密算法校验参数,根据不同算法提供参数示例
需要加密的列下拉选择必选需要加密的列为逻辑列,明文列和密文列自动创建,明文列的数据类型和长度取自用户表中需要加密的列的数据类型和长度;密文列的数据类型和长度根据算法定义,同时添加两个加密列的时候,添加第二个加密列时筛选时不能出现第一个被加密的字段
存储明文用户勾选勾选,在数据库中存储明文;不勾选,不在数据库中存储明文

自定义

字段数据来源选填/必填长度限制说明
用户输入必填不限DistSQL,执行时校验
  1. 点击 确认 完成加密插件配置的添加。
  • 插件-修改加密

适用场景

在已有表中增加分片插件配置。

注意事项

集群可以正常访问,已有逻辑库,已有表,表中已有加密插件配置,不涉及数据清洗。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 集群管理->对象 进入表对象列表。
  3. 点击插件列 修改加密 按钮,进入修改加密的页面。 进入修改加密插件的页面,可以看到加密插件的配置,如果是常规方式添加的加密插件,会以常规方式显示;如果是自定义方式添加的加密插件,会以自定义方式显示 加密插件配置:常规表示格式化的定义规则;自定义表示使用 DistSQL 定义规则,常规和自定义二选一配置,选择哪种方式就出现对应的配置项。
  4. 填写信息,具体参数见下表。 【使用加密列查询】勾选,查询时使用加密后数据列;不勾选,查询时使用加密前数据列 ;

默认为勾选;

当有明文存储未勾选时,【使用加密列查询】必须勾选,且不能更改;

当明文存储全部勾选时,【使用加密列查询】允许改为不勾选。

常规配置

字段数据来源选填/必填长度限制说明
加密算法内置算法必填结合逻辑列 逻辑列类型长度,密文列数据类型长度校验
加密算法参数用户输入必填不限根据加密算法校验参数,根据不同算法提供参数示例
需要加密的列下拉选择必选需要加密的列为逻辑列,明文列和密文列自动创建,明文列的数据类型和长度取自用户表中需要加密的列的数据类型和长度;密文列的数据类型和长度根据算法定义,同时添加两个加密列的时候,添加第二个加密列时筛选时不能出现第一个被加密的字段
存储明文用户勾选勾选,在数据库中存储明文;不勾选,不在数据库中存储明文

自定义配置

字段数据来源选填/必填长度限制说明
用户输入必填不限DistSQL,执行时校验
  1. 点击 确认 完成加密插件配置的修改。

SQL管理 #

功能说明
慢日志新建逻辑表
执行计划表组管理
SQL审计查看建表(create table)语句
  • 慢日志

适用场景

查看集群产生的慢日志

注意事项

  • 集群可以正常访问
  • 慢日志已经打开
  • 可以通过 SQL 语句、DistSQL 用户、计算节点、模糊查询;时间、逻辑库、SQL 类型,执行时长 等值查询 筛选慢日志。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 SQL管理->慢日志 进入慢日志页面。 慢日志的内容包括:时间、用户、计算节点、逻辑库、SQL 类型、执行时长、SQL 语句。

悬停至 查看执行计划 可以跳转至执行计划页面,查看慢 SQL。

  1. 点击 导出 可以导出符合条件的所有日志
  • 执行计划

适用场景

查看SQL的执行路径

注意事项

集群可以正常访问

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 SQL管理->执行计划 进入慢日志页面。
  3. 选择集群选择逻辑库输入SQL语句,点击 查看执行计划 按钮,查看执行计划。
  • SQL审计

适用场景

通过查看集群执行过的所有SQL,做事后审计。

注意事项

  • 集群可以正常访问
  • 审计日志已经打开
  • 可以通过 SQL 语句、DistSQL用户、计算节点、模糊查询;时间范围、SQL 类型,等值查询、筛选审计日志。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 SQL管理->SQL审计 进入SQL审计日志页面。 审计日志的内容包括:时间、DistSQL用户、计算节点、逻辑库、SQL 类型、SQL 语句。
  3. 点击 导出 可以导出符合条件的所有日志。

日志管理 #

适用场景

通过查看集群计算节点的运行日志。

注意事项

  • 集群可以正常访问
  • 可以通过关键字模糊查询;时间范围等值查询筛选运行日志。

操作步骤

  1. 登录 SphereEx-Console。
  2. 点击 SQL管理->SQL审计 进入 SQL 审计日志页面。
  3. 点击 导出 可以导出符合条件的所有日志。

连接集群 #

用户可以使用多种方式登录到集群:

  • SphereEx-Console:用户可使用 SphereEx-Console,登录后通过 GUI 界面完成管理动作(内置受约束的 DistSQL,SQL 终端此次尚不提供)。
  • Database Command:例如 MySQL Client、PG PSQL,登录到集群中任意计算节点。通过 USE 定位到逻辑库,执行 SQL。 使用示例:mysql -uroot -p -P3307 -h127.0.0.1
  • Third Database Tools:例如 navicate 等工具,部分功能受限,待测试Todo。