工作中 CentOS 的一些笔记 03

工作中 CentOS 的一些笔记 03

工作中 CentOS 的一些笔记 03,其实大部分都是 Linux 通用。

Elasticsearch

安装

下载压缩版的 es 并解压运行:

1
2
3
4
5
6
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz # 下载
tar -xzvf elasticsearch-7.8.0-linux-x86_64.tar.gz # 解压

# 编辑 .bashrc,添加以下 ES 环境变量:
export ES_PATH="/home/bolitao/apps/elasticsearch-7.8.0"
export PATH=$ES_PATH/bin:$PATH

es 启动过程可能会出现以下错误:

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
[2]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured

进行以下设置:

  • 1
    2
    3
    4
    5
    6
    7
    8
    
    vim config/elasticsearch.yml 
      
    # 设置以下行
    network.host: 0.0.0.0
    # 取消注释以下行:
    node.name: node-1
    # 添加以下行:
    cluster.initial_master_nodes: ["node-1"]
    
  • 1
    2
    3
    4
    5
    6
    
    sudo vim /etc/sysctl.conf
    # 添加以下行;
    vm.max_map_count=655360
      
    # 加载参数:
    sudo sysctl -p
    

放行防火墙端口:

1
2
3
sudo firewall-cmd --zone=public --permanent --add-port=5601/tcp # kibana 端口
sudo firewall-cmd --zone=public --permanent --add-port=9200/tcp # es 通信端口
sudo firewall-cmd --reload

运行 es:

1
./elasticsearch-7.8.0-linux-x86_64./bin/elasticsearch

验证 ES 运行状态:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
curl 192.168.188.130:9200


StatusCode        : 200
StatusDescription : OK
Content           : {
                      "name" : "node-1",
                      "cluster_name" : "elasticsearch",
                      "cluster_uuid" : "Qse9DW45TE2XhdsUfvk2fg",
                      "version" : {
                        "number" : "7.8.0",
                        "build_flavor" : "default",
                        "build_type" : "tar"...
RawContent        : HTTP/1.1 200 OK
...

Kibana 是 Elasticsearch 的数据可视化和管理工具,安装如下:

1
2
3
4
5
6
7
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.8.0-linux-x86_64.tar.gz # 下载
tar -xzvf kibana-7.8.0-linux-x86_64.tar.gz # 解压


# 在 .bashrc 添加如下环境变量:
export KIBANA_PATH="/opt/kibana"
export PATH=$KIBANA_PATH/bin:$PATH

允许远程访问:

1
2
3
4
vim kibana-7.8.0-linux-x86_64/config/kibana.yml

# 设置以下行并重启 kibana
server.host: "0.0.0.0"

验证 Kibana 运行状态:

image-20200713164757882

相关操作

  • 查询健康度:

    GET /_cat/health?v
      
    epoch      timestamp cluster       status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
    1594630302 08:51:42  elasticsearch green           1         1     10  10    0    0        0             0                  -                100.0%
      
    
  • 新增数据:

     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    
    PUT /megacorp/employee/1
    {
        "first_name" : "John",
        "last_name" :  "Smith",
        "age" :        25,
        "about" :      "I love to go rock climbing",
        "interests": [ "sports", "music" ]
    }
      
    # 返回数据如下:
    {
      "_index" : "megacorp",
      "_type" : "employee",
      "_id" : "1",
      "_version" : 8,
      "result" : "updated",
      "_shards" : {
        "total" : 2,
        "successful" : 1,
        "failed" : 0
      },
      "_seq_no" : 9,
      "_primary_term" : 1
    }
      
    
  • 获得一条数据:

     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    15
    16
    17
    
    GET /megacorp/employee/1
      
    {
      "_index" : "megacorp",
      ...
      "found" : true,
      "_source" : {
        "first_name" : "John",
        "last_name" : "Smith",
        "age" : 25,
        "about" : "I love to go rock climbing",
        "interests" : [
          "sports",
          "music"
        ]
      }
    }
    
  • 删除数据:

     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    15
    16
    17
    
    DELETE /megacorp/employee/1
      
    {
      "_index" : "megacorp",
      "_type" : "employee",
      "_id" : "1",
      "_version" : 15,
      "result" : "deleted", // 这是操作结果
      "_shards" : {
        "total" : 2,
        "successful" : 1,
        "failed" : 0
      },
      "_seq_no" : 16,
      "_primary_term" : 1
    }
      
    
  • 搜索数据:

     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    
    GET /megacorp/employee/_search?q=last_name:Smith # 搜索 lastName 为 Smith 的雇员
      
    {
      "took" : 322,
      "timed_out" : false,
      ...
      "hits" : {
        "total" : {
          "value" : 1,
          "relation" : "eq"
        },
        "max_score" : 0.18232156,
        "hits" : [
          {
            ...
            "_source" : {
              "first_name" : "Jane",
              "last_name" : "Smith",
              ...
              ]
            }
          }
        ]
      }
    }
    
  • 全文搜索(模糊搜索):

     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    
    GET /megacorp/employee/_search
    {
        "query" : {
            "match" : {
                "about" : "rock climbing"
            }
        }
    }
      
    // 结果如下:
    {
      ...
      "hits" : {
        "total" : {
          "value" : 2,
          "relation" : "eq"
        },
        "max_score" : 0.8900273,
        "hits" : [
          {
            "_index" : "megacorp",
            "_type" : "employee",
            "_id" : "1",
            "_score" : 0.8900273,
            "_source" : {
              "first_name" : "John",
              "last_name" : "Smith",
              "age" : 25,
              "about" : "I love to go rock climbing",
              ...
            }
          },
          {
            "_score" : 0.29837534,
            "_source" : {
              "first_name" : "Jane",
              "last_name" : "Smith",
              "about" : "I like to collect rock albums",
              ...
          }
        ]
      }
    }
    

    从结果中可以看出,about 相关程度更高的结果 _score 字段的值更高。

PostgreSQL

安装

根据 PostgreSQL 官方文档 PostgreSQL: Linux downloads (other),二进制压缩包和 EDB 安装器方式都不再提供 10 以后的版本:

image-20200713091043953

image-20200713091058600

官方推荐使用对应发行版的包管理器进行安装,对于 RedHat 系发行版,按以下步骤安装 PostgreSQL 12:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
sudo yum install https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm # 导入 pgsql 软件仓库
sudo yum install postgresql12-server # 安装 pgsql 12
sudo /usr/pgsql-12/bin/postgresql-12-setup initdb # 初始化 DB
# 以下是命令对应的输出:
Initializing database ... OK

sudo systemctl start postgresql-12 # 启动 pgsql
sudo systemctl status postgresql-12 # 查看 pgsql 运行状态
# 以下是命令对应的输出:
● postgresql-12.service - PostgreSQL 12 database server
   Loaded: loaded (/usr/lib/systemd/system/postgresql-12.service; disabled; vendor preset: disabled)
   Active: active (running) since 一 2020-07-13 09:20:55 CST; 7s ago
     Docs: https://www.postgresql.org/docs/12/static/
  Process: 2476 ExecStartPre=/usr/pgsql-12/bin/postgresql-12-check-db-dir ${PGDATA} (code=exited, status=0/SUCCESS)
 Main PID: 2482 (postmaster)
    Tasks: 8
   Memory: 18.0M
   CGroup: /system.slice/postgresql-12.service
           ...

配置 pgsql 密码:

1
2
sudo su - postgres
psql -c "alter user postgres with password '123'" # 设置 postgres 密码为 123

允许远程访问:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
sudo vim /var/lib/pgsql/12/data/postgresql.conf
# 修改以下字段
listen_addresses = '*'

sudo vim /var/lib/pgsql/12/data/pg_hba.conf
# 文件末尾添加以下行:
host all all 0.0.0.0/0 md5
# 修改以下行,将 peer 改为 md5
local   all             all                                     md5

sudo systemctl restart postgresql-12 # 重启服务

配置防火墙,放行 pgsql 相关服务:

1
2
sudo firewall-cmd --add-service=postgresql12 --permanent --zone=public
sudo firewall-cmd --reload # 重载防火墙

在宿主机使用 psql 命令行访问虚拟机的 PostgreSQL:

1
2
3
4
5
6
PS C:\Users> psql -h 192.168.188.130 -W -U postgres -p 5432
口令
psql (12.3)
输入 "help" 来获取帮助信息.

postgres=#

控制访问文件说明

  • ident:通过联系客户端上的ident服务器获取客户端的操作系统用户名,并检查它是否与请求的数据库用户名匹配。 Ident 身份验证只能用于 TCP / IP 连接,为本地连接指定时,将使用对等身份验证
  • peer:从操作系统获取客户端的操作系统用户名,并检查它是否与请求的数据库用户名匹配,仅适用于本地连接
  • md5:执行 SCRAM-SHA-256 或 MD5 身份验证以验证用户的密码。

Linux 额外学习

journalctl

从尾部滚动查看 systemd 日志:sudo journalctl -f

查看某个由 systemd 管理的服务的日志:sudo journalctl --unit xxx

比如查看 Tengine 的日志:

1
2
3
4
5
6
➜ sudo journalctl --unit nginx
-- Logs begin at 一 2020-07-13 08:21:13 CST, end at 一 2020-07-13 08:42:21 CST. --
7月 13 08:21:21 localhost.localdomain systemd[1]: Starting Tengine/nginx...
7月 13 08:21:21 localhost.localdomain nginx[1195]: nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
7月 13 08:21:21 localhost.localdomain nginx[1195]: nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
7月 13 08:21:21 localhost.localdomain systemd[1]: Started Tengine/nginx.

查看错误时常用的 sudo journalctl -xe 方法:-x 表示提供有用的帮助,-e 表示从尾部开始读。

PostgreSQL 补充

相关操作

  • psql -h <ip> -W -U <用户> -p <端口> -d <数据库>:连接某 ip 机器上的 pgsql,-W 选项表示使用自动密码提示

  • 创建用户

    1
    2
    3
    4
    5
    6
    7
    8
    
    postgres=# create user bolitao with password '123'; # 创建 bolitao  用户
    CREATE ROLE
      
    postgres=# create database testdb owner bolitao; # 创建 testdb 库,所有权赋给 bolitao
    CREATE DATABASE
      
    postgres=# grant all privileges on database testdb to bolitao; # 将对 testdb 的所有权限赋给 bolitao
    GRANT
    

    之后便可用 psql 以 bolitao 用户身份访问 testdb 数据库:

    1
    
    psql -U bolitao -W -d testdb
    
  • 查看所有库 \l

     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    
    testdb=> \l
                                         数据库列表
       名称    |  拥有者  | 字元编码 |  校对规则   |    Ctype    |       存取权限
    -----------+----------+----------+-------------+-------------+-----------------------
     postgres  | postgres | UTF8     | zh_CN.UTF-8 | zh_CN.UTF-8 |
     template0 | postgres | UTF8     | zh_CN.UTF-8 | zh_CN.UTF-8 | =c/postgres          +
               |          |          |             |             | postgres=CTc/postgres
     template1 | postgres | UTF8     | zh_CN.UTF-8 | zh_CN.UTF-8 | =c/postgres          +
               |          |          |             |             | postgres=CTc/postgres
     testdb    | bolitao  | UTF8     | zh_CN.UTF-8 | zh_CN.UTF-8 | =Tc/bolitao          +
               |          |          |             |             | bolitao=CTc/bolitao
    (4 行记录)
    
  • 查看表及其结构:

     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    15
    
    -- \d:列出当前数据库的所有表格
    testdb=> \d
                   关联列表
     架构模式 |  名称   |  类型  | 拥有者
    ----------+---------+--------+---------
     public   | user_tb | 数据表 | bolitao
    (1 行记录)
      
    -- \d [table_name]:列出某一张表格的结构
    testdb=> \d user_tb;
                     数据表 "public.user_tb"
     栏位 |         类型          | 校对规则 | 可空的 | 预设
    ------+-----------------------+----------+--------+------
     name | character varying(30) |          |        |
     age  | integer               |          |        |
    
  • PostgreSQL 遵循 SQL 标准,对表、数据的常用增删改查语法和 MySQL、SQL Server 无异

数据备份和恢复

PostgreSQL 官方提供的备份 cli 工具是 pg_dump,数据恢复工具是 pg_restore

  • 备份库:

    1
    
    pg_dump -U bolitao testdb > test.sql # 将 testdb 库的数据备份至 test.sql 文件
    
  • 备份特定表(-t 参数):

    1
    
    pg_dump -U bolitao -t user_tb testdb > user_tb.sql # 将 testdb 的 user_tb 表数据备份至 user_tb.sql 文件
    
  • 恢复数据(使用 psql):

    1
    2
    
    psql -U postgres -d testdb2 -f test.sql # 将 test.sql 备份的库数据恢复到 testdb2 库
    psql -U postgres -d testdb2 -f user_tb.sql # 将备份的表数据恢复到 testdb2 库
    

FastDFS

单机模式安装

安装编译和运行依赖:

1
sudo yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim -y

安装 libfastcommon:

1
2
3
4
5
cd /usr/local/src
sudo git clone https://github.com/happyfish100/libfastcommon.git --depth 1
cd libfastcommon
sudo ./make.sh # 编译
sudo ./make.sh install # 安装

安装 FastDFS:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
cd ..
sudo git clone https://github.com/happyfish100/fastdfs.git --depth 1
cd fastdfs
sudo ./make.sh && sudo ./make.sh install # 编译并安装
# 配置文件准备
sudo cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
sudo cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
sudo cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf # 客户端文件,测试用
sudo cp /usr/local/src/fastdfs/conf/http.conf /etc/fdfs/ # 供 nginx 访问使用
sudo cp /usr/local/src/fastdfs/conf/mime.types /etc/fdfs/ # 供 nginx 访问使用

为 nginx 编译 fastDFS插件:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
# 下载插件
cd ~/source
git clone https://github.com/happyfish100/fastdfs-nginx-module.git --depth 1
sudo cp fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs

# 重新编译 Tengine
cd /home/bolitao/tengine-2.3.2

# 设置编译选项,新增 fastdfs 插件
./configure --user=app \
--group=app \
--with-jemalloc=/home/bolitao/jemalloc-5.2.1 \
--add-module=./modules/ngx_http_upstream_check_module \
--add-module=/home/bolitao/source/fastdfs-nginx-module/src

make

停止并重新安装 Tengine:

1
2
3
4
5
6
7
8
sudo systemctl stop nginx
sudo make install

# 查看 nginx 信息,检查是否有 FastDFS 插件
➜  tengine-2.3.2 sudo /usr/local/nginx/sbin/nginx -V
Tengine version: Tengine/2.3.2
...
configure arguments: --user=app --group=app --with-jemalloc=/home/bolitao/jemalloc-5.2.1 --add-module=./modules/ngx_http_upstream_check_module --add-module=/home/bolitao/source/fastdfs-nginx-module/src

修改 tracker 配置:

1
2
3
4
5
sudo vim /etc/fdfs/tracker.conf

# 修改以下内容
port=22122  # tracker 服务器端口
base_path=/home/dfs  # 存储日志和数据的根目录

修改 storage 配置:

1
2
3
4
5
6
7
8
sudo vim /etc/fdfs/storage.conf

# 修改以下内容
port=23000  # storage 服务端口
base_path=/home/dfs  # 数据和日志文件存储根目录
store_path0=/home/dfs  # 第一个存储目录
tracker_server=192.168.15.130:22122  # tracker 服务器 IP 和端口
http.server_port=8888  # http 访问文件的端口(和 nginx 中保持一致)

防火墙放行:

1
2
3
4
sudo firewall-cmd --zone=public --permanent --add-port=22122/tcp
sudo firewall-cmd --zone=public --permanent --add-port=23000/tcp
sudo firewall-cmd --zone=public --permanent --add-port=8888/tcp
sudo firewall-cmd --reload

启动 tracker 和 storage:

1
2
sudo /etc/init.d/fdfs_trackerd start
sudo /etc/init.d/fdfs_storaged start

测试客户端:

1
2
3
4
5
6
7
8
9
sudo vim /etc/fdfs/client.conf

# 修改以下内容
base_path=/home/dfs
tracker_server=192.168.15.130:22122    # tracker 服务器 IP 和端口

# 进行文件上传测试
➜ sudo fdfs_upload_file /etc/fdfs/client.conf /home/bolitao/apps/apache-tomcat-9.0.37/BUILDING.txt
group1/M00/00/00/wKi8gl8NE5yAFQc7AABKJvC0Vqw094.txt

上传文件后数据保存路径如下图所示:

image-20200714101816810

配置 nginx 访问:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
sudo vim /etc/fdfs/mod_fastdfs.conf

# 修改以下内容:
tracker_server=192.168.15.130:22122
url_have_group_name=true
store_path0=/home/dfs

# 配置 nginx:
sudo vim /usr/local/nginx/conf/nginx.conf

# 添加以下配置:
server {
    listen       8888;    ## 该端口和 storage.conf 中的 http.server_port 相同
    server_name  localhost;
    location ~/group[0-9]/ {
        ngx_fastdfs_module;
    }
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
    root   html;
    }
}

sudo /usr/local/nginx/sbin/nginx -t # 测试 nginx 配置无误
sudo systemctl restart nginx.service # 重启 Tengine

测试:通过宿主机访问刚在上传的文件(地址为 http://192.168.188.130:8888/group1/M00/00/00/wKi8gl8NE5yAFQc7AABKJvC0Vqw094.txt ),发现如下图所示(如果是二进制文件则会直接弹出下载):

image-20200714102037023

集群安装和配置

准备三台服务器,其 IP 为 192.168.15.130、192.168.15.131、192.168.15.132(简记为 130、131、132)。三台服务器均已安装 FastDFS tracker、FastDFS storage、FastDFS client 和 Tengine。

  1. 修改三台机器的 tracker 配置:

    1
    2
    3
    4
    5
    
    sudo vim /etc/fdfs/tracker.conf
       
    # 修改以下内容
    port=22122  # tracker 服务器端口
    base_path=/home/dfs  # 存储日志和数据的根目录
    
  2. 修改三台机器的 storage 配置:

     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    
    sudo vim /etc/fdfs/storage.conf
       
    # 修改以下配置
    tracker_server = 192.168.15.130:22122
    tracker_server = 192.168.15.131:22122
    tracker_server = 192.168.15.132:22122
    port=23000
    base_path=/home/dfs
    store_path0=/home/dfs
    http.server_port=8888
    

    重启 tracker 和 storage 服务,检查是否 storage 服务器是否登记到 tracker:

     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    
    sudo /etc/init.d/fdfs_trackerd restart # 重启 tracker 服务
    sudo /etc/init.d/fdfs_storaged restart # 重启 storage 服务
       
    sudo /usr/bin/fdfs_monitor /etc/fdfs/storage.conf # 检查服务状态
    # 以下是输出,省略部分非关键信息
    ...
    tracker server is 192.168.15.132:22122
       
    group count: 1
       
    Group 1:
    group name = group1
    ...
            Storage 1:
                    id = 192.168.15.130
                    ip_addr = 192.168.15.130  ACTIVE
                    http domain =
                    version = 6.06
                    join time = 2020-07-14 10:08:26
                    up time = 2020-07-14 15:57:34
    ...
            Storage 2:
                    id = 192.168.15.131
                    ip_addr = 192.168.15.131  ACTIVE
                    http domain =
                    version = 6.06
    ...
            Storage 3:
                    id = 192.168.15.132
                    ip_addr = 192.168.15.132  ACTIVE
                    http domain =
                    version = 6.06
    

    可以看到三台存储服务器都处于激活状态,多运行几次 fdfs_monitor 命令会发现 tracker server 有所变换,即多个 tracker 的切换功能也是生效的。

  3. 测试 client,修改 client 配置文件:

    1
    2
    3
    4
    5
    6
    7
    
    sudo vim /etc/fdfs/client.conf
       
    # 需要修改的内容如下:
    base_path=/home/moe/dfs
    tracker_server = 192.168.15.130:22122
    tracker_server = 192.168.15.131:22122
    tracker_server = 192.168.15.132:22122
    

    测试 client 文件上传:

    1
    2
    3
    
    fdfs_upload_file /etc/fdfs/client.conf /home/bolitao/apps/screenfetch/screenfetch-dev
    # 返回上传的文件位置和文件名:
    group1/M00/00/00/wKgPgl8Nau-AcXEFAAPBDqCqwtI9997099
    

    由于三台 storage 处于同一 group,组内文件互备,所以可以在三台存储服务器中发现上传的文件:

    1
    2
    3
    
    ls -l /home/dfs/data/00/00 # 列出文件
    # 以下是命令输出:
    -rw-r--r-- 1 root root 246030 7月  14 16:21 wKgPgl8Nau-AcXEFAAPBDqCqwtI9997099
    
  4. 配置 nginx 访问,修改服务器的 /etc/fdfs/mod_fastdfs.conf 文件:

    1
    2
    3
    4
    5
    
    tracker_server = 192.168.15.130:22122
    tracker_server = 192.168.15.131:22122
    tracker_server = 192.168.15.132:22122
    url_have_group_name=true
    store_path0=/home/dfs
    

    在 nginx 中添加以下 server:

     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    
    server {
        listen       8888;    ## 该端口为storage.conf中的http.server_port相同
        server_name  localhost;
        location ~/group[0-9]/ {
            ngx_fastdfs_module;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
        root   html;
        }
    }
    

    重启三台 nginx 后,可在三台服务器下载文件,比如访问 http://192.168.15.130:8888/group1/M00/00/00/wKgPgl8Nau-AcXEFAAPBDqCqwtI9997099(或其他两个 host),会弹出下载对话框:

    image-20200714163319953

备注:这里配置了三台服务器既作 tracker 服务器也作存储服务器。实际运用时更多情况是将 tracker 和 storage 划分,tracker 用作负载均衡和调度,storage 用来存储,如下图所示:

11

基本操作

  • tracker 服务管理:

    1
    2
    3
    4
    
    sudo /etc/init.d/fdfs_trackerd start # 启动 tracker 服务
    sudo /etc/init.d/fdfs_trackerd restart # 重启动 tracker 服务
    sudo /etc/init.d/fdfs_trackerd stop # 停止 tracker 服务
    sudo chkconfig fdfs_trackerd on # 自启动 tracker 服务
    
  • storage 服务管理:

    1
    2
    3
    4
    
    sudo /etc/init.d/fdfs_storaged start # 启动 storage 服务
    sudo /etc/init.d/fdfs_storaged restart # 重启 storage 服务
    sudo /etc/init.d/fdfs_storaged stop # 停止 storage 服务
    sudo chkconfig fdfs_storaged on # 自启动 storage 服务
    
  • 检查集群(会输出所有服务器的信息):

     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    
    sudo /usr/bin/fdfs_monitor /etc/fdfs/storage.conf
    # 以下是命令输出:
    [sudo] bolitao 的密码:
    [2020-07-14 10:24:49] DEBUG - base_path=/home/dfs, connect_timeout=5, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=1, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0
      
    server_count=1, server_index=0
      
    tracker server is 192.168.188.130:22122
      
    group count: 1
      
    Group 1:
    group name = group1
    disk total space = 48,096 MB
    disk free space = 44,515 MB
    trunk free space = 0 MB
    storage server count = 1
    active server count = 1
    storage server port = 23000
    storage HTTP port = 8888
    store path count = 1
    subdir count per path = 256
    current write server index = 0
    current trunk file id = 0
    ...
    
  • 上传:使用 fdfs_upload_file 命令,命令跟的第一个参数表示客户端配置文件,第二个参数表示要上传的文件,比如:

    1
    
    sudo fdfs_upload_file /etc/fdfs/client.conf /home/bolitao/apps/apache-tomcat-9.0.37/BUILDING.txt
    
  • 下载:使用 fdfs_download_file 命令进行下载,第一个参数是客户端配置文件,第二个参数是要下载的文件,比如:

    1
    
    fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/wKi8gl8NE5yAFQc7AABKJvC0Vqw094.txt
    
  • 删除:使用 fdfs_delete_file 命令进行文件删除,第一个参数是配置文件,第二个参数是要删除的文件,比如:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    
    fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/wKi8gl8NE5yAFQc7AABKJvC0Vqw094.txt
      
    # 再次下载该文件
    fdfs_download_file /etc/fdfs/client.conf 
    group1/M00/00/00/wKi8gl8NE5yAFQc7AABKJvC0Vqw094.txt
    # 提示文件不存在
    [2020-07-14 10:39:16] ERROR - file: tracker_proto.c, line: 50, server: 192.168.188.130:23000, response status 2 != 0
    [2020-07-14 10:39:16] ERROR - file: ../client/storage_client.c, line: 598, fdfs_recv_header fail, result: 2
    download file fail, error no: 2, error info: No such file or directory
    
  • 设置多个组:

    1. 修改 /etc/fdfs/storage.conf 文件中:

      • store_path_count 的值
      • 新增 store_path,比如 store_path1store_path2
    2. 修改 mod_fastdfs.conf 文件:

      • store_path_count 的值

      • store_pathx 的值

      • 仿照 group 添加更多 group,比如:

         1
         2
         3
         4
         5
         6
         7
         8
         9
        10
        11
        12
        13
        
        [group1]
        group_name=group1
        storage_server_port=23000
        store_path_count=3
        store_path0=/home/dfs/data/group1/M00
        store_path1=/home/dfs/data/group1/M01
               
        [group2]
        group_name=group2
        storage_server_port=23000
        store_path_count=3
        store_path0=/home/dfs/data/group2/M00
        store_path1=/home/dfs/data/group2/M01
        
    3. 修改 nginx 反向代理配置:

      1
      2
      3
      4
      5
      6
      7
      8
      9
      
      location ~/group[0-9]/M00 {
          root /home/dfs/data/group1
          ngx_fastdfs_module;
      }
           
      location ~/group[0-9]/M01 {
          root /home/dfs/data/group2
          ngx_fastdfs_module;
      }
      

Kafka

安装(单机模式)

下载并解压:

1
2
3
wget https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.12-2.5.0.tgz
tar -xzf kafka_2.12-2.5.0.tgz
cd kafka_2.12-2.5.0

修改 Kafka 配置,允许删除 topic:

1
2
3
4
vim config/server.properties

# 修改/在文件末添加如下行:
delete.topic.enable = true

为当前用户添加环境变量:

1
2
3
4
5
6
7
8
vim ~/.bashrc # 或者是 ~/.zshrc

# 添加以下内容:
export KAFKA_PATH="/home/bolitao/apps/kafka_2.12-2.5.0"
export PATH=$KAFKA_PATH/bin:$PATH

# 刷新
source ~/.bashrc

将 Kafka 注册为系统服务:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
sudo vim /etc/systemd/system/kafka.service

# systemd 配置文件内容
[Unit]
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
User=bolitao
ExecStart=/bin/sh -c '/home/bolitao/apps/kafka_2.12-2.5.0/bin/kafka-server-start.sh /home/bolitao/apps/kafka_2.12-2.5.0/config/server.properties > /home/bolitao/apps/kafka_2.12-2.5.0/logs/kafka.log 2>&1'
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

启动 ZooKeeper:

1
sudo systemctl start zookeeper.service

启动 Kafka 服务:

1
2
3
sudo systemctl start kafka # 启动服务
sudo journalctl -u kafka # 查看 kafka 启动日志
less /home/bolitao/apps/kafka_2.12-2.5.0/logs/kafka.log # 查看 kafka 运行日志

集群安装和操作

为了便于操作,本节使用单机多实例方式进行集群操作。

  1. 设置多份配置文件

    1
    2
    
    cp server.properties server-1.properties
    cp server.properties server-2.properties
    

    配置文件内容分别设置如下:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    
    # server-1 的配置
    broker.id=1
    listeners=PLAINTEXT://:9093
    log.dirs=/tmp/kafka-logs-1
       
    # server-2 的配置
    broker.id=2
    listeners=PLAINTEXT://:9094
    log.dirs=/tmp/kafka-logs-2
    
  2. 启动新的两个 Kafka 实例

    1
    2
    
    kafka-server-start.sh ./server-1.properties
    kafka-server-start.sh ./server-2.properties
    
  3. 加上上一步,共有 3 个 kafka 实例,之后创建一个 replication-factor 为 3 的 Topic,topic 名为 my-replicated-topic

    1
    2
    3
    
    kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 1 --topic my-replicated-topic
    # 以下是命令输出:
    Created topic my-replicated-topic.
    
  4. 查看 9092 端口的 my-replicated-topic 描述:

    1
    2
    3
    4
    
    kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic
    # 以下是命令输出:
    Topic: my-replicated-topic      PartitionCount: 1       ReplicationFactor: 3    Configs: segment.bytes=1073741824
            Topic: my-replicated-topic      Partition: 0    Leader: 1       Replicas: 1,0,2 Isr: 1,0,2
    

    leader 负责给定分区的所有读写操作的节点,在上面的输出中可以看到 ldeade 为 1。

    replicas 是复制的节点列表,主节点也会在这个列表里。

    isr 全意 "in-sync" replicas,正常运行且同步状态已和 leader 一致的 replicas 将会出现在 isr 列表。partition leader 的重新选举操作会在 isr 节点中进行。

  5. 使用生产者发布一些信息:

    1
    2
    3
    4
    
    kafka-console-producer.sh --bootstrap-server localhost:9092 --topic my-replicated-topic
       
    >my test message 1
    >my test message 2
    
  6. 使用消费者查看信息:

    1
    2
    3
    4
    
    kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic
       
    my test message 1
    my test message 2
    
  7. 测试集群容错性,杀死刚才作为 leader、id 为 1 的 kafka 进程:

    1
    2
    3
    4
    5
    
    ps aux | grep server-1.propertie
    bolitao    3691  2.4 21.7 4747716 404952 pts/0  Sl+  14:50   0:37 /usr/lib/jvm/jdk1.8.0_251/bin/java...
    ...
       
    kill -9 3691
    
  8. 之后再次查看 my-replicated-topic 的描述:

    1
    2
    3
    4
    
    kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic
    # 以下是命令行输出:
    Topic: my-replicated-topic      PartitionCount: 1       ReplicationFactor: 3    Configs: segment.bytes=1073741824
            Topic: my-replicated-topic      Partition: 0    Leader: 0       Replicas: 1,0,2 Isr: 0,2
    

    可以看到 Leader 已被选举为 0,Isr 中 1 已掉线,目前跟上同步进度且仍存活的节点为 0 和 2

  9. 重新运行消费者,使用 --from-beginning 选项从头消费数据,可以看到即使之前 id 为 1 的主节点下线,消费者仍能够获取信息,没有造成数据丢失:

    1
    2
    3
    4
    5
    
    kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic
       
       
    my test message 1
    my test message 2
    

其他基本操作

  • 创建一个 topic:

    1
    2
    3
    
    kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic TestTopic
    # 输出如下:
    Created topic TestTopic.
    
  • 生产者发布一条 string 到 TestTopic

    1
    
    echo "Hello, World" | kafka-console-producer.sh --broker-list localhost:9092 --topic TestTopic > /dev/null
    
  • 消费者处理一条消息,使用 --from-beginning 选项可以让消费者获取之前 Topic 的消息:

    1
    2
    3
    4
    5
    6
    7
    
    kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic TestTopic --from-beginning
      
    # 会有如下输出:
    Hello, World
      
    # 当使用 CTRL+C 停止该消费者时,会提示共处理了 TestTopoc 中的消息条数:
    Processed a total of 1 messages
    
  • 关于集群的操作学习在上一节已有部分笔记

网络

netstat

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
--numeric , -n
    Show numerical addresses instead of trying to determine symbolic host, port or user names.
-l, --listening
    Show only listening sockets.  (These are omitted by default.)
-p, --program
    Show the PID and name of the program to which each socket belongs.
--udp, -u
--tcp, -t
-a, --all
	Show both listening and non-listening (for TCP this means established connections) sockets. With the --interfaces  option, show interfaces that are not up
-o, --timers
	Include information related to networking timers.
  1. netstat -nlptp | grep port

    查看状态为 listening 的 TCP、UDP 连接。

    1
    2
    
    netstat -nlptu | grep 3306
    tcp6       0      0 :::3306                 :::*                    LISTEN      2910/mysqld
    
  2. netstat -ap | grep appName

    查看某应用占用的端口。

    1
    2
    3
    4
    5
    6
    
    netstat -ap | grep mysql
    tcp   6247793      0 localhost.localdo:43546 172.18.20.105:mysql     ESTABLISHED 2910/mysqld
    tcp6       0      0 [::]:mysql              [::]:*                  LISTEN      2910/mysqld
    tcp6       0      0 localhost.localdo:mysql 172.18.20.105:6858      ESTABLISHED 2910/mysqld
    tcp6       0      0 localhost.localdo:58079 172.18.20.105:mysql     ESTABLISHED 17100/java
    unix  2      [ ACC ]     STREAM     LISTENING     20294    2910/mysqld          /tmp/mysql.sock
    
  3. netstat -an | grep port

    查看某端口的使用情况。

    1
    2
    3
    4
    5
    
    netstat -an | grep 3306
    tcp   6247793      0 172.18.20.106:43546     172.18.20.105:3306      ESTABLISHED
    tcp6       0      0 :::3306                 :::*                    LISTEN
    tcp6       0      0 172.18.20.106:3306      172.18.20.105:6858      ESTABLISHED
    tcp6       0      0 172.18.20.106:58079     172.18.20.105:3306      ESTABLISHED
    

ss

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
-t, --tcp
	Display TCP sockets.
-u, --udp
	Display UDP sockets.
-a, --all
	Display both listening and non-listening (for TCP this means established connections) sockets.
-n, --numeric
    Do not try to resolve service names.
-l, --listening
    Display only listening sockets (these are omitted by default).
-p, --processes
    Show process using socket.
  1. ss -atu
  2. ss -nlptu
  3. ss -ap
  4. ss -np

lsof

Redis

Cluster

1
/app/soft/redis-5.0.5/bin/redis-cli -a password@redis --cluster create 172.18.20.116:6379 172.18.20.117:6379 172.18.20.118:6379 --cluster-replicas 0

image-20200904102735186

updatedupdated2021-01-052021-01-05
加载评论