2019-03-28 | 高可用 | UNLOCK

Keepalived + Nginx + Tomcat 搭建高可用负载均衡架构

背景

初期的互联网企业由于业务量较小,所以一般单机部署,实现单点访问即可满足业务的需求,这也是最简单的部署方式,但是随着业务的不断扩大,系统的访问量逐渐的上升,单机部署的模式已无法承载现有的业务量,需要进行服务集群化部署,本文主要介绍服务端Tomcat多实例部署,以及如何保证web服务的高可用方案。

  1. Nginx 是一个高性能的 HTTP反向代理服务器
  2. Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案,可以利用其来避免服务的单点故障
  3. Tomcat 是一个免费的开放源代码的Web 应用服务器,属于轻量级应用服务器。

Nginx的高可用负载均衡架构

如下图:为典型的Tomcat服务多实例部署的架构图

(1)用户通过域名请求到DNS,由DNS解析域名后返回对应的IP地址,该IP及为Keepalived映射服务器的虚拟IP

(2)通过该虚拟IP访问到对应的负载均衡器(Nginx),这里Nginx部署两个,然后通过Keepalived来保证NG的高可用,正常情况下由Keepalived-M将虚拟IP映射转发至Nginx-M,如果Nginx-M出现故障,此时Keepalived会切换至Keepalived-S开始工作,从而保证了NG的单点故障问题。

(3)通过Nginx负载均衡器,将请求路由到对应的Tomcat服务。

需要准备的软件

  1. apache-tomcat-8.5.39
  2. jdk1.8.0_201
  3. keepalived-1.3.9
  4. nginx-1.12.2

以上是我测试时 用的软件版本

需要准备的环境

两台 centos7 服务器

分别是 192.168.205.10,192.168.205.11 两个地址

服务器这块采用 vagrant + Oracle VM VirtualBox 构建

这里给出用到的 Vagrantfile

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
# -*- mode: ruby -*-
# vi: set ft=ruby :

Vagrant.require_version ">= 1.6.0"

boxes = [
{
:name => "docker-node1",
:eth1 => "192.168.205.10",
:mem => "1024",
:cpu => "1"
},
{
:name => "docker-node2",
:eth1 => "192.168.205.11",
:mem => "1024",
:cpu => "1"
}
]

Vagrant.configure(2) do |config|

config.vm.box = "centos/7"

boxes.each do |opts|
config.vm.define opts[:name] do |config|
config.vm.hostname = opts[:name]
config.vm.provider "vmware_fusion" do |v|
v.vmx["memsize"] = opts[:mem]
v.vmx["numvcpus"] = opts[:cpu]
end

config.vm.provider "virtualbox" do |v|
v.customize ["modifyvm", :id, "--memory", opts[:mem]]
v.customize ["modifyvm", :id, "--cpus", opts[:cpu]]
end

config.vm.network :private_network, ip: opts[:eth1]
end
end

# config.vm.synced_folder "./labs", "/home/vagrant/labs"
# config.vm.provision "shell", privileged: true, path: "./setup.sh"

end

不熟悉vagrant的朋友 可以直接使用 Oracle VM VirtualBox 或是其他的虚拟环境,比如docker,或是阿里云ECS环境

准备下篇文章 写一个 vagrant 入门教程==。==

安装需要的依赖包

$ yum -y install gcc gcc-c++ automake pcre pcre-devel zlib zlib-devel open openssl-devel

下面对 keepalived 和 nginx 的编译需要用到 gcc,因为 这两软件都是采用C语言编译的

安装的文件都解压在这

123

jdk的安装就不说了

安装Tomcat

解压即可

安装Nginx

(1)解压安装包:tar -zxvf nginx-1.12.2.tar.gz

(2)进入到nginx-1.12.2目录:cd nginx-1.12.2

(3)编译:
这里放了图片 防止被转义
321

b) sudo make && sudo make install

安装Keepalived

(1)解压安装包:tar -zxvf keepalived-1.3.9.tar.gz

(2)进入到keepalived-1.3.9目录:cd keepalived-1.3.9

(3)执行编译:

这里放了图片 防止被转义
321

b)sudo make && sudo make install

分别配置两台服务器的Nginx

  1. 分别修改两台服务器nginx配置文件,vi /usr/local/nginx/conf/nginx.conf
  2. 内容如下:
    ==ps:请仔细看下 里面的注释==
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    #nginx进程数
    worker_processes 1;

    #单个进程最大连接数
    events {
    worker_connections 1024;
    }

    #http服务器配置
    http {
    include mime.types;
    default_type application/octet-stream;
    sendfile on;
    #长连接超时时间,单位是秒
    keepalive_timeout 65;
    #upstream负载均衡配置,配置路由到tomcat的服务地址以及权重
    upstream localhost{
    # 这里是 上面准备的两台服务器的 ip及端口
    server 192.168.205.10:8080 weight=2;
    server 192.168.205.11:8080 weight=2;
    }

    #虚拟主机的配置
    server {
    #监听端口
    listen 80;
    #域名可以有多个,用空格隔开
    server_name localhost;
    location / {
    root html;
    index index.html index.htm;
    #nginx跟后端服务器连接超时时间(代理连接超时)
    proxy_connect_timeout 3;
    #后端服务器数据回传时间(代理发送超时)
    proxy_send_timeout 30;
    #连接成功后,后端服务器响应时间(代理接收超时)
    proxy_read_timeout 30;
    proxy_pass http://localhost;
    }

    error_page 500 502 503 504 /50x.html;
    location = /50x.html {
    root html;
    }
    }
    }

==主==Keepalived配置

  1. 修改10服务器的keepalived配置文件,vi /etc/keepalived/keepalived.conf
  2. 内容如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
! Configuration File for keepalived
#全局配置
global_defs {
#keepalived切换的时候,发消息到指定的email,可配置多个email
notification_email {
854554762@qq.com
}
#通知邮件从哪个地址发出
notification_email_from 854554762@qq.com
#通知邮件的smtp地址
smtp_server smtp.qq.com
#连接smtp服务器的超时时间,单位秒
smtp_connect_timeout 30
#Keepalived的机器标识,一个网络内保持唯一
router_id nginx-master
}

#执行脚本配置
vrrp_script chk_nginx {
#脚本所在路径 下面会给出
script "/home/project/keepalived/check_nginx.sh"
#脚本执行间隔时间,秒
interval 2
#优先级
weight 2
}
#keepalived实例配置
vrrp_instance VI_1 {
#指定实例的初始状态,MASTER或BACKUP两种状态,并且需要大写
state MASTER
#实例绑定的网卡 这个的网卡 请自行查询 自己机器的网卡 执行 ip a
interface eth0
#虚拟路由标识,是一个数字,整个VRRP内唯一,如果keepalived配置了主备,需要相同
virtual_router_id 51
#优先级,数值愈大,优先级越高
priority 100
#MASTER与BACKUP之间同步检查的时间间隔,单位为秒
advert_int 1
#通信验证
authentication {
auth_type PASS
auth_pass feinik
}
#追踪外围脚本
track_script {
#这里配置vrrp_script的名称
chk_nginx
}
#虚拟ip配置,可配置多个
virtual_ipaddress {
192.168.205.200
}
}

==备==Keepalived配置

  1. 修改11服务器的keepalived配置文件,vi /etc/keepalived/keepalived.conf
  2. 内容如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
! Configuration File for keepalived
#全局配置
global_defs {
#keepalived切换的时候,发消息到指定的email,可配置多个email
notification_email {
854554762@qq.com
}
#通知邮件从哪个地址发出
notification_email_from 854554762@qq.com
#通知邮件的smtp地址
smtp_server smtp.qq.com
#连接smtp服务器的超时时间,单位秒
smtp_connect_timeout 30
#Keepalived的机器标识,一个网络内保持唯一
router_id nginx-master
}

#执行脚本配置
vrrp_script chk_nginx {
#脚本所在路径
script "/home/project/keepalived/check_nginx.sh"
#脚本执行间隔时间,秒
interval 2
#优先级
weight 2
}
#keepalived实例配置
vrrp_instance VI_1 {
#指定实例的初始状态,MASTER或BACKUP两种状态,并且需要大写
state BACKUP
#实例绑定的网卡 这个的网卡 请自行查询 自己机器的网卡 执行 ip a
interface eth0
#虚拟路由标识,是一个数字,整个VRRP内唯一,如果keepalived配置了主备,需要相同
virtual_router_id 51
#优先级,数值愈大,优先级越高
priority 99
#MASTER与BACKUP之间同步检查的时间间隔,单位为秒
advert_int 1
#通信验证
authentication {
auth_type PASS
auth_pass feinik
}
#追踪外围脚本
track_script {
#这里配置vrrp_script的名称
chk_nginx
}
#虚拟ip配置,可配置多个
virtual_ipaddress {
192.168.205.200
}
}

Nginx状态检查脚本创建

  1. 新建Nginx的状态检查脚本:check_nginx.sh
  2. 内容如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
#!/bin/sh
NGINX=/usr/common/nginx/sbin/nginx
PORT=80
nmap localhost -p $PORT | grep "$PORT/tcp open"
#echo $?
if [ $? -ne 0 ];then
$NGINX -s stop
#这里再次尝试启动NG
$NGINX
sleep 5
nmap localhost -p $PORT | grep "$PORT/tcp open"
[ $? -ne 0 ] && cd /usr/common/keepalived/sbin && pkill keepalived
echo "stoped"
fi

运行测试

  1. 为了更直观的查看到keepalived切换的效果,将10服务器中的nginx的upstream服务只配置10的tomcat服务地址,11服务器中的upstream服务只配置11的tomcat服务地址,这样只需要观察将10服务器中的nginx关闭看使用虚拟ip是否可以访问到11服务器的tomcat。

  2. 分别启动两个服务器中的tomcat、nginx、keepalived,访问虚拟ip:192.168.10.200,可以查看到访问的是主keepalived服务器的tomcat

    Tomcat 启动方式 bin 目录下执行 ./startup.sh
    nginx 的启动方式 在nginx的安装目录(/usr/local/nginx)下 执行

    1
    ./nginx -c /usr/local/nginx/conf/nginx.conf

Kepalived 的安装目录(/usr/local/kepalived)下执行

1
./keepalived

以上操作完成 即可!

321

关闭11服务器的nginx,nginx -s stop,再次访问虚拟ip,如下:说明主keepalived通过配置的脚本检测到了本服务的nginx服务挂掉了,所以立马切换至了备的keepalived,这时10服务器的keepalived升为了主,所以就访问到了10服务器的tomcat。

456

评论加载中