Hproxy+Keepalived web前端负载均衡高可用配置

开发者简化了用户使用配置，但是功能还是很强大的。对于负载均衡，我们采用haproxy技术，高可用性采用keepalived技术。

注：Haproxy可提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，并且它是免费的。

       Haproxy并没有使用多进程或多线程，而是实现一种事件驱动、单一进程模型，这样就不必受内存等限制，但是通常来说，它的扩展性会比较差。

       Keepalived是一个类似于layer3,4,5交换机制的软件，也就是平常说的第3,4,5层

交换。

        Layer3,4&5工作在IP/TCP协议栈的IP层，TCP层

        Layer3:keepalived使用layer3的方式工作时，keepalived会定期向服务器群中的服务器发送一个ICMP数据包，所以，layer3的方式是以服务器的IP地址是否有效作为服务器工作正常与否的标准

        Layer4:Layer4主要以TCP端口的状态来决定服务器工作正常与否。

        Layer5:Layer5就是工作在具体的应用层，它将根据用户的设定检查服务器程序运行是否正常，如果与用户设定不相符，则会把此服务器从服务器群中剔除。

        Keepalived主要用于RealServer的健康状态检查以及LoadBalance主机和Slave主机之间failover的实现

Haproxy配置(Master)

注：本实验只是一个测试环境，对于WEB服务器等只是简单的实现。

以图中环境连接好服务器，IP等，我们将会以haproxy—keepalived顺序进行配置。

推荐阅读:

haproxy+mysql负载均衡配置 www.21ops.com/ops/7303.html

HAProxy实现动静分离 www.21ops.com/ops/9255.html

HAproxy + Keepalive实现LDAP代理服务 www.21ops.com/ops/13489.html

HAproxy + Keepalive实现Exchange反向代理服务 www.21ops.com/ops/13455.html

haproxy+keepalived实现高可用负载均衡 www.21ops.com/ops/16861.html

Haproxy服务安装

注：请自行下载所需软件，最好使用最新版本。

注：配置之前要先关闭iptables与selinux

1.更改主机名

我们以10.1.13.231服务器为Keepalived主服务器，命名为Master.KPLD;

10.1.13.232为辅服务器，命名为：slave.KPLD

[root@localhost ~]# cat /etc/hosts

127.0.0.1  localhost Master.KPLD localhost4 localhost4.localdomain4

::1        localhost localhost.localdomain localhost6 localhost6.localdomain6

[root@localhost ~]# cat/etc/sysconfig/network

NETWORKING=yes

HOSTNAME=Master.KPLD

2.解压安装haproxy软件包

# tar zxvf haproxy-1.3.20.tar.gz

[root@Master ~]# tar -zxvfhaproxy-1.3.20.tar.gz

[root@Master ~]# cd haproxy-1.3.20

[root@Master haproxy-1.3.20]# uname -r

2.6.32-279.el6.x86_64      //这里要查看一下内核版本号,安装haproxy的时候,要指定正确版本号的

          [root@Master haproxy-1.3.20]# vim Makefile        

             64 PREFIX = /usr/local修改为: 64PREFIX = /usr/local/haproxy

因为解压之后的文件是经过编译过的,有人直接在安装的时候使用—prefix=指明安装路径,我做了几次,发现是不能成功的,所以要想把安装文件放在一个目录下,只能修改Makefile文件

      [root@Master haproxy-1.3.20]# make TARGET=linux26   //对应上面的内核版本

      [root@Master haproxy-1.3.20]# make install

      [root@Master haproxy-1.3.20]# mkdir /usr/local/haproxy/etc   //创建配置文件目录

      [root@Master haproxy-1.3.20]# cp -p examples/haproxy.cfg/usr/local/haproxy/etc/    //haproxy源码下有提供配置文件模板,我们只需要copy过去,修改即可

3.Haproxy服务配置

[root@Masteretc]# vim haproxy.cfg

global

      log 127.0.0.1   local0

       log 127.0.0.1   local1 notice

       #log loghost    local0 info

       maxconn 4096

       chroot /usr/share/haproxy

       uid 99

       gid 99

       daemon                 //配置haproxy进入后台运行模式

       nbproc 2                 //创建2个进程进入deamon模式运行

       pidfile /usr/local/haproxy/haproxy.pid

       #debug

       #quiet

defaults

       log    global

       mode   http       //默认模式mode

       option httplog

       option dontlognull   //自动结束完成的链接

       retries 3

       option redispatch       //当serverid对应的服务器挂掉后,强制定向到其他健康的服务器

       maxconn 2000

       contimeout      5000

       clitimeout      50000

       srvtimeout      50000

       stats uri /haproxy_stats         //访问统计页面的url

       stats realm user passwd        //统计页面密码框提示文本

       stats auth haproxy:haproxy       //统计页面用户名与密码

       stats hide-version               //隐藏haproxy版本信息

listen  www.rhel.com 0.0.0.0:80

       cookie SERVERID rewrite

       balanceroundrobin

#       balance source                 //最好使用这个,可以保证同一台客户机,固定访问一台服务器

       server 192.168.1.10 192.168.1.10:80 cookie 192.168.1.10 check inter 2000 rise 2fall

       server  192.168.1.20 192.168.1.20:80 cookie192.168.1.20 check inter 2000 rise 2 fall 5

// 服务器定义,checkinter 2000指检测心中频率,rise指3次正解认为服务器可用,fall 5指失败5次认为服务器不可用,也可设置权值weigth 数字

在配置之后,需要创建一个文件,与配置想对应

[root@Master etc]# mkdir /usr/share/haproxy

4.日志配置

     [root@Masteretc]# vim /etc/rsyslog.conf      //日志配置文件

添加此两行内容

local0.*/var/log/haproxy.log                //增加local0的日志文件,下同

local1.* /var/log/haproxy.log

             [root@Master etc]# vim/etc/sysconfig/rsyslog

修改此行:SYSLOGD_OPTIONS="-r -m 0"

              [root@Master etc]# servicersyslog restart       //重启日志进程

重启之后就可以看到/var/log/已经出现了haproxy.log这个文件

5.启动haproxy服务器

[root@Master ~]#/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/etc/haproxy.cfg

可以查看一下进程

[root@Mastersbin]# netstat -tulpn | grep haproxy

tcp        0     0 0.0.0.0:10001  0.0.0.0:*   LISTEN     3451/./haproxy      

udp 0 00.0.0.0:49372 0.0.0.0:*                              3451/./haproxy      

[root@Mastersbin]#

即启动成功

6.开启路由转发功能

[root@Mastersbin]# echo "1">/proc/sys/net/ipv4/ip_forward

7.Haproxy(Slave)

Slave的安装与Master的安装是一样的,我们只需要修改Slave的主机名即可,这里不在赘述

配置服务器Web1与Web2

注：httpd服务器只是在此阶段进行测试使用，到后端Nginx服务器搭建之后，此httpd服务器要关闭！

1.修改Web1与Web2主机名

[root@localhost~]# hostname Web1.KPLD      //如需要可配置成永久主机名

root@Web1 ~]#yum install httpd –y             //安装apache

root@Web1 ~]# echo "Web1.KPLD">/var/www/html/index.html

[root@Web1 ~]#service httpd start

       Web2.rhel.com的配置基本一样,需要修改一下主机名,创建index.html网页时更改一下内容

[root@Web2 ~]# echo "Web2.KPLD">/var/www/html/index.html

一．测验Haproxy服务是否安装成功

在地址栏中输入Master/Slave的ip地址(这里的Master与Slave是对keepalived高可用所说的,对haproxy负载均衡无关系)

点击刷新

因为我们采用的是轮询,所以会在两个服务器之间进行轮询查看.

我们也可以使图形界面查看Haproxy服务下配置的服务器使用状态

在更高的版本中，增加了更高级的功能，比如，可以直接下架服务器。

Keepalived服务配置(Master)

我们已经实现在haproxy的负载均衡,但是,我们不可以一下发布两个地址,所以要使用keepalived高可用特性来实现虚拟ip,达到高可用性的目的.

1.keepalived的安装

[root@Master ~]# yum install kernel-devel openssl-devel popt-devel    //安装依赖文件

[root@Master ~]# tar -zxvf keepalived-1.2.2.tar.gz

[root@Master ~]# cd keepalived-1.2.2

[root@Master keepalived-1.2.2]# ./configure--with-kernel-dir=/usr/src/kernels/2.6.32-279.el6.x86_64/

如果出现以下提示,即为成功

Keepalivedconfiguration

------------------------

Keepalivedversion       : 1.2.2

Compiler                 : gcc

Compilerflags           : -g -O2

Extra Lib                : -lpopt -lssl -lcrypto

Use IPVSFramework       : Yes

IPVS sync daemonsupport : Yes

IPVS uselibnl           : No

Use VRRPFramework       : Yes

Use Debugflags          : No

[root@Masterkeepalived-1.2.2]#

[root@Masterkeepalived-1.2.2]# make && make install

[root@Masterkeepalived-1.2.2]# cp keepalived/etc/init.d/keepalived.rh.init/etc/init.d/keepalived                            //copy启动脚本

[root@Masterkeepalived-1.2.2]# chmod +x /etc/init.d/keepalived    //可执行权限

[root@Masterkeepalived-1.2.2]# chkconfig --level 35 keepalived on  //在35级别开机启动

[root@Masterkeepalived-1.2.2]# cp keepalived/etc/init.d/keepalived.sysconfig/etc/sysconfig/keepalived                        //copy启动初始化文件

[root@Masterkeepalived-1.2.2]# cp /usr/local/sbin/keepalived /usr/sbin/    //copy启动文件

2.keepalived服务配置

[root@Master keepalived-1.2.2]# vim/usr/local/etc/keepalived/keepalived.conf

! ConfigurationFile for keepalived

global_defs {

  notification_email {

    acassen@firewall.loc

    failover@firewall.loc

    sysadmin@firewall.loc

  }

  notification_email_from Alexandre.Cassen@firewall.loc

  smtp_server 192.168.200.1

  smtp_connect_timeout 30

  router_id LVS_DEVEL

}

vrrp_instanceVI_1 {

   state MASTER

   interface eth2

   virtual_router_id 60

   priority 100

   advert_int 1

   authentication {

       auth_type PASS

       auth_pass 1111

   }

   virtual_ipaddress {

      10.1.13.230

   }

}

virtual_server 10.1.13.230 80 {

  delay_loop 6

  lb_algo rr

  lb_kind DR

  nat_mask 255.255.255.0

  persistence_timeout 50

  protocol TCP

   real_server 10.1.13.231 80 {

      weight 1

      TCP_CHECK {

          connect_timeout 3

          nb_get_retry 3

          delay_before_retry 3

      }

   }

  real_server 10.1.13.232 80 {

      weight 1

      TCP_CHECK {

          connect_timeout 3

          nb_get_retry 3

          delay_before_retry 3

      }

   }

}

由于在启动脚本/etc/init.d/keepalived的配置中,默认的配置文件为config:/etc/keepalived/keepalived.conf,所以,我们要建立一个链接

[root@Masterkeepalived]# ln -s /usr/local/etc/keepalived/keepalived.conf/etc/keepalived/keepalived.conf

启动keepalived即可

[root@Masterkeepalived-1.2.2]# service keepalived start

Keepalived配置(Slave)

Slave的配置与Master的配置基本相同,只要修改几个方面即可,这里不再贴出完整代码,只写出差异的部分

1.将一处state MASTER 修改为state BACKUP

2.将一处priority 100  修改为priority 50

后端NGINX服务器配置

本公司并无此服务器，公司真正的服务器为IIS，个人不喜欢windows服务器方面，所以测试时没有使用IIS

1.安装依赖软件

[root@localhost~]# yum install gcc openssl-devel pcre-devel zlib-devel

2.创建Nginx用户

# useradd nginx-s /sbin/nologin

3.解压软件并安装

# tar -zxvfnginx-1.4.2.tar.gz

# cd nginx-1.4.2

# ./configure--user=nginx --group=nginx --prefix=/usr/local/nginx--with-http_stub_status_module --with-http_ssl_module

# make&& make install

注：--user,--group:分别指定启动nginx的帐户与组

--with-http_stub_status_module:安装允许状态模块

--with-http_ssl_module:安装ssl模块

4.启动nginx

#/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

注：在web1与web2中各做一个主页，web1中内容为Web1.KPLD,web2中内容为Web2.KPLD

5.配置静态路由

由于我们的服务器是内部网络，不能与外部网络相通，但是Keepalived配置时我们使用的是DR模型，所以，当一个请求到达时，是由内部服务器直接返回给客户端，所以，我们必然要保证内部主机可以与外网相连通

在/etc/rc.local中添加如下路由

  route add defaultgw 192.168.200.253

6.除了配置在web服务器上配置IP之外，还需要对内网做SNAT，可在两台Keepalived上做SNAT

iptables -t nat -A POSTROUTING -s 192.168.200.0/24 -j SNAT--to 10.1.13.231-10.1.13.232

测试Keepalived

由于设定的是Master为keepalived为主服务器,所以可以在Master上查看是否有虚拟地址

[root@Master keepalived]# ip addr

应该能找到如下内容

2: eth2:<BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen1000

   link/ether 00:0c:29:3a:4d:dd brdff:ff:ff:ff:ff:ff

   inet 10.1.13.231/24 brd 10.1.13.255 scopeglobal eth2

   inet 10.1.13.230/32 scope global eth2               //可以看出，虚拟IP出现。

   inet6 fe80::20c:29ff:fe3a:4ddd/64 scopelink

      valid_lft forever preferred_lft forever

也可以安装ipvsadm来查看配置

     [root@Masterkeepalived]# yum install ipvsadm

使用ipvsadm –L来查看

现在使用虚拟ip地址来查看网页

现在我们来测试一下高可用性,把Master的keepalived stop,看会不会进行vip的转移

在Master上关闭keepalived服务,查看Slave上ip addr是否出现vip

[root@Master keepalived]# servicekeepalived stop

在Slave上查看

[root@Slave ~]# ip addr

2: eth1:<BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen1000

   link/ether 08:00:27:a5:0e:93 brdff:ff:ff:ff:ff:ff

   inet 10.1.13.232/24 brd 10.1.13.255 scopeglobal eth1

   inet 10.1.13.230/24 scope global secondaryeth1          //虚拟IP出现

   inet6 fe80::a00:27ff:fea5:e93/64 scope link

     valid_lft forever preferred_lftforever

再通过浏览器查看网页,自行查看。

也是正常的,高可用性也是成功的.

配置排错

Keepalived配置出现的问题及解决方法

错误一:

configure: error:

 !!!OpenSSL is not properly installed on your system. !!!

 !!!Can not include OpenSSL headers files.            !!!

安装openssl-devel

  yum install openssl-devel

错误二:

configure: error: Popt libraries isrequired

安装popt开发包

 yum install popt-devel

错误三:

[root@Master keepalived-1.2.2]# servicekeepalived start

Starting Keepalived for LVS: /bin/bash:keepalived: command not found

                                                         [FAILED]

解决方法:

[root@Slave ~]# cp/usr/local/sbin/keepalived /usr/sbin/

错误四：

    Ipvs协议不可用

  Dec31 10:51:02 Slave Keepalived_healthcheckers: Registering Kernel netlink commandchannel

Dec 31 10:51:02 SlaveKeepalived_healthcheckers: Opening file '/etc/keepalived/keepalived.conf'.

Dec 31 10:51:02 SlaveKeepalived_healthcheckers: Configuration is using : 14529 Bytes

Dec 31 10:51:02 Slave Keepalived:Healthcheck child process(19805) died: Respawning

Dec 31 10:51:02 Slave Keepalived: StartingHealthcheck child process, pid=19807

Dec 31 10:51:02 SlaveKeepalived_healthcheckers: IPVS: Can't initialize ipvs: Protocol not available

Dec 31 10:51:02 SlaveKeepalived_healthcheckers: Netlink reflector reports IP 10.1.13.232 added

解决方法：

手动加载ip_vs模块

modprobe ip_vs

modprobe ip_vs_wrr

并且加入开机启动

 #cat /etc/rc.local

   /sbin/modprobeip_vs

/sbin/modprobe ip_vs_wrr

错误五：

 Master服务器与Slave服务器都出现虚拟IP地址，并用当主服务器断开后，从服务器不能切换，日志显示如下

Dec 18 22:37:24 localhost Keepalived_vrrp:bogus VRRP packet received on eth1 !!!

Dec 18 22:37:24 localhost Keepalived_vrrp:VRRP_Instance(VI_1) ignoring received advertisment...

Dec 18 22:37:25 localhost Keepalived_vrrp:ip address associated with VRID not present in received packet : 10.1.13.230

Dec 18 22:37:25 localhost Keepalived_vrrp:one or more VIP associated with VRID mismatch actual MASTER advert

出现这个原因主要是virtual_router_id配置不正确，默认情况下是51，但是有些情况下需要更改，比如修改为：virtual_router_id 60 ，切换就会成功了

来源:http://guodong810.blog.51cto.com/4046313/1259983