LVS配置指南
时间：2009-03-23 来源：sjhf
|
Part I. 安装配置ipvsadm 1>加载ip_vs模块 [root@ssn ~]# modprobe ip_vs [root@ssn ~]# lsmod | grep ip_vs ip_vs 77569 0 [root@ssn ~]# cat /proc/net/ip_vs IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn 2>建立kernel-source目录链接 [root@ssn src]# rpm -q kernel-devel kernel-devel-2.6.18-8.el5 [root@ssn src]# ln -s /usr/src/kernels/2.6.18-8.el5-i686/ /usr/src/linux 3>安装ipvsadm [sense@ssn Desktop]$ tar xzvf ipvsadm-1.24.tar.gz [sense@ssn Desktop]$ cd ipvsadm-1.24 [sense@ssn ipvsadm-1.24]$ make [sense@ssn ipvsadm-1.24]$ sudo make install 5>三种IP负载均衡技术的优缺点比较: 杂项 VS/NAT VS/TUN VS/DR 服务器操作系统 任意 支持隧道 多数(支持Non-arp ) 服务器网络 私有网络 局域网/广域网 局域网 服务器数目(100M网络) 10-20 100 多(100) 服务器网关 负载均衡器 自己的路由 自己的路由 效率 一般 高 最高 Part II. LVS/NAT  1>director端配置 (1)开启IP转发: 临时开启(立即生效)： [root@ssn src]# echo "1">/proc/sys/net/ipv4/ip_forward 永久开启(重启服务器或NETWROK服务后生效)： [root@ssn src]# vi /etc/sysctl.conf -------------------------------------------- # Controls IP packet forwarding net.ipv4.ip_forward = 1 -------------------------------------------- [root@ssn src]# sysctl -p (2)配置ipvsadm调度 [root@ssn src]# ipvsadm -C [root@ssn src]# ipvsadm -A -t 192.168.1.90:80 -s wlc -p 120 [root@ssn src]# ipvsadm -a -t 192.168.1.90:80 -r 192.168.2.1:80 -m [root@ssn src]# ipvsadm -a -t 192.168.1.90:80 -r 192.168.2.2:80 -m [root@ssn src]# iptables -F 注：目前director端使用netfilter模块会与LVS产生冲突，所以推荐直接关闭iptables。 2>client端配置 cluster1: [root@cluster1 ~]# vi /etc/sysconfig/network ------------------------------------------------- NETWORKING=yes NETWORKING_IPV6=yes HOSTNAME=cluster1 GATEWAY=192.168.2.254 ------------------------------------------------- [root@cluster1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 ------------------------------------------------- DEVICE=eth0 BROADCAST=192.168.2.255 IPADDR=192.168.2.1 IPV6ADDR= IPV6PREFIX= NETMASK=255.255.255.0 NETWORK=192.168.2.0 ONBOOT=yes ------------------------------------------------- cluster2: [root@cluster2 ~]# vi /etc/sysconfig/network ------------------------------------------------- NETWORKING=yes NETWORKING_IPV6=yes HOSTNAME=cluster2 GATEWAY=192.168.2.254 ------------------------------------------------- [root@cluster2 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 ------------------------------------------------- DEVICE=eth0 BROADCAST=192.168.2.255 IPADDR=192.168.2.2 IPV6ADDR= IPV6PREFIX= NETMASK=255.255.255.0 NETWORK=192.168.2.0 ONBOOT=yes ------------------------------------------------- 3>远程测试 http://192.168.1.254/ 4>问题说明 ip_vs模块是实现基于内核的流量调度，所以本地不会显示相应的监控程序。 [root@ssn httpd-2.2.6]# netstat -tunlp Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 127.0.0.1:8000 0.0.0.0:* LISTEN 5321/nasd tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 6010/rsync tcp 0 0 :::873 :::* LISTEN 6010/rsync [root@ssn httpd-2.2.6]# ipvsadm IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.1.90:http wlc -> 192.168.2.3:http Masq 1 0 42 -> 192.168.2.2:http Masq 1 0 44 Part III. LVS/DR 
1>director配置 root@ssn httpd-2.2.6]# vi /etc/sysctl.conf ------------------------------------------------ net.ipv4.ip_forward = 0 net.ipv4.conf.all.send_redirects = 1 net.ipv4.conf.default.send_redirects = 1 net.ipv4.conf.eth0.send_redirects = 1 ------------------------------------------------ [root@ssn httpd-2.2.6]# sysctl -p 配置VIP: [root@ssn httpd-2.2.6]# ip addr add 192.168.1.254 dev eth0 [root@ssn httpd-2.2.6]# ip route add 192.168.1.254/32 dev eth0 配置ipvsadm调度: [root@ssn httpd-2.2.6]# ipvsadm -C [root@ssn httpd-2.2.6]# ipvsadm -A -t 192.168.1.254:80 -s wlc -p 120 [root@ssn httpd-2.2.6]# ipvsadm -a -t 192.168.1.254:80 -r 192.168.1.92 -g [root@ssn httpd-2.2.6]# ipvsadm -a -t 192.168.1.254:80 -r 192.168.1.93 -g 关闭防火墙: [root@ssn src]# iptables -F 注：目前director端使用netfilter模块会与LVS产生冲突，所以推荐直接关闭iptables。 2>realserver配置 cluster1: [root@cluster1 ~]# vi /etc/sysctl.conf ---------------------------------------- net.ipv4.ip_forward = 0 net.ipv4.conf.lo.arp_ignore = 1 net.ipv4.conf.lo.arp_announce = 2 net.ipv4.conf.all.arp_ignore = 1 net.ipv4.conf.all.arp_announce = 2 ---------------------------------------- [root@cluster1 ~]# sysctl -p 配置VIP: [root@cluster1 ~]# ip addr add 192.168.1.254 dev lo [root@cluster1 ~]# ip route add 192.168.1.254/32 dev lo 本地IP: [root@cluster1 ~]# vi /etc/sysconfig/network ------------------------------------------------- NETWORKING=yes NETWORKING_IPV6=yes HOSTNAME=cluster1 GATEWAY=192.168.1.1 ------------------------------------------------- [root@cluster1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 ------------------------------------------------- DEVICE=eth0 BROADCAST=192.168.1.255 IPADDR=192.168.1.91 IPV6ADDR= IPV6PREFIX= NETMASK=255.255.255.0 NETWORK=192.168.1.0 ONBOOT=yes ------------------------------------------------- 关闭iptables: [root@cluster1 ~]# iptables -F cluster2: [root@cluster2 ~]# vi /etc/sysctl.conf ---------------------------------------- net.ipv4.ip_forward = 0 net.ipv4.conf.lo.arp_ignore = 1 net.ipv4.conf.lo.arp_announce = 2 net.ipv4.conf.all.arp_ignore = 1 net.ipv4.conf.all.arp_announce = 2 ---------------------------------------- [root@cluster2 ~]# sysctl -p 配置VIP: [root@cluster2 ~]# ip addr add 192.168.1.254 dev lo [root@cluster2 ~]# ip route add 192.168.1.254/32 dev lo 本地IP: [root@cluster2 ~]# vi /etc/sysconfig/network ------------------------------------------------- NETWORKING=yes NETWORKING_IPV6=yes HOSTNAME=cluster2 GATEWAY=192.168.1.1 ------------------------------------------------- [root@cluster2 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 ------------------------------------------------- DEVICE=eth0 BROADCAST=192.168.1.255 IPADDR=192.168.1.92 IPV6ADDR= IPV6PREFIX= NETMASK=255.255.255.0 NETWORK=192.168.1.0 ONBOOT=yes ------------------------------------------------- 关闭iptables: [root@cluster1 ~]# iptables -F 3>远程测试 http://192.168.1.254/ 4>问题说明 LVS/DR中realserver也不能使用iptables，否则访问测试不能成功。 [root@ssn httpd-2.2.6]# ipvsadm IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.1.254:http wlc -> 192.168.1.91:http Route 1 0 11 -> 192.168.1.92:http Route 1 1 10 Part III. LVS/TUN Part IV. ipvsadm命令参数说明（引用） ipvsadm -A -t 192.168.1.90:80 -s wlc -p 120 -A 增加一个虚拟服务，该服务由协议、IP地址和端口号组成，例如： -A -t 202.99.59.110:80 (增加一格虚拟服务，其协议(-t表示tcp，-u表示udp)为TCP、IP为202.99.59.110、端口号为80。 -s 指定服务采用的算法，常用的算法参数如下： * rr 轮叫（Round Robin） 调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务 器，而不管服务器上实际的连接数和系统负载。 * wrr 加权轮叫（Weighted Round Robin） 调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。 * lc 最少链接（Least Connections） 调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。 * wlc 加权最少链接（Weighted Least Connections） 在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。 * lblc 基于局部性的最少链接（Locality-Based Least Connections） "基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务器，将请求发送到该服务器。 * lblcr 带复制的基于局部性最少链接（Locality-Based Least Connections with Replication） " 带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。 * dh 目标地址散列（Destination Hashing） "目标地址散列"调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。 * sh 源地址散列（Source Hashing） "源地址散列"调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。 -p 会话保持时间，定义流量被转到同一个realserver的会话存留时间。 /sbin/ipvsadm -a -t 192.168.1.254:80 -r 192.168.1.12 -g -w 1 -p 100 -a 表示往一个服务内增加一个real server -r 指定real server的IP地址 -w 表示权重 -g 表示使用DR方式，-m表示NAT方式，-i表示tunneling方式。 更新中…… |
相关阅读 更多 +
