【转】通交换机上的网卡绑定

通交换机上的网卡绑定

                      摘自 无盘论坛 作者：user nbcool Crashlove net2000 zhxyz win2000 rugou 李哲 Lmkz

user:

－－实现负载均衡首先是基于网络的高可用性提出来的，在一个网络上，如果服务器或网卡出现什么问题，整套网络就得瘫痪，于是我们就加一个或几个服务器备用，同时在服务器内部，网卡、电源、硬盘等也做成双份的或者更多份以备不时之需，现在的网络服务器端要提供的服务越来越多，负荷越来越重，对网络流量的要求也越来越大，我们不是放了很多备用服务器、备用网卡等设备吗，主服务器在满负荷工作的时候总不能让他们都闲着，让他们也分担点负荷，谁出了毛病再把他的工作自动移交给其他设备，这样，一个完美的方案就出现了，高可用性得到保证，网络负荷也可以解决。

－－完整的网络流量均衡和高可网络技术有两个方面构成，一是多服务器的绑定和负载均衡，二是一个服务器内部的多网卡绑定和负载均衡，这里我们主要讨论一个服务器内部的多网卡绑定和负载均衡。

－－在无盘系统中，网络流量是最主要的性能和应用瓶颈，网络其本是工作在满负荷的情况下，如果有一个稳定、廉价的解决方案解决网络流量的问题，对无盘应用无疑有很大的帮助。上1000M网？可能还要一年多才能实用吧，而且，严格来说，1000M无盘网上，服务器的网卡流量也是瓶颈之一。用多网卡划分多个子网？也有帮助，但实际应用中常出现一个子网满负荷工作，而其它子网还有闲暇或者根本就没开机，网络带宽不能保证有效利用。只有上负载均衡技术，扩宽网络带宽（大一点的无盘网络中，也可以结合网段划分和服务器负载均衡以达到好的效果）。

－－众所周知，在Windows NT&2000下，网卡负载均衡是基于网卡流量控制和第三层交换、交换机端口绑定等技术实现的，网卡流量控制并不是大问题，现在的网卡基本都支持（包括8139），而支持第三层交换、交换机端口绑定的交换机价格不菲，绑定网卡的程序也基本上是集成在服务器网卡驱动里，网友们用Dlink570驱动绑定普通网卡IP其实就是Intel的技术，同方号称可以在普通交换机上绑定网卡实现流量控制也是Intel的技术，同方虽然功能上比Dlink实现的要强一些，但它是全套用Intel的网卡、驱动和网管软件实现的，这点比Dlink差远了～～呵呵，题外话。用全套Intel的服务器网卡、软件花费太多，还不如买一个带有端口绑定的交换机实惠。用Dlink570的话，在普通交换机又会造成交换机死机，有必要另寻他方。

－－这段时间以来一直在研究Linux，从Linux实现负载均衡的研究中得到一些启示，普通的网卡负载均衡技术大概是这样实现的：服务器接在交换机上的多块网卡不仅绑定为一个IP，Mac地址也被设定为同一个，构成一个虚拟网卡，交换机必须把这几端口认为是同一个，工作站向服务器请求数据时，数据包被交换机同时传递给被绑定的几个端口，服务器上的网卡接到请求后，由网卡自己智能决定那一块网卡处理数据传输。具体实现上，发送和接收处理方式有所不同，负载均衡也被分为单向均衡（发送）和双向均衡（发送和接收）。从这个简单的过程描述中，我们可以这样设想，如果我们让服务器网卡按另一种方式工作，如：多块网卡中有一个主网卡，工作站所有的网络请求都发送给他，主控网卡接到请求后，由一个网络传输控制程序决定哪一块网卡处理，然后控制那一块网卡接收数据或者发送数据，这样我们就可以在普通的交换机上实现多网卡的负载均衡，当然这样一来，服务器网卡的冗余功能就没法实现，主网卡链路坏掉整个网络就断了，所以我说是一个另类的解决方案。

－－在Linux下，一切都有源码可供研究和利用（包括网卡驱动），修改一下就可以实现设想的工作方式，可在Windows下，一切都必须从头开始，我的程序功底实在不怎么样，痛苦的深入几天还是没有多大进展，这几天，为寻找资料和可以利用的现成的网络控制工具，我把Intel 3Com Dlink Realtek IMB HP等网站全部翻了个底朝天，现在，这几个公司关于网卡方面的内容差不多在我的硬盘上都可以建成镜像了，工作没多少进展，倒是在3Com网站上找到一个好东东可以实现我们的目标，～～呵呵，以上全都成了废话，下面我们开始介绍3Com的工具。

－－3Com DynamicAccess，是不是有点耳熟？没错就是它，这是一个完整的网络管理软件，我们原来只是用了他远程启动的部分，即Boot Services，在DynamicAccess网管软件中我们关心的有几个方面：Fast IP、交互式存取技术和冗余服务器链路（RSL），Fast IP简单的说就是软件第三层交换，它可以把普通交换机当成第三层交换机来用，厉害吧？交互式存取技术也就是网卡的流量控制，冗余服务器链路（RSL）就是我们关心的服务器网卡绑定。详细的介绍可以访问3Com的网站。

－－首先，到3Com的网站上下载http://support.3com.com/infodeli ... access/da20inst.exe只支持9598＆Nt4，支持2000的版本翻遍整个3Com.com也找不到，要用2000的可以下载ftp://ftp.3com.com/pub/nic/3c980/3c98xx5.exe并下ftp://ftp.3com.com/pub/nic/3c980/3c98xx1.exe和ftp://ftp.3com.com/pub/nic/3c980/3c98xx4.exe备用。

－－Nt4装da20inst.exe需要Sp6a和Ie4以上，装好Dynamic Access后，重装一遍Sp6a。在系统中就会多出对应物理网卡的一块虚拟网卡Dynamic Access Miniport，如有多块网卡，则会多出多块分别对应多块物理网卡。物理网卡的所有网络协议绑定都被解除而多出一个Dynamic Access Protocol绑定，原物理网卡上的协议绑定都被转移到对应的Dynamic Access Miniport上，设置Dynamic Access Protocol的属性，就可以设置网卡绑定。工作站同样也要安装才能支持Fast IP

－－开始，我是在2000上试验的，da20inst.exe死活装不上，翻3Com网站时，找到另一个工具：也就是上面提到的3C980的驱动程序，其中3c98xx1.exe是3C980的Windows驱动，3c98xx4.exe是Dynamic Access For NT，3c98xx5.exe则是Dynamic Access For 2000。解压后安装即可，只是版本有点老，是Dynamic Access 1.8.3版本的（da20inst.exe是2.0.0.48 NT和2.0.0.39 98）。

－－在3Com Dynamic Access配置选项中，网卡绑定有RSL（网卡冗余，默认＝On且不可调）、TxLB（发送均衡）、RxLB（接收均衡）三个开关，显然三项必须都为ON才能充分利用网络带宽（无盘系统中由于虚拟内存的存在，发向服务器的数据量也很大），可我的Rtl8139C在Dynamic Access中的支持仅为Limited，只能设RSL＝ON TxL＝ON BRxLB＝Off，3Com网站上说，Dynamic Access支持Intel等第三方网卡，于是装了一块Intel82559网卡，同样也为Limited，当然，这是人为限制的，又装了一块3C905，没想到又是Limited，看来与驱动程序也有关系，3Com网站也说老的网卡可以升级支持Dynamic Access，但一些服务器的高级功能只提供给服务器网卡云云，能不能将驱动改头换面一下呢？打开3C980的inf，[Options]下赫然有3C90x和3c980两项，于是，强制装为3Com EtherLink Server 10/100 PCI NIC (3C980B-TX)，搞定！Dynamic Access支持为Advanced Server，绑定为RSL＝ON TxL＝ON BRxLB＝ON。

－－3Com Dynamic Access美中不足的是对非3Com 服务器网卡的其他网卡只能绑定2块，而3Com自己的服务器网卡则在一个网卡组中最多可绑定8块。不过，3C905价格也不贵，一个无盘系统弄几块来也不是什么问题。

-----Fast IP是基于软件控制的交换技术,它可以在普通第二层交换机上实现第三层交换以提高网络传输效率,它是一个传输控制软件并没有改变协议本身的内容,也可以不安装,并不影响服务器端的网卡绑定和负载均衡.

-----我试验环境为2000ADS和NT4企业版(E文的),我认为服务器最好还是用E文的,稳定速度快(比中文版),中文环境先前确实没试过,现在试了一下NT4和98中文版,Da20确实装不上,不过可以通过执行安装解压临时目录下Dasetup\Dasetup.exe安装.

Nbschool:

我实验过用NIC EXPRESS捆绑同一IP能达到7块网卡（双至强PII450-2M的CH的GX主板自带一82558网卡，主板的6个PCI都插上3COM905），能捆绑成功为同一IP，速度绝对是一流！

我用一个24口的二手三层交换机带10个8口普通交换机，60几台(我只有这么多）工作站启动和运行大程序（除红警2）的速度和有盘没有什么区别，甚至更快，7块网卡应该能带200-250台无盘，虽然我还没解决启动无盘的稳定问题，但至少说明多网卡捆绑同一IP在无盘上大有前途！

   NICExpress-NT204Ethernet版本注册码也是381567我发现它1.1c 2.02 3.0 3.01 和NICExpressW2Kv202Ethernet都是这个注册码，所以我的204也用他试了下，竟然也成功，不知道怎么回事，也不知道会不会有问题。

Crashlove:

NicExpress下载处：http://www.ipmetrics.com/ipms/DOWNLOAD.HTML

Nbcool:

Re net2000: 我绑定了3片网卡，2 个530TX，1个8139，从NIC EXPRESS 监视程序看，只有第一片网卡有数据传输，无论绑定几片都是只有第一片传输数据，我用的是100M Hub, 而且在打开IE 或其它要进行网络传输时，服务器会突然蓝屏

它对交换机有要求的，三层或支持负载均衡功能的，我有试过用别的网卡，只要主网卡支持负载均衡功能，其他什么网卡都行试来试去就是还没有找到为什么不稳定，看来还得继续

net2000:

我把网卡限制在全双工100m，有二个开始传送数据了！而且我的是D-link8口的hub，看来只要是支持全双工的交换机就可以。

Zhxyz:

nic express 兼容所有的网卡，老兄，多看看说明书，不是写的很明白的吗！

Win2000:

研究了将近一个月，今天终于成功地在NT下绑定了双网卡。 但试验的实际效果没有想象的好，无盘启动速度没有什么明显的变化，可能跟我的机器数目有关，目前我只有在20台机了试验。下次找个机会在 大型的无盘网络上试验一下，不过玩游戏的时候可爽多了，特别是反恐精英
客户反映快多了，可启动时没什么变化，这应该是磁盘的性能关系了吧。 大家在绑定多网卡时走入了一个误区，多以为是绑定一个IP地址，其实经我的研究发现，无盘启动时用的可是IPX协议，大家应该从这个方面入手，我也是走了许多弯路之后才搞明白的，搞清无盘的启动跟IPX的关系，绑定多网卡也就方便许多了。至于多网卡是否稳定，目前正在测试之中，等测试好了再告诉大家。

Rugou:

我用过3Com DynamicAccess，NIC EXPRESS，D-DLINK来做实验。 发现只有NIC EXPRESS 212真正的实现了负载均衡，其他的软件都只有主网卡在工作。但NIC EXPRESS 212也有毛病，就有会造成服务器的软件时能运行，时不能运行。不能运行的时侯一点击程序就马上会出错不知道是什么原因。我捆绑的是两块INTEL网卡。



李哲：

以软件方式来实现多网卡绑定卡，非要连到三层交换机上，才能正常工作,，这个问题我都试过X次了，否则就是不断的蓝屏，不断的重启，还有不断的停止服务，想想多网卡绑定一个IP这么累，这么烦，还是用其它方法代替吧。多网卡，多IP的弊端就是在路由上，解决了路由，就什么都好办了；而解决路由，可不象绑IP那么难呀！

Rugou:



我用NIC EXPRESS绑定成功。 前两天偶然发现，NIC EXPRESS 刚出了3。02版，立马下了一个，在我的服务器上试了试。我的服务器是两块网卡，一块是主板自带的INTEL 82559，一块是自加的INETL 82557。装上后启动一台工作站，一边等待一边祈求上帝的保佑，结果，工作站启动成工。乌拉，看来成功了一半。为了试试能不能真正的均衡，我把15台电脑全部启动。全部启动成功。启动后全部连半条命，连网没问题，不过有些电脑要连接两次才能进入游戏。根据NIC EXPRESS自带的程序观测，确实实现了均衡流量。流量大的时侯两块网卡都有数据传输，有时第一块网卡流量大有时是第二块网卡流量大。流量小的时侯只有一块网卡有数据传输，但是有时是第一块，有时是第二块。我想这应该是真正的达到了均衡吧。起码他不象用3COM的绑定那样只有两块网卡发送数据，却只有一块网卡接收数据〔因为我的网卡不是3COM的，所以3COM的软件只支持均衡发送不支持均衡接收〕。我又试了8台红警边网，有一台运行了一会儿脱网，其他则没什么问题。呵，NIC EXPRESS还真仁慈，竟然注册码跟1。0还是一样，真是开心。



Zhxyz:



只有用3com 的东西才能省点钱，nic express那东西对硬件要求有点高，动不动就蓝给你看！

老兄，NIC EXPRESS 3.02上早就出来了，http://www.ipmetrics.com/ipms/download.htmlnt 的2.04和for win2000的3.02，没什么新鲜的！ 好长时间没说话了，对多网卡，我也做的差不多了，我曾用3com 的做出4个8139绑起来，还是用的tp-link1024的交换，大家对此如此热烈，我想说一些！天下没白吃的午餐！又想少花钱，又想多办事，哪有这么好的事，你要付出努力才行呀，如果你不想付出努力那也行，只要你有钱，这问题就好解决了，你全用3com的网卡来做客房机，用1000元1箱的网线，服务器用专用的pci66的千兆网卡,你还有问题吗！如果你没钱，那也好办，如果你用心的话，用一天的时间在这个论坛里好好地找找，这个论坛有好多好东西，足够你用，一定能解决你所有的问题，今天心情不好，哆哩哆嗦说了这一些，还是切回正题：本建议主要是针对网络规模在30～50的中等网络,交换机用tp-link1024网卡都用8139
_______
| |
服 | |
务 | |
器 | |
| []|
| [] ||
|__|__||
| |
联网卡1| | 联网卡2
________| |_______
_____|____ _______|_____
交换1|_________|--------|___________| 交换机2
|||||||||| 级联 ||||||||||
连接工作站 同左

   用3com 的软件来做！

Lmkz:

   网卡绑定后在IPX协议下可正常工作吗？NICEXPRES绑定后拷贝文件IPX协议有时定位不到服务器，这个问题NICEXPRES帮助文件都有说明：

Due to a known bug in Windows NT Server, Windows 95/98 clients that use IPX as their only protocol may have trouble writing data to a Windows NT Server. With high volumes of traffic this bug can even cause a "Blue Screen of Death" on the NT server requiring a reboot of the system. To correct this problem, Direct Hosting over NWLink must be disabled on Windows 95/98 clients. Disabling Direct Hosting should not affect performance however.

Please refer to Microsoft's web site for more details concerning the Direct Hosting over IPX in Windows NT. This information can be found in the following Microsoft Knowledge Base Articles

Xming:

nic express3.0支持any layer 2 switch

NIC Express 3.0 is the only hardware and vendor agnostic NIC load balancing software on the market. The software supports all major network adaptor brands, any layer 2/3/4 switch and network environments such as Ethernet, Fast Ethernet, Gigabit Ethernet and Fibre Channel.