发布新日志

  • [收集]HTTP协议详解

    2012-06-27 13:42:41

    1. 基础概念篇1.1 介绍
    HTTP是Hyper Text Transfer Protocol(超文本传输协议)的缩写。它的发展是万维网协会(World Wide Web Consortium)和Internet工作小组IETF(Internet Engineering Task Force)合作的结果,(他们)最终发布了一系列的RFC,RFC 1945定义了HTTP/1.0版本。其中最著名的就是RFC 2616。RFC 2616定义了今天普遍使用的一个版本——HTTP 1.1。
    HTTP协议(HyperText Transfer Protocol,超文本传输协议)是用于从WWW服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效,使网络传输减少。它不仅保证计算机正确快速地传输超文本文档,还确定传输文档中的哪一部分,以及哪部分内容首先显示(如文本先于图形)等。
    HTTP是一个应用层协议,由请求和响应构成,是一个标准的客户端服务器模型。HTTP是一个无状态的协议。
    1.2 在TCP/IP协议栈中的位置
    HTTP协议通常承载于TCP协议之上,有时也承载于TLS或SSL协议层之上,这个时候,就成了我们常说的HTTPS。如下图所示:

    默认HTTP的端口号为80,HTTPS的端口号为443。
    1.3 HTTP的请求响应模型
    HTTP协议永远都是客户端发起请求,服务器回送响应。见下图:

    这样就限制了使用HTTP协议,无法实现在客户端没有发起请求的时候,服务器将消息推送给客户端。
    HTTP协议是一个无状态的协议,同一个客户端的这次请求和上次请求是没有对应关系。
    1.4 工作流程
    一次HTTP操作称为一个事务,其工作过程可分为四步:
    1)首先客户机与服务器需要建立连接。只要单击某个超级链接,HTTP的工作开始。
    2)建立连接后,客户机发送一个请求给服务器,请求方式的格式为:统一资源标识符(URL)、协议版本号,后边是MIME信息包括请求修饰符、客户机信息和可能的内容。
    3)服务器接到请求后,给予相应的响应信息,其格式为一个状态行,包括信息的协议版本号、一个成功或错误的代码,后边是MIME信息包括服务器信息、实体信息和可能的内容。
    4)客户端接收服务器所返回的信息通过浏览器显示在用户的显示屏上,然后客户机与服务器断开连接。
    如果在以上过程中的某一步出现错误,那么产生错误的信息将返回到客户端,有显示屏输出。对于用户来说,这些过程是由HTTP自己完成的,用户只要用鼠标点击,等待信息显示就可以了。
    1.5 使用Wireshark抓TCP、http包
    打开Wireshark,选择工具栏上的“Capture”->“Options”,界面选择如图1所示:

    图1 设置Capture选项
    一般读者只需要选择最上边的下拉框,选择合适的Device,而后点击“Capture Filter”,此处选择的是“HTTP TCP port(80)”,选择后点击上图的“Start”开始抓包。

    图2 选择Capture Filter
    例如在浏览器中打开http://image.baidu.com/,抓包如图3所示:
     

    图3 抓包
    在上图中,可清晰的看到客户端浏览器(ip为192.168.2.33)与服务器的交互过程:
    1)No1:浏览器(192.168.2.33)向服务器(220.181.50.118)发出连接请求。此为TCP三次握手第一步,此时从图中可以看出,为SYN,seq:X (x=0)
    2)No2:服务器(220.181.50.118)回应了浏览器(192.168.2.33)的请求,并要求确认,此时为:SYN,ACK,此时seq:y(y为0),ACK:x+1(为1)。此为三次握手的第二步;
    3)No3:浏览器(192.168.2.33)回应了服务器(220.181.50.118)的确认,连接成功。为:ACK,此时seq:x+1(为1),ACK:y+1(为1)。此为三次握手的第三步;
    4)No4:浏览器(192.168.2.33)发出一个页面HTTP请求;
    5)No5:服务器(220.181.50.118)确认;
    6)No6:服务器(220.181.50.118)发送数据;
    7)No7:客户端浏览器(192.168.2.33)确认;
    8)No14:客户端(192.168.2.33)发出一个图片HTTP请求;
    9)No15:服务器(220.181.50.118)发送状态响应码200 OK
    ……
    1.6 头域
    每个头域由一个域名,冒号(:)和域值三部分组成。域名是大小写无关的,域值前可以添加任何数量的空格符,头域可以被扩展为多行,在每行开始处,使用至少一个空格或制表符。
    在抓包的图中,No14点开可看到如图4所示:
     

    图4 http请求消息
    回应的消息如图5所示:

    图5 http状态响应信息
    1.6.1 host头域
    Host头域指定请求资源的Intenet主机和端口号,必须表示请求url的原始服务器或网关的位置。HTTP/1.1请求必须包含主机头域,否则系统会以400状态码返回。
    图5中host那行为:
     
    1.6.2 Referer头域
    Referer头域允许客户端指定请求uri的源资源地址,这可以允许服务器生成回退链表,可用来登陆、优化cache等。他也允许废除的或错误的连接由于维护的目的被追踪。如果请求的uri没有自己的uri地址,Referer不能被发送。如果指定的是部分uri地址,则此地址应该是一个相对地址。
    在图4中,Referer行的内容为:
     
    1.6.3 User-Agent头域
    User-Agent头域的内容包含发出请求的用户信息。
    在图4中,User-Agent行的内容为:

    1.6.4 Cache-Control头域
    Cache-Control指定请求和响应遵循的缓存机制。在请求消息或响应消息中设置Cache-Control并不会修改另一个消息处理过程中的缓存处理过程。请求时的缓存指令包括no-cache、no-store、max-age、max-stale、min-fresh、only-if-cached,响应消息中的指令包括public、private、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、max-age。
    在图5中的该头域为:
     

    1.6.5 Date头域
    Date头域表示消息发送的时间,时间的描述格式由rfc822定义。例如,Date:Mon,31Dec200104:25:57GMT。Date描述的时间表示世界标准时,换算成本地时间,需要知道用户所在的时区。
    图5中,该头域如下图所示:
     
    1.7 HTTP的几个重要概念
    1.7.1连接:Connection
    一个传输层的实际环流,它是建立在两个相互通讯的应用程序之间。
    在http1.1,request和reponse头中都有可能出现一个connection的头,此header的含义是当client和server通信时对于长链接如何进行处理。
    在http1.1中,client和server都是默认对方支持长链接的, 如果client使用http1.1协议,但又不希望使用长链接,则需要在header中指明connection的值为close;如果server方也不想支持长链接,则在response中也需要明确说明connection的值为close。不论request还是response的header中包含了值为close的connection,都表明当前正在使用的tcp链接在当天请求处理完毕后会被断掉。以后client再进行新的请求时就必须创建新的tcp链接了。
    1.7.2消息:Message
    HTTP通讯的基本单位,包括一个结构化的八元组序列并通过连接传输。
    1.7.3请求:Request
    一个从客户端到服务器的请求信息包括应用于资源的方法、资源的标识符和协议的版本号。
    1.7.4响应:Response
    一个从服务器返回的信息包括HTTP协议的版本号、请求的状态(例如“成功”或“没找到”)和文档的MIME类型。
    1.7.5资源:Resource
    由URI标识的网络数据对象或服务。
    1.7.6实体:Entity
    数据资源或来自服务资源的回映的一种特殊表示方法,它可能被包围在一个请求或响应信息中。一个实体包括实体头信息和实体的本身内容。
    1.7.7客户机:Client
    一个为发送请求目的而建立连接的应用程序。
    1.7.8用户代理:UserAgent
    初始化一个请求的客户机。它们是浏览器、编辑器或其它用户工具。
    1.7.9服务器:Server
    一个接受连接并对请求返回信息的应用程序。
    1.7.10源服务器:Originserver
    是一个给定资源可以在其上驻留或被创建的服务器。
    1.7.11代理:Proxy
    一个中间程序,它可以充当一个服务器,也可以充当一个客户机,为其它客户机建立请求。请求是通过可能的翻译在内部或经过传递到其它的服务器中。一个代理在发送请求信息之前,必须解释并且如果可能重写它。
    代理经常作为通过防火墙的客户机端的门户,代理还可以作为一个帮助应用来通过协议处理没有被用户代理完成的请求。
    1.7.12网关:Gateway
    一个作为其它服务器中间媒介的服务器。与代理不同的是,网关接受请求就好象对被请求的资源来说它就是源服务器;发出请求的客户机并没有意识到它在同网关打交道。
    网关经常作为通过防火墙的服务器端的门户,网关还可以作为一个协议翻译器以便存取那些存储在非HTTP系统中的资源。
    1.7.13通道:Tunnel
    是作为两个连接中继的中介程序。一旦激活,通道便被认为不属于HTTP通讯,尽管通道可能是被一个HTTP请求初始化的。当被中继的连接两端关闭时,通道便消失。当一个门户(Portal)必须存在或中介(Intermediary)不能解释中继的通讯时通道被经常使用。
    1.7.14缓存:Cache
    反应信息的局域存储。

    详细出处参考:http://www.jb51.net/article/28096.htm
  • [收集]SSL与TLS

    2012-06-27 11:36:38

    SSL (Secure Socket Layer)
    为Netscape所研发,用以保障在Internet上数据传输之安全,利用数据加密(Encryption)技术,可确保数据在网络
    上之传输过程中不会被截取及窃听。目前一般通用之规格为40 bit之安全标准,美国则已推出128 bit之更高安全
    标准,但限制出境。只要3.0版本以上之I.E.或Netscape浏览器即可支持SSL。
    当前版本为3.0。它已被广泛地用于Web浏览器与服务器之间的身份认证和加密数据传输。
    SSL协议位于TCP/IP协议与各种应用层协议之间,为数据通讯提供安全支持。SSL协议可分为两层: SSL记录协议(SSL Record Protocol):它建立在可靠的传输协议(如TCP)之上,为高层协议提供数据封装、压缩、加密等基本功能的支持。 SSL握手协议(SSL Handshake Protocol):它建立在SSL记录协议之上,用于在实际的数据传输开始前,通讯双方进行身份认证、协商加密算法、交换加密密钥等。
    SSL协议提供的服务主要有:
    1)认证用户和服务器,确保数据发送到正确的客户机和服务器;
    2)加密数据以防止数据中途被窃取;
    3)维护数据的完整性,确保数据在传输过程中不被改变。

    SSL协议的工作流程:
    服务器认证阶段:1)客户端向服务器发送一个开始信息“Hello”以便开始一个新的会话连接;2)服务器根据客户的信息确定是否需要生成新的主密钥,如需要则服务器在响应客户的“Hello”信息时将包含生成主密钥所需的信息;3)客户根据收到的服务器响应信息,产生一个主密钥,并用服务器的公开密钥加密后传给服务器;4)服务器恢复该主密钥,并返回给客户一个用主密钥认证的信息,以此让客户认证服务器。
    用户认证阶段:在此之前,服务器已经通过了客户认证,这一阶段主要完成对客户的认证。经认证的服务器发送一个提问给客户,客户则返回(数字)签名后的提问和其公开密钥,从而向服务器提供认证。
    从SSL 协议所提供的服务及其工作流程可以看出,SSL协议运行的基础是商家对消费者信息保密的承诺,这就有利于商家而不利于消费者。在电子商务初级阶段,由于运作电子商务的企业大多是信誉较高的大公司,因此这问题还没有充分暴露出来。但随着电子商务的发展,各中小型公司也参与进来,这样在电子支付过程中的单一认证问题就越来越突出。虽然在SSL3.0中通过数字签名和数字证书可实现浏览器和Web服务器双方的身份验证,但是SSL协议仍存在一些问题,比如,只能提供交易中客户与服务器间的双方认证,在涉及多方的电子交易中,SSL协议并不能协调各方间的安全传输和信任关系。在这种情况下,Visa和 MasterCard两大信用卡公组织制定了SET协议,为网上信用卡支付提供了全球性的标准。

    TLS:安全传输层协议
      (TLS:Transport Layer Security Protocol)
      安全传输层协议(TLS)用于在两个通信应用程序之间提供保密性和数据完整性。该协议由两层组成: TLS 记录协议(TLS Record)和 TLS 握手协议(TLS Handshake)。较低的层为 TLS 记录协议,位于某个可靠的传输协议(例如 TCP)上面。 TLS 记录协议提供的连接安全性具有两个基本特性:  

    私有――对称加密用以数据加密(DES 、RC4 等)。对称加密所产生的密钥对每个连接都是唯一的,且此密钥基于另一个协议(如握手协议)协商。记录协议也可以不加密使用。  
    可靠――信息传输包括使用密钥的 MAC 进行信息完整性检查。安全哈希功能( SHA、MD5 等)用于 MAC 计算。记录协议在没有 MAC 的情况下也能操作,但一般只能用于这种模式,即有另一个协议正在使用记录协议传输协商安全参数。  
      TLS 记录协议用于封装各种高层协议。作为这种封装协议之一的握手协议允许服务器与客户机在应用程序协议传输和接收其第一个数据字节前彼此之间相互认证,协商加密算法和加密密钥。 TLS 握手协议提供的连接安全具有三个基本属性:  

    可以使用非对称的,或公共密钥的密码术来认证对等方的身份。该认证是可选的,但至少需要一个结点方。
    共享加密密钥的协商是安全的。对偷窃者来说协商加密是难以获得的。此外经过认证过的连接不能获得加密,即使是进入连接中间的攻击者也不能。
    协商是可靠的。没有经过通信方成员的检测,任何攻击者都不能修改通信协商。
      TLS 的最大优势就在于:TLS 是独立于应用协议。高层协议可以透明地分布在 TLS 协议上面。然而, TLS 标准并没有规定应用程序如何在 TLS 上增加安全性;它把如何启动 TLS 握手协议以及如何解释交换的认证证书的决定权留给协议的设计者和实施者来判断。


    协议结构

      TLS 协议包括两个协议组―― TLS 记录协议和 TLS 握手协议――每组具有很多不同格式的信息。在此文件中我们只列出协议摘要并不作具体解析。具体内容可参照相关文档。

      TLS 记录协议是一种分层协议。每一层中的信息可能包含长度、描述和内容等字段。记录协议支持信息传输、将数据分段到可处理块、压缩数据、应用 MAC 、加密以及传输结果等。对接收到的数据进行解密、校验、解压缩、重组等,然后将它们传送到高层客户机。

      TLS 连接状态指的是 TLS 记录协议的操作环境。它规定了压缩算法、加密算法和 MAC 算法。

      TLS 记录层从高层接收任意大小无空块的连续数据。密钥计算:记录协议通过算法从握手协议提供的安全参数中产生密钥、 IV 和 MAC 密钥。 TLS 握手协议由三个子协议组构成,允许对等双方在记录层的安全参数上达成一致、自我认证、例示协商安全参数、互相报告出错条件。
  • [收集]3层结构系统--3-tier system

    2012-06-21 09:24:01

    今天在看关于BS和CS对比时,看到一个叫做3-tier system,查了一下,原来是这么回事呀。

    将客户端服务器系统分为“客户层”“应用层”“数据层”3层,构筑的系统。由于将客户端以及服务器的处理分割为多个层次,所以将某个层次进行变更时可以灵活的处理。

    曾经,业务系统是以客户端与服务器,2层结构为多数。在2层结构系统中,为实现业务的处理(Business Logic 商用逻辑)全部都记述在客户端上。当商用逻辑发生变更时,需要将所有的客户端软件进行更新。

    在3层结构系统中,将系统整体分为“客户层”(用户界面),“应用层”(商用逻辑),“数据层”(数据库)等3层。在客户端只留下用户界面,其余均装于服务器上。客户端只受理用户的操作与表示应用层的处理结果。

    由于将应用软件部分与客户端分离以及安装于服务器上,在商用逻辑发生变更的情况,只须变更服务器端的应用于软件便可,不会牵连到系统整体。而且,在存有大量数据的系统上,没必要通过网络在客户端与服务器端之间交换大量的数据。

    在构筑3层结构系统的时候,全面采用web技术的情况比较多。在客户层常用web浏览器以及flash等,在应用层常用Java application server等,在数据层常用Relation Database Management System等。

    源:http://e-words.cn/w/3C3A5C2B1C282C3A7C2BBC293C3A6C29EC284C3A7C2B3C2BBC3A7C2BBC29F.html

  • 坚持?放弃?

    2012-06-20 17:42:43

     
       加入外包做测试已经两年了。很辛苦,有收获,但是感觉到越来越不喜欢测试这项工作了。像有位前辈说的那样,有多爱测试那是没有的,是真的有了感情了,所以才不想放弃。在停下来的这一个月里,我一直在想自己的前面在哪里?想转做偏软件类的测试,但又感觉丢掉现在的行业测试还真的挺可惜的。越想越迷茫,毕业都四年了,但是自己的定位还是没有找到。
  • 初查测试

    2010-08-20 00:45:05

       转测试快四个月了,只是自己好像一点感觉也没有。先不说能撑握好技术有领之类的东西,就是每天想着上班心里都是怯怯的。
       先说说在HW做外包的现况:部门是做视频会议方面的测试,新进员工先要学习的是行业知识,同时执行用例。XX是第三代产品,但有增加新的特性进来。第一个版本没有投进去,以后的几个版本投入测试的是一些相较稳定的老的特性。没有文档性的资料,我们做的测试就是一黑盒测试。用老员工的话说,每次发现一个新的问题,我们才能从开发那里“剥开”一层外皮,了解到一点实现在方法和策略。这种情况,不能说他们不给我们设计文档。原因是因为:系统大,策略多,老的策略都改了而文档没有更新。没有办法,几个版本的间隙,我们这些新员工就在那里总结特性资料。每个人讲解每个人的那一部分,新员工先在上面讲一遍,没有测试过此特性的人不了解情况(说真的也不太感兴趣,本来自己负责的那部分都还拿不下来,别人测试的那部分就更不用说了),然后老员工再更新一下。我们不了解的人在下面就混淆了,不知道真正的结果是怎么样的。
    特性相关的一起讨论,然后再拿出来给大家讲解,这样效更好。事实上,的确如此。其次,让新手写验收手册。这也是一个不错的方法。
       执行测试用例,我不喜欢这项工作。但是无论如何这个过程都是不可以少的。某些时候,经验就是感觉,它能让你发现问题的所在,以及明白观察点在哪?所以,基础知识还是应该多看看的。

  • loadrunner与WIN7

    2010-01-08 09:20:08

    昨天晚上回家把LR8.0安装完成,系统是WIN7的,发现无法启动loadrunner angent service.难道是WIN 7的原因。上班后,打开公司的电脑一试,发现很好启用angent service。嗯,看来晚上回家要重装系统了。

Open Toolbar