Java HttpClient深入分析

1． 读取网页(HTTP/HTTPS)内容51Testing软件测试网U9iB-M+Him

下面是我们给出的一个简单的例子用来访问某个页面

/* 51Testing软件测试网6Vwx NF6f
* Created on 2003-12-14 by Liudong 51Testing软件测试网2C F p^[Y@3H
*/

package http.demo; 51Testing软件测试网m YCm \/O[;Gq-@*Z
import java.io.IOException; 51Testing软件测试网0iR7E1a-X%l+l
import org.apache.commons.httpclient.*; 51Testing软件测试网cr VEdN0}
import org.apache.commons.httpclient.methods.*;51Testing软件测试网L(c%K0P?#P

/** 51Testing软件测试网+BR"H9A*Uc i
|&M
*最简单的HTTP客户端,用来演示通过GET或者POST方式访问某个页面
z&E],D
P0*@authorLiudong51Testing软件测试网o_^RLO:N
*/ 
wh;L/j+T#iwf0public class SimpleClient {
7cS6i(PY,wz!I.u0public static void main(String[] args) throws IOException 51Testing软件测试网o+W(A"O3z^:~.fv
{
~6X
k-k2I0VK0HttpClient client = new HttpClient(); 
7`&mE?S @ ^0      // 设置代理服务器地址和端口      51Testing软件测试网I
sk$Xg1_/w-SbSU

      //client.getHostConfiguration().setProxy("proxy_host_addr",proxy_port); 
2F1{+{rw|qI0      // 使用 GET 方法 ，如果服务器需要通过 HTTPS 连接，那只需要将下面 URL 中的 http 换成 https 51Testing软件测试网kVHP^
         HttpMethodmethod=newGetMethod("http://java.sun.com");51Testing软件测试网&~f!hx8_t8|ncN)S
      //使用POST方法51Testing软件测试网,KGjc2Hu0j4[ Qr3^
      //HttpMethod method = new PostMethod("http://java.sun.com");51Testing软件测试网(w Q!K:o0U GUu
      client.executeMethod(method);51Testing软件测试网 X
_~p.[L

      //打印服务器返回的状态51Testing软件测试网%Cj.naAg%W
       System.out.println(method.getStatusLine());

Lnq5u[Alp0      //打印返回的信息51Testing软件测试网%tL%Id%Ty:R/Te~3F:|m-M
      System.out.println(method.getResponseBodyAsString());
U:PN4b$`0i SV0s0T0      //释放连接
*A IG J,l/W tZ{0      method.releaseConnection();51Testing软件测试网X&hH,}_
   }51Testing软件测试网O`.Mj/Ww"z
}51Testing软件测试网/^U1Be*{,N[A

在这个例子中首先创建一个HTTP客户端(HttpClient)的实例，然后选择提交的方法是GET或者POST，最后在HttpClient实例上执行提交的方法，最后从所选择的提交方法中读取服务器反馈回来的结果。这就是使用HttpClient的基本流程。其实用一行代码也就可以搞定整个请求的过程，非常的简单！

2． 以GET或者POST方式向网页提交参数

其实前面一个最简单的示例中我们已经介绍了如何使用GET或者POST方式来请求一个页面，本小节与之不同的是多了提交时设定页面所需的参数，我们知道如果是GET的请求方式，那么所有参数都直接放到页面的URL后面用问号与页面地址隔开，每个参数用&隔开，例如：http://java.sun.com/?name=liudong&mobile=123456，但是当使用POST方法时就会稍微有一点点麻烦。本小节的例子演示向如何查询手机号码所在的城市，代码如下：

Jz*L#U W0/* 51Testing软件测试网3cc2romj[4A0d
* Created on 2003-12-7 by Liudong 
C rd8l&W%I9U0*/ 
JN6jrFHl1M0package http.demo; 51Testing软件测试网ZSWY2E!U4?G
import java.io.IOException; 
eE&kY$K] S0import org.apache.commons.httpclient.*; 51Testing软件测试网.{OT \a(y
import org.apache.commons.httpclient.methods.*;51Testing软件测试网lI4XO+i:Z!k5zP

/** 
&@0z+oSL Y0*提交参数演示
? L%o4Tr!@5uZ_0*该程序连接到一个用于查询手机号码所属地的页面
wi!yV pS?0*以便查询号码段1330227所在的省份以及城市51Testing软件测试网U5S\E^3hO-^6lR
*@authorLiudong51Testing软件测试网\:Z[8q2j w
*/ 51Testing软件测试网c7y-Mhd.F9APB
public class SimpleHttpClient { 51Testing软件测试网d?Z/XB2a$H
   public static void main(String[] args) throws IOException {
#{+u%N[Bi_0      HttpClient client = new HttpClient();
2a x`[jD&C0      client.getHostConfiguration().setHost( "www.imobile.com.cn" , 80, "http" );51Testing软件测试网ak/})WfZ4w$nqs
      method = getPostMethod();    // 使用 POST 方式提交数据 
8O O8pw5Gae0      client.executeMethod(method);   //打印服务器返回的状态 
:k7jHyu3rxp-U0      System.out.println(method.getStatusLine());   //打印结果页面51Testing软件测试网q7^,F,m%o
      Stringresponse=newString(method.getResponseBodyAsString().getBytes("8859_1"));

      //打印返回的信息51Testing软件测试网6w8XZ| NCS
      System.out.println(response);51Testing软件测试网f6IK7zY
      method.releaseConnection();51Testing软件测试网V rs` jz`b,L8H[x
   }

   /** 
2MEHod4iB0    * 使用 GET 方式提交数据 51Testing软件测试网~7o#Jh,@_&`3R?9b
    *@return 51Testing软件测试网s:soJ/y/UDpDX
    */51Testing软件测试网 DSr4f6eA t

   privatestaticHttpMethodgetGetMethod(){51Testing软件测试网^gY&^x0@
      returnnewGetMethod("/simcard.php?simcard=1330227");51Testing软件测试网9i[Y!T3x
   }51Testing软件测试网Bx,|dR

    /** 51Testing软件测试网%v4P}[N)co
E6x
     * 使用 POST 方式提交数据 

us%[G"[g*P]0     *@return 51Testing软件测试网8u2o`7ym}GaC
     */ 
M#F Lu5_m0    private static HttpMethod getPostMethod(){51Testing软件测试网.c#gf?%s+{
      PostMethod post = new PostMethod( "/simcard.php" );
[LW i/vG/w6peY0      NameValuePair simcard = new NameValuePair( "simcard" , "1330227" );
H5mE{6Q{
\_0      post.setRequestBody( new NameValuePair[] { simcard});51Testing软件测试网0P9a$F3V_
      return post; 51Testing软件测试网f5{J@xNPe
   } 
$] b.p[mu0}

在上面的例子中页面http://www.imobile.com.cn/simcard.php需要一个参数是simcard，这个参数值为手机号码段，即手机号码的前七位，服务器会返回提交的手机号码对应的省份、城市以及其他详细信息。GET的提交方法只需要在URL后加入参数信息，而POST则需要通过NameValuePair类来设置参数名称和它所对应的值。

3． 处理页面重定向51Testing软件测试网5W*R*^,^!Qd

在JSP/Servlet编程中response.sendRedirect方法就是使用HTTP协议中的重定向机制。它与JSP中的<jsp:forward …>的区别在于后者是在服务器中实现页面的跳转，也就是说应用容器加载了所要跳转的页面的内容并返回给客户端；而前者是返回一个状态码，这些状态码的可能值见下表，然后客户端读取需要跳转到的页面的URL并重新加载新的页面。就是这样一个过程，所以我们编程的时候就要通过HttpMethod.getStatusCode()方法判断返回值是否为下表中的某个值来判断是否需要跳转。如果已经确认需要进行页面跳转了，那么可以通过读取HTTP头中的location属性来获取新的地址。51Testing软件测试网,IBByG S;m-J

状态码

对应 HttpServletResponse 的常量

详细描述 51Testing软件测试网{5~0Qm.[Y0Om
301 
zgHLEB8r9LS:y#UN#D0SC_MOVED_PERMANENTLY 
*Z6y&K*T].j0页面已经永久移到另外一个新地址 51Testing软件测试网VK {N4bdn#ps r

9Qh:D#k"En0302 
C$Tu9@-k;U2FoRJ0SC_MOVED_TEMPORARILY 51Testing软件测试网,ZZ+JhP$]T[
页面暂时移动到另外一个新的地址51Testing软件测试网K5]"?u k SY

303 
h+|@bu;H-p)?0SC_SEE_OTHER 
(f]!|$w{\r0客户端请求的地址必须通过另外的 URL 来访问 
w
\TEvc/y'rB051Testing软件测试网R8B:eXW8| J
307 
-[g#q^0w+P0SC_TEMPORARY_REDIRECT 51Testing软件测试网 A_8j2i Wr2mw
同 SC_MOVED_TEMPORARILY

下面的代码片段演示如何处理页面的重定向51Testing软件测试网.[+LN+^ cV

client.executeMethod(post);
gYFBy#`w'm0System.out.println(post.getStatusLine().toString());51Testing软件测试网T T S |+@9R6C];Z
post.releaseConnection();
d|)j[4C0// 检查是否重定向
M7N q q%v+KI&_2LJ0int statuscode = post.getStatusCode();51Testing软件测试网5Q7l3BXf*Am.v
if ((statuscode == HttpStatus.SC_MOVED_TEMPORARILY) || (statuscode == HttpStatus.SC_MOVED_PERMANENTLY) || (statuscode == HttpStatus.SC_SEE_OTHER) || (statuscode == HttpStatus.SC_TEMPORARY_REDIRECT)) {
r)~+oif;a I0// 读取新的 URL 地址 51Testing软件测试网h$Q'd](cXx }*A)J
   Headerheader=post.getResponseHeader("location");51Testing软件测试网wS c cN l
   if (header!=null){51Testing软件测试网 fcc'`k{
      Stringnewuri=header.getValue();51Testing软件测试网~\,A.nF
kh
      if((newuri==null)||(newuri.equals("")))
3Z*N/~;Fi0         newuri="/";51Testing软件测试网E3RK,niI,H B\G
         GetMethodredirect=newGetMethod(newuri);51Testing软件测试网,z|3dB
]'|c%Q
         client.executeMethod(redirect);51Testing软件测试网!Ls_&V~3e,r ~
         System.out.println("Redirect:"+redirect.getStatusLine().toString());
;ExDHlso1\0         redirect.releaseConnection();51Testing软件测试网_DI#C&r
   }else 51Testing软件测试网9f!\9FS+l(P5k*c
    System.out.println("Invalid redirect");51Testing软件测试网$M^3o[;vu"e
}

我们可以自行编写两个JSP页面，其中一个页面用response.sendRedirect方法重定向到另外一个页面用来测试上面的例子。

4． 模拟输入用户名和口令进行登录51Testing软件测试网+`,ZQpV?1`

本小节应该说是HTTP客户端编程中最常碰见的问题，很多网站的内容都只是对注册用户可见的，这种情况下就必须要求使用正确的用户名和口令登录成功后，方可浏览到想要的页面。因为HTTP协议是无状态的，也就是连接的有效期只限于当前请求，请求内容结束后连接就关闭了。在这种情况下为了保存用户的登录信息必须使用到Cookie机制。以JSP/Servlet为例，当浏览器请求一个JSP或者是Servlet的页面时，应用服务器会返回一个参数，名为jsessionid（因不同应用服务器而异），值是一个较长的唯一字符串的Cookie，这个字符串值也就是当前访问该站点的会话标识。浏览器在每访问该站点的其他页面时候都要带上jsessionid这样的Cookie信息，应用服务器根据读取这个会话标识来获取对应的会话信息。

对于需要用户登录的网站，一般在用户登录成功后会将用户资料保存在服务器的会话中，这样当访问到其他的页面时候，应用服务器根据浏览器送上的Cookie中读取当前请求对应的会话标识以获得对应的会话信息，然后就可以判断用户资料是否存在于会话信息中，如果存在则允许访问页面，否则跳转到登录页面中要求用户输入帐号和口令进行登录。这就是一般使用JSP开发网站在处理用户登录的比较通用的方法。

这样一来，对于HTTP的客户端来讲，如果要访问一个受保护的页面时就必须模拟浏览器所做的工作，首先就是请求登录页面，然后读取Cookie值；再次请求登录页面并加入登录页所需的每个参数；最后就是请求最终所需的页面。当然在除第一次请求外其他的请求都需要附带上Cookie信息以便服务器能判断当前请求是否已经通过验证。说了这么多，可是如果你使用httpclient的话，你甚至连一行代码都无需增加，你只需要先传递登录信息执行登录过程，然后直接访问想要的页面，跟访问一个普通的页面没有任何区别，因为类HttpClient已经帮你做了所有该做的事情了，太棒了！下面的例子实现了这样一个访问的过程。

51Testing软件测试网y#?$d'e }2R
/* 
8Y[bW$k0* Created on 2003-12-7 by Liudong 51Testing软件测试网6W6{aW$]\G7x
*/ 51Testing软件测试网.G W"`%x&~S qNR
package http.demo; 
(@+_2ho5O$^9r)?0J)ua#\0import org.apache.commons.httpclient.*;
nQ6[3ku_-a0import org.apache.commons.httpclient.cookie.*;
+?kpG0tKf|h0import org.apache.commons.httpclient.methods.*;

/** 51Testing软件测试网.exo4XK_
* 用来演示登录表单的示例 51Testing软件测试网i5L'GT/[
* @author Liudong 51Testing软件测试网1p
JZZ8S9]t
*/51Testing软件测试网&W5X6Vh M"Z

public class FormLoginDemo {
,o3``Z%K!i0BA/E0   static final String LOGON_SITE = "localhost" ;51Testing软件测试网 M9hy+ECz
   static final int     LOGON_PORT = 8080;51Testing软件测试网hx iEy"p2uw

   public static void main(String[] args) throws Exception{51Testing软件测试网vp.E0B"ObtgD
      HttpClient client = new HttpClient();51Testing软件测试网S!M#i O jL
      client.getHostConfiguration().setHost(LOGON_SITE, LOGON_PORT);51Testing软件测试网,^CA
sc)Z/P

      // 模拟登录页面 login.jsp->main.jsp51Testing软件测试网wH[I1gz&a+E@GzN
      PostMethod post = new PostMethod( "/main.jsp" );

tkoX:u7m0      NameValuePair name = new NameValuePair( "name" , "ld" );51Testing软件测试网aT P;P-HS#h4N$Xn
      NameValuePair pass = new NameValuePair( "password" , "ld" );51Testing软件测试网f"_}!GH
      post.setRequestBody( new NameValuePair[]{name,pass});51Testing软件测试网OF_!De0o_7X A4|
      int status = client.executeMethod(post);
E+x2V:h*V S,cmW0      System.out.println(post.getResponseBodyAsString());
SOTk%I0      post.releaseConnection();

      // 查看 cookie 信息51Testing软件测试网1X&` z if.O_Tk
      CookieSpec cookiespec = CookiePolicy.getDefaultSpec();51Testing软件测试网;D @r7|u9nr2ms
      Cookie[] cookies = cookiespec.match(LOGON_SITE, LOGON_PORT, "/" , false , client.getState().getCookies());51Testing软件测试网oO#x
Z_\
      if (cookies.length == 0) {51Testing软件测试网@n(`WWJ/^"G
         System.out.println( "None" );
*l4\3M.`]w\{G0      } else {
2k\2mvr!K!q0         for ( int i = 0; i < cookies.length; i++) {
4i*wS,Nm0            System.out.println(cookies[i].toString());
O'T6k3aE,r2e0         }51Testing软件测试网:W\6Na5A
      }51Testing软件测试网nuB(z;Q\ t

      // 访问所需的页面 main2.jsp 51Testing软件测试网-ZA ?!^(`Ga
      GetMethodget=newGetMethod("/main2.jsp");
&['H F!o`4d0      client.executeMethod(get);
P0Kv$C)XA*t0      System.out.println(get.getResponseBodyAsString());51Testing软件测试网(}
O/xij't7}
      get.releaseConnection();51Testing软件测试网"T@{[8p"r$]
   }51Testing软件测试网;R[uxt3tWI,e
}

5． 提交XML格式参数

提交XML格式的参数很简单，仅仅是一个提交时候的ContentType问题，下面的例子演示从文件文件中读取XML信息并提交给服务器的过程，该过程可以用来测试Web服务。

import java.io.File; 51Testing软件测试网]vq0T*f/e,W#T(B:Q
import java.io.FileInputStream; 
v3F[{Wy
^"wU0import org.apache.commons.httpclient.HttpClient; 
$k {BD/B)tH0import org.apache.commons.httpclient.methods.EntityEnclosingMethod; 
x,`,G)f|t8aq4i0import org.apache.commons.httpclient.methods.PostMethod;

/** 
|pn[oSqN5j0*用来演示提交XML格式数据的例子51Testing软件测试网3h)R%t$f2GI*S(a#x6]
*/

public class PostXMLClient {

   public static void main(String[] args) throws Exception {51Testing软件测试网hcQjU-Ry
      File input = new File(“test.xml”);
0B-cm"c8Lw'g+U0      PostMethod post = new PostMethod(“http://localhost:8080/httpclient/xml.jsp”);51Testing软件测试网 ~[(y?8k-_

      // 设置请求的内容直接从文件中读取51Testing软件测试网 K$l
p)R|PN
      post.setRequestBody( new FileInputStream(input)); 51Testing软件测试网U3? X5\a&T
      if (input.length() < Integer.MAX_VALUE)
['N1U4Y`hX0         post.setRequestContentLength(input.length());51Testing软件测试网6l2S X|*p+ca%T
      else
2E.[Qa9[;nh0         post.setRequestContentLength(EntityEnclosingMethod.CONTENT_LENGTH_CHUNKED);

      // 指定请求内容的类型51Testing软件测试网3Rz1U['a
      post.setRequestHeader( "Content-type" , "text/xml; charset=GBK" );51Testing软件测试网 A'xZ7qgTha {
      HttpClient httpclient = new HttpClient();51Testing软件测试网9GmhN#r{,[
      int result = httpclient.executeMethod(post);
#O%_K%X-y
?;j0      System.out.println( "Response status code: " + result);
p b
e6EH0uB
v
e.X0      System.out.println( "Response body: " );51Testing软件测试网9~8PH0`k |v
      System.out.println(post.getResponseBodyAsString()); 
6HE0p k1T5e2^'a*s$q0      post.releaseConnection(); 51Testing软件测试网cc(A0Pa"p {;e
   } 
.tbpNjSWl0}

6． 通过HTTP上传文件

httpclient使用了单独的一个HttpMethod子类来处理文件的上传，这个类就是MultipartPostMethod，该类已经封装了文件上传的细节，我们要做的仅仅是告诉它我们要上传文件的全路径即可，下面的代码片段演示如何使用这个类。

MultipartPostMethod filePost = new MultipartPostMethod(targetURL); 
0wj:L6hS!n0u0filePost.addParameter( "fileName" , targetFilePath); 51Testing软件测试网UG_7Fpat7I T
HttpClient client = new HttpClient();

51Testing软件测试网(okT/{&`ZqHd!@U
// 由于要上传的文件可能比较大 , 因此在此设置最大的连接超时时间 51Testing软件测试网4}BMh+k"Hz
client.getHttpConnectionManager(). getParams().setConnectionTimeout(5000); 51Testing软件测试网aU5M\7Mq
int status = client.executeMethod(filePost);

!c D'A(].Z0上面代码中，targetFilePath即为要上传的文件所在的路径。51Testing软件测试网 An p#x5pLHCZ1P

7． 访问启用认证的页面

我们经常会碰到这样的页面，当访问它的时候会弹出一个浏览器的对话框要求输入用户名和密码后方可，这种用户认证的方式不同于我们在前面介绍的基于表单的用户身份验证。这是HTTP的认证策略，httpclient支持三种认证方式包括：基本、摘要以及NTLM认证。其中基本认证最简单、通用但也最不安全；摘要认证是在HTTP 1.1中加入的认证方式，而NTLM则是微软公司定义的而不是通用的规范，最新版本的NTLM是比摘要认证还要安全的一种方式。

下面例子是从httpclient的CVS服务器中下载的，它简单演示如何访问一个认证保护的页面：51Testing软件测试网V
m1N*|*b$WZVp

import org.apache.commons.httpclient.HttpClient; 
"}8?-]6u(a!YVb0import org.apache.commons.httpclient.UsernamePasswordCredentials; 
(C J\W q,`;D7V0import org.apache.commons.httpclient.methods.GetMethod; 51Testing软件测试网I AEl1t mi
51Testing软件测试网Q {!HG g2U7b1u
public class BasicAuthenticationExample { 
do6FV3P M051Testing软件测试网G kBG k!C
    public BasicAuthenticationExample() { 
^(KoX0]p!A b0    }51Testing软件测试网 M8z _
x*R+`%O3p

;`$Y)Hn_:}0    public static void main(String[] args) throws Exception {
c@/cW(XZ0       HttpClient client = new HttpClient();51Testing软件测试网0v2\q2f0a u!fUq
       client.getState().setCredentials( "www.verisign.com" , "realm" , new UsernamePasswordCredentials( "username" , "password" ) );
9GP_|nwW3d Q051Testing软件测试网\(Dv!aZ
       GetMethod get = new GetMethod( "https://www.verisign.com/products/index.html" );
5\NCX_ t+YJ3i0       get.setDoAuthentication( true );51Testing软件测试网"y6D"d%d];cF/{V
       int status = client.executeMethod( get );51Testing软件测试网uZTD,~N4XyG
       System.out.println(status+ "\n" + get.getResponseBodyAsString());
S6haV o)`\j"D0       get.releaseConnection();
dAZU7v@(N!p0    } 
{1R e7r(B~[}*I0}51Testing软件测试网q'FN|D3w*d9]

8． 多线程模式下使用httpclient

多线程同时访问httpclient，例如同时从一个站点上下载多个文件。对于同一个HttpConnection同一个时间只能有一个线程访问，为了保证多线程工作环境下不产生冲突，httpclient使用了一个多线程连接管理器的类：MultiThreadedHttpConnectionManager，要使用这个类很简单，只需要在构造HttpClient实例的时候传入即可，代码如下：

MultiThreadedHttpConnectionManager connectionManager = new MultiThreadedHttpConnectionManager();51Testing软件测试网c$n,[nP+}3KE5l9]

HttpClient client = new HttpClient(connectionManager);