Linux curl使用

上一篇 / 下一篇  2016-03-24 11:06:23 / 个人分类:Linux技术资料

转载:http://www.51testing.com/html/35/n-155835.html

Curl是Linux下一个很强大的http命令行工具,其功能十分强大。

  1)读取网页

  $ curl linuxidc.com">http://www.linuxidc.com

  2)保存网页

  $ curlhttp://www.linuxidc.com> page.html $ curl -o page.htmlhttp://www.linuxidc.com

  3)使用的proxy服务器及其端口:-x

  $ curl -x 123.45.67.89:1080 -o page.htmlhttp://www.linuxidc.com

  4)使用cookie来记录session信息

  $ curl -x 123.45.67.89:1080 -o page.html -D cookie0001.txthttp://www.linuxidc.com这个option:-D 是把http的response里面的cookie信息存到一个特别的文件中去,这样,当页面被存到page.html的同时,cookie信息也被存到了cookie0001.txt里面了5)那么,下一次访问的时候,如何继续使用上次留下的cookie信息呢?

  使用option来把上次的cookie信息追加到http request里面去:-b

  $ curl -x 123.45.67.89:1080 -o page1.html -D cookie0002.txt -b cookie0001.txthttp://www.linuxidc.com

  6)浏览器信息

  $ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txthttp://www.linuxidc.com

  7)referer

  $ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -e "mail.linuxidc.com" -o page.html -D cookie0001.txthttp://www.linuxidc.com这样就可以骗对方的服务器,你是从mail.linuxidc.com点击某个链接过来的

  8)下载文件

  $ curl -o 1.jpghttp://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG$ curl -Ohttp://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG-O 可以按照服务器上的文件名,自动存在本地$ curl -Ohttp://cgi2.tky.3web.ne.jp/~zzh/screen[1-10].JPG

  9)批量下载

  $ curl -Ohttp://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG这样产生的下载,就是~zzh/001.JPG ~zzh/002.JPG

  ……

  ~zzh/201.JPG ~nick/001.JPG ~nick/002.JPG

  ……

  ~nick/201.JPG

  $自定义文件名的下载

  curl -o #2_#1.jpghttp://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG这样,自定义出来下载下来的文件名,就变成了这样:原来: ~zzh/001.JPG —-> 下载后: 001-zzh.JPG 原来: ~nick/001.JPG —-> 下载后: 001-nick.JPG

  这样一来就不怕文件重名啦

  9)断点续传

  $ curl -c -Ohttp://cgi2.tky.3wb.ne.jp/~zzh/screen1.JPG分块下载,我们使用这个option就可以了:-r

  举例说明

  比如我们有一个http://cgi2.tky.3web.ne.jp/~zzh/zhao1.MP3要下载(赵老师的电话朗诵 :D )我们就可以用这样的命令:$ curl -r 0-10240 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.MP3 $ curl -r 10241-20480 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.MP3 $ curl -r 20481-40960 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.MP3 $ curl -r 40961- -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.MP3这样就可以分块下载啦。不过你需要自己把这些破碎的文件合并起来如果你用UNIX或苹果,用 cat zhao.part* > zhao.MP3就可以如果用的是Windows,用copy /b 来解决吧,呵呵上面讲的都是http协议的下载,其实ftp也一样可以用。用法嘛,

  $ curl -u name:passwdftp://ip:port/path/file

  或者大家熟悉的

  $ curlftp://name:passwd@ip:port/path/file

  10)上传的option是-T

  比如我们向ftp传一个文件:

  $ curl -T localfile -u name:passwdftp://upload_site:port/path/

  当然,向http服务器上传文件也可以比如$ curl -T localfilehttp://cgi2.tky.3web.ne.jp/~zzh/abc.cgi注意,这时候,使用的协议是HTTP的PUTmethod刚才说到PUT,嘿嘿,自然让老服想起来了其他几种methos还没讲呢! GET和POST都不能忘哦。

  11)POST和GET模式

  $ curlhttp://www.linuxidc.com/login.cgi?user=nickwolfe

  而POST模式的option则是-d

  比如,$ curl -d "user=nickwolfehttp://www.linuxidc.com/login.cgi

  一点需要注意的是,POST模式下的文件上的文件上传,比如

  这样一个HTTP表单,我们要用curl进行模拟,就该是这样的语法:$ curl -F upload=@localfile -F nick=gohttp://cgi2.tky.3web.ne.jp/~zzh/up_file.cgi

  https本地证书

  $ curl -E localcert.pemhttps://remote_server再比如,你还可以用curl通过dict协议去查字典$curl dict://dict.org/d:computer

curl -s "url" 就是get方式的
    curl "head" -d "body" 就是post
12)使用curl进行网络诊断
    直接上例:
    /usr/bin/curl --no-keepalive --no-sessionid --noproxy -o /dev/null -s -w'time_namelookup=%{time_namelookup}

time_connect=%{time_connect} time_appconnect=%{time_appconnect} time_pretransfer=%{time_pretransfer} time_redirect=%{time_redirect} time_starttransfer=%{time_starttransfer} size_download=%{size_download} size_upload=%{size_upload} size_header=%{size_header} size_request=%{size_request} speed_download=%{speed_download} speed_upload=%{speed_upload} content_type=%{content_type} num_connects=%{num_connects} num_redirects=%{num_redirects} redirect_url=%{redirect_url} time_total=%{time_total}\n'http://www.baidu.com/img/baidu_sylogo1.gif-v --trace-time

获取结果如下:


04:15:55.518146 * About to connect() to www.baidu.com port 80 (#0)

04:15:55.518227 * Trying 220.181.112.143... connected

04:15:55.556297 * Connected to www.baidu.com (220.181.112.143) port 80 (#0)

04:15:55.556379 > GET /img/baidu_sylogo1.gif HTTP/1.1

04:15:55.556379 > User-Agent: curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.12.7.0 zlib/1.2.3 libidn/1.18 libssh2/1.2.2

04:15:55.556379 > Host: www.baidu.com

04:15:55.556379 > Accept: */*

04:15:55.556379 >

04:15:55.597388 < HTTP/1.1 200 OK

04:15:55.597427 < Date: Fri, 10 Feb 2012 04:59:24 GMT

04:15:55.597459 < Server: Apache

04:15:55.597490 < P3P: CP=" OTI DSP COR IVA OUR IND COM "

04:15:55.597521 < Set-Cookie: BAIDUID=HIGKOO6B478BD35F87D2A1F38AC765FE:FG=1; expires=Sat, 09-Feb-13 04:59:24 GMT; max-age=31536000; path=/; domain=.baidu.com; version=1

04:15:55.597553 < Last-Modified: Thu, 20 Jan 2011 07:15:35 GMT

04:15:55.597584 < ETag: "66e-49a41e65988c2"

04:15:55.597615 < Accept-Ranges: bytes

04:15:55.597646 < Content-Length: 1630

04:15:55.597677 < Cache-Control: max-age=315360000

04:15:55.597707 < Expires: Mon, 07 Feb 2022 04:59:24 GMT

04:15:55.597739 < Connection: Keep-Alive

04:15:55.597771 < Content-Type: image/gif

04:15:55.597802 < data...


time_namelookup=0.011

time_connect=0.049

time_appconnect=0.000

time_pretransfer=0.049

time_redirect=0.000

time_starttransfer=0.090

size_download=1630

size_upload=0

size_header=505

size_request=190

speed_download=18030.000

speed_upload=0.000

content_type=image/gif

num_connects=1

num_redirects=0

redirect_url=

time_total=0.090

04:15:55.598190 * Closing connection


TAG: Linux

 

评分:0

我来说两句

jiahou166

jiahou166

立志要如山,行道要如水。不如山,不能坚定,不如水,不能曲达。

日历

« 2024-03-21  
     12
3456789
10111213141516
17181920212223
24252627282930
31      

数据统计

  • 访问量: 75898
  • 日志数: 87
  • 建立时间: 2012-04-02
  • 更新时间: 2021-05-29

RSS订阅

Open Toolbar