php数组中，数组下标不加引号，就会报错:Notice: Use of undefined constant
如：$config[title]="FinalFantasy";
Notice: Use of undefined constant title

解决：title是个索引.是一定要加单引号的..
否则php会先去查找是否存在title这个常量.
然后再当索引处理.效率相差是很大的.

php数组的相关处理函数
current(数组名称) 输出数组中一个字符串的值,从第一个起.
key(数组名称) 输出数组中一个下标,从第一个起.
next(数组名称) 控制数组指针向后移动.
prev(数组名称) 控制数组指针向前移动.
end(数组名称) 控制数组指针移向最后一位.
reset(数组名称) 控制数组指针移向第一位.
array_change_key_case(1.目标数组 2.CASE_UPPER大写 或 CASE_LOWER小写) 将数组下标全部改为大写或小写.
array_chunk(1.目标数组 2.分解个数 3.输出布尔型的真或假) 将一个数组分解成多个小数组.
array_count_values(数组名称) 用来计算数组中各值出现的次数.
array_fill(1.下标从几开始 2.输出多少个 3.他们的值是什么) 用来做初始化数组.
array_filter(1.目标数组 2.使用者定义的函数) 过滤函数,自定义以什么标准为真,以什么标准为假,此函数可以自动过滤掉假的字符串.
array_flip(目标数组) 将下标变值,值变下标.
array_sum(目标数组) 计算目标数组中所有元素值的总和.
array_unique(目标数组) 去除目标数组中重复的值.
array_values(目标数组) 将目标数组中所有下标都去掉,重新从"0"开始计算此函数中值的下标.
array_keys(目标数组) 输出目标数组中的所有下标.
in_array(1.要找的东西 2.目标数组 3.是否严格按照数据类型查找,是就输true) 查找目标数组中有无查找的数据.
array_search(1.要找的东西 2.目标数组 3.是否严格查找) 查找目标数组中有无查找的数据,有则输出此数据的下标.
array_key_exists(1.要找的下标 2.目标数组) 查找目标数组中有无查找的下标,有则输出true,无则输出false.
extract(目标数组) 将数组转换成变量.
compact(要转换成数组的变量下标) 将多个变量转换成数组.
数组与栈 (先进后出)
array_push(1.目标数组 2.压入栈的值) 压入栈函数.
array_pop(目标数组) 弹出栈函数.
数组与队 (先进先出)
array_unshift(1.目标数组 2.压入对的值) 压入对函数.
array_shift(1目标数组) 弹出对函数.
忽略键名的数组排序:
sort(目标数组) 从小到大的排序.
rsort(目标数组) 从大到小的排序.
保留键名的数组排序:
asort(目标数组) 保留原下标,值从小到大的排序.
arsort(目标数组) 保留原下标,值从大到小的排序.
自然排序法排序:
natsort(目标数组) 保留原下标,值从大到小的排序,不区分大小写.
natcasesort(目标数组) 保留原下标,值从小到大的排序,不区分大小写.
array_merge(1.目标数组 2.目标数组......) 合并多个数组.
array_diff(1.被比数组 2.比数组 3.比数组......) 求数组的差积.
array_intersect(1.被比数组 2.比数组 3.比数组......) 求数组的交积

由于客户端、服务器端存在路由器、防火墙，为了本身的安全性，在超过特定时间后会把空闲连接断开。

解决办法：

1.可以修改服务器端参数，使服务器每隔一段时间向客户端发送一个消息，用于保持连接。

/etc/ssh/sshd_config 文件中的ClinetAliveInterval 300(默认为0)

2.最好的办法是修改客户端设置，使客户端每隔一段时间向服务器发送一个消息，以保持连接：

SecureCRT选项->会话选项->终端->反空闲，设置每隔多少秒发送一个字符串或者发送NO-OP协议包。

昨天被一个朋友问及职业发展的问题。我大谈特谈专注、领导、独当一面，结果朋友问，那5年以后的计划呢？

我有懵掉。其实真是没想过5年以后，我的职业发展计划只停留在近三年。我问自己，5年以后呢？5年以后会是什么样子？5年以后，我是否还从事这个行业？是否还在继续耕耘我的技术之路，是否还和现在一样看待周围的一切，是否还跟如今一样清澈见底。不得而知。

朋友问，5年以后想没想过转行做产品，或者市场等等。我没有回答。其实想想，挥霍了自己的青春去追寻一种自己向往的生活确实不会后悔但值不值得呢？可能明摆着一条适合自己走的道路，或者说能够让自己尽情挥洒长处和优点的道路，也或者说起点比大部分人都要高的道路，我不走，偏偏去走一条把自己摆在与众生平等之路上，生生埋没了自己的优点。

我想啊，5年以后，也许不需要5年，在尝尽所有挫折，也尝尽成功之后，我会选择产品、市场、咨询等等，去做一些能够有所擅长的事情。其实什么叫做成功呢，就是当你从做的不好到做好，从别人都不需要你到别人都离不开你。从这个角度上讲，无论你从事什么行业，都可以成功。从另一个角度，即使你在一个自己期望，自己理想中的行业里，你满足于自己的成果却得不到大多数人的认可，那么，你仍然是不成功的。

额。。好像很绕。。总之我想说的就是，善于发挥自己的长处，这才是最对的，无论对社会还是对自己，也是最有益的，不要碍于别人的目光和话语，要善于打破常规，呵呵，生活不需要太多条条框框，选择最有益于自己的就好了。

我想说，无论在哪条道路上，无论职业生涯是怎样的挫折坎坷，五年以后，我一定会走在成功的道路上！

 

1.合并两个文件：cat file1, file2 > file3

2.清屏clear；客户端乱码时：reset；

3.查看用户登录日志：who -u /var/log/wtmp  (也可以用last查看)

4.统计记录行数： wc -l

5.查找：find 路径 -name 文件/目录名

6.显示隐藏文件（.开头的文件一般会被隐藏）：ls -al 或者直接 ll

7.查找rpm包安装路径 rpm -qlp xxx.rpm 或者rpm -ql xxx

  查找已安装的rpm包：rpm -qa|grep xxx

  查询一个已经安装的文件属于哪个软件包：rpm -qf 文件名 
  查看一下已安装软件所依赖的软件包及文件：rpm -qR 软件名

  查看未安装rpm包的信息，只要在上面的命令中多加一个参数p，比如：rpm -qpR ***.rpm

8.在后台运行程序：后面加& 或者前面加 nohup
9.ll -t 按修改时间倒序 (ll --help 查看)
  ll -rt 按修改时间正序
10.xargs用法：
  ps -aux|grep "httpd"|grep -v "grep" |awk '{print $1}'|xargs kill 说明：把grep出来的结果，传给xargs执行kill操作；
11.下载：wget url 举例：wget url -O filename.htm 
12.cat /proc/version 查看版本信息
  cat /etc/issue 查看版本信息带有update信息
  uname -a 查看所有系统信息
  uname -r 查看kernel release
  uname -v 查看kernel version
  uname -p 查看处理器32位、46位
13.文件编码转换：iconv -c -f utf-8 -t gbk file 将utf8编码的转成gbk编码
14. 替换字符串：sed -i "s/zhangsan/lisi/g" `grep zhangsan -rl /modules`
15.tee [-ai][--help][--version][文件...]  读取标准输入的数据，并将其内容输出成文件
16. ls 2>&1 1>/dev/null 将错误信息输出到标准输出，将标准输出的其他信息输出到黑洞；
17. rpm 卸载 rpm -e xx --nodeps
18. 查看磁盘剩余空间： df -hl
19. sar -r -5 -10 表示监控内存，并且每5秒取一个结果，一共取10个结果，sar是监控所有进程的资源占用情况，如果需要个别进程，可以使用ps aux |grep 方式

20. top输出重定向有问题，无法重定向到文件
21. zcat part-r-0000.gz | head -n 100 > a 
    zcat可以在不解压的情况下扩展压缩包并讲内容输出到标准输出

18. chown -R admin:admin aaa/ 把aaa目录及目录下的所有文件修改为隶属于admin用户，admin租
19. 查看机器cpu：cat /proc/cpuinfo
20. 查看机器内存：free -m
21. top查看cpu、内存占用率时，shift+o可以选择排序方式，默认是按用户名排序的
23. 有sudo账号的情况下，想使用其他账号执行程序，比如想临时使用admin账号执行程序，可以这样：
     sudo -u admin  **.sh

     想一直使用admin账号，可以用su更好账号：sudo su admin

     退出使用exit

24. 查看当前系统在线用户情况： w 、 who ，查看自己登录名：whoami
25. dirname $PWD 查看当前目录的父目录
26. sort后面不加文件的情况，默认从标准输入传入数据，使用ctrl+d终止终端输入
27. cat file1 file2 > file3
28. cd - 返回到上次所在的目录
29. date -d"yesterday" +%Y%m%d 注意，+和%Y%m%d之间不能有空格
30. unzip可以解压jar文件，unzip aa.jar -d AA
31. 一个好用的for in 循环：
    for i in {1..100}
    do
      .......
    done

32.vim时查看文件的编码:set fileencoding

   vim时转换文件的编码：set fileencoding=utf-8

 

: ${username=`whoami`}
 # ${username=`whoami`}   如果没有开头的:，将会出错
 #                        除非"username"是一个外部命令或是内建命令...

 

Shell脚本while read line 损失制表符的问题

描述：

采用读取每行的数据，再处理的方式

while read line

do

：

done<$file

问题：

但是出现一个问题：read line后line中的\t不见了，导致我awk处理时找不到\t，这时默认的分隔符是空格，可是数据本身也会有空格，就会混淆

原因：

查找后得知read line会过滤掉行首、行尾的空格、制表符等。

处理办法：

read -r line

yum install from list

需要使用-y参数 
while read line
do
yum -y install $line
done

 

df -h 用m、g的数量级显示大小

du -h --max-depth=1 ./ 显示一级目录大小

重启crontab：

/etc/rc.d/init.d/crond   restart

reloadcrontab

sudo /etc/init.d/crond reload

35./var/log/messages 可以查看用户sudo操作等信息

36.文件分割：split -b 12M filename 按大小分割

split -l 12000 filename 按行分割

合并：cat file1 >>file2

37.使用uniq时，文件编码与终端term编码必须一致，否则uniq无效；

38.有些应用，在rpm安装后，会自己启动。一般情况下是在/etc/rc.d/init.d/下安装一个脚本，这个脚本时被系统service调用的：如脚本名叫：ppp.sh
则service调用如下：service ppp.sh start
会传入参数的

 

39.如何修改机器名并生效

修改/etc/hosts
增加：10.232.128.86  kgbtest128086.sqa.cm4 
执行hostname kgbtest128086.sqa.cm4
使用hostname或者uname -n 检查设置的hostname是否生效

40.curl、wget都可以指定host：

curl -H "Host:fortest.net" "http://192.9.100.10/index.php"

41.grep 输出匹配行的前后多行

grep -B1 -A2 "DMA" message.txt

42 . sed -i '12,15d' filename

  删除12到15行

43.curl http://10.222.133.62/test.php -d "asfdasdfq3wfa42342"

使用curl模拟post方式发送数据

--data-binary <数据> 可以发送二进制数据 

--data-urlencode <数据> 可以发送urlencode之后的数据

crontab的log：

/var/log/cron*

 

查看字符的十六进制编码：od

在vim查看十六进制编码：%!xdd
返回普通模式：%!xdd -r
二进制、八进制、十六进制：
http://longmans1985.blog.163.com/blog/static/70605475201152802851529/

先看一篇文本，名为testfile，共6个字段：site、engine、url、num1、num2、num3

"Boharu Sweet Days"     Google  http://www.acpit.com/~rental1/atlinkb/linkdisp.cgi?ID=mari215&KEY1=j01&RT=s1&SORT1=1    8       8  8 "Aoharu Sweet Days"     Google  http://www.acpit.com/~rental1/atlinkb/linkdisp.cgi?ID=mari215&KEY1=j01&RT=s1&SORT1=1    8       8  8 "Aoharu Sweet Days"     Google  http://www.acpit.com/~rental1/atlinkb/linkdisp.cgi?ID=mari215&KEY1=j01&RT=s1&SORT1=1    8       8  8 "Aoharu weet Days"      Bing    http://www.acpit.com/~rental1/atlinkb/linkdisp.cgi?ID=mari215&KEY1=j01&RT=s1&SORT1=1    8       8  0

A.找出site、engine、url均相同的记录，将这些相同记录的num1，mum2、num3相加；

B.找到后三个值中为0的记录，将其赋值为NULL；

解题思路：

第一步：排序

第二部：求和

第三部：判断num为0的记录，做字符串替换

1.sort即可将其排序。注：sort testfile表示将文件中的每一行进行全排序，先从第一个字段排序，一直到最后一个字段；字段由第一个字母排序，直到最后一个字母；sort的分隔符指定参数为-t，由于本例是由第一个字段往后进行全排序，因此不需要额外指定分隔符；

2.比较前三个字段的值并求和，用awk。由于awk默认的分隔符为tab或者空格均视为分隔符，因此根据本文的特殊性（第一个字段中包含空格），需要单独指定分隔符为tab，打印第一个字段看看：

awk -F"\t" '{print $1}' 结果正确。

3.字符串替换.

3.1由于需要检查的字符串本身都是一个单独的字段（num1、num2、num3），因此可以使用awk字段判定：

if($4=="0")$4="NULL";

3.2另外可以使用awk的内部函数gsub来替换字符串：

gsub(/0/,"NULL");

这样子的结果会将每行中所有0都替换为NULL，实际我们只要求将tab后紧跟着的0替换为NULL，linux下tab可以用\<\>表示：

gsub(/\<0\>/,"NULL"); 表示将tab后面的0替换为NULL（这个解释非常奇怪，但是结果是对的。。有待考察）

3.3字符串替换功能，一般会使用比较简洁的sed 's/source-charactor/dest-charactor/'。其中的字符匹配支持正则表达式。

sed 's/\t0/\tNULL'

4.最后：

    处理问题A的awk文件：testA.awk

BEGIN{FS="\t"} {if(NR==1) {         site=$1;engin=$2;url=$3;n1=$4;n2=$5;n3=$6; } else if(site==$1&&engin==$2&&url==$3) {         n1+=$4;n2+=$5;n3+=$6; } else {         print(site"\t"engin"\t"url"\t"n1"\t"n2"\t"n3);         site=$1;engin=$2;url=$3;n1=$4;n2=$5;n3=$6;} } END{print(site"\t"engin"\t"url"\t"n1"\t"n2"\t"n3)}

    处理问题B的awk文件：testB.awk

BEGIN{FS="\t"} {         if($4=="0")$4="NULL";         if($5=="0")$5="NULL";         if($6=="0")$6="NULL";         print($1"\t"$2"\t"$3"\t"$4"\t"$5"\t"$6); }

合并：

sort testfile | awk -f testA.awk | awk -f testB.awk > out

 

举例， test文本，内容如下，三列分别表示：电话号码、通话时间、费用。

13911025243      1          3 13911125274      2          6 13911025243      3          6 13810025274      3          6 13911025243      2          6

将以上文本中，每个电话号码的总通话时间、总费用进行统计；

1.先排序：sort test

2.将第一条记录的三个字段均保存到自定义变量，分别为：phoneNum=$1;time=$2;cost=$3;

3.此后没读取一条记录时，$1,$2,$3与phonenum,time,cost作比较，如果phoneNum相等，则time=time+$2;cost=cost+$3；如果不相等，就打印phonenum,time,cost，并重置自定义变量值为：phoneNum=$1;time=$2;cost=$3；

4.最后，需要在end里打印最后一次统计信息；

实现如下：

sort test | awk '{if(NR==1){phoneNum=$1;time=$2;cost=$3}else if($1==phoneNum){time+=$2;cost+=$3}else{print (phoneNum,time,cost);phoneNum=$1;time=$2;cost=$3;}}END{print phoneNum,time,cost}'

 

看了早上Zee发过来的邮件，登录了这位测试友人苦心经营的测试论坛后，看到了那么多篇尽心尽力总结的经验也好，学习也好，突然有一些感悟，自己这段时间里一直告诫自己说，要学习，要总结，但却单单忘记了学习的大忌，就是浮躁。

我太浮躁了，什么时候能够真正做到，平心静气的，认认真真的去学习和总结呢？如果不从现在开始改掉这个毛病，恐怕永远都成功不了了。

总结一下自己的工作过往，是什么导致的目前这种状况？即使不想承认也必须去承认，就我的事业来说，目前的我是失败的。其实我很有能力去成就自己的事业，想想人生二十多年的经验，只要自己能够专注的把精力投入到一件事情中，每次每都会是一个惊人的结果，只是，我对事业没有抱着极大的热情，太不重视，太不专注了。

时下流行《秘密》这本励志书，说的不无道理，想要在某件事上获得成功，就要专注，专注到每时每刻都在关注它，想要实现它，用不了多久，就一定会实现。为什么说用不了多久，就一定会实现呢？不是神奇，不是秘密，有句话讲得好，机遇总是留给那些有准备的头脑。而人又处于庞大、复杂的社会体中，与周围有着千丝万缕的联系，机遇总是无时无刻不在的，有时候只是没有发现，或者没有准备，一旦处于“警戒”的状态，就一定能够把握每一个机遇，成就自我。

人生总少不了挫折，无论如何，都要不离不弃，不要轻易说放弃，不要轻易说不，每天早上醒来时，都告诉自己，今天又是新的一天，离理想的实现，就又近了一步，霏暄，加油！

最近接触了linux的使用和一些命令、工具的使用，awk恐怕是linux用处最广的工具之一了，今天开始，我打算记录下我的学习过程。

一.awk的简介

与sed和grep很相似，awk是一种样式扫描与处理工具，其功能远远强于sed和grep，除了几乎所有的sed和grep功能之外，awk还可以进行样式装入，流控制，数学运算符，进程控制语句，甚至内置的变量和函数。它具备了一个完整的语言所应具备的特性，实际上awk确实拥有自己的语言，awk程序设计语言，awk的三位创建者已将其定义为：awk样式扫描和处理语言。

基于文本的样式扫描和处理是我们经常要做的工作，比如从一个上千行的具有一定格式的文本文件中找出满足要求的行并输出到一个新文本，就可以使用awk。再比如，监控网络时，由于网络上流动的数据非常多，如果需要获得某些特定的数据，使用awk过滤。简而言之，awk就是一个强大的文本处理工具。

在这里有一个可遵循的一般原则：如果你用普通的shell工具或shell script有困难的话，试试awk,如果awk仍不能解决问题，则便用C语言，如果C语言仍然失败，则移至C++。

二.awk的调用方式

1.awk命令行的方式，适用于解决简单问题，例如：打印testfile文本中第一列为abc的所有行（省略了print）

[root@test myself]# awk '$1==abc' testfile

2.使用-f选项调用awk程序文件，例如：将一段awk程序保存到文本，名为testawk1，在命令行中执行该文件

[root@test myself]# awk -f testawk1 testfile

3.利用命令解释器调用awk，例如：将一段awk程序保存至文本，名为myawk，与前面不同的是该文本首行需要添加：#!/bin/awk -f ，保存后赋予该文件执行权限，命令行中直接调用：

[root@test myself]# myawk testfile

三.awk语法

awk [ -F re] [parameter...] ['prog'] [-f progfile][in_file...]

-F re : 允许awk更改其字段分隔符。

parameter :

'prog' : awk程序语句段，必须使用单引号‘’引起来，防止被shell解释。

其标准形式为'pattern{action}'。前面第二节中的第一小节举例：awk '$1==abc' testfile 其中'$1==abc'就是pattern，起过滤作用，即：只有符合$1==abc的行，才执行执行{action}操作。但此例中省略了{action}，此时将默认执行print操作，即打印到标准输出。

pattern和{action}二者可以省略其中之一，但是不能两者同时省略。pattern省略时表示不对任何行进行过滤。

{action}中的语句之间，使用;进行分隔，使用#进行注释。

-f progfile : 允许awk调用并执行progfile文件。progfile必须是一个符合awk语法的文本文件。

in_file : awk的输入文件。awk允许对多个输入文件进行处理，其间用,隔开，awk不会修改输入文件。如果未指定输入文件，awk将接受标准输入，并将结果显示在标准输出。awk支持输入输出重定向。

四.记录、字段和内置变量

记录和字段：在awk中，缺省情况下会将文本中的一行视为一个记录，而将一行中的某一部分视作一个字段，这与数据库中对数据的处理方式类似。比如数据库中某个数据表的第一个字段名叫做ID，第二个叫做Name，在awk中使用$1、$2表示第一个字段、第二个字段。特殊的，awk用$0来表示整个行（整条记录）。

分隔符：不同的字段之间是用称作分隔符的字符分隔开的。系统默认的分隔符是空格。awk允许在命令行中用-F re的形式来改变这个分隔符。事实上，awk用一个内置的变量FS来记忆这个分隔符。

内置变量：除了FS外，awk中有好几个这样的内置变量，如记录和记录之间（行与行之间）的分隔符使用RS表示，当前工作的记录数为NR等等。这些内置的变量可以在awk程序中引用或修改，例如，可以利用NR变量在模式匹配中指定工作范围，也可以通过修改记录分隔符RS让一个特殊字符而不是换行符作为记录的分隔符。例如，以下语句表示，显示文本文件第7行到第15行中以%分给的第1、3、7个字段值。

awk -F % 'NR==7,NR==15 {printf $1 $3 $7}' testfile

awk的其他内置变量：A=awk，N=nawk,P=POSIX awk。以下内置变量以系统中的帮助为准（不同系统下的awk可能有所出入）。

P ENVIRON UNIX环境变量 A FILENAME 当前输入文件的名字 P FNR 当前记录数 A FS 输入字段分隔符 空格  A NF 当前记录中的字段个数 A NR 已经读出的记录数 A OFMT 数字的输出格式 %.6g A OFS 输出字段分隔符 空格 A ORS 输出的记录分隔符 新行 A RS 输入的记录他隔符 新行

五.内置函数

例:显示文件myfile中的行号和第3字段：

$awk '{printf"%03d%s\n",NR,$1}' myfile

其中，printf即内部函数，该函数类似c++中的printf，可以对输出格式进行控制；

例：下面的示例显示了内置变量和内置函数length（）的使用：

$awk 'length($0)>80 {print NR}' myfile

该命令行将显示文本myfile中所有超过80个字符的行号，在这里，用$0表示整个记录（行），同时，内置变量NR不使用标志符'$'。

例：作为一个较为实际的例子，我们假设要对UNIX中的用户进行安全性检查，方法是考察/etc下的passwd文件，检查其中的passwd字段（第二字段）是否为"*"，如不为"*"，则表示该用户没有设置密码，显示出这些用户名（第一字段）。我们可以用如下语句实现：

#awk -F: '$2=="" {printf("%s no password!\n",$1' /etc/passwd

在这个示例中，passwd文件的字段分隔符是“：”，因此，必须用-F：来更改默认的字段分隔符，这个示例中也涉及到了内置函数printf的使用。

其他内置函数：（以自己系统中的帮助为准）

N gsub(reg,string,target) 每次常规表达式reg匹配时替换target中的string
N index(search,string) 返回string中search串的位置
A length(string) 求串string中的字符个数
N match(string,reg) 返回常规表达式reg匹配的string中的位置
N printf(format,variable) 格式化输出，按format提供的格式输出变量variable。
N split(string,store,delim) 根据分界符delim,分解string为store的数组元素
N sprintf(format,variable) 返回一个包含基于format的格式化数据，variables是要放到串中的数据
G strftime(format,timestamp) 返回一个基于format的日期或者时间串，timestmp是systime()函数返回的时间
N sub(reg,string,target) 第一次当常规表达式reg匹配，替换target串中的字符串
A substr(string,position,len) 返回一个以position开始len个字符的子串
P totower(string) 返回string中对应的小写字符
P toupper(string) 返回string中对应的大写字符
A atan(x,y) x的余切(弧度)
N cos(x) x的余弦(弧度)
A exp(x) e的x幂
A int(x) x的整数部分
A log(x) x的自然对数值
N rand() 0-1之间的随机数
N sin(x) x的正弦(弧度)
A sqrt(x) x的平方根
A srand(x) 初始化随机数发生器。如果忽略x，则使用system()
G system() 返回自1970年1月1日以来经过的时间（按秒计算）

六.awk的自定义变量

awk允许用户在awk程序语句中定义并调用自已的变量。当然这种变量不能与内置变量及其它awk保留字相同。与C语言不同的是，awk中不需要对变量进行初始化，awk根据其在awk中第一次出现的形式和上下文确定其具体的数据类型。当变量类型不确定时，awk默认其为字符串类型。这里有一个技巧：如果你要让你的awk程序知道你所使用的变量的明确类型，你应当在在程序中给它赋初值。

举例：

awk '[name=$1;pwd=$2;print $1,$2]'  user.log

说明：上例中的name、pwd均为自定义变量，不需初始化，非常简便.

    网络协议设计者不应当设计一个单一、巨大的协议来为所有形式的通信规定完整的细节，而应把通信问题划分成多个小问题，然后为每一个小问题设计一个单独的协议。这样做使得每个协议的设计、分析、时限和测试比较容易。协议划分的一个主要原则是确保目标系统有效且效率高。为了提高效率，每个协议只应该注意没有被其他协议处理过的那部分通信问题；为了主协议的实现更加有效，协议之间应该能够共享特定的数据结构；同时这些协议的组合应该能处理所有可能的硬件错误以及其它异常情况。为了保证这些协议工作的协同性，应当将协议设计和开发成完整的、协作的协议系列（即协议族），而不是孤立地开发每个协议。

    OSI七层模型

　　在网络历史的早期，国际标准化组织（ISO）和国际电报电话咨询委员会（CCITT）共同出版了开放系统互联的七层参考模型。一台计算机操作系统中的网络过程包括从应用请求（在协议栈的顶部）到网络介质（底部） ，OSI参考模型把功能分成七个分立的层次。图1表示了OSI分层模型。

 

图1　OSI七层参考模型

　　OSI模型的七层分别进行以下的操作：

　　第一层　物理层

　　第一层负责最后将信息编码成电流脉冲或其它信号用于网上传输。它由计算机和网络介质之间的实际界面组成，可定义电气信号、符号、线的状态和时钟要求、数据编码和数据传输用的连接器。如最常用的RS-232规范、10BASE-T的曼彻斯特编码以及RJ-45就属于第一层。所有比物理层高的层都通过事先定义好的接口而与它通话。如以太网的附属单元接口（AUI），一个DB-15连接器可被用来连接层一和层二。

　　第二层　数据链路层

　　数据链路层通过物理网络链路提供可靠的数据传输。不同的数据链路层定义了不同的网络和协议特征，其中包括物理编址、网络拓扑结构、错误校验、帧序列以及流控。物理编址（相对应的是网络编址）定义了设备在数据链路层的编址方式；网络拓扑结构定义了设备的物理连接方式，如总线拓扑结构和环拓扑结构；错误校验向发生传输错误的上层协议告警；数据帧序列重新整理并传输除序列以外的帧；流控可能延缓数据的传输，以使接收设备不会因为在某一时刻接收到超过其处理能力的信息流而崩溃。数据链路层实际上由两个独立的部分组成，介质存取控制（Media Access Control,MAC）和逻辑链路控制层（Logical Link Control,LLC）。MAC描述在共享介质环境中如何进行站的调度、发生和接收数据。MAC确保信息跨链路的可靠传输，对数据传输进行同步，识别错误和控制数据的流向。一般地讲，MAC只在共享介质环境中才是重要的，只有在共享介质环境中多个节点才能连接到同一传输介质上。IEEE MAC规则定义了地址，以标识数据链路层中的多个设备。逻辑链路控制子层管理单一网络链路上的设备间的通信，IEEE 802.2标准定义了LLC。LLC支持无连接服务和面向连接的服务。在数据链路层的信息帧中定义了许多域。这些域使得多种高层协议可以共享一个物理数据链路。

　　第三层　网络层

　　网络层负责在源和终点之间建立连接。它一般包括网络寻径，还可能包括流量控制、错误检查等。相同MAC标准的不同网段之间的数据传输一般只涉及到数据链路层，而不同的MAC标准之间的数据传输都涉及到网络层。例如IP路由器工作在网络层，因而可以实现多种网络间的互联。

　　第四层　传输层

　　传输层向高层提供可靠的端到端的网络数据流服务。传输层的功能一般包括流控、多路传输、虚电路管理及差错校验和恢复。流控管理设备之间的数据传输，确保传输设备不发送比接收设备处理能力大的数据；多路传输使得多个应用程序的数据可以传输到一个物理链路上；虚电路由传输层建立、维护和终止；差错校验包括为检测传输错误而建立的各种不同结构；而差错恢复包括所采取的行动（如请求数据重发），以便解决发生的任何错误。传输控制协议（TCP）是提供可靠数据传输的TCP/IP协议族中的传输层协议。

　　第五层　会话层

　　会话层建立、管理和终止表示层与实体之间的通信会话。通信会话包括发生在不同网络应用层之间的服务请求和服务应答，这些请求与应答通过会话层的协议实现。它还包括创建检查点，使通信发生中断的时候可以返回到以前的一个状态。

　　第六层　表示层

　　表示层提供多种功能用于应用层数据编码和转化，以确保以一个系统应用层发送的信息可以被另一个系统应用层识别。表示层的编码和转化模式包括公用数据表示格式、性能转化表示格式、公用数据压缩模式和公用数据加密模式。

　　公用数据表示格式就是标准的图像、声音和视频格式。通过使用这些标准格式，不同类型的计算机系统可以相互交换数据；转化模式通过使用不同的文本和数据表示，在系统间交换信息，例如ASCII（American Standard Code for Information Interchange，美国标准信息交换码）；标准数据压缩模式确保原始设备上被压缩的数据可以在目标设备上正确的解压；加密模式确保原始设备上加密的数据可以在目标设备上正确地解密。

　　表示层协议一般不与特殊的协议栈关联，如QuickTime是Applet计算机的视频和音频的标准，MPEG是ISO的视频压缩与编码标准。常见的图形图像格式PCX、GIF、JPEG是不同的静态图像压缩和编码标准。

　　第七层　应用层

　　应用层是最接近终端用户的OSI层，这就意味着OSI应用层与用户之间是通过应用软件直接相互作用的。注意，应用层并非由计算机上运行的实际应用软件组成，而是由向应用程序提供访问网络资源的API（Application Program Interface，应用程序接口）组成，这类应用软件程序超出了OSI模型的范畴。应用层的功能一般包括标识通信伙伴、定义资源的可用性和同步通信。因为可能丢失通信伙伴，应用层必须为传输数据的应用子程序定义通信伙伴的标识和可用性。定义资源可用性时，应用层为了请求通信而必须判定是否有足够的网络资源。在同步通信中，所有应用程序之间的通信都需要应用层的协同操作。

　　OSI的应用层协议包括文件的传输、访问及管理协议（FTAM） ，以及文件虚拟终端协议（VIP）和公用管理系统信息（CMIP）等。

　　TCP/IP分层模型

　　TCP/IP分层模型（TCP/IP Layening Model）被称作因特网分层模型（Internet Layering Model）、因特网参考模型（Internet Reference Model）。图2表示了TCP/IP分层模型的四层。

 

图2　TCP/IP四层参考模型

　　TCP/IP协议被组织成四个概念层，其中有三层对应于ISO参考模型中的相应层。ICP/IP协议族并不包含物理层和数据链路层，因此它不能独立完成整个计算机网络系统的功能，必须与许多其他的协议协同工作。

　　TCP/IP分层模型的四个协议层分别完成以下的功能：

　　第一层　网络接口层

　　网络接口层包括用于协作IP数据在已有网络介质上传输的协议。实际上TCP/IP标准并不定义与ISO数据链路层和物理层相对应的功能。相反，它定义像地址解析协议（Address Resolution Protocol,ARP）这样的协议，提供TCP/IP协议的数据结构和实际物理硬件之间的接口。

　　第二层　网间层

　　网间层对应于OSI七层参考模型的网络层。本层包含IP协议、RIP协议（Routing Information Protocol，路由信息协议），负责数据的包装、寻址和路由。同时还包含网间控制报文协议（Internet Control Message Protocol,ICMP）用来提供网络诊断信息。

　　第三层　传输层

　　传输层对应于OSI七层参考模型的传输层，它提供两种端到端的通信服务。其中TCP协议（Transmission Control Protocol）提供可靠的数据流运输服务，UDP协议（Use Datagram Protocol）提供不可靠的用户数据报服务。

　　第四层　应用层

　　应用层对应于OSI七层参考模型的应用层和表达层。因特网的应用层协议包括Finger、Whois、FTP（文件传输协议）、Gopher、HTTP（超文本传输协议）、Telent（远程终端协议）、SMTP（简单邮件传送协议）、IRC（因特网中继会话）、NNTP（网络新闻传输协议）等。

 

1.使用ls -l命令显示文件的详细信息，包括权限：

yekai@kebao:/media/sda5/软件压缩/Linux$ ls -lh 总用量 191M -rwxrwx--- 1 root plugdev 18M 2007-02-28 18:05 ActionCube_v0.92.tar.bz2 -rwxrwx--- 1 root plugdev 60M 2007-04-30 22:52 nexuiz-223.zip -rwxrwx--- 1 root plugdev 7.4M 2007-04-25 02:16 stardict-oxford-gb-2.4.2.tar.bz2 -rwxrwx--- 1 root plugdev 102M 2007-05-01 18:22 tremulous-1.1.0-installer.x86.run -rwxrwx--- 1 root plugdev 4.9M 2007-04-30 14:32 wqy-bitmapfont-0.8.1-7_all.deb.bin

其中显示的字符表示的权限信息-rwxrwx--- 中，第一位表示是文件还是目录，第二位到第十位表示权限。

2.权限中第一位字符的含义

d：表示这是一个目录，事实上在ext2fs中，目录是一个特殊的文件 -：表示这是一个普通的文件 l：表示这是一个符号链接文件，实际上它指向另一个文件 b、c：分别表示区块设备和其他的外围设备，是特殊类型的文件 s、p：这些文件关系到系统的数据结构和管道，通常很少见到

3.权限中第二到第十位的含义

第2～10个字符当中的每3个为一组，左边三个字符表示所有者权限，中间3个字符表示与所有者同一组的用户的权限，右边3个字符是其他用户的权限。

r(Read)：对文件，具有读取文件内容的权限；对目录，具有浏览目录的权限。 w(Write)：对文件，具有新增、修改文件内容的权限；对目录，具有删除、移动目录内文件的权限。 x(execute)：对文件，具有执行文件的权限；对目录，具有进入目录的权限。

下面举例说明：

-rwx------: 文件所有者对文件具有读取、写入和执行的权限。 -rwxr―-r--: 文件所有者具有读、写与执行的权限，其他用户则具有读取的权限。 -rw-rw-r-x: 文件所有者与同组用户对文件具有读写的权限，而其他用户仅具有读取和执行的权限。 drwx--x--x: 目录所有者具有读写与进入目录的权限,其他用户近能进入该目录，却无法读取任何数据。 drwx------: 除了目录所有者具有完整的权限之外，其他用户对该目录完全没有任何权限。

4.使用chmod和数字改变文件或目录的访问权限

文件和目录的权限表示，是用rwx这三个字符来代表所有者、用户组和其他用户的权限。有时候，字符似乎过于麻烦，因此还有另外一种方法是以数字来表示权限，而且仅需三个数字。

r：对应数值4 w：对应数值2 x：对应数值1 -：对应数值0

解释：我们将rwx看成二进制数，如果有则有1表示，没有则有0表示，那么rwx r-x r- -则可以表示成为：111 101 100 ，再将其每三位转换成为一个十进制数，就是754。

例如，我们想让a.txt这个文件的权限为：

权限	自己	同组用户	其他用户
可读	是	是	是
可写	是	是
可执行

根据上表得到权限串为：rw-rw-r--，转换成二进制数就是110 110 100，再每三位转换成为一个十进制数，就得到664，因此需要执行的执行命令为：

[root@localhost ~]# chmod 664 a.txt

5.批量修改权限

如果需要一次修改某个目录下所有文件的权限，包括子目录中的文件权限也要修改，要使用参数-R表示启动递归处理。
例如：

[root@localhost ~]# chmod 777 /home/user 注：仅把/home/user目录的权限设置为rwxrwxrwx [root@localhost ~]# chmod -R 777 /home/user 注：表示将整个/home/user目录与其中的文件和子目录的权限都设置为rwxrwxrwx

6.使用命令chown改变目录或文件的所有权

文件与目录不仅可以改变权限，其所有权及所属用户组也能修改，和设置权限类似，用户可以通过图形界面来设置，或执行chown命令来修改。
我们先执行ls -l看看目录情况：

[root@localhost ~]# ls -l 总用量 368 -rwxrwxrwx 1 root root 12172 8月 15 23:18 conkyrc.sample

可以看到conkyrc.sample文件的所属用户组为root，所有者为root。
执行下面命令，把conkyrc.sample文件的所有权转移到用户user:

[root@localhost ~]# chown user conkyrc.sample [root@localhost ~]# ls -l 总用量 368 -rwxrwxrwx 1 user root 12172 8月 15 23:18 conkyrc.sample

要改变所属组，可使用下面命令：

[root@localhost ~]# chown :users conkyrc.sample [root@localhost ~]# ls -l 总用量 368 -rwxrwxrwx 1 user users 12172 8月 15 23:18 conkyrc.sample

7.批量修改文件权限

要修改目录的权限，使用-R参数就可以了，方法和前面一样。

 

由于有个项目涉及到TCP、HTTP、Soap的一些东西，于是回顾了一下以前曾经学过的东西，并学到了一些新东西，以此记录。根据我的逐步学习过程，分了以下5个部分。

1.由netstat查看网络情况，引出的TCP建立连接、终止连接过程，以及TCP状态分析；

2.Soap=XML+HTTP引出的HTTP协议分析；

3.Soap(Simple Object Access Protocol)简单对象访问协议分析及应用；

4.番外一：awk的使用

5.番外二：Linux下抓包工具

--------------------------篇四-------------------------------------

这篇讲linux下的抓包工具。

抓包工具比较好用的有两个，一个是snort，一个是tcpdump，这次不说snort了，觉得这个工具虽然很强大，但是比较复杂，还是tcpdump比较简单。tcpdump windows、linux版本均有。linux版本可以在以下网站下载：www.tcpdump.org.

安装好tcpdump之后，运行tcpdump：

1. tcpdump -D 获取网络适配器列表，以下是在windows上获取到的结果：

1.\Device\PssdkLoopback (PSSDK Loopback Ethernet Emulation Adapter) 2.\Device\{CF587901-C85F-4FD6-896F-D977DEFE76EC} (Intel(R) PRO/100 VE Network Co nnection)

2. tcpdump -i <需要监控的网络适配器编号>，例如我想监控lo(127.0.0.1)，即上面列表中的1.\Device\PssdkLoopback: （windows上特有的，linux不适用）

tcpdump -i 1

如果不使用-i来定义监控适配器的话，默认使用列表中的第一个；

3. 监控主机为192.9.200.59上8000端口的tcp协议：

tcpdump host 192.9.200.59 and tcp port 8000

4. 如果想要显示数据包的内容，需要使用-X参数，如，我想要显示捕获的http数据包http header的内容：

tcpdump -X host 192.9.200.59 and tcp port 8000

显示结果如下：

22:13:19.717472 IP testhost59.12535 > liujuan59.8000: . 1:330(329) ack 1 win 327 8         0x0000:  4500 0171 e616 0000 8006 cb2b 0000 0000  E..q.......+....         0x0010:  c009 c83b 30f7 1f40 0000 0002 0000 0002  ...;0..@........         0x0020:  5010 8000 b066 0000 504f 5354 202f 2048  P....f..POST./.H         0x0030:  5454 502f 312e 310d 0a43 6f6e 7465 6e74  TTP/1.1..Content         0x0040:  2d54 7970 653a 2074 6578 742f 786d 6c3b  -Type:.text/xml;         0x0050:  2063                                     .c

可以看到该结果只显示了http头的一部分，没有显示全，是因为tcpdump默认将显示的数据长度截断了，可以使用-s后面加数据长度，来设置数据显示长度：

tcpdump -X -s 0 host 192.9.200.59 and tcp port 8000

以上的例子中，-s 0 表示自动设置长度使其能够显示所有数据。

5. 捕获的数据太多，不断刷屏，可能需要将数据内容记录到文件里，需要使用-w参数：

tcpdump -X -s 0 -w aaa host 192.9.200.59 and tcp port 8000

则将之前显示在屏幕中的内容，写入tcpdump可执行文件同级目录下的aaa文件中。

文件查看方式如下，需要使用-r参数：

tcpdump -X -s 0 -r aaa host 192.9.200.59 and tcp port 8000

如果这样写：

tcpdump -r aaa

则只能看到最简单的数据传输交互过程，看不到数据包内容，查看时也需要使用相应的参数。

6.总结

总结一下，tcpdump的参数分两个部分，选项（Options）和表达式（expression）：

tcpdump [ -adeflnNOpqRStuvxX ] [ -c count ]
               [ -C file_size ] [ -F file ]
               [ -i interface ] [ -m module ] [ -r file ]
               [ -s snaplen ] [ -T type ] [ -w file ]
               [ -E algo:secret ] [ expression ]

 

get和post

概述:

前面的http协议介绍中已经学到了，http协议结构如下：

<request line> <headers> 空行 [<content>]

request line 用来说明请求类型、要访问的资源，以及http版本；

headers是服务器要使用的附加信息，如charset、connection等；

下面是两个例子，分别使用get、post请求方式

GET /index.php?uid-22578-action-viewspace-itemid-141083 HTTP/1.1 Accept: image/gif, image/jpeg, image/pjpeg, application/xaml+xml, */* Accept-Language: zh-cn User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) Host: www.51testing.com Connection: Keep-Alive

POST /batch.comment.php HTTP/1.1 Accept: image/gif, image/jpeg, image/pjpeg, application/xaml+xml, */* Accept-Language: zh-cn Content-Type: application/x-www-form-urlencoded User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) Host: www.51testing.com Content-Length: 169 Connection: Keep-Alive rates=0&message=%B1%C8%BD%CF%BC%F2%B5%A5%B5%C4%D2%BB%D0%A9%B3%A3%D3%C3sql%D3%EF%BE%E4&nickname=angelets&seccode=3878&itemid=141083&submitcomment=%CC%E1%BD%BB%C6%C0%C2%DB

可以看到，上面的get只是在请求一个html页面的浏览，无数据提交；

而post是有content内容的rates=后面的部分，可以看到nickname=angelets，密码、提交的submitcomment是已经加密过的；

下面说一下post和get在使用中的一些区别：

（1）   在客户端，Get方式通过URL提交数据，数据在URL中可以看到；POST方式，数据放置在entity content内提交。

（2）   GET由于是通过url提交数据的，因此数据大小受浏览器客户端的限制（微软support网站上说：Microsoft Internet Explorer has a maximum uniform. resource locator (URL) length of 2,083 characters）最多只能有2083字节。而POST不通过url提交数据，理论上数据不受限。但实际各个WEB服务器会规定对post提交数据大小进行限制，例如，tomcat默认设置为2M。

（3）   安全性问题。正如在（1）中提到，使用 Get 的时候，参数会显示在地址栏上，而 Post 不会。所以，如果这些数据是中文数据而且是非敏感数据，那么使用 get；如果用户输入的数据不是中文字符而且包含敏感数据，那么还是使用 post为好。

（4）   安全的和幂等的。所谓安全的意味着该操作用于获取信息而非修改信息。幂等的意味着对同一 URL 的多个请求应该返回同样的结果。完整的定义并不像看起来那样严格。换句话说，GET 请求一般不应产生副作用。从根本上讲，其目标是当用户打开一个链接时，她可以确信从自身的角度来看没有改变资源。比如，新闻站点的头版不断更新。虽然第二次请求会返回不同的一批新闻，该操作仍然被认为是安全的和幂等的，因为它总是返回当前的新闻。反之亦然。POST 请求就不那么轻松了。POST 表示可能改变服务器上的资源的请求。仍然以新闻站点为例，读者对文章的注解应该通过 POST 请求实现，因为在注解提交之后站点已经不同了（比方说文章下面出现一条注解）。
http://www.cnblogs.com/stu-acer/archive/2006/08/28/488802.html

（5）表单提交中的post和get。

     get是从服务器上获取数据，post是向服务器传送数据。

     对于表单的提交方式，在服务器端只能用Request.QueryString来获取Get方式提交来的数据，用Post方式提交的数据只能用Request.Form来获取。

     一般来说，尽量避免使用Get方式提交表单，因为有可能会导致安全问题。比如说在登陆表单中用Get方式，用户输入的用户名和密码将在地址栏中暴露无遗。但是在分页程序中，用Get方式就比用Post好。