rsync 对网站进行备份

上一篇 / 下一篇  2012-09-29 10:07:43 / 个人分类:rsync--文件传输备份

一、rsync是类unix系统下的数据镜像备份工具,从软件的命名上就可以看出来了——remote sync。它的特性如下:

1、可以镜像保存整个目录树和文件系统。
2、可以很容易做到保持原来文件的权限、时间、软硬链接等等。
3、无须特殊权限即可安装。
4、优化的流程,文件传输效率高。
5、可以使用rcp、ssh等方式来传输文件,当然也可以通过直接的socket连接。
6、支持匿名传输。

二、使用方法
1、输入密码方式
       
  新建文件:expect.rsync
#!/usr/bin/expect

spawn rsync -aSvH   用户名@服务器IP:源地址  目标地址
expect "password:"
send "密码\r"
interact

运行时只要输入:expect  expect.rsync
即可将源地址的内容备份到目标地址,而且是只传送保存源地址和目标地址不同的文件。

2、不输入密码方式

(1)、原地址所在的服务器配置
 <1>、配置 /etc/rsyncd.conf 文件
[picturecenter]  # 这里是认证的模块名,在client端需要指定

path = /home/admin/work/picturecenter/  # 需要做镜像的目录

comment = picturecenter

ignore errors   # 可以忽略一些无关的IO错误

uid=root

gid=root

read nly = true

auth users = username  # 认证的用户名,如果没有这行,则表明是匿名

secrets file = /etc/rsync.passwd  # 认证文件(内存密码)

<2>、在源服务器里/etc/rsync.passwd 里写   用户名:密码
username:password
之后要将此文件授权为600 
chmod 600 rsync.passwd
(2)、目标服务器配置
在/etc/rsync.passwd 里配置密码即可
password
(3)、备份脚本
spawn rsync -aSvH --delete  用户名@源服务器地址::源服务器的模块名称 目标服务器的目标地址 --password-file=/etc/rsync.passwd
将上述脚本写到expect文件里:temp.expect
#!/usr/bin/expect
spawn rsync -aSvH --delete  用户名@源服务器地址::源服务器的模块名称 目标服务器的目标地址 --password-file=/etc/rsync.passwd


在目标服务器上执行此脚本即可:expect temp.expect
3、遇到的问题
Q:如何通过ssh进行rsync,而且无须输入密码?
A:可以通过以下几个步骤

1. 通过ssh-keygen在server A上建立SSH keys,不要指定密码,你会在~/.ssh下看到identity和identity.pub文件
2. 在server B上的home目录建立子目录.ssh
3. 将A的identity.pub拷贝到server B上
4. 将identity.pub加到~[user b]/.ssh/authorized_keys
5. 于是server A上的A用户,可通过下面命令以用户B ssh到server B上了
                e.g. ssh -l userB serverB
这样就使server A上的用户A就可以ssh以用户B的身份无需密码登陆到server B上了。

Q:如何通过在不危害安全的情况下通过防火墙使用rsync?
A:解答如下:

这通常有两种情况,一种是服务器在防火墙内,一种是服务器在防火墙外。
无论哪种情况,通常还是使用ssh,这时最好新建一个备份用户,并且配置sshd仅允许这个用户通过RSA认证方式进入。
如果服务器在防火墙内,则最好限定客户端的IP地址,拒绝其它所有连接。
如果客户机在防火墙内,则可以简单允许防火墙打开TCP端口22的ssh外发连接就ok了。

Q:我能将更改过或者删除的文件也备份上来吗?
A:当然可以:

你可以使用如:rsync -other -options -backupdir = ./backup-2000-2-13  ...这样的命令来实现。
这样如果源文件:/path/to/some/file.c改变了,那么旧的文件就会被移到./backup-2000-2-13/path/to/some/file.c,这里这个目录需要自己

手工建立起来

Q:我需要在防火墙上开放哪些端口以适应rsync?
A:视情况而定

rsync可以直接通过873端口的tcp连接传文件,也可以通过22端口的ssh来进行文件传递,但你也可以通过下列命令改变它的端口:

rsync --port 8730 otherhost::
或者
rsync -e 'ssh -p 2002' otherhost:

Q:我如何通过rsync只复制目录结构,忽略掉文件呢?
A:rsync -av --include '*/' --exclude '*' source-dir dest-dir

Q:为什么我总会出现"Read-only file system"的错误呢?
A:看看是否忘了设"read nly = no"了

Q:为什么我会出现'@ERROR: invalid gid'的错误呢?
A:rsync使用时默认是用uid=nobody;gid=nobody来运行的,如果你的系统不存在nobody组的话,就会出现这样的错误,可以试试gid =

nogroup或者其它

Q:绑定端口873失败是怎么回事?
A:如果你不是以root权限运行这一守护进程的话,因为1024端口以下是特权端口,会出现这样的错误。你可以用--port参数来改变。

Q:为什么我认证失败?
A:从你的命令行看来:

你用的是:
> bash$ rsync -a 144.16.251.213::test test
> Password:
> @ERROR: auth failed on module test
>
> I dont understand this. Can somebody explain as to how to acomplish this.
> All suggestions are welcome.

应该是没有以你的用户名登陆导致的问题,试试rsync -a max@144.16.251.213::test test

Rsync同步常见问题:
错误一:
@ERROR: auth failed on module xxxxx
rsync: connection unexpectedly closed (90 bytes read so far)
rsync error: error in rsync protocol data stream (code 12) at io.c(150)
解决:这是因为密码设置错了,无法登入成功,检查一下rsync.pwd,看客服是否匹配。还有服务器端没启动rsync 服务也会出现这种情况。
错误二:
password file must not be other-accessible
continuing without password file
Password:
解决:这是因为rsyncd.pwd rsyncd.sec的权限不对,应该设置为600。如:chmod 600 rsyncd.pwd
错误三:
@ERROR: chroot failed
rsync: connection unexpectedly closed (75 bytes read so far)
rsync error: error in rsync protocol data stream (code 12) at io.c(150)
解决:这是因为你在 rsync.conf 中设置的 path 路径不存在,要新建目录才能开启同步。
错误四:
rsync: failed to connect to 218.107.243.2: No route to host (113)
rsync error: error in socket IO (code 10) at clientserver.c(104) [receiver=2.6.9]
解决:对方没开机、防火墙阻挡、通过的网络上有防火墙阻挡,都有可能。关闭防火墙,其实就是把tcp udp 的873端口打开。

三、我遇到的问题

1、开始采用输入密码的方式,当在hudson上输入shell脚本的方式运行时,密码总是来不及输入,设置了setTimeout还是不行。

2、后采用无需输入密码的方式,因为权限的问题,要加sudo 才能运行,即:sudo expect temp.expect 这时候报

sudo: sorry, you must have a tty to run sudo

这时搜索了下tty是要用ssh -t 这个命令来的先登录然后在执行sudo即可
这时候设计到用ssh 免登陆方式,这个网上很多,大家可以搜索下。

ssh -tt 目标机器IP sudo expect  temp.expect
3、rsync拷贝过来的文件带有原文件的权限,导致我的账号mvn 命令没有权限执行,改变权限即可
ssh -tt 目标机器IP sudo chmod -R 777 目标路径
四、参考文档
http://www.taobaotest.com/blogs/qa?bid=15404
http://www.xfocus.net/articles/200107/214.html
http://www.uplinux.com/shizi/wenxian/4494.html
http://os.51cto.com/art/201101/243374.htm
http://bbs.chinaunix.net/thread-2019219-2-1.html

五、客户端的密码文件可以放到其他地方,但是需要授权为600 即可。
chmod 600 文件全路径
六、ssh 自动登录
1、 which ssh-keygen 查询ssh-keygen的路径,并cd 到其路径下
2、ssh-keygen -t rsa
3、 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys





TAG:

 

评分:0

我来说两句

Open Toolbar