Linux系統中使用數據備份同步工具Rsync的實例講解

對於運維人員來說,數據備份是最重要的工作之一,rsync就是一款通過網絡備份重要數據的工具/軟件。

Linux系統中使用數據備份同步工具Rsync的實例講解

Rsync同樣是一個在類Unix和Window系統上通過網絡在系統間同步文件夾和文件的網絡協議,它可以複製或者顯示目錄並複製文件。rsync默認監聽TCP 873端口,通過遠程shell如rsh和ssh複製文件。同時要求必須在遠程和本地系統上都安裝sync。

Linux上如果沒有安裝,裝起來也很簡單:

# sudo apt-get install rsync #在debian、ubuntu 等在線安裝方法;

# yum install rsync #Fedora、Redhat 等在線安裝方法;

# rpm -ivh rsync #Fedora、Redhat 等rpm包安裝方法;

rsync的主要優點是:

速度:最初會在本地和遠程之間拷貝所有內容。下次,只會傳輸發生改變的塊或者字節。

安全:傳輸可以通過ssh協議加密數據。

低帶寬:rsync可以在兩端壓縮和解壓數據塊。

sync命令語法:

#rsysnc [options] source path destination path

以下將根據sync的參數和應用場景來給大家介紹具體的用法:

示例: 1 - 啓用壓縮

[root@localhost /]# rsync -zvr /home/aloft/ /backuphomedir

building file list ... done

_logout

_profile

rc

sent 472 bytes received 86 bytes 1116.00 bytes/sec

total size is 324 speedup is 0.58

上面的rsync命令使用了-z來啓用壓縮,-v是可視化,-r是遞歸。上面在本地的`/home/aloft/和/backuphomedir之間同步。

示例: 2 - 保留文件和文件夾的屬性

[root@localhost /]# rsync -azvr /home/aloft/ /backuphomedir

building file list ... done

./

_logout

_profile

rc

sent 514 bytes received 92 bytes 1212.00 bytes/sec

total size is 324 speedup is 0.53

上面我們使用了-a選項,它保留了所有人和所屬組、時間戳、軟鏈接、權限,並以遞歸模式運行。

示例: 3 - 同步本地到遠程主機

root@localhost /]# rsync -avz /home/aloft/ :/share/rsysnctest/

Password:

building file list ... done

./

_logout

_profile

rc

sent 514 bytes received 92 bytes 1212.00 bytes/sec

total size is 324 speedup is 0.53

上面的命令允許你在本地和遠程機器之間同步。你可以看到,在同步文件到另一個系統時提示你輸入密碼。在做遠程同步時,你需要指定遠程系統的用戶名和IP或者主機名。

示例: 4 - 遠程同步到本地

[root@localhost /]# rsync -avz :/share/rsysnctest/ /home/aloft/

Password:

building file list ... done

./

_logout

_profile

rc

sent 514 bytes received 92 bytes 1212.00 bytes/sec

total size is 324 speedup is 0.53

上面的命令同步遠程文件到本地。

示例: 5 - 找出文件間的不同

[root@localhost backuphomedir]# rsync -avzi /backuphomedir /home/aloft/

building file list ... done

cd+++++++ backuphomedir/

>f+++++++ backuphomedir/_logout

>f+++++++ backuphomedir/_profile

>f+++++++ backuphomedir/rc

>f+++++++ backuphomedir/abc

>f+++++++ backuphomedir/xyz

sent 650 bytes received 136 bytes 1572.00 bytes/sec

total size is 324 speedup is 0.41

上面的命令幫助你找出源地址和目標地址之間文件或者目錄的不同。

示例: 6 - 備份

rsync命令可以用來備份linux。

你可以在cron中使用rsync安排備份。

0 0 * * * /usr/local/sbin/bkpscript &> /dev/null

vi /usr/local/sbin/bkpscript

rsync -avz -e ‘ssh -p2093′ /home/test/ :/oracle/data/

rsync增量傳輸大文件優化技巧:

問題:

rsync用來同步數據非常的好用,特別是增量同步。但是有一種情況如果不增加特定的參數就不是很好用了。比如你要同步多個幾十個G的文件,然後網絡突然斷開了一下,這時候你重新啓動增量同步。但是發現等了好久都沒有進行數據傳輸,倒是機器的IO一直居高不下。

原因:

rsync具體的增量同步算法不太清楚。根據它的表現來看,可能在增量同步已經存在的一個文件時,會校驗已傳輸部分數據是否已源文件一致,校驗完成才繼續增量同步這個文件剩下的數據。所以如果對一個大文件以這樣的算法來增量同步是非常花時間並且佔用IO資源的。

方法:

半夜花了一個多小時查看了rsync的文檔,發現有一個參數能快速恢復大文件的增量同步,–append。設置–append參數會在增量同步時計算文件大小並直接追加新的數據到文件,這樣就省了費IO校驗的過程。不過這個參數最好只在源文件和目標文件都不會更改的時候使用比較安全,比如備份的文件。