曾多次想要在Linux下比較目錄a和目錄b中文件列表的差別,然后對目錄a比目錄b中多出的文件、少掉的文件分別做處理。但是,在網上搜索了多次也都沒找到能直接處理好的工具。
所以想了很多不少方法,自我感覺都不錯,而且網上似乎沒有這方面的文章,所以分享出來給大家。如果各位有更好的工具或者方法,盼請留下說明(本文第2部分:圖形化的比較結果搜集自網上,我也沒有在圖形化界面下操作的需要,所以沒有多做介紹)
以下是本文有些地方涉及到的目錄結構。
[root@node1 ~]# tree directory1 directory2directory1├── 1.png├── 2.png└── 3.pngdirectory2├── 2.png├── 3.png└── 4.png
1.命令行輸出的結果
方法一:使用diff
diff -r directory1 directory2
但是diff會對每個文件中的每一行都做比較,所以文件較多或者文件較大的時候會非常慢。請謹慎使用。
方法二:使用diff結合tree
diff <(tree -Ci --noreport /mnt/f/自然馬) <(tree -Ci --noreport /mnt/i/自然馬) < /mnt/f/自然馬---> /mnt/i/自然馬87a88 > xyz.avi488d488 < rsync.txt534d533 < 542D0.mp4
說明:
tree的-C選項是輸出顏色,如果只是看一下目錄的不同,可以使用該選項,但在結合其他命令使用的時候建議不要使用該選項,因為顏色也會轉換為對應的編碼而輸出;
-i是不縮進,建議不要省略-i,否則diff的結果很難看,也不好繼續(xù)后續(xù)的文件操作;
--noreport是不輸出報告結果,建議不要省略該選項。
該方法效率很高。
方法三:find結合diff
find directory1 -printf "%P\n" | sort > file1 find directory2 -printf "%P\n" | sort | diff file1 -2d1 < 1.png4a4 > 4.png
說明:
<代表的行是directory1中有而directory2沒有的文件,>則相反,是directory2中有而directory1中沒有。
不要省略-printf "%P\n",此處的%P表示find的結果中去掉前綴路徑,詳細內容man find。例如,find /root/ -printf "%P\n"的結果中將顯示/root/a/xyz.txt中去掉/root/后的結果:a/xyz.txt。
效率很高,輸出也簡潔。
如果不想使用-printf,那么先進入各目錄再find也行。
[root@node1 ~]# (cd /root/a;find . | sort >/tmp/file1) [root@node1 ~]# (cd /root/b;find . | sort | diff /tmp/file1 -)2d1 < ./1.png4a4 > ./4.png
上面將命令放進括號中執(zhí)行是為了在子shell中切換目錄,不用影響當前所在目錄。
方法四:使用rsync
rsync -rvn --delete directory1/ directory2 | sed -n '2,/^$/{/^$/!p}'deleting a/xyz.avi rsync.txt 新建文件夾/542D0.mp4
其中deleting所在的行就是directory2中多出的文件。其他的都是directory中多出的文件。
如果想?yún)^(qū)分出不同的是目錄還是文件?梢约由"-i"選項。
rsync -rvn -i --delete directory1/ directory2 | sed -n '2,/^$/{/^$/!p}'*deleting a/xyz.avi >f+++++++++ rsync.txt >f+++++++++ 新建文件夾/542D0.mp4
其中>f+++++++++中的f代表的是文件,d代表的目錄。
上面的rsync比較目錄有幾點要說明:
一定不能缺少-n選項,它表示dry run,也就是試著進行rsync同步,但不會真的同步。
第一個目錄(directory1/)后一定不能缺少斜線,否則表示將directory1整個目錄同步到directory2目錄下。
其它選項,如"-r -v --delete"也都不能缺少,它們的意義想必都知道。
sed的作用是過濾掉和文件不相關的內容。
以上rsync假定了比較的兩個目錄中只有普通文件和目錄,沒有軟鏈接、塊設備等特殊文件。如果有,請考慮加上對應的選項或者使用-a替代-r,否則結果中將出現(xiàn)skipping non-regular file的提示。但請注意,如果有軟鏈接,且加了對應選項(-l或-a或其他相關選項),則可能會出現(xiàn)fileA-->fileB的輸出。
效率很高,因為rsync的原因,篩選的可定制性也非常強。
2.圖形化的比較結果
方法一:使用vimdiff
vimdiff <(cd directory1; find . | sort) <(cd directory2; find . | sort)# 或者vimdiff <(find directory1 -printf "%P\n"| sort) <(find directory2 -printf "%P\n"| sort)
方法二:使用meld
meld是python寫的一個圖形化文件/目錄比較工具,所以必須先安裝圖形界面或設置好圖形界面接受協(xié)議。它的功能非常豐富,和win下的beyond compare有異曲同工之妙。
meld具體的使用方式就不介紹了。
3.將兩目錄中不同的文件篩選出來
個人建議使用命令行輸出的結果中的方法方法三和方法四,因為它們都能很好地保留目錄前綴。
以方法三為例:
find directory1 -printf "%P\n" | sort > file1 find directory2 -printf "%P\n" | sort | diff file1 -
以下是實驗所需目錄結構:
[root@node1 ~]# tree /root/a;tree /root/b /root/a ├── 1.png ├── 2.png └── 3.png0 directories, 3 files /root/b ├── 2.png ├── 3.png ├── 4.png └── xen └── scripts └── block-drbd
首先比較這兩個目錄得到文件列表的差異。
find /root/a -printf "%P\n" | sort > /tmp/file1 find /root/b -printf "%P\n" | sort | diff /tmp/file1 - >diff.txt
然后從diff.txt中過濾出/root/a中多出的文件和/root/b中多出的文件。
# /root/a中多出的文件awk '/</{printf("%s%s\n","/tmp/etc/",$2)}' diff.txt /tmp/etc/1.png# /root/b中多出的文件awk '/>/{printf("%s%s\n","/tmp/etc/",$2)}' diff.txt /tmp/etc/4.png /tmp/etc/xen /tmp/etc/xen/scripts /tmp/etc/xen/scripts/block-drbd
需要注意的是,如果多了某個目錄,則這個目錄和其內所有文件都會列出來。如果要將多出的文件復制到其他地方,應當要注意這一點。
如果只想要比較出/root/a和/root/b下的文件和目錄的不同,不再遞歸到子目錄中比較。那么可以在find上繼續(xù)加工一番:
find /root/a -maxdepth 1 -printf "%P\n" | sort > /tmp/file1 find /root/b -maxdepth 1 -printf "%P\n" | sort | diff /tmp/file1 - >diff.txt# /root/a中多出的文件awk '/</{printf("%s%s\n","/tmp/etc/",$2)}' diff.txt /tmp/etc/1.png# /root/b中多出的文件awk '/>/{printf("%s%s\n","/tmp/etc/",$2)}' diff.txt /tmp/etc/4.png /tmp/etc/xen
這樣一來,/root/b中多出的文件就是4.png和xen,xen目錄中的文件不再列出。