重複ファイル検索 awk script

指定したパス、もしくはコマンドを実行したカレントパスを階層の基点にして、全フォルダから重複ファイルを検索するスクリプト。
/name /tm /sizeいずれも指定しないと/nameで検索する。

…って、ある意味大作だぞ。

usage:same [/tiny][/tm][/name][/size][/fl <filter regalexp filename>][/fp <filter regalexp fullpath>][/v <avoid fullpath regalexp pattane>] [<path>]
      /tiny 検索結果にタイムスタンプ、サイズを表示しない
      /tm   タイムスタンプが同一のファイルを検索(アンド条件)
      /name ファイル名が同一のファイスを検索(アンド条件)
      /size サイズ名が同一のファイスを検索(アンド条件)
      /fl   ファイル名フィルタ(正規表現)
      /fp   フルパスファイル名フィルタ(正規表現)
      /v    フルパスファイル名除外フィルタ(正規表現)
ex. same /tiny /tm /size /fl "(doc|xls)$" /v "\\(tset|copy)\\" c:\release

c:\release以下のフォルダからdoc及びxlsで終わるファイル名を持つファイルに対し、
サイズ、タイムスタンプが一致するファイルを探しタイニーフォーマットで一覧表示
するが、フルパス中に"\test\"か"\copy\"を持つファイルは除外する。

AWKのつぼ

どこが大作かっつーと、アーギュメント(パラメタ)の処理だ。<path>以外はどんな順番で指定されようがされまいが解析するって所。
後は、まっとうに環境変数 TEMPを取り込んで、そこにワークファイルを作ってる所。
笑える所は、BEGIN処理だけで全処理が完了して、行処理節自体存在してない事だな。

same.bat

@gawk -f dir.awk %*

dir.awk

BEGIN{ slag="(" slag=slag" ドライブ .* のボリューム ラベル.*" slag=slag"| ボリューム シリアル番号は.*です" slag=slag"|[ ]+.* 個のファイル[ ]+.*バイト" slag=slag"|[ ]+ファイルの総数:" slag=slag"|[ ]+.* 個のディレクトリ[ ]+.* バイトの空き領域" slag=slag"|^$)" tm =0; # new=0; fl=0; siz=0; tiny=0; name=0; voi=0; path=""; for(i= 1; i <ARGC; i++){ if (substr(ARGV[i],1,1)=="/"){ if (ARGV[i] == "/tm"){ tm =1; } else if (ARGV[i] == "/tiny") {tiny =1; } else if (ARGV[i] == "/name") {name =1; # } else if (ARGV[i] == "/new") {new =1; } else if (ARGV[i] == "/size") {siz =1; } else if (ARGV[i] == "/fl"){ if (ARGC <= (i+1) || substr(ARGV[i+1],1,1)=="/"){ print "missing /fl <filter regalexp filename>"; exit; } fl =1; flsz=tolower(ARGV[i+1]); i++; } else if (ARGV[i] == "/v"){ if (ARGC <= (i+1) || substr(ARGV[i+1],1,1)=="/"){ print "missing /v <avoid path regalexp pattane>"; exit; } voi =1; print ARGV[i+1]; voisz=tolower(ARGV[i+1]); sub(/ $/,"",voisz); i++; } else if (ARGV[i] == "/fp"){ if (ARGC <= (i+1) || substr(ARGV[i+1],1,1)=="/"){ print "missing /fp <filter regalexp path>"; exit; } fp =1; fpsz=tolower(ARGV[i+1]); sub(/ $/,"",fpsz); i++; } else { print "usage:same [/tiny][/tm][/name][/size][/fl <filter regalexp filename>][/fp <filter regalexp fullpath>][/v <avoid fullpath regalexp pattane>] [<path>]"; print " /tiny 検索結果にタイムスタンプ、サイズを表示しない" print " /tm タイムスタンプが同一のファイルを検索(アンド条件)" print " /name ファイル名が同一のファイスを検索(アンド条件)" print " /size サイズ名が同一のファイスを検索(アンド条件)" print " /fl ファイル名フィルタ(正規表現)" print " /fp フルパスファイル名フィルタ(正規表現)" print " /v フルパスファイル名除外フィルタ(正規表現)" print "ex. same /tiny /tm /size /fl \"(doc|xls)$\" /v \"\\\\(tset|copy)\\\\\" c:\\release" print "" print "c:\\release以下のフォルダからdoc及びxlsで終わるファイル名を持つファイルに対し、" print "サイズ、タイムスタンプが一致するファイルを探しタイニーフォーマットで一覧表示" print "するが、フルパス中に\"\\test\\\"か\"\\copy\\\"を持つファイルは除外する。" exit; } } else { if (length(path)){ print "path dupurexed"; exit; } else { path = ARGV[i]; } } } ARGC = 1; if (!(name+tm+size)) name=1; if (!length(path)) path="."; FS="[ ]+" tmpfile= ENVIRON["TEMP"] "\\dir.txt" system("dir /s " path " > " tmpfile); while (getline < tmpfile){ $0=tolower($0); MAIN(); } close (tmpfile); system("del " tmpfile); gEND(); exit } function MAIN(){ if (!match($0,slag)){ if (match($0,/^ (.*) のディレクトリ$/)){ path=gensub(/^ (.*) のディレクトリ$/,"\\1",1,$0)"\\"; } else { if ($3 !="<dir>"){ fnam=substr($0,37); if (fl){ if (!match(fnam,flsz)){ return; } } if (voi){ # print path fnam "#####" voisz "#####" if (match(path fnam,voisz)){ return; } } if (fp){ if (!match(path fnam,fpsz)){ return; } } datetime=$1" "$2 gsub(/,/,"",$3); fsize=$3 file[path fnam]=fnam; dttm[path fnam]=datetime; fsiz[path fnam]=fsize; } } } } function gEND(){ for (x in file){ mcn=0; for(y in file){ if (x != y){ matchf=1; if (name && file[x]!=file[y]) matchf=0; if (matchf && siz && fsiz[x]!=fsiz[y]) matchf=0; if (matchf && tm && dttm[x] !=dttm[y]) matchf=0; if (matchf && length(hikaku[x])) matchf = 0 if (matchf){ hikaku[y]=hikaku[y] x "\t" print ((!tiny) ? dttm[y] " " right(fsiz[y],10) " " :"") y; mcn++; } } } if (mcn){ print ((!tiny) ? dttm[x] " " right(fsiz[x],10) " " :"") x "\n"; } } } function right(str,n ,i){ for(i=1;i<n;i++){ str=" "str; } return substr(str,length(str)-n+1); }