C++ソース解析クラス図作成支援awk script

C++のプロジェクトファイル渡されて、「仕様書無いケド改修シロ」だと？？ふざくるな！！

…ってな訳で、クラス図だ。

クラス図って言っても、派生のクラス図じゃないぞ。そんな、閉じたドキュメント、導入タイミングじゃクソの役にもたたん。
欲しいのは関連クラス図。誰が総親で、ドイツがどのオブジェクトのオーナーでライフサイクルはどーなってるかとかの関連を把握すれば、ブラックボックスの特定とかできるジャン。つまり、解析範囲をかなり特定できる訳だ。

クラスにどんなメソッドがあって、「静的、動的、参照、ポインタ」どんな形でオブジェクトの生成をして、どんなメソッドを呼び出しているか、メソッド単位の呼び出し関連一覧を作る。
次に、呼び出し関連一覧を解析して、クラス単位の生成親子関係を調査し、図を描く時に親から数えてどれくらいの深さに在るか、親は誰かを一覧化する。

…あ゛～、概要説明が、これだけ複雑ってことは、スクリプトは解説しようがナイね。

ソース、ヘッダがあるフォルダでallc1.batを起動すれば、c1.tsv(メソッド単位の呼び出し関連一覧)とc3.tsv(クラス親子一覧)を生成する。
後は、両ファイルをExcelで開いてくれ。

※クラスの「静的、動的、参照、ポインタ」とメッソドの記載は、表上でオリジナルな接続詞でつなげてある。推測してくれ。

※親子のレベルは、トップは"0"だけど、子は最下層を"99"として、下位から発番している。

※c1.tsvは、不親切な表だが、メソッドのコードと表の該当行を見比べれば、きっと理解できるはず。

では、グッドラック！

AWKのつぼ

連想配列を多用して、ファイル、クラス、メソッドの辞書や逆引き辞書を作りこんでる。
このスクリプトのリバースする暇があるなら、本来のC++ソースの解析をしてくれ。
その方が不幸度合いが小さい。
あ、c1.awk中にMFC等の変数クラスを除外する除外文字列が４箇所ある。一目で判るぞ。
余分なクラスが出るときは、除外文字に追加してくれ。

allc1.bat

@dir /s /b|gawk -f allc1.awk %* @gawk -f c3.awk c1.tsv >c3.tsv

allc1.awk
BEGIN{ IGNORECASE=1; if (ARGC >1){ outf=ARGV[1] ".tsv"; ARGC-=ARGC; } else { outf="c1.tsv"; } system("del " outf); } { fnam=".+\\.c(pp)*$" # print fnam ":" $0 if (match($0,fnam)){ fname=substr($0, RSTART, RLENGTH) print fname; system("c1 \"" fname "\" >> " outf); } } END{ }

c1.bat

if exist "%~d1%~p1%~n1.h" goto h gawk --ctype=ASCII -f c2.awk %1 > "%~d1%~p1%~n1.class.txt" goto i :h gawk --ctype=ASCII -f c2.awk "%~d1%~p1%~n1.h" > "%~d1%~p1%~n1.class.txt" :i gawk --ctype=ASCII -f c1.awk %1

c1.awk
BEGIN{ c1c=0; RS="\000" comment1 = /\/\*([^\*]|\*[^\/])*\*\// IGNORECASE=1 } { fnn=FILENAME; d0=$0; close(FLENAME); getclassmember(fnn); src = noCmntRtrl(d0); src = noLevel1(src); # print src; } END{ # for (x in c1){ # print x "[" c1[x] "]"; # } # for (x in f1){ # print x "[" f1[x] "]"; # } } function noLevel1(d0){ lvl=0; ## print d0; ## system("pause"); dd=""; do { c1RSTART=0 ; c1RLENGTH=0; c2RSTART=0 ; c2RLENGTH=0; if (match(d0, /\{/)){ c1RSTART=RSTART ; c1RLENGTH=RLENGTH; } if (match(d0, /\}([ \t]*\/\*([^\*]|[\*][^\/])*\*\/[ \t]*)*/)){ c2RSTART=RSTART ; c2RLENGTH=RLENGTH; } m=min(c1RSTART, c2RSTART); # print lvl ":"m ":" c1RSTART ":" c2RSTART if (!m) { break; } if (m == 1){ if (lvl == 0){ dd =substr(d0,1,c1RSTART - 1); dd = gensub(/([[:alnum:]0-9_])[ ]([\*&])[ ]*([[:alnum:]0-9_])/,"\\1\\2 \\3","g",dd); getstatic(dd); dd =gensub(/.*[\x0a\r\n](\#[^\x0a\r\n]+|[^\x0a\r\n]*;)[\x0a\r\n]/,"\x0a","g",dd); sub (/.*IMPLEMENT_(DYNCREATE|DYNAMIC)\(\w+[ ]*(,[ ]*\w+)*\)/,"",dd); sub (/.*END_MESSAGE_MAP\([[:alnum:]0-9_, ]*\)/,"",dd); gsub(/[ \t\r\n\x0a]+/," ",dd); gsub(/.*;/,"",dd); if (match(dd, /[ ]*((\/\*.*\*\/[ ])*)[ ]*((([[:alnum:]0-9_\*\&]+|\"C\"|__declspec\(dllexport\))[ ])*)([[:alnum:]0-9_]+::)?([[:alnum:]0-9_\~]+|operator[ =]+[[:alnum:]0-9_\~]*)[ ]?\(([^\)]*)\)[ ]?(const|[ ]?:[ ]?[[:alnum:]0-9_]+(\(.*\))?)*/)){ dd = substr(dd,RSTART,RLENGTH); # print ">>>>>" dd "<<<<<<<<<<<" if (ss != dd){ # print "[[[[[[[[[[[[[[[[" dd "]]]]]]]]]]]]]]]]]]]]]]"ss">>>>>>>>>>>>>>>>>>>>>>>>>>>>" } cm[f1c]=gensub(/[ ]*((\/\*.*\*\/[ ])*)[ ]*((([[:alnum:]0-9_\*\&]+|\"C\"|__declspec\(dllexport\))[ ])*)([[:alnum:]0-9_]+::)?([[:alnum:]0-9_\~]+|operator[ =]+[[:alnum:]0-9_\~]*)[ ]?\(([^\)]*)\)[ ]?(const|[ ]?:[ ]?[[:alnum:]0-9_]+(\(.*\))?)*/,"\\1",1,dd); if (cm[f1c] != dd){ cm[f1c]=gensub(/\/\*(([^\*]|[\*][^\/])*)\*\//,"\\1\x0a","g",cm[f1c]); } else { cm[f1c]=""; } pf[f1c]=gensub(/[ ]*((\/\*.*\*\/[ ])*)[ ]*((([[:alnum:]0-9_\*\&]+|\"C\"|__declspec\(dllexport\))[ ])*)([[:alnum:]0-9_]+::)?([[:alnum:]0-9_\~]+|operator[ =]+[[:alnum:]0-9_\~]*)[ ]?\(([^\)]*)\)[ ]?(const|[ ]?:[ ]?[[:alnum:]0-9_]+(\(.*\))?)*/,"\\3",1,dd); if (pf[f1c] != dd){ sub(/[ ]+$/,"",pf[f1c]); sub(/^[ ]+/,"",pf[f1c]); gsub(/\"/,"\"\"",pf[f1c]); } else { pf[f1c]=""; } #print "["pf[f1c]"]" cl[f1c]=gensub(/[ ]*((\/\*.*\*\/[ ])*)[ ]*((([[:alnum:]0-9_\*\&]+|\"C\"|__declspec\(dllexport\))[ ])*)([[:alnum:]0-9_]+::)?([[:alnum:]0-9_\~]+|operator[ =]+[[:alnum:]0-9_\~]*)[ ]?\(([^\)]*)\)[ ]?(const|[ ]?:[ ]?[[:alnum:]0-9_]+(\(.*\))?)*/,"\\6",1,dd); sub(/^[ ]/, "",cl[f1c]); sub(/::[ ]*$/,"",cl[f1c]); fn[f1c]=gensub(/[ ]*((\/\*.*\*\/[ ])*)[ ]*((([[:alnum:]0-9_\*\&]+|\"C\"|__declspec\(dllexport\))[ ])*)([[:alnum:]0-9_]+::)?([[:alnum:]0-9_\~]+|operator[ =]+[[:alnum:]0-9_\~]*)[ ]?\(([^\)]*)\)[ ]?(const|[ ]?:[ ]?[[:alnum:]0-9_]+(\(.*\))?)*/,"\\7 \\9",1,dd); gsub(/[ ]/, "", fn[f1c]); # sub(/[ ]$/, "", fn[f1c]); pr[f1c]=gensub(/[ ]*((\/\*.*\*\/[ ])*)[ ]*((([[:alnum:]0-9_\*\&]+|\"C\"|__declspec\(dllexport\))[ ])*)([[:alnum:]0-9_]+::)?([[:alnum:]0-9_\~]+|operator[ =]+[[:alnum:]0-9_\~]*)[ ]?\(([^\)]*)\)[ ]?(const|[ ]?:[ ]?[[:alnum:]0-9_]+(\(.*\))?)*/,"\\8",1,dd); if (pr[f1c] !=dd){ sub(/[ ]$/,"",pr[f1c]); sub(/^[ ]/,"",pr[f1c]); gsub(/[ ]*[,][ ]*/,",",pr[f1c]); } else { pr[f1c] = ""; } pr[f1c] = gensub(/(\w)[ \t\x0a]*(\*|&)[ \t\x0a]*(\w)/,"\\1\\2 \\3","g",pr[f1c]); #print "<"pr[f1c]">" #print "$$$$$$$" cl[f1c] "$$$$" cls[cl[f1c]] "$$$"fn[f1c]"$$$" if (!match(cls[cl[f1c]], "\t"fn[f1c]"\t")){ if (length() == 0){ cls[cl[f1c]] ="\t" } cls[cl[f1c]] = cls[cl[f1c]] fn[f1c] "\t"; #print "$$$$$$$" cl[f1c] "$$$$" cls[cl[f1c]] "$$$"fn[f1c]"$$$" } clsfnc[cl[f1c]"::"fn[f1c]] = clsfnc[cl[f1c]"::"fn[f1c]] pr[f1c]"\x0a" clsfnccmt[cl[f1c]"::"fn[f1c]"@"pr[f1c]] = cm[f1c]; clsfnctyp[cl[f1c]"::"fn[f1c]"@"pr[f1c]] = pf[f1c]; } ds = "{"; } else { ds = ds substr(d0,1,c1RSTART); } d0 = substr(d0,c1RSTART + 1); lvl++; } if (m == 2){ ds = ds substr(d0,1,c2RSTART + c2RLENGTH -1); lvl--; if (!lvl){ f1[f1c] = ds; dd = dd "@f"f1c"@" print "@f"f1c"@" >/dev/stderr getmember(cl[f1c]"::"fn[f1c]"@"pr[f1c],ds); getcall(cl[f1c],"::"fn[f1c]"@"pr[f1c],ds); getnewcall(cl[f1c],"::"fn[f1c]"@"pr[f1c],ds); getdelcall(cl[f1c],"::"fn[f1c]"@"pr[f1c],ds); delete auto; f1c++; } d0 = substr(d0,c2RSTART + c2RLENGTH); } } while (m); dd=dd d0; d0=""; return dd; } END{ n = split(FILENAME,ar, "\\"); if (!n){ path = ""; name = FILENAME; } else { name = ar[n]; regstr = "(.*)"name"$"; path = gensub(regstr, "\\1", 1, FILENAME); } sttccleate=""; for (x in sttc){ #print "==="x"==="sttctyp[x]"###"; if ((sttctyp[x] == ""||sttctyp[x] == "*new"||sttctyp[x] == "*gcnew")&&length(sttc[x])!=0){ sttcwk=gensub(/\w+<(\w+).*>/,"\\1",1,sttc[x]); if (!match( tolower(sttcwk),tolower("^(HICON|UINT_PTR|(SERVICE_STATUS|SC)_HANDLE|SC_LOCK|COleDateTime|OVERLAPPED|OVERLAPPEDExt|WSABUF|CMutex|CApp|CDialog|CArray|CTime|CPaintDC|CRect|CString(Array)?|(C|lp|p|)Byte(Array)?|CApp|CButton|CListBox|CEdit|CSpinButtonCtrl|CMenu|CDialog|CCoxoBox|hinstance|[u]?int([0-9]+|_prt)?|[D]?WORD|[u]?long|bool|[u]?short|[u]?char|(LP)CTSTR|byte|HANDLE|SOCKET|CRITICAL_SECTION)$"))){ mtchchr="[\"\x0a]" sttcwk"[\x0a]" if (!match(sttccleat,sttcwk)){ sttccleat = sttccleat sttcwk "\x0a" #print "###"sttccleat"###"; } } } } print path "\t" name "\t'---\t'---\t\t\t\t" sttccleat "\t"; # print "####\t" length(cls) for (x in cls){ #print "$$$$$$$" x"$$$$" cls[x] n = split(cls[x],ar,"\t"); for (i = 0; i < (n - 1); i++) { ; m=split(clsfnc[x "::" ar[i+1]] ,ar2, "\x0a"); for (j = 0; j <(m - 1); j++){ cmw = clsfnccmt[x "::" ar[i+1]"@"ar2[j+1]]; sub(/\x0a$/,"",cmw); l = split(cmw, ar3, "\x0a"); cmm = ""; for(k = 0; k <(l - 1); k++){ if (length(c1[ar3[k+1]])){ cmm = cmm c1[ar3[k+1]] "\x0a"; } } sub(/[\x0a]+$/,"", cmm); sub(/^[\t \x0a]+/,"", cmm); gsub(/\"/,"\"\"",cmm); param= ar2[j+1]; gsub(/,/,",\n",param); mycall="" for (ca in cal){ if (index(ca,x "::" ar[i+1]"@"ar2[j+1]"#")){ mycall = mycall cal[ca] "\x0a"; mycall=sortfunc(mycall); } } sub(/,\x0a$/,"",mycall); if (touroku[path"#"name"#"x] ==""){ touroku[path"#"name"#"x] = "1"; mmbrcleat="\""; for (mb in mmbr){ if ((length(x) >0) && match(mb, x"#")){ if (mmbrtyp[mb] == ""&&length(mmbr[mb])!=0){ mmbrwk=gensub(/\w+<(\w+).*>/,"\\1",1,mmbr[mb]); if (!match( tolower(mmbrwk),tolower("^(HICON|UINT_PTR|(SERVICE_STATUS|SC)_HANDLE|SC_LOCK|COleDateTime|OVERLAPPED|OVERLAPPEDExt|WSABUF|CMutex|CApp|CDialog|CArray|CTime|CPaintDC|CRect|CString(Array)?|(C|lp|p|)Byte(Array)?|CApp|CButton|CListBox|CEdit|CSpinButtonCtrl|CMenu|CDialog|CComboBox|hinstance|[u]?int([0-9]+|_prt)?|[D]?WORD|[u]?long|bool|[u]?short|[u]?char|(LP)CTSTR|byte|HANDLE|SOCKET|CRITICAL_SECTION)$"))){ mtchchr="[\"\x0a]" mmbrwk"[\x0a]" if (!match(mmbrcleat,mmbrwk)){ mmbrcleat = mmbrcleat "i " mmbrwk "\x0a" } } } } } gsub(/[\x0a]?$/,"\"",mmbrcleat); print path "\t" name "\t" x "\t'---\t\t\t\t"mmbrcleat; } print path "\t" name "\t" x "\t" ar[i+1] "\t\"" clsfnctyp[x "::" ar[i+1]"@"ar2[j+1]] "\"\t\"" param "\"\t\"" mycall "\"\t\"" cobj[x "::" ar[i+1]"@"ar2[j+1]] "\"\t\"" dobj[x "::" ar[i+1]"@"ar2[j+1]] "\"\t\"" cmm "\""; } } } } function getstatic(ss ,s1,n,m,i,ar,ar2){ ss = gensub(/(\w)[ \t\x0a]*(\*|&)[ \t\x0a]*(\w)/,"\\1\\2 \\3","g",ss); #print "#$#$#$#$#$#$#$#" ss; gsub(/[ \t\x0a]/," ",ss); gsub(/[ ][ ]+/," ",ss); while(length(ss)){ #print "#$#$#$#$#$#$#$#" ss; match(ss, /(\w+::|\w+[ ]?<[^>:]+>)?\w+[ ]?(\*|\&|[ ])[ ]?\w+(::\w+)?(\[([^\]]|\]\[)+\])?(([ ]?,[ ]?\w+(\[([^\]]|\]\[)+\])?)*|([ ]?=[ ]?[^;]*))[ ]*;/); if (RSTART){ s1= substr(ss,RSTART,RLENGTH); #print "1>>>>>>>>>>>>>>>>>>>" s1; ss= substr(ss,RSTART+RLENGTH); if (match(s1, /(\w+[ ]?(\*|\&|[ ])[ ]?)(\w+(\[([^\]]|\]\[)+\])?)([ ]?,[ ]?)/)){ s3=gensub(/^[^,]*(,.*$)/,"\\1",1,s1); s2=gensub(/(\w+[ ]?(\*|\&|[ ])[ ]?)(\w+(\[([^\]]|\]\[)+\])?)[ ]?,[ ]?.*/,"\\3",1,s1); s0=gensub(/(\w+[ ]?(\*|\&|[ ])[ ]?)\w+(\[([^\]]|\]\[)+\])?[ ]?,[ ]?.*/,"\\1",1,s1); sub(/^[ ]?,[ ]?/,"",s3); #print "2>>>>>>>>>>>>>>>>>>>" s0 "=================" s2 "================" s3 "=============="; if (length(s3)){ ss = s0 s3 ss; } s1 = s0 s2 ";" ; } gsub(/[ ]*=[ ]*/," = ",s1); #print "3>>>>>>>>>" s1 ">>>>>>>>>>" s0 "================= " s2 "================ " s3 "=============="; if (!match(s1,/^(return|if|else|delete)/)){ #print "4>>>>>>>>>" s1 ">>>>>>>>>>" s0 "================= " s2 "================ " s3 "=============="; sub(/;$/,"",s1); n=split(s1,ar," "); typ=gensub(/^(.+)([\^\&\*])$/,"\\2",1,ar[1]); nam=gensub(/^(.+)([\^\&\*])$/,"\\1",1,ar[1]); if (typ==nam) typ=""; sttc[ar[2]] = nam; if (ar[3] = "=" && (ar[4] =="new" || ar[4] =="gcnew")){ sttctyp[ar[2]] = typ "new"; } else { sttctyp[ar[2]] = typ; } #print "###sttc###"sttc[ar[2]] ":" sttctyp[ar[2]] ":" nam"###" ar[2]; } } else { ss = ""; } } delete ar; delete ar2; } function getclassmember(fnn ,typ){ sub(/\.cpp/,".class.txt",fnn); RS="\n"; FS="#"; while (getline < fnn){ typ=gensub(/^(.+)([\^\&\*])$/,"\\2",1,$4); nam=gensub(/^(.+)([\^\&\*])$/,"\\1",1,$4); if (typ==nam) typ=""; mmbr[$2"#"$3] = nam; mmbrtyp[$2"#"$3] = typ; #print "=~=~=~=~=~=mmbr[" $2"#"$3"] = " nam":"typ; } close (fnn); RS="\000" # system("pause"); } function sortfunc( str , ar, n, i){ delete ar; gsub(/[\x0a][\x0a]+/,"[\x0a]",str); n =split(str,ar,"\x0a"); asort(ar); ret =""; for (i=1; i <= n; i++){ if (length(ar[i])){ ret = ret ar[i]"\x0a"; } } return ret; } function getmember(fnp,ds ,i,n,m,ar,ar2){ ds = gensub(/(\w)[ \t\x0a]*(\*|&|\^)[ \t\x0a]*(\w)/,"\\1\\2 \\3","g",ds); ss=ds; n=split(gensub(/.*@([^@]*)/,"\\1","g",fnp), ar3, ","); for (i=1; i<=n; i++){ # print "#@#"ar3[i]"#@#"; m=split(ar3[i], ar," "); gsub(/[\&\*]/,"",ar[m-1]); auto[fnp"#"ar[m]] = ar[m-1] "@"; # print ">>>>>>>>>>>>>>>>>>>>"fnp"#"ar[m] ">>>>>>>>>>>>"auto[fnp"#"ar[m]]">>>>>>>>>>>>>>" } gsub(/[ \t\x0a]/," ",ss); gsub(/[ ][ ]+/," ",ss); while(length(ss)){ # match(ss, /\w+(\*|\&)?[ ]\w+(\[([^\]]|\]\[)+\])?([ ]?,[ ]?\w+(\[([^\]]|\]\[)+\])?)*/); match(ss, /\w+(<[^>]+>)?[ ]?(\*|\&)?[ ]\w+(\[([^\]]|\]\[)+\])?([ ]?,[ ]?\w+(\[([^\]]|\]\[)+\])?)*/); # print ">>>>>>>>>>>>>>>>>>>>" substr(ss,RSTART,RLENGTH); if (RSTART){ s1= substr(ss,RSTART,RLENGTH); ss= substr(ss,RSTART+RLENGTH); if (!match(s1,/(return|if|else|delete|new|gcnew)/)){ # print "###"s1"###"; gsub(/[ ]?,[ ]?/,",",s1); n=split(s1,ar," "); gsub(/[\&\*]/,"",ar[n-1]); m=split(ar[n],ar2,","); for (i=1;i<=m;i++){ auto[fnp"#"ar2[i]] = ar[n-1]; } } } else { ss = ""; } } } function getnewcall(cl,fnp,ds ,i,n,m,ar,ar2){ ss = gensub(/(\w)[ \t\x0a]*(\*|&|\^)[ \t\x0a]*(\w)/,"\\1\\2 \\3","g",ds); gsub(/[ \t\x0a]/," ",ss); gsub(/[ ][ ]+/," ",ss); gsub(/[ ]?=[ ]?/," = ",ss); while(length(ss)){ match(ss, /(\w+::)?\w+[ ]?=[ ]?(gc)?new[ ]+[^\(;]+(\([^;]*\)|)[ ]?;/); if (RSTART){ #print ">>>>>>>>>>>>>>>>>>>>" substr(ss,RSTART,RLENGTH); s1= substr(ss,RSTART,RLENGTH); ss= substr(ss,RSTART+RLENGTH); isobj=0; if (match(s1,/(\w+::)?\w+[ ]?=[ ]?(gc)?new[ ]+[^\(;]+\([^;]*\)[ ]?;/)) { isobj=1; } # print "###"s1"###"; n=split(s1,ar," "); adstr=""; if (auto[cl fnp"#"ar[1]] != ""){ if (isobj){ isobj_auto[cl fnp"#"ar[1]] =1; adstr = "a "auto[cl fnp"#"ar[1]]; # print "#COa#"ar[1]"###"auto[cl fnp"#"ar[1]]; } } else if (mmbr[cl"#"ar[1]] != ""){ if (isobj){ isobj_mmbr[cl"#"ar[1]] =1; adstr = "m "mmbr[cl"#"ar[1]]; # print "#COm#"ar[1]"###"mmbr[cl"#"ar[1]]; } } else if (sttc[ar[1]] != ""){ if (isobj){ isobj_sttc[ar[1]] =1; adstr = "s "sttc[ar[1]]; # print "#COs#"ar[1]"###"sttc[ar[1]]; } } else { adstr = "? "ar[1]; # print "#COx#"ar[1]"###"; } if (adstr !=""){ if (!match("\x0a" cobj[cl fnp] ,"\x0a" adstr "\x0a")){ cobj[cl fnp] = cobj[cl fnp] adstr "\x0a" } } } else { ss = ""; } } sub(/\x0a$/,""cobj[cl fnp]); #for (xx in auto){ #print "((((((((((" xx"))))" auto[xx] "$$$$$$$" #} # print "#####"f1c"#####" ds } function getdelcall(cl,fnp,ds ,i,n,m,ar,ar2){ ss = gensub(/(\w)[ \t\x0a]*(\*|&|\^)[ \t\x0a]*(\w)/,"\\1\\2 \\3","g",ds); gsub(/[ \t\x0a]/," ",ss); gsub(/[ ][ ]+/," ",ss); gsub(/[ ]?=[ ]?/," = ",ss); while(length(ss)){ match(ss, /delete[ ]?[\(]?[ ]?(\w+::)?\w+[ ]?[\)]?[ ]?;/); if (RSTART){ #print ">>>>>>>>>>>>>>>>>>>>" substr(ss,RSTART,RLENGTH); s1= substr(ss,RSTART,RLENGTH); sub(/[ ]?;/,"",s1); sub(/delete[ ]*\([ ]*/,"delete ",s1); sub(/[ ]*\)/,"",s1); ss= substr(ss,RSTART+RLENGTH); # print "###"s1"###"; n=split(s1,ar," "); adstr=""; if (auto[cl fnp"#"ar[2]] != ""){ if( isobj_auto[cl fnp"#"ar[2]]){ adstr = "a "auto[cl fnp"#"ar[2]]; # print "#DOa#"ar[2]"###"auto[cl fnp"#"ar[2]]; } } else if (mmbr[cl"#"ar[2]] != ""){ if ( isobj_mmbr[cl"#"ar[2]]){ adstr = "m "mmbr[cl"#"ar[2]]; # print "#DOm#"ar[2]"###"mmbr[cl"#"ar[2]]; } } else if (sttc[ar[2]] != "" ){ if ( isobj_sttc[ar[2]]){ adstr = "s "sttc[ar[2]]; # print "#DOs#"ar[2]"###"sttc[ar[2]]; } } else { adstr = "? "ar[2]; # print "#DOx#"ar[2]"###"; } if (adstr !=""){ if (!match("\x0a" dobj[cl fnp] ,"\x0a" adstr "\x0a")){ dobj[cl fnp] = dobj[cl fnp] adstr "\x0a" } } } else { ss = ""; } } sub(/\x0a$/,""dobj[cl fnp]); #for (xx in auto){ #print "((((((((((" xx"))))" auto[xx] "$$$$$$$" #} # print "#####"f1c"#####" ds } function getcall(cl,fn,ds){ fnp = cl fn; ds = gensub(/(\w)[ \t\x0a]*(\*|&)[ \t\x0a]*(\w)/,"\\1\\2 \\3","g",ds); ss=ds; gsub(/[ \t\x0a]/," ",ss); gsub(/[ ][ ]+/," ",ss); while(length(ss)){ match(ss, /(\w+(\[[^\]]+\])*(->|\.|::))+\w+[ ]*\(/); if (RSTART){ gsub(/[ ]\(/,"(",ss); s1= substr(ss,RSTART,RLENGTH-1); gsub(/[ \t]+/,"",s1); ss= substr(ss,RSTART+RLENGTH); # print fnp"#"s1 # if (!match(s1,/(return|if|else)/)){ n=split(s1,ar,/(->|\.)/); gsub(/\[[^\]]+\]/,"[]",ar[1]); if (index(ar[1],"::")){ cal[fnp"#"s1] = s1; } else { gsub(/\(/,"",ar[n]); if (length(auto[fnp"#"ar[1]])){ if (!match( auto[fnp"#"ar[1]],/^(CMutex|CApp|CDialog|CArray|CTime|CPaintDC|CRect|CString|CApp|CButton|CListBox|CEdit|CSpinButtonCtrl|CMenu|CDialog|CComboBox)/)){ cal[fnp"#"s1] = auto[fnp"#"ar[1]]; for (i = 2; i <= n; i ++){ cal[fnp"#"s1] = cal[fnp"#"s1] "."ar[i]; } } } else if (ar[n-1]=="this"){ cal[fnp"#"s1] = cl".."ar[n]; } else if (length(mmbr[cl"#"ar[1]])){ if (!match( mmbr[cl"#"ar[1]],/^(CMutex|CApp|CDialog|CArray|CTime|CPaintDC|CRect|CString|CApp|CButton|CListBox|CEdit|CSpinButtonCtrl|CMenu|CDialog|CComboBox|int|[D]?WORD|long|bool|short|char|(LP)CTSTR)/)){ cal[fnp"#"s1] = mmbr[cl"#"ar[1]]; for (i = 2; i <= n; i ++){ cal[fnp"#"s1] = cal[fnp"#"s1] ((i==n)?"...":".") ar[i]; } } } else if (length(sttc[ar[1]])){ if (!match( sttc[ar[1]],/^(CString|CList|CApp)/)){ cal[fnp"#"s1] = sttc[ar[1]]; for (i = 2; i <= n; i ++){ cal[fnp"#"s1] = cal[fnp"#"s1] ((i==n)?"....":".") ar[i]; } } } else { cal[fnp"#"s1] = "#"s1; #ar[n-1]"?"ar[n]; } } # } } else { ss = ""; } } # print "#####"f1c"#####" ds # delete auto; } function noCmntRtrl(d0){ dd=""; gsub(/\x0d\x0a\r\n/,"\x0a",d0); do { c1RSTART=0 ; c1RLENGTH=0; c2RSTART=0 ; c2RLENGTH=0; r1RSTART=0 ; r1RLENGTH=0; if (match(d0, /\/\*/)){ c1RSTART=RSTART ; match(substr(d0,c1RSTART+2),/\*\//); c1RLENGTH=RSTART+3; } if (match(d0, /\/\/([^\x0a]*)[\x0a]/)){ c2RSTART=RSTART ; c2RLENGTH=RLENGTH; } if (match(d0, /\"([^\"]|[\\][^\"])*\"/)){ r1RSTART=RSTART ; r1RLENGTH=RLENGTH; } # print c1c ":"c1RSTART", "c2RSTART", "r1RSTART"#" ###################################################"substr(d0,1,mintx(c1RSTART, c2RSTART, r1RSTART)+40)"============================================" m=mint(c1RSTART, c2RSTART, r1RSTART); if (!m) { break; } ds="" if (m == 1){ msg= substr(d0,c1RSTART+2,c1RLENGTH-4); sub(/[\t ]+$/, "", msg); sub(/^[\/][\/]+/, "", msg); sub(/[\/][\/]+$/, "", msg); # gsub(/[\t ]+/, " ", msg); # gsub(/---[\-]+/, "---", msg); # sub(/^ /,"",msg); #print "m1"c1c":"msg if (length(msg)>0){ c1["@1@"c1c]= msg; ds= substr(d0,1,c1RSTART -1) "/*@1@"c1c"*/\n"; d0=substr(d0,c1RSTART+c1RLENGTH); # print "@1@"c1c >/dev/stderr c1c++; } else { ds= substr(d0,1,c1RSTART -1) "\n"; d0=substr(d0,c1RSTART+c1RLENGTH); } } if (m == 2){ msg= substr(d0,c2RSTART+2,c2RLENGTH-3); gsub(/^[\/][\/]+/, "", msg); gsub(/[\/][\/]+$/, "", msg); # gsub(/[\t ]+/, "", msg); # gsub(/---[\-]+/, "---", msg); # sub(/^ /,"",msg); #print "m2"c1c":"msg if (length(msg)>0){ c1["@2@"c1c]= msg; ds= substr(d0,1,c2RSTART -1) "/*@2@"c1c"*/\n"; d0=substr(d0,c2RSTART+c2RLENGTH); # print "@2@"c1c >/dev/stderr c1c++; } else { ds= substr(d0,1,c2RSTART -1) "\n"; d0=substr(d0,c2RSTART+c2RLENGTH); } } if (m == 3){ #print "m3"c1c":"substr(d0,r1RSTART+1,r1RLENGTH-2) "###" if (length(substr(d0,r1RSTART+1,r1RLENGTH-2))>0){ c1["@3@"c1c]= substr(d0,r1RSTART+1,r1RLENGTH-2); ds= substr(d0,1,r1RSTART -1) "\"@3@"c1c"\""; ds= substr(d0,1,r1RSTART+r1RLENGTH-1); d0=substr(d0,r1RSTART+r1RLENGTH); # print "@3@"c1c >/dev/stderr c1c++; } else { ds= substr(d0,1,r1RSTART -1) "\"\""; ds= substr(d0,1,r1RSTART+r1RLENGTH-1); d0=substr(d0,r1RSTART+r1RLENGTH); } } dd = dd ds } while (m); dd=dd d0; d0=""; return dd; } function mint(a,b,c){ if (a == 0){ if (min(b,c)){ mi= min(b,c) + 1; return mi; }else{ return 0; } } if (c == 0) { return min(a,b); } if (b == 0) { return (min(a,c) - 1) * 2 + 1; } if (a <= b){ if (a <= c){ return 1; } else { return 3; } } else { if (b <=c){ return 2; } else { return 3; } } } function mintx(a,b,c){ if (mint(a,b,c) == 1){ return a; } else if (mint(a,b,c) ==2){ return b; } else if (mint(a,b,c)==3){ return c; } else { return 0; } } function min(a,b){ if (a + b == 0){ return 0; } if (a==0){ return 2; } if (b==0){ return 1; } if (b < a){ return 2; } if (a <= b){ return 1; } }

c2.awk

BEGIN{ c1c=0; RS="\000" comment1 = /\/\*([^\*]|\*[^\/])*\*\// IGNORECASE=1 f1c=0; } { src = noCmntRtrl($0); src = noLevel1(src); # print src; } END{ # for (x in c1){ # print x "[" c1[x] "]"; # } # for (x in f1){ # print x "[" f1[x] "]"; # } } function noLevel1(d0){ lvl=0; dd=""; do { c1RSTART=0 ; c1RLENGTH=0; c2RSTART=0 ; c2RLENGTH=0; if (match(d0, /\{/)){ c1RSTART=RSTART ; c1RLENGTH=RLENGTH; } if (match(d0, /\}([ \t]*\/\*([^\*]|[\*][^\/])*\*\/[ \t]*)*/)){ c2RSTART=RSTART ; c2RLENGTH=RLENGTH; } m=min(c1RSTART, c2RSTART); # print lvl ":"m ":" c1RSTART ":" c2RSTART if (!m) { break; } if (m == 1){ if (lvl == 0){ dd =substr(d0,1,c1RSTART - 1); dd =gensub(/.*[\x0a\r\n](\#[^\x0a\r\n]+|[^\x0a\r\n]*;)[\x0a\r\n]/,"\x0a","g",dd); sub (/.*IMPLEMENT_DYNCREATE\([[:alnum:]0-9_, ]+\)/,"",dd); sub (/.*END_MESSAGE_MAP\([[:alnum:]0-9_, ]*\)/,"",dd); gsub(/[ \t\r\n\x0a]+/," ",dd); gsub(/.*;/,"",dd); dd = gensub(/([[:alnum:]0-9_])[ ]([\*&])[ ]*([[:alnum:]0-9_])/,"\\1\\2 \\3","g",dd); if (match(dd, /.*class[ ]+(\w+).*/)){ dd = substr(dd,RSTART,RLENGTH); cls[f1c] = gensub( /.*class[ ]+(\w+).*/,"\\1",1,dd); } ds = "{"; } else { ds = ds substr(d0,1,c1RSTART); } d0 = substr(d0,c1RSTART + 1); lvl++; } if (m == 2){ ds = ds substr(d0,1,c2RSTART + c2RLENGTH -1); lvl--; if (!lvl){ # print cls[f1c] ; dd = dd "@f"f1c"@" print "@f"f1c"@" >/dev/stderr getmember(cls[f1c],ds); for (au in auto){ sub(/;$/,"",au); # if(length(au)){ # print au"\taa\t"auto[au";"] > cls[f1c]".class.txt" } # getcall(cl[f1c],"::"fn[f1c]"@"pr[f1c],ds); # f1c++; } d0 = substr(d0,c2RSTART + c2RLENGTH); } } while (m); dd=dd d0; d0=""; return dd; } function sortfunc( str , ar, n, i){ delete ar; gsub(/[\x0a][\x0a]+/,"[\x0a]",str); n =split(str,ar,"\x0a"); asort(ar); ret =""; for (i=1; i <= n; i++){ if (length(ar[i])){ ret = ret ar[i]"\x0a"; } } return ret; } function getmember(fnp,ds ,i,n,m,ar,ar2,mark){ ds = gensub(/(\w)[ \t\x0a]*(\*|&|\^)[ \t\x0a]*(\w)/,"\\1\\2 \\3","g",ds); ss=ds; n=split(gensub(/.*@([^@]*)/,"\\1","g",fnp), ar3, ","); gsub(/[ \t\x0a]/," ",ss); gsub(/[ ][ ]+/," ",ss); gsub(/[ ][;]/,";",ss); while(length(ss)){ # match(ss, /\w+(<[^>]+>)?[ ]?(\*|\&|\^)?[ ]?\w+(\[([^\]]|\]\[)+\])?([ ]?,[ ]?\w+(\[([^\]]|\]\[)+\])?)*[ ]?;/); match(ss, /(static )?\w+[ ]?(<[^>]+>)?[ ]?(\*|\&|\^|[ ])[ ]?\w+(\[([^\]]|\]\[)+\])?([ ]?,[ ]?\w+(\[([^\]]|\]\[)+\])?)*[ ]?;/); # print ">>>>>>>>>>>>>>>>>>>>" substr(ss,RSTART,RLENGTH); if (RSTART){ s1= substr(ss,RSTART,RLENGTH); ss= substr(ss,RSTART+RLENGTH); if (!match(s1,/(return|if|else|delete|new)/)){ gsub(/[ ]?,[ ]?/,",",s1); n=split(s1,ar," "); m=split(ar[n],ar2,","); for (i=1;i<=m;i++){ if(length(fnp)){ sub(/^(&|\*)/,"",ar2[i]); gsub(/\[[^\]]+\]/,"[]",ar2[i]); auto[fnp"#"ar2[i]] = ar[n-1]; sub(/;/, "#", ar2[i]); print cl[f1c]"#"fnp "#" ar2[i] ar[n-1] ; } # print au"\taa\t"auto[au";"] > cls[f1c]".class.txt" } } } else { ss = ""; } } # print "#####"f1c"#####" ds } function noCmntRtrl(d0){ dd=""; gsub(/\x0d\x0a\r\n/,"\x0a",d0); do { c1RSTART=0 ; c1RLENGTH=0; c2RSTART=0 ; c2RLENGTH=0; r1RSTART=0 ; r1RLENGTH=0; if (match(d0, /\/\*/)){ c1RSTART=RSTART ; match(substr(d0,c1RSTART+2),/\*\//); c1RLENGTH=RSTART+3; } if (match(d0, /\/\/([^\x0a]*)[\x0a]/)){ c2RSTART=RSTART ; c2RLENGTH=RLENGTH; } if (match(d0, /\"([^\"]|[\\][^\"])*\"/)){ r1RSTART=RSTART ; r1RLENGTH=RLENGTH; } # print c1RSTART", "c2RSTART", "r1RSTART"####################################################"substr(d0,1,mintx(c1RSTART, c2RSTART, r1RSTART)+40)"============================================" #system("pause"); m=mint(c1RSTART, c2RSTART, r1RSTART); if (!m) { break; } ds="" if (m == 1){ msg= substr(d0,c1RSTART+2,c1RLENGTH-4); sub(/[\t ]+$/, "", msg); sub(/^[\/][\/]+/, "", msg); sub(/[\/][\/]+$/, "", msg); sub(/[\t ]+$/, "", msg); c1["@1@"c1c]= msg; ds= substr(d0,1,c1RSTART -1) "/*@1@"c1c"*/\n"; d0=substr(d0,c1RSTART+c1RLENGTH); print "@1@"c1c >/dev/stderr c1c++; } if (m == 2){ msg= substr(d0,c2RSTART+2,c2RLENGTH-3); gsub(/^[\/][\/]+/, "", msg); gsub(/[\/][\/]+$/, "", msg); c1["@2@"c1c]= msg; ds= substr(d0,1,c2RSTART -1) "/*@2@"c1c"*/\n"; d0=substr(d0,c2RSTART+c2RLENGTH); print "@2@"c1c >/dev/stderr c1c++; } if (m == 3){ c1["@3@"c1c]= substr(d0,r1RSTART+1,r1RLENGTH-2); ds= substr(d0,1,r1RSTART -1) "\"@3@"c1c"\""; ds= substr(d0,1,r1RSTART+r1RLENGTH-1); d0=substr(d0,r1RSTART+r1RLENGTH); print "@3@"c1c >/dev/stderr c1c++; } dd = dd ds } while (m); dd=dd d0; d0=""; return dd; } function mint(a,b,c){ if (a == 0){ if (min(b,c)){ mi= min(b,c) + 1; return mi; }else{ return 0; } } if (c == 0) { return min(a,b); } if (b == 0) { return (min(a,c) - 1) * 2 + 1; } if (a <= b){ if (a <= c){ return 1; } else { return 3; } } else { if (b <=c){ return 2; } else { return 3; } } } function mintx(a,b,c){ if (mint(a,b,c) == 1){ return a; } else if (mint(a,b,c) ==2){ return b; } else if (mint(a,b,c)==3){ return c; } else { return 0; } } function min(a,b){ if (a + b == 0){ return 0; } if (a==0){ return 2; } if (b==0){ return 1; } if (b < a){ return 2; } if (a <= b){ return 1; } }

c3.awk

BEGIN{ RS="\x00"; FS="\t"; } { de="" dd=$0; while(match(dd,/(\t\"([^\"]|(\"\"))*\")|\n/)){ de=de substr(dd,1,RSTART-1); if (substr(dd,RSTART,RLENGTH) == "\n" ){ $0=de; GoLine(); de = "" ; } de = de substr(dd, RSTART, RLENGTH); dd = substr(dd, RSTART+RLENGTH); } $0=dd; GoLine(); } END{ for (x in cls){ sub(/[\n]*$/,"\n",cle[x]); ccnt =split(cle[x],ar,"\n"); ccnt = ccnt -1; if (ccnt==1&&ar[1]=="") ccnt =0; linkcnt[x]=ccnt; for (i=1; i <= ccnt; i++){ if (cls[clsname(ar[i])]==""){ delete cls[clsname(ar[i])]; linkcnt[x] -= 1; } } if (linkcnt[x] <= 0){ fnclvl[x] = 99; } } madaold=-1; do { mada = 0; for (x in cls){ if (linkcnt[x] <= 0 ) { if ( !isnottarg[x]){ isnottarget[x]=1; for(y in cls){ if (x == y) continue; if (match(cle[y]," "x"\n")){ fnclvl[y] = minx(fnclvl[y], fnclvl[x]-1); linkcnt[y] -=1; } } } } else { mada =mada + 1; } } if (madaold == mada){ mada = 0; } else { madaold =mada; } }while(mada); for (x in cls){ print x "\t\"" cle[x] "\"\t\"" cde[x] "\"\t" fnclvl[x] "\t" linkcnt[x] } } function GoLine() { $8=gensub(/^(\")?(.*)[\n]?(\")?[\n]?/,"\\2",1,$8); $9=gensub(/^(\")?(.*)[\n]?(\")?[\n]?/,"\\2",1,$9); gsub(/\"/,"",$8); gsub(/\"/,"",$9); if (length(cls[$3]) == 0){ cls[$3] += 1; } if (length($8)){ cle[$3] = madd(cle[$3], $8); } if (length($9)){ cde[$3] = madd(cde[$3],$9) } } function madd(str1,str2) { gsub(/\"/,"",str2); sub(/\n$/,"",str2); sub(/^\n/,"",str2); str1 = str1 "\n" n = split(str2, ar, "\n"); for(i=1; i <= n; i++){ if (length(ar[i])){ if (!match(str1, ar[i]"\n")){ str1 = str1 ar[i]"\n"; } else { } } } sub(/\n$/,"",str1); sub(/^\n/,"",str1); return str1; } function clsname(str){ return gensub(/.* (\w+)$/,"\\1",1,str); } function minx(x,y){ if (!x){ if (y){ return y; } else { return ; } } else { if (!y){ retrun x; } else if (x < y) { return x; } else { return y; } } }

VBメッソド切り！日本語Regionは使えませんから。残念！なawk script

VBからVB.NETへ移行するとき、イベントの追加等でメソッドのソース上の並び順が変わってしまうんだよな。
動くから問題ないが、差分を出すのが大変だ。
WinMerge等使って差分を出すと、ソースの同期がとれず、差分だらけになってしまう。
そこで、メソッド単位のソース分割だ。

メソッド名、もしくはRegion名毎にソースを分割する。もちろん、その名称をファイル名に使っている。
しかし、分割するソースがUTF-8の為、Region名に日本語を使っていると、作成されるファイル名が化ける。
ま、妥協してくれ。いやなら、nkf32.exeあたりで事前にSJIS化してくれ。

分割したソースをフォルダごとWinMergeに食わせりゃ、OK.。
VB６とVB.NETではメソッド名が変更されたイベントがある。新旧のファイル名をどちらかに合わせてくれ。WinMergeのリスト画面でrenameすると楽だぞ。

ちなみに、コメントアウトしたメソッドも抽出するぞ。親切だろ。

AWKのつぼ

特になし。力技ってヤシだ。

vbcut.bat

@gawk -f vbcut.awk %1

vbcut.awk

BEGIN{ IGNORECASE = 1; FS = "\""; szFILENAME = ""; szFuncChar ="[a-zA-Z0-9_]+" szRegion = "((^#Region)|(^[' ]+#Region))"; szEndRegion = "((^#End Region)|(^[' ]+#End Region))"; szFunction ="^[ \t']*(Public|Private|Protected)([\t ]+|(([\t ]+[a-zA-Z0-9_ ]+)+[\t ]+))(Sub|Function)[ \t]+"; szEndFunction ="^[ \t']*End[\t ]+(Sub|Function)"; nowRegion = "First" sline = 1; outbuf = ""; } { if (szFILENAME != FILENAME){ print FILENAME; szFILENAME = FILENAME; szDir = szFILENAME ".dir"; print("mkdir " szDir ); system("mkdir " szDir ); } sregion = match($0, szRegion); if (sregion){ szFind = substr($0, RSTART, RLENGTH); back=nowRegion; if (match($2, szFuncChar)){ nowRegion = substr($2, RSTART, RLENGTH); } else { nowRegion = $2 } oname=(namespace[back] > 0) ? back "_@" namespace[back] : back; namespace[back] += 1; print "'@@-- "sline "-" NR -1 " " oname outbuf > FILENAME ".dir\\" oname ".txt" outbuf=""; sline = NR; } eregion = match($0, szEndRegion); sfunction = match($0, szFunction); if (sfunction){ szFind = substr($0, RSTART, RLENGTH); szFindFunction = substr($0, length(szFind)); match(szFindFunction, szFuncChar); szFindFunction = substr(szFindFunction, RSTART, RLENGTH); if (match(szFind,"'")){ nowCFunction = szFindFunction; sfunction = 0 ; scfunction = 1; if (length(nowFunction)==0){ if (nowRegion != "First"){ nowRegion=nowCFunction; } } } else { nowFunction = szFindFunction; nowCFunction=""; scFunction = 0; if (nowRegion != "First"){ nowRegion=nowFunction; } } # print $0 } efunction = match($0, szEndFunction); if (efunction){ if (nowRegion == "First"){ back = (length(nowFunction))? nowFunction : nowCFunction; oname=(namespace[back] > 0) ? back "_@" namespace[back] : back; namespace[back] += 1; print "'@@-- "sline "-" NR " " oname outbuf "\n" $0 > FILENAME ".dir\\" oname ".txt" $0=""; outbuf=""; sline = NR +1; } szFind = substr($0, RSTART, RLENGTH); if (match(szFind,"'")){ efunction = 0; ecfunction = 1; } else { ecfunction = 0; } if (nowRegion == "First"){ nowFunction=""; nowCFunction=""; next; } } outbuf = outbuf "\n" $0 #printf("[%s][%s][%s]:%s\n",nowRegion,nowFunction,nowCFunction,$0); if (eregion){ # nowRegion=""; } if (efunction){ nowFunction=""; } if (ecfunction){ nowCFunction=""; } } END{ if (nowRegion == "First"){ back = (length(nowFunction))? nowFunction : nowCFunction; } else { back=nowRegion; } oname=(namespace[back] > 0) ? back "_@" namespace[back] : back; namespace[back] += 1; print "'@@-- "sline "-" NR " " oname outbuf > FILENAME ".dir\\" oname ".txt" }

最強Grep ファイル検索 awk script

Grepコマンドだが、、、

●キーワードに正規表現を使える
●２つめのキーワードを指定して、２つのキーワードにはさまれた行範囲を出力できる
●１つめのキーワード内の部分文字列を２つめのキーワード内に指定できる
●１つめのキーワードに対して除外条件指定できる

例えば、下のC言語のソースファイル"test.c"に最強Grepをかけてみる。

test.c

main(){ int a; for (a=0;a<10;a++){ if (a==3){ printf("a=3\n"); } else { if (a==5){ printf("a==5\n"); } printf("a!=3\n"); } } }

grep コマンドラインパラメタと出力結果

=================================== シングルモードではマッチしたラインのマッチした語句のみリスト =================================== ptgrep "if" test.c test.c:5: if test.c:8: if =================================== "if"がある行から、最初にマッチした";"もしくは"}"がある行までリスト =================================== ptgrep "if" test.c /to "[;}]" test.c:5:* if (a==3){ test.c:6: printf("a=3\n"); test.c:8:* if (a==5){ test.c:9: printf("a==5\n"); =================================== 行頭連続するスペースタブを部分文字列として、"if"がある行から、 最初にマッチした、行頭部分文字列(つまり、同一インデント)、"}"、行末のある行までリスト =================================== ptgrep "^([ \t]+)if" test.c /to "^\1}[ \t]*$" test.c:5:* if (a==3){ test.c:6: printf("a=3\n"); test.c:7: } else { test.c:8: if (a==5){ test.c:9: printf("a==5\n"); test.c:10: } test.c:11: printf("a!=3\n"); test.c:12: } =================================== 行頭連続するスペースタブを部分文字列として、"if～"がある行から、 最初にマッチした、行頭部分文字列(つまり、同一インデント)、"}"、行末のある行までリスト ただし、if文中に"==3"があるものは除外 =================================== ptgrep "^([ \t]+)if.*$" test.c /to "^\1}[ \t]*$" /fl "==3" test.c:8:* if (a==5){ test.c:9: printf("a==5\n"); test.c:10: }

AWKのつぼ

ま、簡単に説明すると1個目のキーワードマッチでフラグ立てして２個目のキーワードマッチでフラグを落とす。フラゲの時に出力って訳だ。
スクリプト的には難しい所は無い。
しいて言うならば、リアルタイムに、２個目のキーワードの部分文字列指定キャラを本物のその時々の文字列に置き換えて作りこむ所がミソかね。

ptgrep.bat

@gawk -f ptgrep.awk %2 %1 %3 %4 %5 %6

ptgrep.awk

BEGIN{ IGNORECASE=0; ns=""; to=""; if (ARGC < 3){ print "usage: ptgrep <find REGEXP-pattern> <filename> [/to <to find REGEXP-pattern>] [/fl <filter find REGEXP-pattern>] [/c]" exit; } while (ARGC>3){ # print ARGC ARGV[ARGC-1]">>" ARGV[ARGC-2] " " ARGV[ARGC-1] if (match(ARGV[ARGC-2],/\/fl/)){ ns=ARGV[ARGC-1]; ARGC -=2; continue; } if (match(ARGV[ARGC-1],/\/c/)){ IGNORECASE=1; ARGC -=1; continue; } if (match(ARGV[ARGC-2],/\/to/)){ to=ARGV[ARGC-1]; ARGC -=2; for (i=1;i<10;i++){ pp="\\\\"i; if (match(to,pp)){ subp[j++]=i } } continue; } ARGC--; } if (ARGC ==3){ param = ARGV[2]; ARGC--; } else { exit } if (IGNORECASE){ to=tolower(to); ns=tolower(ns); param=tolower(param); } findflg=0; } { D0=$0; if (IGNORECASE){ $0=tolower($0); } nl=NR; tolen=length(to); if ((tolen!=0) && (findflg != 0)){ print FILENAME ":"nl": " D0 ; if (match($0, too)){ findflg=0; } } else { if (match($0, param)){ finds=substr($0,RSTART,RLENGTH); too=to; for(x in subp){ pp="\\"subp[x]; p=gensub(param,pp,1,finds); too=gensub("(.*)\\"pp"(.*)","\\1"p"\\2",1,too); } if ((ns=="")||(!match(finds,ns))){ gsub(/\r/,"\n",finds); if (tolen){ print FILENAME ":"nl":*" D0; if (match(substr($0,RSTART+RLENGTH),too)){ } else { findflg=1; } } else { print FILENAME ":"nl": " finds; } } } } } END{ }

ptgrep.bat(.awk)は、複数ファイル検索に対応していない。
これを、allptgrep.batで対応する。

allptgrep キーワード1 <拡張子> <ファイル名、キーワード1以外のptgrepパラメタ>

カレントフォルダを基点に階層内の全ファイル中、指定拡張子のファイルに対してptgrepを呼び出すバッチだ。

allptgrep.bat

@dir /s /b|gawk -f allptgrep.awk %*

allptgrep.awk

BEGIN{ IGNORECASE=1; if (ARGC >2){ param1=ARGV[1]; param2=ARGV[2]; if (ARGC>2){ param3=ARGV[3]; if (ARGC>3){ param4=ARGV[4]; if (ARGC>4){ param5=ARGV[5]; if (ARGC>5){ param6=ARGV[6]; } else { param6=""; } } else { param5=""; } } else { param4=""; } } else { param4=""; param3=""; } ARGC-=ARGC; print param1 ":" param2 } else { exit; } } { fnam=".+\\." param2 "$" # print fnam ":" $0 if (match($0,fnam)){ fname=substr($0, RSTART, RLENGTH) # print("ptgrep \"" param1 "\" \"" $0 "\" \"" param3 "\" \"" param4 "\" \"" param5 "\" \"" param6 "\""); system("ptgrep \"" param1 "\" \"" $0 "\" \"" param3 "\" \"" param4 "\" \"" param5 "\" \"" param6 "\""); } } END{ }

重複ファイル検索 awk script

指定したパス、もしくはコマンドを実行したカレントパスを階層の基点にして、全フォルダから重複ファイルを検索するスクリプト。
/name /tm /sizeいずれも指定しないと/nameで検索する。

…って、ある意味大作だぞ。

usage:same [/tiny][/tm][/name][/size][/fl <filter regalexp filename>][/fp <filter regalexp fullpath>][/v <avoid fullpath regalexp pattane>] [<path>]
      /tiny 検索結果にタイムスタンプ、サイズを表示しない
      /tm   タイムスタンプが同一のファイルを検索(アンド条件)
      /name ファイル名が同一のファイスを検索(アンド条件)
      /size サイズ名が同一のファイスを検索(アンド条件)
      /fl   ファイル名フィルタ(正規表現)
      /fp   フルパスファイル名フィルタ(正規表現)
      /v    フルパスファイル名除外フィルタ(正規表現)
ex. same /tiny /tm /size /fl "(doc|xls)$" /v "\\(tset|copy)\\" c:\release

c:\release以下のフォルダからdoc及びxlsで終わるファイル名を持つファイルに対し、
サイズ、タイムスタンプが一致するファイルを探しタイニーフォーマットで一覧表示
するが、フルパス中に"\test\"か"\copy\"を持つファイルは除外する。

AWKのつぼ

どこが大作かっつーと、アーギュメント(パラメタ)の処理だ。<path>以外はどんな順番で指定されようがされまいが解析するって所。
後は、まっとうに環境変数 TEMPを取り込んで、そこにワークファイルを作ってる所。
笑える所は、BEGIN処理だけで全処理が完了して、行処理節自体存在してない事だな。

same.bat

@gawk -f dir.awk %*

dir.awk

BEGIN{ slag="(" slag=slag" ドライブ .* のボリューム ラベル.*" slag=slag"| ボリューム シリアル番号は.*です" slag=slag"|[ ]+.* 個のファイル[ ]+.*バイト" slag=slag"|[ ]+ファイルの総数:" slag=slag"|[ ]+.* 個のディレクトリ[ ]+.* バイトの空き領域" slag=slag"|^$)" tm =0; # new=0; fl=0; siz=0; tiny=0; name=0; voi=0; path=""; for(i= 1; i <ARGC; i++){ if (substr(ARGV[i],1,1)=="/"){ if (ARGV[i] == "/tm"){ tm =1; } else if (ARGV[i] == "/tiny") {tiny =1; } else if (ARGV[i] == "/name") {name =1; # } else if (ARGV[i] == "/new") {new =1; } else if (ARGV[i] == "/size") {siz =1; } else if (ARGV[i] == "/fl"){ if (ARGC <= (i+1) || substr(ARGV[i+1],1,1)=="/"){ print "missing /fl <filter regalexp filename>"; exit; } fl =1; flsz=tolower(ARGV[i+1]); i++; } else if (ARGV[i] == "/v"){ if (ARGC <= (i+1) || substr(ARGV[i+1],1,1)=="/"){ print "missing /v <avoid path regalexp pattane>"; exit; } voi =1; print ARGV[i+1]; voisz=tolower(ARGV[i+1]); sub(/ $/,"",voisz); i++; } else if (ARGV[i] == "/fp"){ if (ARGC <= (i+1) || substr(ARGV[i+1],1,1)=="/"){ print "missing /fp <filter regalexp path>"; exit; } fp =1; fpsz=tolower(ARGV[i+1]); sub(/ $/,"",fpsz); i++; } else { print "usage:same [/tiny][/tm][/name][/size][/fl <filter regalexp filename>][/fp <filter regalexp fullpath>][/v <avoid fullpath regalexp pattane>] [<path>]"; print " /tiny 検索結果にタイムスタンプ、サイズを表示しない" print " /tm タイムスタンプが同一のファイルを検索(アンド条件)" print " /name ファイル名が同一のファイスを検索(アンド条件)" print " /size サイズ名が同一のファイスを検索(アンド条件)" print " /fl ファイル名フィルタ(正規表現)" print " /fp フルパスファイル名フィルタ(正規表現)" print " /v フルパスファイル名除外フィルタ(正規表現)" print "ex. same /tiny /tm /size /fl \"(doc|xls)$\" /v \"\\\\(tset|copy)\\\\\" c:\\release" print "" print "c:\\release以下のフォルダからdoc及びxlsで終わるファイル名を持つファイルに対し、" print "サイズ、タイムスタンプが一致するファイルを探しタイニーフォーマットで一覧表示" print "するが、フルパス中に\"\\test\\\"か\"\\copy\\\"を持つファイルは除外する。" exit; } } else { if (length(path)){ print "path dupurexed"; exit; } else { path = ARGV[i]; } } } ARGC = 1; if (!(name+tm+size)) name=1; if (!length(path)) path="."; FS="[ ]+" tmpfile= ENVIRON["TEMP"] "\\dir.txt" system("dir /s " path " > " tmpfile); while (getline < tmpfile){ $0=tolower($0); MAIN(); } close (tmpfile); system("del " tmpfile); gEND(); exit } function MAIN(){ if (!match($0,slag)){ if (match($0,/^ (.*) のディレクトリ$/)){ path=gensub(/^ (.*) のディレクトリ$/,"\\1",1,$0)"\\"; } else { if ($3 !="<dir>"){ fnam=substr($0,37); if (fl){ if (!match(fnam,flsz)){ return; } } if (voi){ # print path fnam "#####" voisz "#####" if (match(path fnam,voisz)){ return; } } if (fp){ if (!match(path fnam,fpsz)){ return; } } datetime=$1" "$2 gsub(/,/,"",$3); fsize=$3 file[path fnam]=fnam; dttm[path fnam]=datetime; fsiz[path fnam]=fsize; } } } } function gEND(){ for (x in file){ mcn=0; for(y in file){ if (x != y){ matchf=1; if (name && file[x]!=file[y]) matchf=0; if (matchf && siz && fsiz[x]!=fsiz[y]) matchf=0; if (matchf && tm && dttm[x] !=dttm[y]) matchf=0; if (matchf && length(hikaku[x])) matchf = 0 if (matchf){ hikaku[y]=hikaku[y] x "\t" print ((!tiny) ? dttm[y] " " right(fsiz[y],10) " " :"") y; mcn++; } } } if (mcn){ print ((!tiny) ? dttm[x] " " right(fsiz[x],10) " " :"") x "\n"; } } } function right(str,n ,i){ for(i=1;i<n;i++){ str=" "str; } return substr(str,length(str)-n+1); }

C言語解析支援 #ifdef 加工 awk script

例えばコレだ。

#if 0 a = 0; #else a = 1; #ifdef XXXX a = 2; #ifndef YYYY a = 3; #else a = 4; #end a = 5; #else #if 1 a = 6; #else a = 7; #end #end #end

…で、こんな感じに加工してくれる

//|#if 0 //| a = 0; //|#else a = 1; #ifdef XXXX /*@* XXXX */ a = 2; #ifndef YYYY /*@* XXXX *//*@* !YYYY */ a = 3; #else /*@* XXXX *//*@* YYYY */ a = 4; #end /*@* XXXX */ a = 5; #else /*@* !XXXX *///|#if 1 /*@* !XXXX */ a = 6; //|#else /*@* !XXXX *///| a = 7; //|#end #end //|#end

#if 0,#if 1 ～#else～#end節は無効になる行を"//|"のコメントでつぶす、#ifdef節は適用範囲に
"/*@* デファイン名 */"や"/*@* !デファイン名 */"のコメント付加し、適用条件が一目瞭然。
もちろん加工はコンパイル結果に影響しない。
grepをかける前に加工しとけば、不要コードがヒットしても一目で判るぞ。

AWKのつぼ

ごめんな！15年以上昔に書いたスクリプトだ。if条件内のmatchをorで繋げるなんてマヌケのすることだ。"#if[ \t]+0"とか使えって。

ifdef.awk

#不要#if 0(#if 1の#else)を削除 BEGIN{ ind=0; } { ofs=0; pf = 0; ndisp =0; if (match($0,/^#if/)) { ind = ind +1; if ((match($0,/^#if 0/))||(match($0,/^#if\t0/))) setu[ind] = -1; else if ((match($0,/^#if 1/))||(match($0,/^#if\t1/))) setu[ind] = 1; else if ((match($0,/^#ifdef /))||(match($0,/^#ifdef\t/))) { setu[ind] = 4; szn = substr($0,8); substr(/^[ \t]+/,"",szn); n = match(szn,/[ \t]/); m = match(szn,/\/\*/); if ((m != 0) && (m < n)) n = m; if (n != 0){ szn = substr(szn,1,n-1); } sz[ind] = szn; } else if ((match($0,/^#ifndef /))||(match($0,/^#ifndef\t/))) { setu[ind] = -4; szn = substr($0,9); substr(/^[ \t]+/,"",szn); n = match(szn,/[ \t]/); m = match(szn,/\/\*/); if ((m != 0) && (m < n)) n = m; if (n != 0){ szn = substr(szn,1,n-1); } sz[ind] = szn; } else setu[ind] = 0; ofs = 1; pf = 1; } else if (match($0,"^#end")) { ofs = -1; pf = 1; setu[ind] = setu[ind] * 2 ; } else if (match($0,"^#else")) { pf = 1; setu[ind] = setu[ind] * (-1) ; } if ((setu[ind] > -4) && (setu[ind] < 4) && (setu[ind] != 0) && (pf != 0)) ndisp = 1; comf=0; for (i=0;i < ind;i++){ if ((setu[i+1] > -4) &&(setu[i+1] < 0)) ndisp = 1; if (ofs >= 0){ if ((setu[i+1] < -2)&&(setu[i+1] > -8)&& !((match($0,/^#ifdef/))||(match($0,/^#ifndef/))||(match($0,/^#else/)))) {printf("/*@* !%s */",sz[i+1]); comf=1;} if ((setu[i+1] > 2)&&(setu[i+1] < 8)&& !((match($0,/^#ifdef/))||(match($0,/^#ifndef/))||(match($0,/^#else/)))) {printf("/*@* %s */",sz[i+1]); comf=1;} } } #コメント止めする場合 if (ndisp != 0) printf("//|"); printf("%s\n",$0); #実削除する場合 # if (ndisp !=0) printf("%s\n",$0); #]\ if (ofs <0) ind = ind -1; if (ind<0) print "//| ERROR #ifdef,#ifのネストに間違いがあります-----------------"; } END{ }

Excelテキストのセル内改行排除 Awk Script

Excel全シートテキスト保存 Excel macro でも紹介したExcelテキスト…

面倒なことに、コイツはセル内改行があると、Excelシートでの1行がExcelテキスト上で複数行に分断されてしまう。テキストファイルとして見栄えが悪い。

そこで、行の合成だ。

AWKのつぼ

テンプレート化してるから、_BEGIN,_main,_ENDに通常の行処理を書けば、セル内改行を意識しないで動かせる。
ま、ファイル全体一気読み＋ファイル全体を配列化などというメモリ無駄食いスクリプトだがな。

tsvsngl.bat

@gawk -f tsvsngl.awk %1 > %1.tsvsngl.tmp @copy /y %1 %1.tsvsngl.bak 2> nul 1>nul @move /y %1.tsvsngl.tmp %1 2> nul 1>nul @fc /b %1 %1.tsvsngl.bak 2> nul 1>nul @if %ERRORLEVEL% EQU 0 goto L0 @exit /b :L0 @move /y %1.tsvsngl.bak %1 2> nul 1>nul

tsvsngl.awk

function _BEGIN(){ } function _main(){ print $0; } function _END(){ } ##------ここまではユーザーコード #### Excelテキスト(セル内複数行⇒セル内1行)変換機能テンプレート ## BEGIN,END,行処理の代わりに_BEGIN,_END,_mainにコーディングする ## ## _mainではセル内改行が"↓"に置き換わった１行が処理できる。 ## 同時にセル内先頭、セル内後尾に付加されているダブルクォートも ## 削除される。 ## ## _BEGINでは任意のRS(レコードセパレータ),FS(フィールドセパレータ) ## の設定が可能。(default RS="\n" FS="\t") ## ## _mainでは、RSに基づいたNR、FSに基づいたNFを参照できる。 ## ##※ちなみにExcelテキストのセル内改行はCRLFではなくLFだ。 ##頭がいいエディタで開くと、勝手にCRLFに変換されるぞ。 ##そーなったら、このテンプレートは使えない。 ##------ここから下は変更すな。 BEGIN{ RS="\x00" TSVSNGLout="" } { while (match($0,/\"([^\"\x0d]|[\"][\"])*\"/)){ TSVSNGLout = TSVSNGLout substr($0,1,RSTART-1); TSVSNGLs=substr($0,RSTART,RLENGTH); $0=substr($0,RSTART+RLENGTH); gsub(/\x0a/,"↓",TSVSNGLs); TSVSNGLout = TSVSNGLout TSVSNGLs; } TSVSNGLout = TSVSNGLout $0; do { $0 = TSVSNGLout; TSVSNGLout = gensub(/(.*)\"(([^\"]|[\"][\"])*)\"(.*)/,"\\1\\2\\4","g",TSVSNGLout); } while($0 != TSVSNGLout); RS="\n"; FS="\t"; _BEGIN() TSVSNGLn = split(TSVSNGLout,TSVSNGLar,RS); TSVSNGLout=""; for (NR=1;NR <= TSVSNGLn;NR++){ $0 = TSVSNGLar[NR]; TSVSNGLar[NR]=""; _main(); } _END() } END{ }

ちなみに、「１行化して見栄えを良くする」事を考えず、ExcelTextに対して単に行処理をやりたいだけなら、これで十分だが。

tsvxxx.awk

BEGIN{ FS="\t" RS="\x0d\x0a" BINMODE=3 } { print NF "###" $0 }

Excel全シートテキスト保存 Excel macro

番外編で Excel Macro VBAだ。

用語辞書作成支援で紹介したAwkScriptだが、食わせる元文書がExcelだと大変。
数十もあるシートをテキスト保存して、Mecabに食わせるなんてウンサリするぞ、
…てなわけで、VBAだ。
ブック名＋シート名.tsvというファイル群を一気に生成する。

ただし、内部的には、保存時にブック名と形式がテキストファイルに変わっているから、最後に戻す、、、と言いたい所だが、ブック名と形式を戻す為には、再度保存しないと戻せない。
勝手に元ブックに保存するのはマズいので、元ブック名の先頭に "_" をつけてみる。

ま、後は好きにやってくれ。

WinMergeのExcelアドインはヘボいから、コイツでテキスト保存して、フォルダ単位にWinMerge差分を採る…なんて使い方もあるぞ。
ただし、オブジェクトは無視してるから我慢してくれ。

Sub 全シートTSV保存() Dim sh As String Dim shn As String Dim bkn As String Dim bknOrg As String okstr = "／〈〉゛｜￤〈〉゛゛゛゛〈〉〈〉" bknOrg = ActiveWorkbook.Name bkn = StrConv(ActiveWorkbook.Name, vbLowerCase) ff = ActiveWorkbook.FileFormat i = InStr(bkn, ".xls") If i > 0 Then bkn = Left(bkn, i - 1) End If For i = 1 To ActiveWorkbook.Sheets.Count shn = ActiveWorkbook.Sheets(i).Name sh = bkn + "_" + shn + ".tsv" For j = 1 To Len(sh) n = InStr("/<>""|;＜＞""""〝〝()（）", Mid(sh, j, 1)) If (n > 0) Then Mid(sh, j, 1) = Mid(okstr, n, 1) End If Next ActiveWorkbook.Sheets(i).Activate ActiveWorkbook.SaveAs Filename:=sh, FileFormat:=xlText, CreateBackup:=False ActiveWorkbook.Sheets(i).Name = shn Next ActiveWorkbook.SaveAs Filename:="_" + bknOrg, FileFormat:=ff, CreateBackup:=False End Sub

用語辞書作成支援Awk Script

用語辞書はプロジェクトへの導入等に重要なドキュメントだがこれをgawkだけで作成するには荷が重い。
そこで、コアになる形態素解析にはMecabを使う。Mecabに関しては各自ググってくれ。
gawk側ではMecabが通りやすくする為、フロント処理をする事とMecab出力結果から連名詞の使用頻度を取り出す事だ。

結果として連名詞の使用頻度一覧が出力される。
使用頻度が高い固有名詞は重要な単語で、低い単語は誤字か誤用の可能性が高い。

AWKのつぼ

特になし。Mecab様々だ。

mecabx.bat

@gawk -f ntab.awk %1|mecab|gawk -f mecab.awk|sort>%1.txt

ntab.awk

BEGIN{ IGNORECASE=0 az="０１２３４５６７８９"; ah="0123456789"; a2zz="〇①②③④⑤⑥⑦⑧⑨⑩⑪⑫⑬⑭⑮⑯⑰⑱⑲⑳" a2hh="0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20" split(a2zz,a2z,""); split(a2hh,a2h,","); bz="ＡＢＣＤＥＦＧＨＩＪＫＬＭＮＯＰＱＲＳＴＵＶＷＸＹＺ"; bh="ABCDEFGHIJKLMNOPQRSTUVWXYZ"; cz="ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚ"; ch="abcdefghijklmnopqrstuvwxyz"; k2zz="ヴガギグゲゴザジズゼゾダヂヅデドバビブベボパピプペポ"; split(k2zz,k2z,""); split("ｳﾞ,ｶﾞ,ｷﾞ,ｸﾞ,ｹﾞ,ｺﾞ,ｻﾞ,ｼﾞ,ｽﾞ,ｾﾞ,ｿﾞ,ﾀﾞ,ﾁﾞ,ﾂﾞ,ﾃﾞ,ﾄﾞ,ﾊﾞ,ﾋﾞ,ﾌﾞ,ﾍﾞ,ﾎﾞ,ﾊﾟ,ﾋﾟ,ﾌﾟ,ﾍﾟ,ﾎﾟ",k2h,","); k1z="アイウエオァィゥェォカキクケコサシスセソタチツテトッナニヌネノハヒフヘホマミムメモヤユヨャュョラリルレロワヲンー・、。" k1h="ｱｲｳｴｵｧｨｩｪｫｶｷｸｹｺｻｼｽｾｿﾀﾁﾂﾃﾄｯﾅﾆﾇﾈﾉﾊﾋﾌﾍﾎﾏﾐﾑﾒﾓﾔﾕﾖｬｭｮﾗﾘﾙﾚﾛﾜｦﾝｰ･､｡" kz=k1z k2zz; split("・～’”：；＋－＊／＝！＠＃＄％＾＆＊（）＿｜．，＜＞？￥", dz, ""); split("･~'\":;+-*/=!@#$%^&*()_|.,<>?\\", dh, ""); # \ は重ねて記述、 #' for( e in dh){dh[e] = "\\"dh[e];} ez="ABCDEFGHIJKLMNOPQRSTUVWXYZ"; eh="abcdefghijklmnopqrstuvwxyz"; fz="9999999999"; fh="0123456789"; kakko[0]="《》" kakko[1]="≪≫" kakko[2]="〈〉" kakko[3]="『』" kakko[4]="【】" kakko[5]="〔〕" kakko[6]="＜＞" kakko[7]="｛｝" kakko[8]="{}" kakko[9]="<>" # kakko2[10]="[]" } { for(e =1;e<11;e++) gsub(substr(az,e,1),substr(ah,e,1)); # 半角数字を全角に変換 for(e in a2z) {gsub(substr(a2z[e],1,1),substr(a2h[e],1,1));} for(e =1;e<11;e++) gsub(substr(fh,e,1),substr(fz,e,1)); # 丸付き数字を半角に変換 for(e =1;e<27;e++) gsub(substr(ez,e,1),substr(eh,e,1)); # 英大文字を英小文字に変換 # for(e =1;e<27;e++) gsub(substr(bz,e,1),substr(bh,e,1)); # 全角英字を半角に変換（大文字） # for(e =1;e<27;e++) gsub(substr(cz,e,1),substr(ch,e,1)); # 全角英字を半角に変換（小文字） for(e in kakko) {gsub(substr(kakko[e],1,1),"「");gsub(substr(kakko[e],2,1),"」");} for(e in k2z) {gsub(k2h[e],k2z[e]);} # 半角カタカナを全角カタカナへ変換 for(e =1;e<=length(k1h);e++) gsub(substr(k1h,e,1),substr(k1z,e,1)); # 英小文字を英大文字に変換 gsub(/[\t 　]+/," "); gsub(/\[|\［/,"「"); gsub(/\]|\］/,"」"); gsub(/\(/,"（"); gsub(/\)/,"）"); gsub(/\//,"／"); gsub(/:/,"："); gsub(/\./,"。"); gsub(/[\"_@ ]+/,"の、"); gsub(/・/,"と、"); gsub(/（|「/,"は"); gsub(/）|」/,"。"); #" gsub(/\\/,"￥"); s1=$0; do{$0=s1;s1 = gensub(/^(.*[0-9]),([0-9].*)$/, "\\1\\2","g",$0);}while(s1 != $0); do{$0=s1;s1 = gensub(/^(.*[a-z])([0-9].*)$/, "\\1と\\2","g",$0);}while(s1 != $0); do{$0=s1;s1 = gensub(/^(.*[0-9])([a-z].*)$/, "\\1と\\2","g",$0);}while(s1 != $0); for(e in dz) gsub(dh[e],dz[e]); # 半角記号を全角記号へ変換 do{$0=s1;s1 = gensub(/^(.*[^0-9a-z[[:space:]][[:punct:]]\W]+)([0-9a-z]+.*)$/, "\\1と\\2","g",$0);}while(s1 != $0); do{$0=s1;s1 = gensub(/^(.*[0-9a-z]+)([^0-9a-z[[:space:]][[:punct:]]\W]+.*)$/, "\\1と\\2","g",$0);}while(s1 != $0); print $0; } END{ }

mecab.awk

BBEGIN{ FS="\t" } { if (match($2,/^(名詞|接頭詞,名詞接続)/)){ s1=s1$1; s2=$2; } else { if (length(s1)){ if(match(s1,/^[　 0-9\-]+$/)){ s1="" next; } mei[s1]++; # print s1"\t"s2 s1="" } # print $0 } } END{ for (x in mei){ print x " " mei[x]; } }

階層中の空フォルダ削除 Awk Script

かなり昔に作ったヤシだ。

階層ディレクトリの一覧をテンポラリファイルに書き出し、Awkの読み込みファイルと指定し、
その上、スクリプトの中でも別なテンポラリファイルの作成/読み込みをしている。
今書き直すなら、パイプを使うだろな。

しかし、勉強になるポイントもある。

AWKのつぼ

・通常、gawkに与えたコマンドラインパラメタはgawk実行モジュールによって解析される。
余分なパラメタを最後部に追加すると、不正な入力ファイルとして扱われる…
…が、スクリプト中でARGC（パラメタ個数を示すAＷＫシステム変数）を減算することで、「パラメタがなかった」事にしてのgawkのエラーを回避できる。
つまり、下記のバッチでARGV[2]は%2(delblnk.batの第二パラメタ)で、ARGCは３だが、
ARGC=2と、ARGCを強制することでgawkのエラーなしでパラメタをスクリプトに渡すことが出来る。
ここでは、実削除を行わないためのパラメタ "/n" をスクリプトで受け取っている。

バッチのつぼ
delblnk.awk中system()に渡されているバッチ文字列中の最後尾に注目。
”dir … 2>null"と書かれている。これは、dirコマンドが出力する標準エラー出力をヌルデバイスに書き込み、捨てる指定だ。
画面でdirコマンドを発行すると標準出力、標準エラー出力の混成がスクリーンに表示されるが、エラー表示を排除するときに使用される。

delblnk.bat

title %CD% DELBLNK dir /ad /s /b %1 |sort /r > delblnk.txt gawk -f %awkscript%\delblnk.awk delblnk.txt %2 del delblnk.txt title %CD%

delblnk.awk

BEGIN{ IGNORECASE=1; extChr=""; deFlg = 1; if (ARGC > 2){ ARGC = 2 if (match(ARGV[2],/\/n/) != 0) { deFlg = 0; } } } { ss=$0 system("dir /a-s /b \"" $0 "\">delbln2.txt 2>nul"); system("dir /as /b \"" $0 "\">>delbln2.txt 2>nul"); $0 ="" ncnt=0; while ((getline < "delbln2.txt") && (ncnt <= 100)){ ncnt++; } close("delbln2.txt"); if (ncnt == 0){ if (deFlg != 0){ print "=== "ss system("rmdir \"" ss "\""); } else { print "= 0 = " ss } } else if (ncnt <= 5){ print "- " ncnt " - " ss } } END{ system("@del delbln2.txt"); }

ファイルをバイナリダンプするAWKScript

なんとgawk3.1.5はバイナリファイルも読み込める
可変長バイナリレコードのログファイルもテキスト化できるわけだ。

ま、バイナリレコードなんて、個別仕様だから、今回はテンプレートとして使ってくれ。

例では、先頭4バイトをリトルエンディアンのlong値、次の2バイトをリトルエンディアンのshort値、残りを16進ダンプで出力している。呼び出していないが、ゾーン10進用の関数もある。
お好みのダンプツールを作ってくれ。

AWKのつぼ

・入力ファイルに変な変換がかからないようにgawk呼び出しパラメタに"--ctype=ASCII"を指定している
・BEGIN節でBINMODE=3,RS=""を指定することで、１行のデータとして全ファイルを読み込んでいる
・AWKはスコープルールがないので、通常、関数内でローカル変数が宣言できない。…が、関数パラメタだけはスタックに積まれるので、その特性を利用し、ローカル変数はその関数のパラメタに、無理やり宣言する。
例えば、function bin(n    ,i,s)は、実際は(n)のみパラメタで受け渡されて、i,sは関数内で使われるローカル変数だ。
これにより、関数の再起呼び出しも可能となる。
・GAWKは連想配列が使える。C#系ではINDEX形と呼ばれているヤシ。
配列の添え字に文字列が使えるので便利だね。内部的にはハッシュテーブルとか使ってるはずだが、プログラマはハッシュを意識しなくてもよい。
ま、ゴミが気になった時には、"delete 配列名"で削除してくれ。今回は定数配列なんで気にしない。

dmp.bat

@gawk --ctype=ASCII -f dmp.awk %1

dmp.awk

BEGIN{ BINMODE=3 RS=""; for (i=0;i<256;i++){ chr[i]=sprintf("%c",i); asc[sprintf("%c",i)]=i; hex[sprintf("%c",i)]=sprintf("%2.2x",i); } } { printf("\n"); n1=bin(4) n2=bin(2) printf("long:%d,short:%d\n%s\n",n1,n2,dump(length($0))); } END{ } function bin(n ,i,s){ z=get(n); s=0 for (i=length(z);i>0;i--){ # if (!(i % 10)&& (n >10)){ s=s sprintf("\n%d : ", i)} s=s*256+asc[substr(z,i,1)]; } return s } function dump(n ,i,s){ z=get(n); s="" for (i=0;i<length(z);i++){ # if (!(i % 10)&& (n >10)){ s=s sprintf("\n%d : ", i)} s=s sprintf("%s ",hex[substr(z,i+1,1)]); } return s } function bcdprint(z ,n){ n=asc[z]; if (n>=128) n=n-128; printf ("(%d)",n); } function get(n){ rcnt+=n; dat=substr($0,1,n); $0=substr($0,n+1); return dat; }

フォルダ内不要階層の排除AwkScript

フォルダの中にファイル(フォルダ)が1個だけという無駄な階層を削除する。

つまり
c:\aaa\bbb\ccc\ddd.txt
c:\aaa\bbb\ccc\eee.txt

c:\aaa\fff\ggg.txt

のファイルがあるとき、a:\aaaをカレントパスとしてCMDを開き、

allonefile.batを実行すると
c:\aaa\bbb@ccc\ddd.txt
c:\aaa\bbb@ccc\eee.txt

c:\aaa\fff@ggg.txt

のファイル構成に変更してくれる訳だ。

安全のため、逆に"@"が含まれるファイル(フォルダ）を元に戻すヤシも提供。

unonefile a:\aaa@bbb\ccc@ddd.txt
で
a:\aaa\bbb\ccc\ddd.txt
に展開してくれる。

注意点：フォルダ内にあるSYSTEM.HIDDN属性のファイルは「存在していない」という認識で動くようにしてある。VisualSourceSafeの展開フォルダとか、気にしたくないからね。

AWKのつぼ

onefile.batの中のawk呼び出しはスクリプトファイルじゃなくて、スクリプトパラメタで記載してる。

allonefile.bat

@for /D /R %1 %%x in (*) do @call :l1 "%%x" @exit /b :l1 @pushd . @echo %1 @cd %1 @call onefile . @popd

onefile.bat

@dir /b|gawk -F: "END{exit NR}" @if %ERRORLEVEL% EQU 1 goto :l1 @exit /b :l1 @dir /b|gawk -F: "BEGIN{ARGC=1}{print\"move \\\"\" $0 \"\\\" \\\"..\\\\\" ARGV[1] \"@\" $0\"\\\"\";system(\"move \\\"\" $0 \"\\\" \\\"..\\\\\" ARGV[1] \"@\" $0\"\\\"\")}" "%~n1" @set I=%~n1 @cd .. @rd /s /q "%I%" @exit /b

unonefile.bat

@dir /s /b /ad "*@*"|sort /r|gawk -f unonefile.awk @dir /s /b /a-d "*@*"|gawk -f unonefile.awk

unonefile.awk

BEGIN{ FS="\\" } { path= $1; for (i=2;i<=NF;i++){ if (match($i,"@")){ if (i==NF){ n=split($i,ar,"@"); for (j=1;j<n;j++){ path=path "\\" ar[j]; system( "md \"" path "\"") } print "move \"" $0 "\" \"" path "\\" ar[n] "\"" system( "move \"" $0 "\" \"" path "\\" ar[n] "\"") } else { path=path "\\" $i } } else { path=path "\\" $i } } } END{ }

重複フォルダの整理AwkScript

ZIPファイルを解凍すると、ファイル名と同じ名前のフォルダが作成され、その中にまた同じ名前のフォルダが作成される。
本スクリプトは、カレントフォルダを基点にして、同一名のサブフォルダを統合する動作を行う。

つまり
c:\aaa\bbb\bbb\ccc
c:\aaa\ddd\eee\eee\fff
のフォルダがあるとき、a:\aaaをカレントパスとしてCMDを開き、

allfresh.batを実行すると
c:\aaa\bbb\ccc
c:\aaa\ddd\eee\fff
のフォルダ構成に変更してくれる訳だ。
ただし、同一名の親フォルダ配下に同一名フォルダ以外がある場合、統合しない

注意点：カレントドライブの\tempフォルダをワークフォルダとして使うのでカレントのルートが書込み禁止だと動かない。そのときは、バッチを修正してくれ。

AWKのつぼ

AWKはフォルダ内に".","..",同名フォルダの3フォルダのみが存在してるって確認の為だけに使ってる。
後は、その名前を書いたテンポラリファイルと親フォルダ名を書いたテンポラリファイルをFCコマンドでコンペアして、リネーム用動的バッチファイル(temp\fresh3.bat)をキックする。
動的バッチはfresh.batの2行目で動的バッチ作成用バッチ(fresh1.bat)で作成している。
allfresh.batは基点フォルダから再起呼び出しで、全フォルダ毎にfresh.batを呼び出すだけだね。

allfresh.bat

@for /D /R %1 %%x in (*) do @call :l1 "%%x" @exit /b :l1 @pushd . @echo %1 @cd %1 @call fresh @popd

fresh.bat

@md \temp 2>nul @call fresh1.bat . >\temp\fresh.1 @dir |gawk -f fresh.awk >\temp\fresh.2 @fc /b \temp\fresh.1 \temp\fresh.2 >nul @if %ERRORLEVEL% EQU 0 goto l1 @exit /b :l1 @call \temp\fresh.3.bat

fresh1.bat

@echo %~n1 @echo @move "%~n1" ..\"%~n1_" >\temp\fresh.3.bat @echo @cd ..>>\temp\fresh.3.bat @echo @rd "%~n1">>\temp\fresh.3.bat @echo @move "%~n1_" "%~n1" >>\temp\fresh.3.bat

fresh.awk

BEGIN{ } { if (match($0,/^[ ]+0[ ]個のファイル[ ]+0[ ]バイト$/)){ ok++; } else if (match($0,/^[ ]+3[ ]個のディレクトリ[ ]+[0-9\,]+[ ]バイトの空き領域$/)){ ok++; } else if (match($0,/^[0-9]+\/[0-9]+\/[0-9]+ [0-9\:]+[ ]+<dir>[ ](.*)$/)){ s=gensub(/^[0-9]+\/[0-9]+\/[0-9]+ [0-9\:]+[ ]+<dir>[ ]+(.*)$/,"\\1","1",$0); } } END{ if (ok==2){ print s } else { print " " } }