Awkward Programming in awk

0. はじめに

1. Why awk?

1. 変数に$や@がつかない, C言語ライクな簡素な シンタクス.
2. 自動的に分割されるフィールド.
   Perl にも自動フィールド分割オプション(-a)がありますが, 個人的な経験としてはあまり使いません.
3. ミニマリズム (^^;).
   今となっては趣味の範疇ですが, たとえば DOS版 GNU awk 2.15.2 (gawk.exe) は実行ファイルが約180KBだったのに対し, JPerl 4.036 (jperl.exe) は 約310KBでした.それ以上に違うのがメモリ使用量で, メモリ640KBの MS-DOS では perl を普段から(特にサブプロセスで)使うのは躊躇されたような記憶が あります.

といっても勿論私も普段から awk を使っているわけではなく (普段使っているのは Objective Caml と Perl です), 必要な時に使う程度ですが, 逆に 簡素であるだけに, その可能性を極めるのは面白い言語でもあります.

2. awk の基本書

• 『プログラミング言語AWK』 (Addison-Wesley/トッパン 情報科学シリーズ, 01), 1989年.
  原書:"The AWK Programming Language", Addison-Wesley (Bell研のページ)

なお, 上のベル研究所のAWKのページでは, 原作者が書いた 'One true awk'の ソースコード(awk.shar, awk.tar.gz) と Windows バイナリ(awk95.exe)が公開されて います.

その次に有名なのが,

• 『sed&awkプログラミング』 (O'Reilly, Nutshell Handbooks)
  (原書:"sed & awk" (O'Reilly, Nutshell Handbooks))

3. awk の応用

• "Effective awk Programming", 3rd Edition (Arnold Robbins, May 2001), US$39.95

さらに深い awk の知識を目指すなら, 次は

• 「AWKを256倍使う本」志村拓, 鷲北賢, 西村克信著, アスキー出版局, 1993.

この本はアスキー256倍シリーズらしく, 書き方にちょっと'下品'なところがあって, 上の Addison-Wesley のような瀟洒な本を読んでいると躊躇してしまうかもしれません. (私は最初引きました.^^;) が, 実は GNU awk について徹底的に解説し尽くしている本であるのみならず, gawk の各コマンド/変数の使い方と 簡単なサンプルプログラムのインデックスまで付いていて, awk でプログラムを書く際のハンドブックとしても, とても重宝する本です.

もちろんその他の内容はマニアの極みで, awk における連想配列がハッシュとして どのように実現されているか, といった内部構造の解析に始まって, DOS extender go32版の gawk.exe との速度比較, 果ては awk のソースを書き換えて自分専用の awk を作る話など, awk をとことん楽しみ尽くしている本です. 巻末には awk で書かれた100行, 200行のプログラムが連続し, これでもかこれでもか といったawkプログラミングの濃さが味わえます. (^^;)
awk や sed など, コマンドラインで使うスクリプト言語は「1行野郎」と呼ばれ, 1行のプログラムでいかに簡単に仕事を片付けられるか, ということが楽しさでも ありますが, そういった意味ではこの本は「awk 100行野郎」を養成する本だと 言えます. :-) (中でもそう述べられています.)
なお, この本の「100行awkプログラム」は上のページの ここから手に入れることができます.

4. awk の極限

4.1 awk Assembler

Amazing `awk' Assembler
     Henry Spencer at the University of Toronto wrote a retargetable
     assembler completely as `awk' scripts.  It is thousands of lines
     long, including machine descriptions for several eight-bit
     microcomputers.  It is a good example of a program that would have
     been better written in another language.

4.2 awk Lisp interpreter

cl:~/atelier/awk/walk% nawk -f walk
walk (LISP in awk)	Copyright (c) 1988, 1990 Roger Rohrbach
-> (cons 'a nil)
(a)
-> (set 'l (list 'a 'b 'c 'd))
(a b c d)
-> (car (cdr (cdr l)))
c
-> (set 'S '(lambda (x y) x))
(lambda (x y) x)
-> (set 'K '(lambda (x y z) (x z (y z))))
(lambda (x y z) (x z (y z)))
-> 29 atoms, 140 list cells.
cl:~/atelier/awk/walk% 

4.3 その他

• NAIST OBの出雲さんが, CASL アセンブラを実行/トレースする casl.awk を公開されています.(何と639行!)
  他にも, クロスアセンブラを書かれたりする方は結構 いらっしゃるみたいですね.
• 上の ftp://ftp.freefriends.org/arnold/Awkstuff/ には, XML parser.awkがありました.
  他にも, pic への入力を出力して化学式を書く chem.gz など面白いものが色々置いてあります.
• 前に私が awk で簡単な httpd を書いてみましたが, 海外だと AWKhttpd というのがあって有名なようです.他にも TSGの方が書いたとか聞いたような気がしますので, ま誰でも 考えるってことですね. (^^;)

5. awk の環境

5.1 各種環境の awk

• Unixでは特に入れない限り awk (&sed, grep)は 普通日本語化されていませんが, マルチバイト文字対応にするパッチは こちらのページ(Will's trash can)で公開されています.
  awk の mb パッチは現在のところ 3.06 に対するパッチが最新のようです (3.1.0は日本語化されていない).
• Macintosh での awk (jgawk) 環境としては, 山下巌さんの作られた JGAwk for Macintoshと, そのインタフェース JGAwk Interfaceが有名です.
• Windows用の gawk/mawk は vector のこちらにあります.
  Macintosh のようなGUI環境で使うものとしては, 河合さん(HCD04102@nifty.com)が 「おーくの友だち」というものをリリースされているようです.
  また, Windows では Cygwin を (MacOS Xの場合は Terminalを) 使えば, Unix と同じように awk が使えます.
• MS-DOSは #! を使えないので, スクリプトを直接実行できるように するために, 白鷺(鷺)という スクリプトの .com ファイル化ツール, K.Ishino氏作の #!.com などを使うことができます.
• X68k版の gawk は こちら にあります. X68k では, execd で普通に #!が使えます.

5.2 GNU awk 標準ライブラリ

#!/usr/local/bin/igawk -f
@include getopt.awk
..

assert.awk

assert(3) を提供します.
assertion に失敗した場合, エラーは stderr (特殊ファイル "/dev/stderr") に吐かれます.

ctime.awk

ctime(3) を提供します.

ftrans.awk

複数のファイルを入力とするとき, ファイルの最初と最後にある関数を 実行したい場合, これを include して beginfile() と endfile() を定義 することで行えます.

getopt.awk

getopt(3) を提供します.
使用例:

      while ((opt = getopt(ARGC, ARGV, "ab:cd")) != -1)
              printf("opt = %c, optarg = %s\n",
                      opt, Optarg);
      #  終了後, Optind にオプションでない最初のARGVのインデクスがセットされる
      for (i = Optind; i < ARGC; i++)
              printf("realarg[%d] = %s\n", i, ARGV[i]);
      

gettime.awk

gettimeofday(3) を提供します.
gettimeofday(tm) とすると, tm["second"],tm["minute"], tm["hour"],..等で現在の時間が取り出せます.

group.awk

libexec/awk/grcat を実行して得た group エントリを基に, getgrent, getgrnam, getgrgid などを提供します.

join.awk

s = join(array, 2, 10, "\t"); とすると, 配列arrayの array[2]..array[10]を順にTABで連結した文字列を 返します. join(array, 2, 10, SUBSEP)とすると何も挟まずに 連結します.

mktime.awk

mktime(3) を提供します.
mktime("2002 01 23 12 34 56") は, 1011756896 を返します.

nextfile.awk

アクション中で next; とすると次の行を読みに行きます が, これを最初に読んでおくと nextfile(); とすると次の「ファイル」を 読みに行きます. 内部では(簡単ですが), nextfile(); が指定された以降 そのファイルの内容を捨てるアクションが加えられます.

ord.awk

perlと同じ ord() と, 文字cをキャラクタコードに換える chr() を提供します.

passwd.awk

libexec/awk/pwcat を実行して得た passwd エントリを基に, getpwent, getpwnam, getpwuid などを提供します.

round.awk

round() 関数を提供します (awk にはデフォルトでは floor() も round() も ない)

• 群馬大学, 青木繁伸さんの AWK入門
• A User's Guide for GNU awk -- Effective AWK Programming (日本語訳)
• 本当の初心者の方には, 2.で紹介した 「AWKの簡単な使い方」がおすすめです。 Web上にあるものはPS形式で, かつ psnup -2 されていて見にくいので, 読みやすくPDF化したものをここに置いておきます。 easyawk.pdf (983kbytes)
• awk コンパイラ (awka.sourceforge.net)
• Fe²⁺氏による Arithmetica, awk 整数演算パッケージ

7. その他