In message <199912151656.BAA21516 / pop1.ngy.3web.ne.jp>
nyasu / osk.3web.ne.jp writes:

> 今までeach_lineしてsplitしたりしてましたが、トークン毎のイテレータっ
> てのは便利かもと思い始めました。each_token(delimiter) ?
> 普通の文章（英文など）相手に使うときは、改行の扱いをどうするんだとい
> う問題がありますが。

それよりトークン切り出しがそんなにうまくできそうに無い方が問題だったり．
トークンの切れ目が「常識的な欧文での単語単位」でよいのなら，改行につい
ては何にも悩む必要無いですね．

で，これでいいのなら

    line =~ /\A(\S+)\s*/
    token = $1
    line = $'

で十分だったりしますね．これだと毎回オブジェクトが生成されるので嫌だ，
という向きもあるかもしれませんが，まあ String 関係は結構速いし :-P


確か誰かが String に対して破壊的にこれをやる（よって新しく生成されるオ
ブジェクトは token の分だけ）という拡張モジュールを書いていたはずなの
だけど，手元では発見できない....

# 切り出す部分を正規表現で表せるのがよい．というおはなし．


-- 
柳川和久 @ 東大阪市 . 大阪府                              December 16, 1999
Time is illusion, life is confusion.