In message <199912151656.BAA21516 / pop1.ngy.3web.ne.jp>
nyasu / osk.3web.ne.jp writes:

> 今までeach_lineしてsplitしたりしてましたが、トークン毎のイテレータっ
> てのは便利かもと思い始めました。each_token(delimiter) ?
> 普通の文章(英文など)相手に使うときは、改行の扱いをどうするんだとい
> う問題がありますが。

それよりトークン切り出しがそんなにうまくできそうに無い方が問題だったり.
トークンの切れ目が「常識的な欧文での単語単位」でよいのなら,改行につい
ては何にも悩む必要無いですね.

で,これでいいのなら

    line =~ /\A(\S+)\s*/
    token = $1
    line = $'

で十分だったりしますね.これだと毎回オブジェクトが生成されるので嫌だ,
という向きもあるかもしれませんが,まあ String 関係は結構速いし :-P


確か誰かが String に対して破壊的にこれをやる(よって新しく生成されるオ
ブジェクトは token の分だけ)という拡張モジュールを書いていたはずなの
だけど,手元では発見できない....

# 切り出す部分を正規表現で表せるのがよい.というおはなし.


-- 
柳川和久 @ 東大阪市 . 大阪府                              December 16, 1999
Time is illusion, life is confusion.