なかだです。

At Sun, 12 Jun 2011 09:18:46 +0900,
Masaya Tarui wrote in [ruby-dev:43762]:
> このチケットの原因になってる 、yylex でdelayed_tokenをdispatchするコード(parse.y:7855)の直後のreturnを
> r24557([Bug #1071])で削除していますが、
> 	ripper_dispatch_delayed_token(parser, t);
> 	ripper_dispatch_scan_event(parser, t);
> と実行される可能性があるのは違和感を感じます。
> 
> そもそもこのif文に入るのはどういう場合を想定していたんでしょう?

ちょっと思い出せませんが、樽家さんの修正で不要になるようです。

> patchをhere document部分のripperコードを参考に書いてみましたが、
> 想定がわからないのでyylexの部分は触ってません。
> 自信はないのでレビューしてもらえませんでしょうか?(中田さん?)

> +           rb_str_append(parser->delayed,
> +                         STR_NEW3(parser->tokp,
> +                                  lex_p - parser->tokp,
> +                                  enc,
> +                                  func));

新しくStringを作ってappendしなくても、rb_enc_str_buf_cat()という
のがあります。


diff --git i/parse.y w/parse.y index 06f96ce..60e5a3b 100644 --- i/parse.y +++ w/parse.y @@ -5984,6 +5984,18 @@ parser_parse_string(struct parser_params *parser, NODE *quote) tokfix(); set_yylval_str(STR_NEW3(tok(), toklen(), enc, func)); + +#ifdef RIPPER + if (!NIL_P(parser->delayed)){ + ptrdiff_t len = lex_p - parser->tokp; + if (len > 0) { + rb_enc_str_buf_cat(parser->delayed, parser->tokp, len, enc); + } + ripper_dispatch_delayed_token(parser, tSTRING_CONTENT); + parser->tokp = lex_p; + } +#endif + return tSTRING_CONTENT; } @@ -7853,6 +7865,7 @@ yylex(void *p) #ifdef RIPPER if (!NIL_P(parser->delayed)) { ripper_dispatch_delayed_token(parser, t); + return t; } if (t != 0) ripper_dispatch_scan_event(parser, t); diff --git i/test/ripper/test_scanner_events.rb w/test/ripper/test_scanner_events.rb index 25e4b13..d89e50e 100644 --- i/test/ripper/test_scanner_events.rb +++ w/test/ripper/test_scanner_events.rb @@ -67,10 +67,17 @@ class TestRipper::ScannerEvents < Test::Unit::TestCase [[3, 0], :on_heredoc_end, "EOS"]], Ripper.lex("<<EOS\nheredoc\nEOS") assert_equal [[[1, 0], :on_regexp_beg, "/"], - [[1, 1], :on_tstring_content, "foo\n"], - [[2, 0], :on_tstring_content, "bar"], + [[1, 1], :on_tstring_content, "foo\nbar"], [[2, 3], :on_regexp_end, "/"]], Ripper.lex("/foo\nbar/") + assert_equal [[[1, 0], :on_regexp_beg, "/"], + [[1, 1], :on_tstring_content, "foo\n\u3020"], + [[2, 3], :on_regexp_end, "/"]], + Ripper.lex("/foo\n\u3020/") + assert_equal [[[1, 0], :on_tstring_beg, "'"], + [[1, 1], :on_tstring_content, "foo\n\xe3\x80\xa0"], + [[2, 3], :on_tstring_end, "'"]], + Ripper.lex("'foo\n\xe3\x80\xa0'") end def test_location @@ -534,6 +541,10 @@ class TestRipper::ScannerEvents < Test::Unit::TestCase scan('tstring_content', '"abc#{1}def"') assert_equal ['sym'], scan('tstring_content', ':"sym"') + assert_equal ['a b c'], + scan('tstring_content', ':"a b c"') + assert_equal ["a\nb\nc"], + scan('tstring_content', ":'a\nb\nc'") end def test_tstring_end
-- --- 僕の前にBugはない。 --- 僕の後ろにBugはできる。 中田 伸悦