金本と申します。
横からすみません。

% oslevel -s
5200-10-07-0902
という環境で、

% gcc -v
Using built-in specs.
Target: powerpc-ibm-aix5.2.0.0
Configured with: ../configure --with-as=/usr/bin/as
--with-ld=/usr/bin/ld --disable-nls --enable-languages=c,c++
--prefix=/opt/freeware --enable-threads
--enable-version-specific-runtime-libs --host=powerpc-ibm-aix5.2.0.0
Thread model: aix
gcc version 4.0.0

を使ってruby-1.8.7-p174を
% ./configure --prefix=$HOME/r187p174
% make
してみたのですが、私のところでは

% make test
test succeeded

となりました。
minirubyでの結果は
% ./miniruby -e 'x=2.6.round; p x.class, "%.20f" % x'
Fixnum
"3.00000000000000000000"
でした。

いったい何が違うのかわからないのでぜんぜんお力になれないのです(すみません)が、
たとえば、gccのバージョンとかどこから持ってきたものとかは
情報ありますでしょうか?
私は確か
ftp.software.ibm.com:/aix/freeSoftware/aixtoolbox/RPMS/ppc/gcc
からもってきました。

最初のメールには./configureにオプションを指定されていないようでしたが、
何か特別なものをご利用ですか?
あるいは、付属のconfigureではなく、autoconfされたようですが、
autoconfのバージョンはいくつをお使いでしょうか?
コンパイルできているようですので関係ないですかね。
一応こちらのmath.hにroundは入っていました。
-- 
Yutaka KANEMOTO
http://d.hatena.ne.jp/kinpoco/