String クラスの insert メソッドは、
insertとinsert!というように2通りのパターンで用意されていないのには理由があるのですか？

使用しているバージョンは、1.8.2 です。