最近のIT業界の盛り上がりは本当にすごいですよね。生成AIが登場してからというもの、私たちの働き方はガラリと変わってしまいました。コードを書くのも、文章をまとめるのも、ブレインストーピングをするのすらAIが相手をしてくれる。まるで目の前に優秀な専属アシスタントが何人もいるような感覚で、一度この便利さを知ってしまうと、もうAIのいない世界には戻れない身体になってしまったというエンジニアやビジネスパーソンも多いはずです。私もその一人で、日々の開発や資料作りにはAIが手放せません。
しかし、そんな素晴らしいAIブームの裏側で、今、企業経営者やCFOたちの冷や汗が止まらない事態が起きています。それが今回取り上げるAIのコスト爆発問題です。人事ソフトウェアを手がけるRipplingという会社が、非常に興味深く、そして少し生々しいエピソードを公開して話題になっています。今回は、このニュースをきっかけに、私たちがこれから向き合わなければならないAI利用のリアルと、それを解決する技術的なアプローチについて、エンジニア目線で熱く語っていきたいと思います。
■AIの進化速度に財布の紐がついていかない現実
事の発端は、今年初頭にRippling社内で起きた衝撃的な出来事でした。テック企業らしく、社内のあらゆる部署でAIの利用を奨励し、最先端のツールをどんどん導入していった結果、なんと研究開発部門の人件費予算の40%がAIのトークン代金に消えていくという驚愕の事態が発生したのです。しかも、その支出は月間80%という凄まじいスピードで膨れ上がっていました。このまま放置すれば、翌年には人件費の90%がAIに吸い取られるという、笑えないSFディストピアのような未来がすぐそこまで迫っていたわけです。
経営陣が慌てて詳細な調査を行ったところ、さらに面白い、というか頭を抱えたくなるような事実が判明しました。なんと、全AI支出の約60%を、全体のわずか10から15パーセントの従業員が消費していたのです。中には、たった一人のエンジニアだけで月額5万ドル、日本円にしておよそ数百万もの金額を毎月AIにつぎ込んでいるケースもあったといいます。
ここでちょっと立ち止まって考えてみたいのですが、この状況は決してその従業員たちがサボっていたり、悪意を持って無駄遣いをしていたりしたわけではないはずです。優秀なエンジニアほど、目の前の複雑な課題を解決するために、最も強力で新しいモデルを使おうとします。CursorやOpenAI、Anthropicなどが提供する最先端のモデルは、確かに魔法のように素晴らしい回答を返してくれます。だからこそ、使えば使うほど仕事が捗る気がして、ついついアクセルを踏み続けてしまう。結果として、気づけば会社のとんでもない予算を溶かしていた、という構造なわけです。
■デフォルト設定の罠とベンダーのビジネスモデル
ここに、現在の生成AIエコシステムが抱える大きな構造的な課題が隠されています。OpenAIやAnthropicといった推論プロバイダー側には、企業の支出を抑えてあげるインセンティブが基本的に働きません。使ってくれた分だけ売上が伸びるビジネスモデルですから当然です。また、企業側にとっても、どの従業員がどのタスクにどれだけのコストをかけているのかを細かく追跡するダッシュボードなどは、標準では用意されていませんでした。
さらに根深いのは、人間心理のデフォルト効果です。多くの人が、日々の業務でプロンプトを投げる際、深く考えずにその時一番新しく、一番賢く、そして一番高価なモデルを選択しがちです。「どうせ使うなら最高のものを使いたい」というエンジニア魂や職人気質が、コスト意識のセンサーを麻痺させてしまうのです。
Ripplingの事例で特に興味深いのは、彼らがAIの利用そのものを禁止したり、回数を制限したりするような前時代的なアプローチをとらなかった点です。もしそこで「今月から利用枠は一人あたり何回までです」なんて制限をかけていたら、現場のエンジニアたちは猛反発したでしょうし、何より生産性の向上が止まってしまいます。彼らが選んだのは、もっとスマートで、技術者としてのプライドを刺激するような解決策でした。
■自社製AIゲートウェイがもたらしたブレイクスルー
Ripplingのエンジニアたちは、この問題を解決するために自社で「AIゲートウェイ」というシステムを構築しました。これが本当に見事で、技術的な美しさすら感じるアプローチです。
仕組みはこうです。従業員が投げたプロンプトの内容や難易度を分析し、そのタスクをこなすために本当に「最先端のモンスターモデル」が必要なのか、それとももう少し軽くて安いモデルで十分なのかを自動で判断し、適切なモデルにルーティングするというものです。
世の中には様々なAIラボがたくさんのモデルを提供しています。中には、最先端のフラグシップモデルと遜色ない性能を持ちながら、コストが数分の一、あるいはオープンウェイトモデルや中国製の安価なモデルであれば85%以上も安く利用できるものも存在します。例えば、簡単な定型文の生成や、少しのコード補完であれば、月額数万ドルもする最新モデルを使う必要はありません。そこを賢く見極めて裏側で振り分けてあげるだけで、出力の質を落とさずにコストだけを劇的に下げることができるわけです。
実際にこのゲートウェイを導入した結果、Ripplingは驚異的な成果を叩き出しました。ピーク時と同じ月間600億トークンという莫大な量を消費し続けているにもかかわらず、4月時点と比較して7月のコストをなんと37%も削減することに成功したのです。トークン費用は一時期の40%から約15%まで下がりました。AIの恩恵を一切妥協することなく、無駄な贅肉だけを綺麗にそぎ落とした、まさにエンジニアリングの勝利と言えるでしょう。
■生産性の可視化とこれから訪れる新しい管理の形
そして、この技術的なアプローチと並行して彼らが開発したのが、今回発表された「AI Spend Console」という製品です。個々の従業員、チーム、役割ごとにAIの利用コストを可視化し、それが本当に企業の生産性向上につながっているのかを検証できるようにしたツールです。
ブログの要約にもありましたが、このツールを使うと、例えば「コードレビューで同僚から頻繁に修正を求められる割に、AIのコストばかりがかさんでいるエンジニア」などを特定できるようになります。これは一見すると少し厳しい監視のようにも思えるかもしれませんが、本質はそこではありません。
重要なのは、AIの利用を「投資対効果（ROI）」の文脈で正しく評価できるようになるということです。これまでの企業活動において、サーバーのインフラ費用やクラウドのAWS代金は、当然のようにコスト管理の対象でした。どれだけのトラフィックをさばき、どれだけの売上に貢献しているのかをCFOやマネージャーは常にチェックしています。しかし、生成AIの波が急激に押し寄せたここ一、二年は、その魔法のような便利さゆえに、AIの利用コストだけが聖域のように野放しになっていたのです。
Slackやメールのように、全従業員が無制限に、コストを意識することなくAIにアクセスできる黄金時代は、そろそろ終わりを迎えようとしています。これからは、「このAIの利用によって、どれだけの顧客オンボーディングが成功したのか」「どれだけ開発スピードが上がったのか」という具体的な成果と、トークン消費量を結びつけて測定する時代がやってきます。
■技術愛を持ちながら新しい時代をサバイブする
ここまでRipplingの事例を紐解いてきましたが、この一連の流れは、私たちにテクノロジーとの向き合い方の大きなヒントを与えてくれているように思います。
AIは魔法の道具ではありません。ものすごく強力で、私たちの可能性を何倍にも広げてくれる素晴らしい技術ですが、同時にそれは現実世界の電力やインフラ、そして膨大な計算資源というコストの上に成り立っています。だからこそ、私たち使い手側も、ただやみくもに最先端のものを消費するのではなく、テクノロジーの裏側にあるコストや構造を理解し、適材適所で賢く使いこなすリテラシーが求められるのです。
安価なオープンウェイトモデルの特性を理解し、タスクの難易度に応じて動的にルーティングシステムを組み上げる。あるいは、非エンジニアの部門にもAIの活用を広げ、実際の成果との相関をデータで証明していく。こうしたアプローチは、単なるコストカットの枠を超えて、組織全体のエンジニアリング力を底上げする素晴らしい試みだと感じます。
生成AIの進化はこれからも止まることなく、さらに凄まじい速度で加速していくでしょう。次にどんな超高性能なモデルが登場するのか、想像するだけでワクワクが止まりません。新しい技術に出会ったときのあの高揚感を大切にしながらも、それを支えるシステムやコストのバランスに目を向け、より持続可能で知的な使い方の道を模索していく。そんなバランス感覚を持ったエンジニアや組織こそが、これからのAI時代を本当に楽しく、そして力強く生き抜いていけるのだと私は確信しています。
あなたの日々の開発やビジネスの中でも、もしかしたら気づかないうちに「デフォルトの最高峰モデル」をなんとなく使い続けて、無駄なトークンを浪費しているシーンがあるかもしれません。これを機に、一度ご自身のAIとの付き合い方や、チームでの利用状況を見つめ直してみてはいかがでしょうか。もしかすると、そこに眠る最適化の余地は、あなたの想像よりもずっと大きくて、新しい技術的な発見に満ちているかもしれませんよ。
