Claude の料金を払ったのに、手に入るのは豆包？

グラフィックカードを買うときは検品するのに、AI を使うときは API に表示されたモデル名だけを信じてしまいがち。回答が返ってくれば、納品に問題はないと思ってしまいます。

でも、ツールが動かなかったり、コンテキストが短くなっていたりしても、API は正常に応答することがあります。Agent が途中で止まっても、コードを見返しながら、自分の書き方が悪いのかと疑ってしまうことも 🫠

@miranetwork の Sterling は、モデルサービスの提供段階にチェックを導入しました。

Mira は、モデルの正体、ツール呼び出し、パラメーターの遵守、サイレント障害、コンテキスト長の5つの評価項目を設けています。サービスプロバイダーを定期的にテストし、モデル別・プロバイダー別に公開スコアを付けます。製品の説明によると、Sterling は検証に合格したプロバイダーにリクエストをルーティングします。

スコアはサンプルテストに基づいており、具体的なテスト項目や不合格だった項目は、ページで確認できます。API を接続すれば、少なくとも確認できる情報があり、問題が起きたときの調査先もひとつ増えます。

API キー1つで接続でき、Claude、GPT、Gemini に対応。OpenAI API 互換です。USDC または $MIRA でチャージでき、使用量に応じて課金されます。

普段から Agent をいじったり、サードパーティーの API を接続したりしている人は、まずよく使うモデルのプロバイダーを調べて、テスト記録と更新日時を確認してから、どこにリクエストを任せるか決めてみてください 👇

https://sterling.mira.network/verification/