AIツールに入力するアドレスの接続先は、スマートフォンかもしれません
@Acurast の NodeGhost 参考例では、1台のスマートフォンで量子化版 Qwen2.5-3B を実行し、ゲートウェイを通じて OpenAI 互換形式の API を提供しています。モデルはスマートフォン上で推論を行い、このサンプルは Canary ネットワークにデプロイできます。
私が興味を持ったのは、開発者が使い慣れた呼び出し方法をそのまま使えることです。
この種のインターフェースに対応し、接続先をカスタマイズできるツールなら、設定を調整するだけで接続を試せます。たとえば、すでに作成済みの要約スクリプトなら、呼び出しのロジックはそのままに、バックエンドを切り替えて試せます。
接続が手軽かどうかは、使い続けてみたいと思えるかどうかに大きく影響します。最初のリクエストを送るだけで半日もかかるようでは、どれだけ優れたデモでも、ページを閉じられてしまいがちです。
性能は率直に見ておく必要があります。公式サンプルでは、生成速度は毎秒約3トークン。約120トークンの回答に45秒ほどかかり、複数ステップの推論ではエラーも発生します。この速度なら、結果を急がないバックグラウンドタスクに向いています。
チャット画面を見ながら45秒待つのは、私にはつらいです。
最初に試すなら、実行頻度の低い短い要約タスクを接続します。待ち時間を記録し、内容に重要な情報の抜けがないかを抜き打ちで確認します。インターフェースにつながった後は、こうした細かな点が、自分のワークフローに定着するかどうかを左右します。
紹介コード:kr7h9k
#Acurast #DePIN #AI