aiinference

Sürətli cavab verməyə başlayan süni intellekt yenə də işi bitirmək üçün çox vaxt apara bilər.

18 sentyabr məqaləsində io.net ilk tokenə qədər vaxtı (çıxışın başlamasından əvvəlki gözləmə) toplu məhsuldarlıqdan fərqləndirir. O, paylanmış GPU-larını ilk token yarışında qalib gəlməkdən çox xərclər və çeviklik ətrafında qurur.

$IO compute hekayəsi üçün mənim testim: bütün tapşırığı ölçməkdir. Canlı səsli köməkçi tez cavab tələb edir; gecə ərzində sənəd işi isə son tarixə qədər dəqiq nəticələri münasib ümumi xərcə uyğun verməlidir. Məqalədəki xərclə bağlı nümunələr izahlıdır, müstəqil ölçmə göstəriciləri deyil. Faktiki yükləmələr yenə də sınaq tələb edir.

Sizi daha çox nə əsəbiləşdirir: ilk sözü gözləmək, yoxsa hazır cavabı gözləmək? #AIInference

Əksər blokçeynlər icra və təsdiqi eyni problem kimi qəbul edir. Amma belə deyil.
İcra hesablama deməkdir. Təsdiq etimad deməkdir. Onları bir araya gətirmək həmişə bir üsul olub — dizayn seçimi deyil. Və illərdir ki, heç kim bunu fərq etmədi, çünki modellər o qədər sadə idi ki, "təkrar et və yoxla" həqiqi bir həll kimi görünürdü.
Artıq belə deyil.
AI inferensiyası təmiz şəkildə yenidən oynanmır. Eyni modeli fərqli avadanlıqlarda iki dəfə işlətsəniz, fərqli nəticələr ala bilərsiniz. Float dəqiqliyi, temperatur fərqləri, GPU özəllikləri — nəticələr dalğalanır. Beləliklə, əgər sizin təsdiq qatınız sadəcə "təkrar et və müqayisə et"dirsə, artıq itirmişsiniz. Siz həqiqəti təsdiq etmir, ideal şərtlərdə tutarlılığı təsdiq edirsiniz, bu tamamilə fərqli bir şeydir.
Bu, insanların "on-chain təsdiq edilən AI" haqqında danışarkən atlaya biləcəyi boşluqdur.
OpenGradient-in HACA arxitekturası əslində bu iki qatmanı ayırır. İcra düyünləri inferensiya aparır. Ayrı bir təsdiq qatı nəticəni yoxlayır — kriptoqrafik təsdiqləmə ilə, redundant yenidən icra etmə ilə deyil. Modeli işlətdi və onu təsdiq edən sistem fərqli iştirakçılardır, fərqli motivasiyaları var.
Bu ayrım insanların başa düşdüyündən daha önəmlidir. İcra və təsdiq eyni məntiq tərəfindən idarə edildikdə, sistemin etimad modeli yalnız icraçının dürüstlüyü qədər yaxşıdır. Siz AI-nı təsdiq etmir, sadəcə icraçının özünü bildirməsinə etibar edirsiniz.
Rolları ayırın, və motivasiya strukturu həqiqətən dəyişir. Təsdiq düyünlərinin icraçılarla birləşmək üçün heç bir səbəbi yoxdur — onlar modeli işlətdirməyiblər, sadəcə sübutu yoxlayırlar. Bu, nəzəri bir sərhəd deyil, real bir etimad sərhədidir.
Dürüst məhdudiyyət: təsdiqə əsaslanan təsdiqləmə hələ də inkişaf edir. Kriptoqrafik yük realdır, və iri modellərdə "doğru inferensiyanın sübutu" hələ də həll olunmuş bir problem deyil. Dizayn istiqaməti müdafiə olunandır. Amma real təhlükəsizlik fərziyyələri arxa planda çox iş görür.
#OpenGradient #DecentralizedAI #AIInference #opg $OPG @OpenGradient

Çox adam hesab edir ki, hesablaşma sadəcə darıxdırıcı arxa plandır. Hissə ki, "sadəcə işləyir."
Məhz buna görə də, ən pis anlarda qırılır.
İşlər əslində belədir. Bir AI modeli çıxış verəndə — nəticə yaradır, qərar verir, nəticəni qiymətləndirir — o çıxışın gerçək olub-olmadığını bilmirik. Heç bir təsdiq edilə bilən şəkildə. Başqasının serverindəki bir qara qutuya gerçəkliyi deməyə etibar edirsən. Və indiki AI infrastrukturunun 99%-ində bu, tam təhlükəsizlik modelidir. Mənə etibar et, dostum. İstehsalda. Böyük miqyasda.
Hesablaşma bunu düzəltməlidir. Fikir sadədir: modeli işlədirsən, düzgün işlədiyini sübut edirsən, o sübutu qeyd edirsən, və indi çıxışın bütövlüyü var. Sadə.
Amma o an soruşanda ki, o sübut necə hesablanır — on-chain, off-chain, optimistik, ZK, komitə əsaslı — anlayırsan ki, əslində heç kim razı deyil. Və ticarət balansı qəddar.
On-chain hesablaşma sənə real təsdiqlənmə verir, amma real vaxtlı AI çıxışını tamamilə qeyri-praktik edən gecikməni təqdim edir. Hər dəfə model çağırış etdikdə 12 saniyəlik blok təsdiqi üçün gözləyə bilməzsən.
Optimistik hesablaşma sürətlidir, amma bütövlük problemını irəliləyir — sən düzgünlüyü qəbul edirsən, birisi onu meydan oxumadığı müddətcə. Ən çox istifadəçi heç nəyi meydan oxumayacaq. Bu, sadəcə insan davranışıdır.
#OpenGradient #AIInference #opg $OPG @OpenGradient

A16Z YERLİ SÜNİ İDRAK İNQİLABINI DƏSTƏKLƏYİR: YERLİ CİHAZDA İŞLƏYƏN AGENTLƏR $AI NƏRRATİVİNİ ALOVLANDIRIR! ⚡ 🦈

📌 Silikon Vadisinin ağır çəkililəri a16z və Khosla Ventures, Conway Research-in Underdog yerli agentinə institusional kapital yatırdı. MLX üzərindən istehlakçı texnikasında birbaşa işləyən kompakt 4B parametrli model, 4.5x sürət nümayiş etdirir və sıfır-yüklü (zero-cloud) icraya doğru böyük struktur dönüşü göstərir. 💡

Ağıllı pul, şişirdilmiş data-mərkəz modellərindən çevik on-device intellektə keçidi aqressiv şəkildə qabaqlayır. 📊 Edge compute avtonom agentlərin icrası ilə qovuşduqca, yerli AI infrastrukturu müxtəlif bazarlarda növbəti əsas hekayə (narrative) hərəkətvericisinə çevrilir. ⚡

🤔 Yerli AI agentləri gündəlik işlər üçün mərkəzləşdirilmiş bulud modellərini köhnə edə bilərmi? 👇

⚠️ Maliyyə məsləhəti deyil. Riskinizi həmişə idarə edin. 🛡️

🏷️ #AI #CryptoAI #TechTrends #Agents #AIInference

🔥 ⚡