Coinbase a efectuat un experiment pentru a evalua acuratețea modelului de limbaj de inteligență artificială, ChatGPT, dezvoltat de OpenAI, în detectarea vulnerabilităților de securitate în contractele inteligente.
Echipa Blockchain Security de la Coinbase a comparat rezultatele scorului de risc al ChatGPT pentru 20 de contracte inteligente cu cele obținute dintr-o evaluare manuală a securității, cu scopul de a determina dacă ChatGPT ar putea fi integrat în procesul de evaluare a securității. Testul a arătat că ChatGPT a produs aceleași rezultate ca și revizuirea manuală de 12 ori. Cu toate acestea, în restul de opt cazuri, ChatGPT nu a reușit să identifice un activ cu risc ridicat, iar cinci dintre acestea au fost etichetate cu risc scăzut.
ChatGPT este un instrument promițător pentru îmbunătățirea productivității într-o gamă largă de sarcini de dezvoltare și inginerie, inclusiv optimizarea codului și identificarea vulnerabilităților, printre altele, pe baza instrucțiunilor primite. Cu toate acestea, deși ChatGPT prezintă potențialul de a evalua rapid riscurile contractelor inteligente, nu îndeplinește cerințele de acuratețe necesare pentru a fi integrat în procesul de revizuire a securității Coinbase.
Echipa Blockchain Security folosește instrumentele interne de automatizare dezvoltate pentru a ajuta inginerii de securitate să revizuiască contractele inteligente ERC20/721 la scară. Pentru a testa capacitatea ChatGPT de a revizui riscurile de securitate din contractele inteligente, echipa a alimentat instrumentul cu un prompt care a specificat cadrul de evaluare a riscurilor care urmează să fie utilizat pentru a compara rezultatele cu cele obținute în urma revizuirii manuale. Cu toate acestea, echipa a remarcat că ChatGPT nu avea contextul sau informațiile necesare pentru a efectua un răspuns care ar putea fi comparat cu revizuirea manuală. Prin urmare, Coinbase a trebuit să învețe ChatGPT să identifice riscurile în conformitate cu cadrul de evaluare a securității.
Inginerie promptă, un domeniu AI în curs de dezvoltare, a jucat un rol semnificativ în asigurarea faptului că ChatGPT a produs rezultatele scontate. Echipa a trebuit să articuleze modul în care sarcina trebuie îndeplinită sau gestionată pentru a obține rezultatele scontate. Folosind promptul creat de Coinbase, ChatGPT a produs scoruri de risc care au fost folosite pentru a compara acuratețea instrumentului cu cea a unei revizuiri manuale.
În ciuda eficienței ChatGPT, experimentul a dezvăluit unele limitări care afectează acuratețea instrumentului. ChatGPT este incapabil să recunoască atunci când îi lipsește contextul pentru a efectua o analiză robustă de securitate, ceea ce duce la lacune de acoperire în cazul în care dependențele suplimentare nu sunt revizuite. Ar fi necesar un triaj inițial pentru a extinde evaluarea instrumentului de fiecare dată pentru a preveni golurile de acoperire. ChatGPT este, de asemenea, inconsecvent, deoarece aceeași întrebare poate primi răspunsuri diferite, iar instrumentul poate fi influențat de comentariile din cod.
În cele din urmă, OpenAI continuă să itereze pe ChatGPT, iar Coinbase este optimist că versiunile viitoare ale instrumentului pot fi mai eficiente în identificarea vulnerabilităților de securitate în contractele inteligente.
#Coinbase #COIN #ChatGPT #AI #azcoinnews
Acest articol a fost republicat de pe azcoinnews.com