aievaluation

Anthropic ir ieviesis Bloom, atvērtā koda ietvars, kas izstrādāts, lai automatizētu AI uzvedības modeļu novērtēšanu. Šis inovatīvais rīks ģenerē jaunus novērtēšanas scenārijus katrā izpildē, mērot to pašu pamatuzvedību, vienlaikus nodrošinot kvantificējamus drošības rādītājus

Bloom galvenās iezīmes

Automatizēta novērtēšana*: Bloom automatizē uzvedības novērtējumu ģenerēšanu progresīviem AI modeļiem, samazinot manuālo testēšanas vajadzību.

Pielāgojama*: Pētnieki var definēt specifiskas uzvedības un pielāgot sistēmu, lai tā atbilstu viņu vajadzībām.

Reproducējamība*: Bloom uztur reproducējamību, izmantojot sēklas failu, kas definē novērtēšanas parametrus.

Mērogojamība*: Ietvars atbalsta liela mēroga eksperimentēšanu un integrējas ar Weights & Biases.

*Kā Bloom darbojas:*

1. *Izpratne*: Analizē uzvedības aprakstus un piemēru transkripcijas, lai noteiktu mērīšanas kritērijus.
2. *Ideju ģenerēšana*: Ģenerē pielāgotus scenārijus, lai rosinātu mērķa uzvedību.
3. *Izpilde*: Izpilda scenārijus paralēli, simulējot lietotāja darbības un rīku reakcijas.
4. *Novērtējums*: Novērtē mijiedarbības uzvedības klātbūtni un papildu atribūtus.

Bloom ir pierādījis augstu precizitāti, atšķirot AI uzvedības modeļus un cieši atbilst cilvēku novērtējumiem. Tas ir pieejams GitHub zem MIT licences, padarot to pieejamu pētniekiem un izstrādātājiem

#BloomFramework
#AIEvaluation
#OpenSourceAI
#ArtificialIntelligence
#MachineLearning
$BNB
$SOL
$BTC