Potrivit PANews, compania de inteligență artificială a lui Elon Musk xAI a anunțat lansarea greutăților și arhitecturii modelului său expert hibrid cu 314 de miliarde de parametri, Grok-1. Modelul de limbaj mare a fost antrenat de la zero de xAI folosind o arhitectură de model expert hibrid, cu 25% din ponderi active pe un anumit token. Greutățile modelului de bază și arhitectura de rețea sunt acum disponibile sub licența Apache 2.0.
Faza de pre-antrenament a lui Grok-1 a fost finalizată în octombrie 2023, iar versiunea lansată în prezent este punctul de control al modelului de bază original, neajustat pentru nicio aplicație specifică. Utilizatorii interesați să utilizeze modelul pot urma instrucțiunile furnizate pe github.com/xai-org/grok.