O grande setor de modelos de linguagem continua a crescer à medida que a StabilityAI, fabricante da popular ferramenta de geração de imagens Stable Diffusion, lançou um conjunto de ferramentas de modelo de linguagem de código aberto.
Apelidada de StableLM, as versões alfa disponíveis publicamente do conjunto contêm atualmente modelos com três e sete bilhões de parâmetros com modelos de 15, 30 e 65 bilhões de parâmetros anotados como “em andamento” e um modelo de 175 bilhões planejado para desenvolvimento futuro.
Anunciando StableLM❗Estamos lançando o primeiro de nossos grandes modelos de linguagem, começando com modelos de parâmetros 3B e 7B, com 15-65B a seguir. Nossos LLMs são lançados sob licença CC BY-SA. Também estamos lançando modelos ajustados por RLHF para uso em pesquisa. Leia mais→ https://t.co/R66Wa4gbnW pic.twitter.com/gvDDJMFBYJ
– Estabilidade AI (@StabilityAI) 19 de abril de 2023
Em comparação, o GPT-4 tem uma contagem de parâmetros estimada em um trilhão, seis vezes maior que seu antecessor GPT-3.
A contagem de parâmetros pode não ser uma medida uniforme da eficácia do LLM, no entanto, como observou a Stability AI em sua postagem no blog anunciando o lançamento do StableLM:
“O StableLM é treinado em um novo conjunto de dados experimental construído no The Pile, mas três vezes maior, com 1,5 trilhão de tokens de conteúdo […] A riqueza deste conjunto de dados dá ao StableLM um desempenho surpreendentemente alto em tarefas de conversação e codificação, apesar de seu pequeno tamanho de 3 a 7 bilhões de parâmetros.”
Não está claro neste momento exatamente quão robustos são os modelos StableLM. A equipe do StabilityAI observou na página do Github da organização que mais informações sobre os recursos dos LMs seriam disponibilizadas, incluindo especificações do modelo e configurações de treinamento.
Desde que os modelos tenham um bom desempenho nos testes, a chegada de uma poderosa alternativa de código aberto ao ChatGPT da OpenAI pode ser interessante para o mundo do comércio de criptomoedas.
Conforme relatado pelo Cointelegraph, as pessoas estão criando bots de negociação avançados com base na API GPT e em novas variantes que incorporam acesso a ferramentas de terceiros, como BabyAGI e AutoGPT.
A adição de modelos de código aberto ao mix pode ser uma vantagem para os comerciantes experientes em tecnologia que não querem pagar os prêmios de acesso da OpenAI.
Os interessados podem testar uma interface ao vivo para o modelo StableLM de 7 parâmetros B hospedado no HuggingFace. No entanto, no momento da publicação deste artigo, nossas tentativas de fazê-lo encontraram o site sobrecarregado ou lotado.