A Hugging Face apresentou recentemente o SmolLM, uma série de inovadores Small Language Models (SLMs) que superam significativamente os SLMs pré-existentes, incluindo aqueles desenvolvidos por gigantes da tecnologia.

Neste artigo, fornecemos uma breve visão geral do SmolLM e analisamos como os nós DePIN da AIOZ podem potencializá-los para melhorar o desempenho no mundo real.

Vamos mergulhar:

Os Large Language Models (LLMs) são bastante conhecidos pela quantidade de poder de processamento e eletricidade que exigem para lidar com tarefas computacionais complexas de forma eficaz.

Por esse motivo, os Small Language Models (SLMs) ganharam força significativa graças ao seu design leve e com uso eficiente de recursos, permitindo que sejam executados em pequenos dispositivos com poder computacional limitado.

Três semanas atrás, a Hugging Face lançou o SmolLM, uma família de SLMs de última geração disponíveis em três tamanhos: parâmetros 135M, 360M e 1,7B.

O SmolLM foi treinado usando um conjunto de dados de treinamento de alta qualidade meticulosamente selecionado, conhecido como "SmolLM-Corpus", permitindo que o SmolLM superasse outros modelos de tamanho semelhante em um conjunto diversificado de benchmarks.

A Hugging Face disponibilizou ao público a curadoria de dados, a avaliação de modelos e o uso do SmolLM, um forte contraste com os SLMs oferecidos por gigantes da tecnologia, cujos detalhes de curadoria de dados e treinamento são mantidos em segredo.

O desempenho impressionante do SmolLM em dispositivos pequenos, incluindo smartphones, alinha-se perfeitamente com nossos objetivos de fornecer computação de IA descentralizada em larga escala no AIOZ DePIN.

O AIOZ DePIN consiste em mais de 180.000 nós de borda globais que podem efetivamente executar o SmolLM localmente, expondo entidades que utilizarão o AIOZ DePIN para computação de IA aos benefícios do SmolLM.

Vamos analisar como os nós AIOZ DePIN podem alimentar o SmolLM:

1.) Acesso aos recursos do DePIN: O aplicativo AIOZ Node, o software executado nos nós AIOZ DePIN, pode utilizar seus recursos de computação para fornecer ao SmolLM poder de processamento (GPU/CPU) para executar tarefas de inferência de IA e espaço de armazenamento (SSD/HDD) para armazenar dados gerados por IA.

2.) Aprendizado federado: os nós AIOZ DePIN podem treinar novamente o SmolLM usando conjuntos de dados armazenados localmente graças aos seus recursos de aprendizado federado introduzidos pelo AIOZ Node V3.

3.) Acesso ao AIOZ W3AI Marketplace: O W3AI Marketplace, um mercado colaborativo para conjuntos de dados de IA e modelos de IA, pode fornecer ao SmolLM em execução nos nós AIOZ DePIN acesso fácil a uma ampla gama de ativos de IA de alta qualidade que podem melhorar muito sua eficácia.

4.) Escalabilidade e confiabilidade: com uma vasta rede de nós descentralizados, o AIOZ DePIN garante que o SmolLM possa escalar de forma eficiente e manter alta confiabilidade, mesmo durante os horários de pico de uso.

5.) Segurança e privacidade: os nós AIOZ DePIN aumentam a segurança e a privacidade das operações SmolLM. Ao distribuir o processamento de dados em vários nós, o risco de violações de dados centralizadas é minimizado. Além disso, a abordagem de aprendizado federado garante que os dados confidenciais permaneçam locais, protegendo a privacidade do usuário e ainda permitindo o treinamento eficaz do modelo.

6.) Eficiência de Custo: Utilizar a infraestrutura descentralizada do AIOZ DePIN pode reduzir significativamente os custos operacionais associados à execução de modelos de IA em larga escala. Os recursos compartilhados pela rede significam que o custo do hardware e o consumo de energia são distribuídos, tornando-a uma solução economicamente mais viável para a implantação do SmolLM.

Conclusão:

A combinação de poder computacional descentralizado, aprendizado federado e um mercado robusto para ativos de IA garante que o SmolLM possa oferecer alto desempenho, mantendo a segurança, a escalabilidade e a eficiência de custos.

À medida que a adoção de Small Language Models continua a crescer, a colaboração entre a AIOZ DePIN e a SmolLM define um novo padrão para o que é possível na computação de IA descentralizada.

Fique ligado para mais atualizações enquanto continuamos a explorar o potencial da IA ​​descentralizada com AIOZ DePIN e SmolLM!