$龙虾
DeepSeek publica em aberto um sandbox de treinamento de agentes proxy DSec, com Liang Wenfeng como autor
A DeepSeek divulgou um novo artigo, tornando público o conjunto de infraestrutura de sandbox que a empresa usa para treinar agentes de IA. Segundo o artigo no arXiv “DeepSeek Elastic Compute (DSec)”, esse sistema é usado para dar suporte a treinamento e avaliação de agentes em grande escala. O fundador Liang Wenfeng também é listado como autor. Um SDK que gerencia quatro tipos de sandboxes. O artigo aponta que, quando modelos de linguagem grandes são usados para treinar e avaliar agentes em larga escala, o modelo precisa inspecionar bibliotecas, chamar ferramentas, executar comandos e interagir com serviços relacionados à tarefa dentro de um ambiente de execução isolado e que mantenha estado. Esse tipo de carga de trabalho cria muitos sandboxes em pouco tempo, com requisitos de funcionalidade e isolamento que variam, além de exigir retenção de estado durante interações de longa duração e reaproveitamento de um enorme conjunto de imagens, embora a taxa de reutilização seja baixa. Por isso, o artigo argumenta que o que é necessário para sustentar essas tarefas é uma plataforma de execução flexível, e não um único ambiente de execução de sandbox. A abordagem do DSec é oferecer, por meio de um SDK unificado, quatro back-ends: chamadas de função, contêineres, máquinas virtuais leves e máquinas virtuais completas. O sistema organiza a alocação e o gerenciamento do ciclo de vida dos ambientes no cluster, combinando camadas versionadas de forma independente, e aumenta a densidade de execução com compartilhamento de memória, reciclagem e escalonamento de CPU. As imagens também são carregadas sob demanda a partir de um sistema de arquivos distribuído em nível de cluster, o 3FS. Projetado em conjunto com frameworks de aprendizado por reforço, separando simulações com estado e treinamento que pode ser preemptado. O artigo explica que o DSec e o framework de aprendizado por reforço (RL) foram co-projetados: desacoplar a execução de simulações com estado do treinamento de GPU que pode ser preemptado, coordenar o ciclo de vida do sandbox com o treinamento, preservando o estado da simulação ao mesmo tempo em que recursos ociosos são reciclados, além de lidar com problemas de mau comportamento dos agentes. De acordo com a reportagem da TechNode, uma unidade em escala de produção é composta por cerca de 160 nós. Por dia, consegue suportar aproximadamente 3 milhões de sandboxes; ao mesmo tempo, executa mais de 380 mil sandboxes; e consegue criar mais de 5.000 sandboxes por segundo. Os autores do artigo somam mais de 130 pessoas. Este artigo DeepSeek publica em aberto um sandbox de treinamento de agentes proxy DSec, com Liang Wenfeng como autor aparece primeiro em .
DeepSeek publica em aberto um sandbox de treinamento de agentes proxy DSec, com Liang Wenfeng como autor
A DeepSeek divulgou um novo artigo, tornando público o conjunto de infraestrutura de sandbox que a empresa usa para treinar agentes de IA. Segundo o artigo no arXiv “DeepSeek Elastic Compute (DSec)”, esse sistema é usado para dar suporte a treinamento e avaliação de agentes em grande escala. O fundador Liang Wenfeng também é listado como autor. Um SDK que gerencia quatro tipos de sandboxes. O artigo aponta que, quando modelos de linguagem grandes são usados para treinar e avaliar agentes em larga escala, o modelo precisa inspecionar bibliotecas, chamar ferramentas, executar comandos e interagir com serviços relacionados à tarefa dentro de um ambiente de execução isolado e que mantenha estado. Esse tipo de carga de trabalho cria muitos sandboxes em pouco tempo, com requisitos de funcionalidade e isolamento que variam, além de exigir retenção de estado durante interações de longa duração e reaproveitamento de um enorme conjunto de imagens, embora a taxa de reutilização seja baixa. Por isso, o artigo argumenta que o que é necessário para sustentar essas tarefas é uma plataforma de execução flexível, e não um único ambiente de execução de sandbox. A abordagem do DSec é oferecer, por meio de um SDK unificado, quatro back-ends: chamadas de função, contêineres, máquinas virtuais leves e máquinas virtuais completas. O sistema organiza a alocação e o gerenciamento do ciclo de vida dos ambientes no cluster, combinando camadas versionadas de forma independente, e aumenta a densidade de execução com compartilhamento de memória, reciclagem e escalonamento de CPU. As imagens também são carregadas sob demanda a partir de um sistema de arquivos distribuído em nível de cluster, o 3FS. Projetado em conjunto com frameworks de aprendizado por reforço, separando simulações com estado e treinamento que pode ser preemptado. O artigo explica que o DSec e o framework de aprendizado por reforço (RL) foram co-projetados: desacoplar a execução de simulações com estado do treinamento de GPU que pode ser preemptado, coordenar o ciclo de vida do sandbox com o treinamento, preservando o estado da simulação ao mesmo tempo em que recursos ociosos são reciclados, além de lidar com problemas de mau comportamento dos agentes. De acordo com a reportagem da TechNode, uma unidade em escala de produção é composta por cerca de 160 nós. Por dia, consegue suportar aproximadamente 3 milhões de sandboxes; ao mesmo tempo, executa mais de 380 mil sandboxes; e consegue criar mais de 5.000 sandboxes por segundo. Os autores do artigo somam mais de 130 pessoas. Este artigo DeepSeek publica em aberto um sandbox de treinamento de agentes proxy DSec, com Liang Wenfeng como autor aparece primeiro em .
