Por | Dingjiao One? Wang Lu
Editor | Wei Jia
Enquanto a inteligência incorporada continua atraindo a atenção do capital, cada vez mais listas relacionadas também estão surgindo. Quando “o primeiro” quase se torna um padrão para todas as empresas, ainda existe credibilidade nas listas?
Há pouco mais de um mês, a Qianshan Intelligent passou por um momento constrangedor. No início de junho, o seu modelo de base para robôs, Spirit v1.6, na lista do RoboArena alcançou 1918 pontos, superando os 1880 pontos do Nvidia Cosmos3, ficando momentaneamente em “primeiro lugar no mundo”. Em seguida, a empresa anunciou a conclusão de uma rodada A+ no valor de 1,5 bilhão de yuan. Em apenas três meses, concluiu quatro rodadas de financiamento consecutivas e intensas, totalizando quase 5 bilhões de yuan, estabelecendo um novo recorde de frequência de financiamento no setor de inteligência incorporada.
Mas, dentro da indústria, as dúvidas sobre a qualidade dos dados de avaliação começaram a ganhar força quase já no dia seguinte. Um observador apontou que, entre os registros da avaliação de 310 rodadas, 72% das notas vieram de duas contas. Ainda mais preocupante: depois disso, a própria RoboArena publicou uma declaração. Após uma investigação de retrospecto, removeu parte dos dados de avaliação com questionamentos e atualizou as posições do ranking. O Spirit v1.6 também foi retirado do ranking.
Mas esse caso não apagou a empolgação dos jogadores. Ao abrir as notícias dos últimos quase seis meses da indústria, Xingdong Yuan, Wuli Lingji, Jijiashijie, Zhiyuan, Kuawév… quase todas as grandes empresas têm em mãos um “primeiro”, e essas dimensões do “primeiro” são diferentes.
Essa cena talvez não seja difícil de entender: a inteligência incorporada ainda não tem rotas técnicas unificadas, e a taxa de sucesso em robô real fica majoritariamente entre cinco e seis décimos. Para o mundo de fora, julgar se uma empresa realmente “funciona”, em grande medida, só consegue se apoiar em rankings. Mas quando quem divulga já são universidades e instituições, além de também haver mídia com padrões diferentes — e quando ainda existem pedidos comerciais e relações de interesse —, a própria tabela pode continuar a servir como régua? Isso vira uma questão.
Um investidor que acompanha a trilha de inteligência incorporada afirmou que os rankings são mais um reflexo de comportamento de mercado; no máximo, servem como referência para decisão de investimento. Ele não ficou surpreso com o caso do Qianxun. Na visão dele, as instituições que realmente se importam com posições, normalmente não são aquelas baseadas em ponto de partida financeiro ou técnico, e sim alguns fundos de apoio regionais ou dinheiro com viés de capital estatal. Um “primeiro” pode ser exatamente uma “porta de entrada” mais interessante para eles colocarem no relatório. Mas há investidores que pensam diferente: no início, quando a barreira tecnológica é alta e há assimetria de informação, os rankings pelo menos fornecem um ponto de partida para comparação horizontal.
Quando o número de “primeiros” é maior do que o de empresas que realmente estão fazendo robôs, esses rankings estão medindo tecnologia ou medindo a habilidade de contar histórias? Quais rankings ainda valem a pena observar?
01 As rotas técnicas ainda não se unificaram; cada um tem um “primeiro”
Vamos primeiro organizar e analisar os rankings que existem no mercado hoje, para formar uma impressão geral. Segundo estatísticas incompletas, os rankings ativos na inteligência incorporada chegam a mais de 20. Dependendo do conteúdo de avaliação, esses rankings podem ser divididos, em linhas gerais, em três categorias.
No ranking integrado de operações VLA, testa-se se o robô realmente consegue fazer trabalho. O que se mede é a taxa de sucesso das tarefas. Os rankings representativos são RoboChallenge Table30 e MolmoSpaces;
No ranking de modelos de mundo, o que se testa é se o raciocínio interno está correto: examina a capacidade do modelo de prever o mundo físico, e não se os braços e pernas do robô são ágeis. Exemplos são o World Arena e o WorldModelBench;
Ranking de benchmarks especializados: mede “se ele denuncia em situações extremas”. Foca em capacidades extremas de um único ponto, como coordenação entre dois braços e migração de simulação para robô real, com representações como RoboTwin 2.0, SimplerEnv, LIBERO e CALVIN. O valor disso está em, em cenários extremos que um ranking integrado não alcança, forçar as fraquezas do modelo a aparecer.
Vale explicar que essas três categorias de rankings têm focos diferentes e não substituem umas às outras. O ranking em robô real avalia execução; o ranking de modelos de mundo avalia simulação e inferência; e o ranking especializado avalia as fronteiras. Não existe nenhuma que cubra todas as capacidades da inteligência incorporada.
Com essa coordenada, o relatório de batalha dos modelos-base de inteligência incorporada dos últimos quase seis meses pode ser encaixado exatamente. Se consolidar os relatórios de batalha dos modelos-base de inteligência incorporada dos últimos dois meses, dá para obter uma lista bem impressionante.
Em maio deste ano, o Xingdong Yuan Era0 afirmou que conquistou o primeiro lugar do RoboChallenge Table30; o Zhiyuan GE-Sim 2.0 foi o primeiro no World Arena Track1; e o Kuawéi DSCFuncWorld foi o primeiro no World Arena Track2. Entrando em junho, o Qianxun Spirit v1.6 ficou em primeiro no RoboArena (depois removido), e o Lu Ming Prime R0 chegou ao topo no MolmoSpaces. Quase todas são “primeiras”; e todas têm um ranking específico como respaldo.
E o caos, também, começa a partir de vários rankings.
O mais evidente é que o topo parece uma fila de buffet: o “primeiro lugar” muda com frequência.
No topo do RoboChallenge Table30, nos últimos seis meses pelo menos mudou quatro vezes: primeiro, o Qianxun Spirit v1.5 atualizou o recorde com taxa de sucesso de 50,33%. Pouco tempo depois, o Extreme Vision GigaBrain-0.1, o Atlas da Boston Dynamics (EUA) e o Xingdong Yuan Era0 ultrapassaram, sucessivamente.
Esse ritmo é muito mais rápido do que o dos principais rankings de grandes modelos de linguagem. De 2023 a 2025, a posição de topo de GPT-4, Claude 3 e Gemini 1.5 em rankings como MMLU e GSM8K normalmente consegue ser mantida por meses, às vezes por um ano. Mesmo durante a fase de iteração acelerada de 2020 a 2022, GPT-3 e PaLM também trocavam de ranking em ciclos mensais. “Hoje, na inteligência incorporada, conseguir dominar um ranking por uma semana com um único modelo já não é fácil”, disse um profissional da área na empresa líder de inteligência incorporada, Mi Fan.
As principais razões se resumem a dois pontos. Primeiro, a aleatoriedade do mundo físico: o mesmo modelo executado duas vezes em robô real pode variar de 3 a 5 pontos percentuais de taxa de sucesso; fatores como iluminação, posição dos objetos e tolerância mecânica do braço influenciam o resultado. Já rankings de grandes modelos de linguagem como MMLU têm perguntas fixas e pontuação determinística: o mesmo modelo rodado cem vezes quase não muda. Segundo, o nível de abertura das tarefas de teste: no RoboChallenge Table30, a distribuição das 30 tarefas é pública. As empresas podem coletar dados especificamente seguindo as tarefas, fazer fine-tuning no modelo e então submeter. Assim, a “validade” do ranking do primeiro fica espremida para semanas.
Ainda mais confuso é que, dentro da mesma tabela, vários “primeiros” podem aparecer ao mesmo tempo.
O World Arena é o exemplo típico. O Zhiyuan GE-Sim 2.0 e o Kuawéi DSCFuncWorld chamam para o público de que “assumiram o topo do World Arena”. Mas, na verdade, esse ranking contém várias trilhas: o Zhiyuan GE-Sim 2.0 fica em primeiro no Track1 (percepção e resposta a ações) com 68,26 pontos; e o Kuawéi DSCFuncWorld fica em primeiro no Track2 (motor de dados). O “primeiro” pertence a sub-rankings diferentes, mas externamente é unificado em uma mesma frase.
Para leitores que não conhecem bem a divisão de trilhas, a afirmação de “primeiro do World Arena” em paralelo por duas empresas é praticamente impossível de distinguir. Até podem desconfiar de que alguém está mentindo. Mas, na verdade, ninguém está errado: só falta precisão.
Há ainda uma zona mais nebulosa: a própria natureza das tabelas é misturada. O “valor” de “primeiro” é tratado por padrão como a mesma categoria, o que facilita a desinformação.
Na comunicação externa de algumas empresas, elas frequentemente listam ao mesmo tempo “o modelo X está em primeiro no RoboChallenge” e “também ficou em primeiro em avaliação de uma mídia de inteligência incorporada”. A primeira frase é a taxa de sucesso obtida em rodadas reais 24/7; a segunda pode ser apenas uma lista decidida por discussões fechadas no editorial, ou até definida por acordo comercial. As duas são colocadas lado a lado na mesma frase, mas o valor é assumido como se fosse a mesma categoria.
A parte mais nebulosa é a “tabela da indústria”: alguns rankings levam o rótulo “da indústria”, mas não é um ranking rígido travado por robô real, nem um benchmark endossado por instituições acadêmicas. É um ranking de pontuação feito em parceria por empresas de consultoria ou mídia. Algo semelhante também aconteceu no mundo dos grandes modelos de linguagem. Porém, à medida que os rankings acadêmicos, as avaliações comerciais e os rankings de mídia foram se separando em camadas, o “primeiro em duas frentes” foi aos poucos sendo desmontado. Já a inteligência incorporada, no momento, ainda está naquela fase em que ainda não houve essa separação.
Quando essas três situações se sobrepõem, o resultado é uma inflação severa do “primeiro” nas tabelas. E essa inflação não fica só no nível do marketing: muitas vezes um título de “primeiro” traz aumento de atenção, recursos e até um prêmio real de avaliação.
02 Como é fabricado um “primeiro”?
Já que os rankings conseguem movimentar muito dinheiro real, como fabricar um “primeiro” também formou “regras não escritas”. Profissionais da área explicam que, embora o Qianxun Spirit v1.6 seja um caso extremo, o fenômeno de “fabricar primeiro” na indústria não é raro, e as táticas são basicamente três.
O método mais barato e também o mais comum é o “embelezamento” do discurso: “primeiro em cada disciplina” vira “primeiro na pontuação geral”. O núcleo é eliminar termos de limitação cruciais.
Por exemplo, na prática é “primeiro do VLA do RoboTwin 2.0 com coordenação de dois braços”, mas para o público vira “conquistou o topo do RoboTwin 2.0”. Na prática também é “primeiro no benchmark especializado de generalização do LIBERO-Plus”, mas para o público vira “líder do ranking LIBERO-Plus”. Não há falsificação de dados, e os resultados também são reais, porém o escopo do “primeiro” é ampliado artificialmente.
A segunda forma é interferir diretamente no resultado usando métodos como “treinar por questões”.
Uma maneira é “treinar seguindo as questões”. A distribuição de tarefas, os critérios de pontuação e os parâmetros do ambiente divulgados nas tabelas podem ser usados para treino direcionado. Em algumas tabelas em que as tarefas são relativamente fixas, isso fica ainda mais evidente: cada empresa pode obter notas altas repetindo “questões”, fazendo overfitting até um cenário específico.
Mi Fan diz que, em parte dos rankings do universo de inteligência incorporada, as tarefas de avaliação são públicas. As empresas podem coletar dados especificamente para essas tarefas, fazer fine-tuning e então submeter. Isso é visto como iteração normal no meio de inteligência incorporada, não como fraude. E difere essencialmente do que existe no mundo de LLM, como “vazamento de dados” e “contaminação de dados”.
A outra via é explorar brechas no mecanismo de avaliação. Alguns rankings têm muita autoridade, mas o mecanismo tem brechas. Por exemplo, a RoboArena usa cadastro aberto e avaliação distribuída: a intenção era permitir a participação de mais pessoas, mas isso deixou três brechas.
Primeiro, não há barreira para a identidade do avaliador. Qualquer pessoa pode se registrar como juiz. Em curto prazo, um grande número de novas contas concentra a avaliação do mesmo modelo; assim, é possível elevar rapidamente a pontuação Elo.
Segundo, a correspondência não força cobertura total: “alocação aleatória de oponentes” não significa que seja obrigatória uma rodada contra todos os que estão na tabela no mesmo período. Quando o avaliador recebe uma tarefa, A é fixa; B é sorteado aleatoriamente entre modelos com pontuações parecidas. Quando o tamanho da amostra não é grande, dois modelos podem não se enfrentar nem uma vez. Por exemplo, no início, o Spirit v1.6 se enfrentou com o DreamZero: pararam depois de 23 partidas. E o Cosmos 3-Nano-Policy da NVIDIA, que entrou no ranking em 30 de maio, não teve nenhuma partida contra. ;
Terceiro, avaliações concentradas: usar várias contas para avaliar intensivamente o próprio modelo, reduzindo os registros negativos. Por exemplo, entre os 310 registros de avaliação do Spirit v1.6, 72% das pontuações vieram das contas ECUST e Robotics Lab. Eles usaram 224 rodadas de avaliação para obter 97% de taxa de vitória, empurrando o Spirit v1.6 para o primeiro lugar. Mas a NVIDIA, com as mesmas condições, fez apenas 21 autoavaliações e teve taxa de vitória 0%. Colocando os dois conjuntos de dados lado a lado, isso faz os profissionais da área levantarem suspeitas.
Depois do fato, a RoboArena ajustou as regras: os avaliadores devem ser um terceiro sem vínculo de interesse, bloqueando a entrada para autoavaliação por contas próprias; contas com taxa de conclusão da avaliação abaixo de 20% são marcadas como suspeitas, e também se bloqueia a correspondência seletiva. Após o tratamento, Qianxun caiu do ranking.
Existe ainda uma forma ainda mais discreta e também mais comum: troca de recursos, literalmente transformando o ranking em negócio.
Muitos rankings feitos por mídias não têm critérios transparentes. Alguns chegam a ter parcerias comerciais com os objetos avaliados. As duas partes publicam em conjunto um “relatório de autoridade”, empacotando o ranking da mídia junto com o benchmark acadêmico. Isso não envolve tecnologia, nem dados: envolve orçamento e relações. Não foram poucas as pessoas da área que disseram que fenômenos como “burlar ranking” e “comprar ranking” não são raros.
Essas três táticas frequentemente se sobrepõem: primeiro, usar treino direcionado ou explorar brechas para elevar as pontuações; depois, trocar o contexto da trilha para mascarar a origem; por fim, disseminar externamente via discurso persuasivo e, quando necessário, comprar um respaldo de mídia no ranking. Por baixo de cada camada de embalagem, “primeiro” vira apenas isso.
Essas táticas não são segredo dentro da indústria. O verdadeiro problema é que, para “enxergar” tudo isso, é preciso um certo embasamento técnico. Quanto mais complexa a tecnologia, mais difícil para quem é de fora perceber; e a história, por outro lado, fica fácil de contar.
03 Depois de tirar a água, o que mais vale a pena acreditar?
Não foi só um profissional da inteligência incorporada que admitiu que eles já não ligam muito para o ranking atualmente. Porque dá para “burlar” e dá para “comprar”; e mesmo com tudo dentro da conformidade, a complexidade do ambiente físico dificulta que os dados sejam 100% precisos.
Um problema ainda mais profundo é que, atualmente, essa indústria ainda não tem uma “régua” universal.
O profissional da inteligência incorporada gashero usou uma analogia com “fritar ovos mexidos” e “misturar salada fria”: o robô A é bom em fritar ovos mexidos, com taxa de sucesso de 90%; o robô B é bom em misturar salada fria, com 85%. Mas não dá para dizer que A é melhor que B assim. Fritar ovos mexidos exige pegar e virar na frigideira; misturar salada fria exige despejar com precisão e mexer. São habilidades diferentes, com dificuldades diferentes, e critérios de avaliação também diferentes. Hoje, ainda não há um padrão unificado na trilha de inteligência incorporada que consiga “traduzir” a capacidade de “fritar ovos” e de “misturar salada fria” para o mesmo sistema de pontuação.
Mas isso não significa que os rankings não tenham nenhum valor. Profissionais da área geralmente acreditam que os rankings ainda têm valor de referência; a chave é saber o que vale a pena ver e, depois de ver, o que ainda precisa ser observado.
De acordo com o consenso geral da indústria, um ranking realmente confiável, em linhas gerais, tem três características.
Primeiro, transparência por itens: não é apenas “jogar um ‘primeiro’”.
Tanto para ranking integrado quanto para ranking especializado, a forma confiável é desmontar cada item. Tome o RoboChallenge Table30 como exemplo: ele mede a taxa de sucesso integrada em 30 tarefas do dia a dia. A credibilidade está em que, além de dizer ao leitor o número agregado 64,33%, ele também mostra quais das 30 tarefas estão indo bem e em quais está escorregando. Rankings que reportam só a pontuação total, sem detalhar itens, perdem muito do valor.
Segundo, a avaliação é controlada por terceiros, e existe também um desenho contra “burlar por rebuscar”;
MolmoSpaces não permite fine-tuning; o modelo faz o “exame direto”, “nu”. O LIBERO-Plus adiciona perturbações extremas como mutação de iluminação, fundo confuso e variação do ângulo da câmera, justamente para evitar tirar pontos apenas decorando de cabeça. A característica em comum é deixar o “treino por questões” mais difícil e transformar generalização em um verdadeiro critério de passagem.
Terceiro, olhe o mecanismo da avaliação, não a frequência de atualização.
Tabelas com atualização lenta não são necessariamente confiáveis, e tabelas com atualização rápida também não necessariamente são “à prova de ser burlada”. Algumas atualizam devagar porque o custo de testar em robô real é muito alto: por exemplo, em RoboChallenge, um ciclo completo de avaliação pode levar semanas; são 30 tarefas, cada uma rodando 10 vezes, totalizando 300 tentativas em robô real, com execução contínua 24/7 por 7 dias. Esse é o limite de custo do mundo físico. Já outras que atualizam rápido devem isso ao desenho do mecanismo. Por exemplo, a RoboArena usa um sistema de pontuação Elo para ranqueamento dinâmico: entram novos dados de batalhas todos os dias, então o ranking naturalmente atualiza diariamente. A rapidez em si não é o problema; a credibilidade depende de o mecanismo ser rigoroso e de as brechas serem corrigidas.
Mas, já que todo mundo dentro do círculo sabe que os rankings têm “água”, por que ainda estão se esforçando tanto para atualizar?
A resposta está na fase atual da indústria.
Neste momento, a disputa pelo “primeiro” é, em essência, fruto da ansiedade do capital. Este ano é um período de intensas iterações do modelo-base de inteligência incorporada. No começo da trilha, o volume de remessas, receita e quantidade de pedidos variavam muito; só se podia colocar o ranking no topo. A orientação para financiamento não mudou, então a “caça ao ranking” também não vai parar.
Quando a indústria entra na próxima fase, a régua de avaliação naturalmente muda. Por exemplo: quantas unidades são entregues por ano, quais clientes fixos existem e se é possível lucrar. Naquela hora, a inflação do “primeiro” naturalmente se dissipa, e o ranking volta ao lugar que deveria ocupar.
Talvez a resposta real da indústria esteja em empresas que não estão ocupadas “caçando” rankings, apenas mandam os robôs para a linha de produção.
(Conforme solicitação do entrevistado; “Mi Fan” é um pseudônimo.)