O novo benchmark IGG destaca uma etapa frequentemente ignorada nas interações com interfaces gráficas: se o alvo não está visível na tela atual, é preciso primeiro rolar a página, passar o cursor, arrastar ou esperar até que ele apareça — e só então clicar. São 601 tarefas, distribuídas por 16 ambientes interativos, divididas em sete categorias de restrições de visibilidade.
Os resultados chamam a atenção. A taxa de acerto dos participantes humanos foi de 94,6%; a do GPT-5.5, de 79,4%; e a do VLM de código aberto mais forte entre os avaliados ficou em apenas 31,6%.
Mais interessantes ainda são os resultados de dois testes comparativos: dizer ao Qwen3-VL qual ação de interação realizar elevou a taxa de acerto de apenas 30,8% para 33,9%; realizar a interação por ele fez a taxa saltar diretamente para 81,9%. O obstáculo não é «reconhecer o alvo depois de vê-lo», mas sim «fazer o alvo aparecer por conta própria».
Este é um preprint do arXiv e ainda não passou por revisão por pares, então encare os números como uma referência preliminar.
$BTC
Os resultados chamam a atenção. A taxa de acerto dos participantes humanos foi de 94,6%; a do GPT-5.5, de 79,4%; e a do VLM de código aberto mais forte entre os avaliados ficou em apenas 31,6%.
Mais interessantes ainda são os resultados de dois testes comparativos: dizer ao Qwen3-VL qual ação de interação realizar elevou a taxa de acerto de apenas 30,8% para 33,9%; realizar a interação por ele fez a taxa saltar diretamente para 81,9%. O obstáculo não é «reconhecer o alvo depois de vê-lo», mas sim «fazer o alvo aparecer por conta própria».
Este é um preprint do arXiv e ainda não passou por revisão por pares, então encare os números como uma referência preliminar.
$BTC
