Há muito tempo, o treinamento de robôs enfrenta um desafio: ambientes de simulação podem gerar rapidamente uma grande quantidade de experiências de manipulação, mas elas nem sempre são úteis quando levadas para o mundo real.
A pesquisa TUCO da @axisrobotics me mostrou uma solução que vale a pena acompanhar.
Em vez de fazer o robô aprender todas as possibilidades, é melhor primeiro identificar o que ele mais precisa aprender naquele momento.
A abordagem do TUCO usa um pequeno número de demonstrações reais de manipulação para avaliar quais trajetórias simuladas são mais úteis para a tarefa desejada e, em seguida, seleciona os dados de treinamento mais adequados.
Os resultados dos experimentos são bastante interessantes:
→ Usando apenas demonstrações reais, a taxa média de sucesso foi de cerca de 16,7%
→ Com a adição de todas as 1.200 trajetórias simuladas, a taxa de sucesso foi de cerca de 25,8%
→ Após selecionar cerca de 600 trajetórias simuladas, a taxa de sucesso subiu para 85,8%
Os dados refletem uma possível mudança na forma de treinar robôs.
No passado, fazer um robô aprender mais operações geralmente exigia mais dados e maiores custos de treinamento.
Mas, quando os dados contêm muitas experiências repetitivas ou até mesmo inadequadas para a tarefa atual, simplesmente aumentar a quantidade nem sempre traz melhores resultados.
O TUCO busca justamente resolver o problema de identificar, entre grandes volumes de experiências simuladas, aquelas que realmente podem melhorar o desempenho do robô físico.
Isso também me fez repensar o mecanismo de dados da @axisrobotics.
Se ele puder transformar o feedback das operações no mundo real em critérios para selecionar e otimizar dados de treinamento, seu valor não estará apenas em produzir dados, mas também em aumentar a eficiência com que cada dado é utilizado.
É claro que, por enquanto, os resultados se baseiam em três tarefas de manipulação controladas. O desempenho com diferentes tipos de robôs e em ambientes complexos ainda precisa ser validado por mais experimentos.
Mas essa é, sem dúvida, uma direção que vale a pena acompanhar.
Quando os robôs deixarem de apenas aprender mais e passarem a entender melhor o que precisam aprender, será possível transformar a expansão dos dados em verdadeira capacidade de manipulação.
A pesquisa TUCO da @axisrobotics me mostrou uma solução que vale a pena acompanhar.
Em vez de fazer o robô aprender todas as possibilidades, é melhor primeiro identificar o que ele mais precisa aprender naquele momento.
A abordagem do TUCO usa um pequeno número de demonstrações reais de manipulação para avaliar quais trajetórias simuladas são mais úteis para a tarefa desejada e, em seguida, seleciona os dados de treinamento mais adequados.
Os resultados dos experimentos são bastante interessantes:
→ Usando apenas demonstrações reais, a taxa média de sucesso foi de cerca de 16,7%
→ Com a adição de todas as 1.200 trajetórias simuladas, a taxa de sucesso foi de cerca de 25,8%
→ Após selecionar cerca de 600 trajetórias simuladas, a taxa de sucesso subiu para 85,8%
Os dados refletem uma possível mudança na forma de treinar robôs.
No passado, fazer um robô aprender mais operações geralmente exigia mais dados e maiores custos de treinamento.
Mas, quando os dados contêm muitas experiências repetitivas ou até mesmo inadequadas para a tarefa atual, simplesmente aumentar a quantidade nem sempre traz melhores resultados.
O TUCO busca justamente resolver o problema de identificar, entre grandes volumes de experiências simuladas, aquelas que realmente podem melhorar o desempenho do robô físico.
Isso também me fez repensar o mecanismo de dados da @axisrobotics.
Se ele puder transformar o feedback das operações no mundo real em critérios para selecionar e otimizar dados de treinamento, seu valor não estará apenas em produzir dados, mas também em aumentar a eficiência com que cada dado é utilizado.
É claro que, por enquanto, os resultados se baseiam em três tarefas de manipulação controladas. O desempenho com diferentes tipos de robôs e em ambientes complexos ainda precisa ser validado por mais experimentos.
Mas essa é, sem dúvida, uma direção que vale a pena acompanhar.
Quando os robôs deixarem de apenas aprender mais e passarem a entender melhor o que precisam aprender, será possível transformar a expansão dos dados em verdadeira capacidade de manipulação.