Agora disponível, modelo de fundação totalmente personalizável traz habilidades e raciocínio generalizados para robôs humanoides
NVIDIA, Google DeepMind e Disney Research colaboram para desenvolver o mecanismo de física Newton de código aberto de última geração
Novo modelo Omniverse para geração de dados sintéticos e conjunto de dados de código aberto Jumpstart Physical AI Data Flywheel
NVIDIA anuncia Isaac GR00T N1 — o primeiro modelo de base de robô humanoide aberto do mundo — e estruturas de simulação para acelerar o desenvolvimento de robôs
GTC — A NVIDIA anunciou hoje um portfólio de tecnologias para impulsionar o desenvolvimento de robôs humanoides, incluindo o NVIDIA Isaac GR00T N1 , o primeiro modelo de base aberto e totalmente personalizável do mundo para raciocínio e habilidades humanoides generalizados.
As outras tecnologias incluem estruturas de simulação e projetos, como o NVIDIA Isaac GR00T Blueprint para geração de dados sintéticos , bem como o Newton , um mecanismo de física de código aberto — em desenvolvimento com o Google DeepMind e a Disney Research — desenvolvido especificamente para o desenvolvimento de robôs.
Já disponível, o GR00T N1 é o primeiro de uma família de modelos totalmente personalizáveis que a NVIDIA irá pré-treinar e lançar para desenvolvedores de robótica do mundo todo, acelerando a transformação de indústrias desafiadas pela escassez global de mão de obra estimada em mais de 50 milhões de pessoas.
“A era da robótica generalista chegou”, disse Jensen Huang, fundador e CEO da NVIDIA. “Com o NVIDIA Isaac GR00T N1 e novas estruturas de geração de dados e aprendizado de robôs, desenvolvedores de robótica em todos os lugares abrirão a próxima fronteira na era da IA.”
GR00T N1 Avança Comunidade de Desenvolvedores Humanoides
O modelo de fundação GR00T N1 apresenta uma arquitetura de sistema dual, inspirada em princípios da cognição humana. O “Sistema 1” é um modelo de ação de pensamento rápido, espelhando reflexos humanos ou intuição. O “Sistema 2” é um modelo de pensamento lento para tomada de decisão deliberada e metódica.
Alimentado por um modelo de linguagem de visão, o Sistema 2 raciocina sobre seu ambiente e as instruções que recebeu para planejar ações. O Sistema 1 então traduz esses planos em movimentos precisos e contínuos do robô. O Sistema 1 é treinado em dados de demonstração humana e uma quantidade massiva de dados sintéticos gerados pela plataforma NVIDIA Omniverse™ .
O GR00T N1 pode facilmente generalizar em tarefas comuns — como agarrar, mover objetos com um ou ambos os braços e transferir itens de um braço para outro — ou executar tarefas multietapas que exigem contexto longo e combinações de habilidades gerais. Essas capacidades podem ser aplicadas em casos de uso, como manuseio de materiais, embalagem e inspeção.
Desenvolvedores e pesquisadores podem pós-treinar o GR00T N1 com dados reais ou sintéticos para seu robô humanoide ou tarefa específica.
Em sua palestra principal no GTC, Huang demonstrou o robô humanoide da 1X realizando tarefas de limpeza doméstica de forma autônoma usando uma política pós-treinada construída no GR00T N1. As capacidades autônomas do robô são o resultado de uma colaboração de treinamento de IA entre a 1X e a NVIDIA .
“O futuro dos humanoides é sobre adaptabilidade e aprendizado”, disse Bernt Børnich, CEO da 1X Technologies. “Enquanto desenvolvemos nossos próprios modelos, o GR00T N1 da NVIDIA fornece um impulso significativo ao raciocínio e às habilidades dos robôs. Com dados mínimos de pós-treinamento, implantamos totalmente no NEO Gamma — avançando nossa missão de criar robôs que não sejam apenas ferramentas, mas companheiros capazes de auxiliar os humanos de maneiras significativas e incomensuráveis.”
Entre os principais desenvolvedores humanoides do mundo com acesso antecipado ao GR00T N1 estão Agility Robotics , Boston Dynamics , Mentee Robotics e NEURA Robotics .
NVIDIA, Google DeepMind e Disney Research focam em física
A NVIDIA anunciou uma colaboração com o Google DeepMind e a Disney Research para desenvolver o Newton, um mecanismo de física de código aberto que permite que robôs aprendam a lidar com tarefas complexas com maior precisão.
Construído na estrutura NVIDIA Warp , o Newton será otimizado para aprendizado de robôs e compatível com estruturas de simulação como o MuJoCo do Google DeepMind e o NVIDIA Isaac™ Lab . Além disso, as três empresas planejam permitir que o Newton use o mecanismo de física da Disney.
O Google DeepMind e a NVIDIA estão colaborando para desenvolver o MuJoCo-Warp, que deve acelerar as cargas de trabalho de aprendizado de máquina em robótica em mais de 70 vezes e estará disponível para desenvolvedores por meio da biblioteca de código aberto MJX do Google DeepMind, bem como por meio do Newton.
A Disney Research será uma das primeiras a usar o Newton para desenvolver sua plataforma de personagens robóticos que alimenta robôs de entretenimento de última geração, como os expressivos droides BDX inspirados em Star Wars que se juntaram a Huang no palco durante sua palestra no GTC.
“Os droides BDX são apenas o começo. Estamos comprometidos em dar vida a mais personagens de maneiras que o mundo nunca viu antes, e essa colaboração com a Disney Research, NVIDIA e Google DeepMind é uma parte fundamental dessa visão”, disse Kyle Laughlin, vice-presidente sênior da Walt Disney Imagineering Research & Development. “Essa colaboração nos permitirá criar uma nova geração de personagens robóticos que são mais expressivos e envolventes do que nunca — e se conectar com nossos convidados de maneiras que só a Disney pode.”
A NVIDIA e a Disney Research, juntamente com a Intrinsic, anunciaram uma colaboração adicional para criar pipelines OpenUSD e melhores práticas para fluxos de trabalho de dados de robótica.
Mais dados para avançar a robótica pós-treinamento
Conjuntos de dados grandes, diversos e de alta qualidade são essenciais para o desenvolvimento de robôs, mas são caros para capturar. Para humanoides, dados de demonstração humana do mundo real são limitados pelo dia de 24 horas de uma pessoa.
Anunciado hoje, o NVIDIA Isaac GR00T Blueprint para geração de movimento de manipulação sintética ajuda a lidar com esse desafio. Construído em modelos de fundação de mundo Omniverse e NVIDIA Cosmos Transfer , o blueprint permite que os desenvolvedores gerem quantidades exponencialmente grandes de dados de movimento sintético para tarefas de manipulação a partir de um pequeno número de demonstrações humanas.
Usando os primeiros componentes disponíveis para o blueprint, a NVIDIA gerou 780.000 trajetórias sintéticas — o equivalente a 6.500 horas, ou nove meses contínuos, de dados de demonstração humana — em apenas 11 horas. Então, combinando os dados sintéticos com dados reais, a NVIDIA melhorou o desempenho do GR00T N1 em 40%, em comparação com o uso apenas de dados reais.
Para equipar ainda mais a comunidade de desenvolvedores com dados de treinamento valiosos, a NVIDIA está lançando o conjunto de dados GR00T N1 como parte de um conjunto de dados de IA física de código aberto maior — também anunciado na GTC e agora disponível no Hugging Face .
Disponibilidade
Os dados de treinamento e cenários de avaliação de tarefas do NVIDIA GR00T N1 agora estão disponíveis para download no Hugging Face e no GitHub . O NVIDIA Isaac GR00T Blueprint para geração de movimento de manipulação sintética também está disponível como uma demonstração interativa em build.nvidia.com ou para download no GitHub .
O supercomputador de IA pessoal NVIDIA DGX Spark , também anunciado hoje na GTC, fornece aos desenvolvedores um sistema pronto para uso para expandir os recursos do GR00T N1 para novos robôs, tarefas e ambientes sem necessidade de programação personalizada extensa.
Espera-se que o mecanismo de física Newton esteja disponível ainda este ano.
Fonte: nvidia
