Avui a GTC Taipei i Computex, NVIDIA Corp. ha revelat diverses habilitats i eines d'IA físiques de codi obert-per ajudar els desenvolupadors de robòtica, vehicles autònoms, IA visual i bessons digitals industrials. L'empresa va afirmar que poden ajudar a reduir els costos, el temps i la complexitat de crear fluxos de treball físics d'IA a escala.
Disponible com a part delNVIDIA Agent Toolkit, les noves habilitats permetran als agents d'IA accelerar la generació de dades, la simulació, la formació, l'avaluació i el desplegament de les canonades darrere de robots, vehicles autònoms (AV), fàbriques i laboratoris, va dir la companyia.
"Els agents d'IA estan revolucionant el desenvolupament de programari, i aquest canvi està arribant a la IA física, estenent-se als sistemes que transformaran el transport, la fabricació, l'assistència sanitària i la robòtica", va dir Jensen Huang, fundador i CEO de NVIDIA, a GTC Taipei. "Quan els agents puguin utilitzar directament les biblioteques, els models i els marcs de NVIDIA, el desenvolupament físic d'IA es mourà més ràpidament, permetent als desenvolupadors construir els robots, els vehicles autònoms i els sistemes industrials del futur a un ritme increïble".
"La IA física requereix quantitats massives de dades d'entrenament en entorns diversos", va assenyalar Rev Lebaredian, vicepresident de simulació d'IA física de NVIDIA. "Les dades de teleoperació, simulació i-escala d'Internet condueixen a models bàsics mundials per a una diversitat infinita de casos d'ús".
NVIDIA prepara l'agent de pila d'IA física{0}}
NVIDIA va dir que està optimitzant tota la seva pila física d'IA per als agents convertint biblioteques, models i marcs en eines de l'agent-invocables. Això inclou:
NVIDIA Cosmos3 models de fonamentació mundial per al raonament i la generació del món físic
NVIDIA Omniversebiblioteques de simulació i bessons digitals
NVIDIA Isaacper a la simulació de robòtica i l'aprenentatge de robots
NVIDIA Metropolisper a la IA de visió
NVIDIA Alpamayoperconducció autònoma
NVIDIA Jetsonplataforma per al desenvolupament d'IA de punta
"Cosmos 3 és el model de base fronterera per a la IA física", va dir Lebaredian. "Entén vídeos i text i pot marcar el que importa. Cosmos és una simulació físicament precisa i és capaç de predir què passarà després i generar accions".
Per ajudar a aplicar aquestes eines, s'està llançant NVIDIAnoves habilitatsconvertir els processos físics de desenvolupament d'IA en instruccions repetibles que els agents de codificació poden seguir. Això inclou quines eines cal trucar, quines sortides s'han de produir i com els desenvolupadors poden validar els resultats.
Els desenvolupadors també poden crear i desplegar agents autònoms amb seguretat amb aquestes habilitatsNVIDIA NemoClawplànol i elNVIDIA OpenShelltemps d'execució, que proporciona un govern de seguretat i privadesa basat en polítiques-al maquinari local o al núvol. Els agents funcionaran al límit a Jetson i ja han demostrat millores en el temps de funcionament, va dir Lebaredian.
NVIDIA va dir que les seves habilitats i eines físiques d'IA estan accelerant el desenvolupament agent a:
Robòtica i IA de punta:Els desenvolupadors de robots poden utilitzar les habilitats per accelerar tot el procés de desenvolupament de la robòtica, des de la generació de dades d'entrenament de percepció i mobilitat fins a la simulació, l'automatització de la formació en navegació, l'avançament de l'aprenentatge de robots i l'ajustament dels sistemes de punta basats en Jetson-per al desplegament.
Vehicles autònoms:Per als desenvolupadors d'AV, les habilitats poden dirigir els agents a reconstruir les dades capturades per flotes en entorns de simulació, generar escenaris de conducció fotorealistes a escala i executar aprenentatges de reforç de bucle tancat-per ampliar la cobertura de formació i avaluació.
Agents d'IA{0}}de visió en temps real:Per a la inspecció automatitzada i la intel·ligència de vídeo, NVIDIA va dir que les seves habilitats d'agent poden ajudar els equips a generar dades d'entrenament sintètiques,{0}}ajustar models, automatitzar l'etiquetatge i crear agents d'IA de vídeo que cerquin, resumeixen i analitzen vídeos en directe o gravats.
IA industrial:Els desenvolupadors de programari industrial poden utilitzar aquestes habilitats per convertir les dades d'enginyeria en recursos de disseny assistit per ordinador ({0}}CAD) per a la simulació de bessons digitals, optimitzant grans escenes OpenUSD amb menys configuració manual.
Atenció sanitària:Abans d'implementar l'automatització en entorns clínics, els equips sanitaris poden guiar els agents a través de la creació de bessons digitals d'entorns hospitalaris, la generació de dades sim-a-reals i la prova de polítiques-en--de programari en bucle.
Segons NVIDIA, les habilitats es poden combinar i integrar en sistemes més grans. Això permet als desenvolupadors orquestrar i automatitzar fluxos de treball complexos com ara la generació de dades, la simulació, l'optimització, l'ajust de la inferència, l'avaluació contínua i molt més.
Els desenvolupadors de robòtica recullen la pila física d'IA
1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI i Universal Robots es troben entre les empreses de robòtica que ja utilitzen la pila física d'AI preparada per l'agent de NVIDIA-.
"Amb les actualitzacions de pila a NVIDIA Isaac GR00T, es poden configurar nous fluxos de treball d'extrem a final en hores i en setmanes", va dir Lebaredian. ""Omni-modal" vol dir que funciona amb diferents modes - de vídeo, sensors, text i so per a entrades i sortides d'acció".
A més, Foxconn i Compal estan utilitzant NVIDIA Isaac for Healthcare per accelerar la robòtica hospitalària. Compal està avançant el procés de desenvolupament del seu robot PolyMedX cap a una plataforma d'orquestració-de tot l'hospital, que integra simulació, IA i operacions del món real-.
Foxconn està ampliant Nurabot a diversos hospitals i entorns d'atenció a llarg termini-, aportant la robòtica impulsada per IA-a l'atenció dels pacients, a més d'introduir el seu nou robot col·laboratiu Scrub Nurse per ajudar a optimitzar els fluxos de treball del quiròfan.
Els líders del sector creen amb tecnologies NVIDIA
Els socis i clients de NVIDIA de programari de fabricació, transport, sanitat i industrial estan utilitzant les seves biblioteques físiques d'IA per avançar en el desenvolupament de sistemes autònoms i d'IA industrial.
A mesura que aquestes biblioteques estiguin preparades per a agents-, els desenvolupadors poden utilitzar les habilitats de NVIDIA per ajudar els agents a automatitzar la configuració, l'execució i la iteració en fluxos de treball físics d'IA complexos.
En la fabricació d'electrònica, TSMC i Pegatron estan ajustant-models d'inspecció visual. S'ha informat que Pegatron va reduir el temps de formació i desplegament del model en un 67% utilitzant dades sintètiques generades a partir de l'habilitat Generació d'imatges defectuoses.
Delta Electronics va generar dades de defectes sintètics i va utilitzar l'habilitat per capturar l'excés de soldadura a les barres metàl·liques, millorant la taxa de detecció en un 17%. Inventec va desenvolupar el seu canal d'inspecció visual de l'agent d'observació mitjançant la integració de l'habilitat Generació d'imatges de defecte, reduint l'esforç de recollida de dades de defectes per a la fabricació de xassís d'ordinadors portàtils en un 30%.
Foxconn, treballant amb DeepHow, va utilitzar l'habilitat per millorar l'eficiència de fabricació detectant errors aviat, augmentant el rendiment de la primera passada en un 3%.
En IA industrial, Cadence, Dassault Systèmes, Siemens i Synopsys utilitzen biblioteques i habilitats de NVIDIA Omniverse per a la inspecció de dades d'enginyeria, la simulació i els bessons digitals interactius. PTC, MetAI i Lightwheel estan aprofitant el marc de treball NVIDIA Isaac Sim i els fluxos de treball basats en OpenUSD-per transformar les dades CAD en actius i entorns-preparats per a la simulació.
Com a part del seu full de ruta "Autonomous Fab 2030", SK hynix està implementant bessons digitals fabulosos de semiconductors mitjançant NVIDIA Omniverse. El fabricant de xips també col·labora amb NVIDIA i SK Telecom per validar NVIDIA Agent Toolkit per fabricar-IA física específica.
Els desenvolupadors-autònoms Li Auto, Afari i DeepRoute.ai estan utilitzant models NVIDIA Omniverse NuRec per a la reconstrucció i la representació d'escenes neuronals. Han generat més de 1.000 reconstruccions i més de 300.000 renders i simulacions al dia.
A més, les empreses AV estan utilitzant el nou repositori d'habilitats dels agents per accelerar i millorar el seu desenvolupament de sistemes de conducció autònoma més segurs i capaços. Foxconn, VinFast, Uber i HUMAIN s'han unit a l'ecosistema NVIDIA DRIVE Hyperion per desenvolupar i desplegar robotaxis SAE de nivell 4.
Alpamayo 2 Super ja s'ha descarregat més de 500.000 vegades i va ser nomenat "Millor tecnologia" a Computex, va dir Spencer Huang, director de producte de robòtica de NVIDIA.
Ja estan disponibles les eines d'agent físic d'IA
NVIDIA va dir que les seves eines i habilitats d'agent físic d'IA estan disponiblesGitHubihabilitats.shper utilitzar-lo amb qualsevol agent de codificació.
Habilitats i eines d'agent per a la generació de dades sintètiques -Reconstrucció Neural, Augment de vídeo, Generació d'imatges de defecte- també estan disponibles a NVIDIA Brev comLlançaments d'IA física, entorns preconfigurats que agrupen habilitats i eines d'agent per a una generació i avaluació de dades sintètiques més ràpides.
Microsoft,CoreWeave, iNebiusestan integrant aquestes habilitats i eines d'agent amb els seus serveis al núvol per permetre als desenvolupadors racionalitzar i escalar la generació i el desplegament de dades sintètiques.
Unitree humanoide la referència per a NVIDIA Isaac GR00T
NVIDIA també va anunciar el robot humanoide de referència NVIDIA Isaac GR00T, un disseny de referència de robot humanoide obert construït sobre NVIDIA Jetson Thor i la plataforma de desenvolupament NVIDIA Isaac GR00T. La companyia va dir que això ajudarà a democratitzar l'accés a maquinari i programari avançats sense requerir plataformes propietats cares com l'interès enhumanoides{0}}de propòsit generalaugmenta.
NVIDIA va combinar un cos de robot-de mida completa amb una manipulació, detecció, control i una intel·ligència artificial integrada a bord:
Xassís humanoide Unitree H2,de prop de 6 peus (1,8 m) d'alçada i un pes de 150 lliures (68 kg), amb 31 graus de llibertat per a proves a escala humana-.
DualOnada Sharpamans tàctils de cinc-dits,permetre una manipulació destre amb 22 graus de llibertat i portar el robot a 75 graus de llibertat a través del cos i les mans.
Detecció de múltiples-vista,inclosa una càmera estèreo-muntada al cap amb camp de visió ampli (140 graus horitzontal, 102 graus vertical), càmeres de canell per a la manipulació a prop-i una unitat de mesura de la inèrcia per al seguiment del moviment.
Control-del cos sencer,amb un parell de braç de fins a 120 Newton-metres, un parell de cames de fins a 360 Newton-metres, una càrrega útil nominal del braç de 7 kg (15,4 lb.) i una càrrega útil màxima de 15 kg (33 lb.), per desbloquejar més capacitat d'elevació i abast.
Informàtica integrada NVIDIA Jetson AGX Thor T5000,amb una GPU NVIDIA Blackwell amb 2.070 teraflops FP4 de rendiment d'IA, una CPU Arm de 14-nuclis, 128 GB de memòria unificada i un rang de potència configurable de 40 a 130 watts per al processament del sensor en temps real i la inferència del robot.
Connectivitata través d'Ethernet, Wi-Fi 6, Bluetooth 5.2, USB i una sèrie de micròfons i altaveus per a la interacció de veu.
Bateria per a un funcionament prolongat,amb una capacitat de 15 Ah, 0,972 kWh i unes tres hores de vida útil.
En-parada d'emergència remotafunció per desenganxar ràpidament el robot de manera segura.
La plataforma Isaac GR00T inclou:
NVIDIA Isaac Teleopper capturar dades de demostració de robots d'alta-qualitat per a la formació i el desenvolupament de polítiques.
Models de base oberta NVIDIA Isaac GR00Tper donar suport al raonament humanoide, l'aprenentatge i el comportament multitasca.
NVIDIA Isaac Sim iIsaac Labper simular, entrenar, provar i avaluar les polítiques dels robots abans del desplegament-real.
Programari intermedi NVIDIA Isaac ROS acceleratper traslladar polítiques entrenades als robots.
NVIDIA Jetson Thorper executar-temps real, amb-inferència i control de robot.
El sistema està dissenyat per ser modular, de manera que els equips de robòtica poden utilitzar la plataforma completa o integrar les capacitats seleccionades a les canalitzacions de desenvolupament existents, ajudant-los a escalar el desenvolupament humanoide sense reconstruir la mateixa infraestructura per a cada robot o tasca.
Les institucions de recerca líders, com Ai2, ETH Zurich, Stanford Robotics Center i el Laboratori de robòtica i controls avançats de la UC San Diego tenen previst utilitzar aquest disseny de referència per avançar en la investigació de robòtica humanoide.
"Per avançar cap a robots-de propòsit general, els investigadors necessiten plataformes que siguin capaços i accessibles de manera àmplia", va dir Deepak Pathak, co-fundador i CEO de Skild AI. "Un disseny de referència permet que més investigadors participin en investigacions humanoides de frontera i passin d'idees a experiments més ràpidament. Això ajuda a impulsar tot l'ecosistema de recerca en robòtica".