Al groot model naar multimodaliteit

Jan 04, 2025 Laat een bericht achter

Heb je gehoord van de paradox van Moravec? De paradox stelt dat geavanceerde redenering zeer weinig rekenkracht vereist voor een kunstmatige intelligentie (AI) -systeem, terwijl de perceptuele motorische vaardigheden die mensen als vanzelfsprekend beschouwen, enorme rekenbronnen vereist. In essentie zijn complexe logische taken gemakkelijker voor AI dan de fundamentele sensorische taken die menselijke instincten kunnen uitvoeren. Deze paradox benadrukt het verschil tussen AI en menselijke cognitieve vaardigheden in dit stadium.


Mensen zijn inherent multimodaal. Ieder van ons is als een intelligente terminal die meestal naar school moet om te worden opgeleid (getraind), maar het doel en het resultaat van die training en leren is dat we het vermogen hebben om te werken en autonoom te leven zonder altijd te vertrouwen op externe instructies en controle.


We leren over de wereld om ons heen door meerdere sensorische modaliteiten, zoals zicht, spraak, geluid, aanraking, smaak en geur om te analyseren, te redeneren, te beslissen en actie te ondernemen.


Na jaren van sensorfusie en AI -evolutie zijn robots in dit stadium grotendeels uitgerust met multimodale sensoren. Naarmate we meer rekenkracht brengen om apparaten zoals robots te bewerkstelligen, worden deze apparaten slimmer en slimmer, in staat om hun omgeving te voelen, begrip en communiceren in natuurlijke taal, het verwerven van haptiek door digitale sensing -interfaces, evenals het detecteren van de specifieke kracht van de robot, hoeksnelheid, en zelfs het magnetische veld rond de robot door een combinatie van versnellingsmeters, gyroscopen en magnetometers, en meer.


Op weg naar een nieuw tijdperk van robotica en machine cognitie


Voorafgaand aan Transformer en Large Language Models (LLMS) vereiste het implementeren van multimodaliteit in AI meestal het gebruik van meerdere afzonderlijke modellen die verantwoordelijk zijn voor verschillende soorten gegevens (tekst, afbeeldingen, audio) en de integratie van de verschillende modaliteiten via een complex proces.


Met de komst van transformatiemodellen en LLMS is multimodaliteit meer geïntegreerd geworden, waardoor een enkel model tegelijkertijd meerdere gegevenstypen kan verwerken en begrijpen, wat resulteert in AI -systemen die beter in staat zijn om hun omgeving volledig te detecteren. Deze verschuiving heeft de efficiëntie en effectiviteit van multimodale AI -toepassingen aanzienlijk verbeterd.


Hoewel LLMS zoals GPT -3 voornamelijk op tekst gebaseerd is, heeft de industrie snelle vooruitgang geboekt in de richting van multimodaliteit. Van Openai's Clip en Dall-E, en nu zijn Sora en GPT -4 o voorbeelden van modellen die zijn overgestapt op multimodaliteit en meer natuurlijke interactie tussen mens en computer. Clip begrijpt bijvoorbeeld afbeeldingen in combinatie met natuurlijke taal, waardoor de kloof tussen visuele en tekstuele informatie overbrugt; Dall-E wil afbeeldingen genereren op basis van tekstuele beschrijvingen. We zien het Google Gemini -model een vergelijkbare evolutie ondergaan.


In 2024 versnelt multimodale evolutie. In februari heeft Openai Sora uitgebracht, die realistische of fantasierijke video's genereert op basis van tekstbeschrijvingen. Als je erover nadenkt, kan dit een veelbelovend pad bieden om universele wereldsimulators te bouwen, of een belangrijk hulpmiddel worden voor trainingsrobots. Na drie maanden heeft GPT -4 O de prestaties van de interactie tussen menselijke robot aanzienlijk verbeterd en in staat om in realtime tussen audio, visie en tekst te redeneren. Het combineren van tekst, visuele en audio-informatie om een ​​nieuw model te trainen end-to-end elimineert twee modale overgangen van invoermodaliteit naar tekst en vervolgens van tekst tot uitvoermodaliteit, wat op zijn beurt de prestaties dramatisch verbetert.


In dezelfde week in februari bracht Google Gemini 1.5 uit, die de contextlengte dramatisch uitbreidde naar 1 miljoen tokens. Dit betekent dat 1.5 Pro grote hoeveelheden informatie tegelijk kan verwerken, inclusief een uur video, 11 uur audio en een codebase die meer dan 30, 000 code of 700, 000 bevat, 000 Words.Gemini 1.5 is gebouwd op het toonaangevende onderzoek van Google naar Transformer en gemengd lid van deskundige architectuur (MOE) en open-sources 2B- en 7B-modellen die aan de randzijde kunnen worden ingezet. Op de Google I/O-conferentie in mei, naast het verdubbelen van de context en een reeks generatieve AI-tools en -apps uitbrengen, onderzocht Google zijn visie op de toekomst van Project Astra, een AI-assistent voor algemeen gebruik die multimodale informatie verwerkt , begrijpt de context waarin een gebruiker wordt geplaatst en interactie heeft met mensen in gesprekken op een zeer natuurlijke manier.


Als het bedrijf achter de Open-Source LLM LLAMA, neemt Meta ook deel aan de algemene kunstmatige intelligentie (AGI) track.


Deze echte multimodaliteit verhoogt het niveau van machine -intelligentie aanzienlijk en zal leiden tot nieuwe paradigma's voor veel industrieën.


Robots waren bijvoorbeeld erg homogeen, met sommige sensoren en voortbewegingsmogelijkheden, maar over het algemeen hadden ze niet het "brein" om nieuwe dingen te leren en zich aan te passen aan ongestructureerde en onbekende omgevingen.


Van multimodale LLM's wordt verwacht dat ze het vermogen van robots om te analyseren, redeneren en leren, transformeren, ze verplaatsen van specialisatie naar generalisatie. PC's, servers en smartphones zijn leiders in algemene computerplatforms en kunnen veel verschillende soorten softwaretoepassingen uitvoeren om een ​​breed scala aan functies te bereiken. Generalisatie zal helpen op te schalen, schaalvoordelen te genereren en de prijzen kunnen dramatisch worden verlaagd naarmate ze opschalen, wat leidt tot een deugdzame adoptiecyclus in meer gebieden.


Elon Musk merkte al vroeg de voordelen van gegeneraliseerde technologie op, terwijl Tesla's robots in 2022 van Bumblebee evolueerden naar Optimus Gen 1, aangekondigd in maart 2023, en Gen 2, aangekondigd aan het einde van 2023, met steeds groter wordende veelzijdigheid en leermogelijkheden. In het verleden 6-12 maanden zijn we getuige geweest van een aantal doorbraken op het gebied van robotica en humanoïde robotica.


Nieuwe technologieën achter robotica van de volgende generatie en belichaamde intelligentie


Er is geen twijfel dat we nog veel werk te doen hebben voordat belichaamde intelligentie massaproductie bereikt. We hebben lichtere ontwerpen, langere runtimes en snellere, krachtigere edge computing -platforms nodig om gegevensinformatie voor sensorgegevens te verwerken en te fuseren om tijdige beslissingen te nemen en acties te besturen.


En we gaan op weg naar het creëren van humanoïde robots; Duizenden jaren van de menselijke beschaving hebben alomtegenwoordige omgevingen geproduceerd die zijn ontworpen voor mensen, en van humanoïde robotachtige systemen zullen naar verwachting comfortabel kunnen communiceren met mensen en het milieu en vereiste operaties in menselijke omgevingen kunnen uitvoeren vanwege hun gelijkenis in vorm met mensen. Deze systemen zullen goed geschikt zijn om vuile, gevaarlijke en saaie taken zoals patiëntenzorg en revalidatie, servicewerk in de horeca, onderwijshulpmiddelen of leermaatschappijen in het educatieve veld, en gevaarlijke taken, en gevaarlijke taken, en gevaarlijke taken, zoals rampenbehoeften en hantering van de horeca, zoals rampen- en rampenzorg- en revalidatie. . Dergelijke toepassingen maken gebruik van menselijke attributen voor menselijke machines om natuurlijke mens-robotinteracties te vergemakkelijken, in mens gerichte ruimtes te handelen en taken uit te voeren die vaak moeilijk zijn voor traditionele robots.


Veel AI- en robotica -bedrijven lanceren nieuw onderzoek en samenwerking rond het trainen van robots om betere redenen te vinden en te plannen in nieuwe ongestructureerde omgevingen. Omdat de nieuwe "hersenen" van robots, hebben modellen die vooraf zijn opgeleid op grote hoeveelheden gegevens uitstekende generalisatiemogelijkheden, waardoor robots hun omgevingen beter kunnen zien en begrijpen, hun bewegingen en acties aanpassen op basis van sensorische feedback en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren en hun prestaties optimaliseren. In verschillende dynamische omgevingen.


Als een interessant voorbeeld, kan de robothond van Boston Dynamics, Spot, optreden als een gids in een museum, interactie met bezoekers, introduceren ze aan de verschillende exposities en hun vragen beantwoorden. Het is misschien moeilijk te geloven, maar in dit use case zijn de vermakelijke, interactieve en subtiele uitvoeringen van Spot belangrijker dan ervoor te zorgen dat de feiten correct zijn.


Robotica Transformer: De Nieuw Hersenen van Robotica


Robotics Transformer (RT) evolueert snel om multimodale ingangen rechtstreeks in bruikbare code te vertalen. Google DeepMind's RT -2 presteert evenals zijn voorganger, RT -1, met een slagingspercentage van bijna 100 procent bij het uitvoeren van taken die eerder zijn gezien. Wanneer echter getraind met Palm-E (een robot-georiënteerd belichaamde multimodaal taalmodel) en Pali-X (een grootschalig meertalige visie- en taalmodel, niet specifiek ontworpen voor robots), heeft RT -2 betere generalisatiemogelijkheden en overtreft RT -1 op ongeziene taken.


Microsoft introduceerde Llava, een grootschalige taal- en visie-assistent. Oorspronkelijk ontworpen voor op tekst gebaseerde taken, maakt Llava gebruik van de kracht van GPT -4 om een ​​nieuw paradigma te maken voor multimodale instructies om gegevens te volgen, naadloos te integreren van tekstuele en visuele componenten, die nuttig kunnen zijn voor robottaken. Na zijn introductie vestigde Llava nieuwe records voor multimodale chat- en wetenschappelijke quizzende taken, die al de menselijke gemiddelde mogelijkheden overschrijden.


Zoals eerder vermeld, is Tesla's uitstapje naar humanoïde en AI algemene robotica van de algemene doeleinden belangrijk, niet alleen omdat het is ontworpen voor schaal- en massaproductie, maar ook omdat de sterke volledig zelfrijdende (FSD) Technology Foundation van Tesla's Autopilot voor auto's voor auto's kan worden gebruikt voor Robots. Tesla heeft ook een slimme productiegebruik om Optimus toe te passen op zijn nieuwe productieproces voor energievoertuig.


Arm is de hoeksteen van de toekomst van robotica


ARM gelooft dat het robotachtige hersenen, zowel het "grote brein" als het "kleine brein", een heterogeen AI-computersysteem moeten zijn dat superieure prestaties, realtime respons en energie-efficiëntie levert.

 

news-800-1

 

Robotica omvat een breed scala aan taken, waaronder basisberekening (bijvoorbeeld het verzenden en ontvangen van signalen van en naar motoren), geavanceerde gegevensverwerking (bijvoorbeeld, interpretatie van afbeeldingen- en sensorgegevens) en het uitvoeren van de eerder genoemde multimodale LLMS. De CPU is goed geschikt voor taken voor algemene doeleinden, terwijl AI-gaspedalen en GPU's efficiënter kunnen verwerken voor parallelle verwerkingstaken, zoals machine learning (ML) en grafische verwerking. Extra gaspedalen zoals beeldsignaalprocessors en videocodecs kunnen ook worden geïntegreerd om de visie -mogelijkheden en opslag-/transmissie -efficiëntie van de robot te verbeteren. Bovendien moet de CPU realtime responsiviteit hebben en moet u besturingssystemen zoals Linux- en ROS-pakketten uitvoeren.


Wanneer uitgebreid tot de robotachtige softwarestapel, kan de besturingssysteemlaag ook een realtime besturingssysteem (RTO's) vereisen dat betrouwbaar tijdkritische taken kan afhandelen, evenals een Linux-distributie die is aangepast voor robotica, zoals ROS, die kunnen voorzien Diensten ontworpen voor heterogene computerclusters. Wij zijn van mening dat door ARM gesponsorde normen en certificeringsprogramma's zoals SystemReady en PSA-gecertificeerd de ontwikkeling van robotsoftware zullen helpen schalen. SystemReady is ontworpen om ervoor te zorgen dat standaard rijke OS-distributies op een breed scala van System-on-Chips (SOC's) worden uitgevoerd op basis van de ARM-architectuur, terwijl PSA Certified helpt om oplossingen voor beveiligingsimplementatie te vereenvoudigen om te voldoen aan regionale beveiligings- en regelgevingsvereisten voor verbonden apparaten.


Vooruitgang in grootschalige multimodale modellen en generatieve AI kroeg een nieuw tijdperk in de ontwikkeling van AI-robots en humanoïde robots. Samen met AI Computing en ecosystemen zijn energie -efficiëntie, beveiliging en functionele veiligheid essentieel om robotica in dit nieuwe tijdperk mainstream te maken. ARM -processors worden al veel gebruikt in robotica en we kijken ernaar uit om nauw samen te werken met het ecosysteem om ARM een hoeksteen te maken van de toekomst van AI -robotica.

Aanvraag sturen

whatsapp

Telefoon

E-mail

Onderzoek