Sistemele tradiționale de luare a deciziilor de conducere autonomă se bazează adesea pe designul modular. Din percepția mediului, planificarea deciziilor până la controlul vehiculului, fiecare subsistem funcționează independent și controlează în colaborare funcționarea vehiculului. În scenarii complexe de trafic, această arhitectură ierarhică este predispusă la probleme precum erori cumulate, pierderi de informații și performanțe insuficiente în timp real. Modelele mari schimbă treptat această situație cu parametrii lor masivi, capacitățile de prelucrare a datelor transversale și paradigmele de învățare end-to-end. Nu numai că poate obține o fuziune eficientă a datelor cu mai multe senzori la nivel de percepție, dar, de asemenea, planifică strategii de conducere mai rezonabile pentru vehicule prin intermediul unei înțelegeri semantice profunde și a raționamentului logic la nivelul decizional, sporind astfel siguranța generală și robustetea.
Avantajele modelelor mari în conducere autonomă
Procesul de dezvoltare a tehnologiei de conducere autonomă în sine a trecut prin mai multe etape, de la conducerea asistată timpurie până la tranziția treptată la o conducere pe deplin autonomă. Sistemele timpurii s -au bazat mai ales pe detectarea simplă a obiectelor și controlul regulilor. Odată cu dezvoltarea învățării profunde, adoptarea unor metode precum CNN, RNN și chiar GAN a îmbunătățit continuu percepția mediului și capacitățile de luare a deciziilor. Mai mult decât atât, tehnologia care combină reprezentarea și transformatorul BEV (Bird’s Eye) a constituit, într-o anumită măsură, pentru deficiențele metodelor tradiționale în modelarea spațio-temporală. Se poate spune că introducerea modelelor mari este în mod fundamental remodelarea arhitecturii generale a sistemelor de conducere autonomă, punând o bază solidă pentru comercializarea nivelurilor L3, L4 și chiar L5 în viitor.
Arhitectura modelului bazată pe transformator adoptă de obicei mecanismul de auto-atenție, care poate capta dependențe la distanță lungă, îmbunătățind astfel semnificativ globalitatea și exactitatea procesării informațiilor. Prin abordarea de pre-instruire-to-reglare, modelul este instruit în prealabil pe datele nemarcate pe scară largă și apoi reglați fin pentru sarcini specifice de conducere autonomă. Acest lucru nu numai că reduce dependența de o cantitate mare de date etichetate, dar permite modelului să aibă capacități bune de migrare a domeniilor transversale. Modelele mari multimodale pot prelucra simultan diverse forme de date, cum ar fi imagini, nori de puncte și date radar, obținând un salt de la „a vedea” la „înțelegere” și dotarea sistemelor de conducere autonomă cu capacități cognitive similare cu cele ale oamenilor.
Aplicarea specifică a modelelor mari în conducere autonomă
În sistemele de conducere autonomă, aplicarea modelelor mari se reflectă în principal în mai multe aspecte, cum ar fi percepția mediului, luarea deciziilor și planificarea și controlul vehiculului. În ceea ce privește percepția mediului, sistemele tradiționale se bazează în principal pe datele unui singur senzor pentru detectarea țintei și segmentarea semantică. Cu toate acestea, din cauza limitărilor de iluminare, a vremii și a senzorilor înșiși, ei au adesea dificultăți în a face față scenariilor complexe. Prin tehnologia multimodală de fuziune a datelor, modelele mari pot integra diverse date, cum ar fi camere, lidare, radare cu undă milimetrică și hărți de înaltă precizie pentru a forma o reprezentare mai bogată și mai precisă a mediului. De exemplu, modelul de acțiune în limba vizuală (VLA) poate extrage simultan informațiile vizuale și informațiile semantice din imagine și arată o precizie extrem de mare în detectarea obstacolelor, prezicerea comportamentelor pietonale și judecând condițiile rutiere. După ce informațiile despre mai mulți senzori sunt profund contopite de modelul mare, nu numai că robustetea detectării țintei este îmbunătățită, dar și predicția scenelor dinamice poate fi obținută prin analiza seriei de timp, oferind o contribuție mai fiabilă pentru luarea deciziilor vehiculului.
La nivel de luare a deciziilor și planificări, sistemele tradiționale de conducere autonomă se bazează, de obicei, pe regulile prestabilite sau pe algoritmi de planificare bazate pe model pentru a converti rezultatele percepției în deciziile de planificare a căilor și de acțiune. Cu toate acestea, această metodă este predispusă la eșec atunci când se confruntă cu condiții complexe de trafic care nu au fost niciodată văzute până acum, iar proiectarea interfeței dintre fiecare modul este destul de rigidă, ceea ce face dificilă realizarea optimizării de la capăt la capăt. Printr-un cadru de învățare end-to-end, modelele mari pot extrage direct informațiile cheie din datele senzorului brut și pot genera comenzi de control al vehiculului prin raționamente logice inerente. DriveGPT -4 și Languagempc au demonstrat potențialul utilizării modelelor mari pentru luarea deciziilor cu mai multe sarcini. Modelele lor nu pot genera doar strategii de conducere rezonabile în scenarii complexe, dar pot oferi explicații detaliate, îmbunătățind interpretabilitatea sistemului. Avantajul acestei luare a deciziilor end-to-end constă în reducerea erorilor intermediare în procesul de transmisie a informațiilor și de a permite întregului sistem să aibă capacitatea de a se adapta la noile scenarii.
Controlul vehiculului, ca ultimul pas al conducerii autonome, necesită nu numai exactitatea luării deciziilor, ci și garanția răspunsului în timp real al sistemului. Deoarece modelele mari au de obicei numeroși parametri și costuri de calcul uriașe, există anumite provocări în implementarea lor directă pe sistemele montate pe vehicul. Industria a făcut explorări extinse în compresia modelului și în ușurință. Prin tehnologia de distilare a modelului, cunoștințele esențiale la modelele mari sunt extrase și apoi transferate la modele mici și eficiente pentru a obține o potrivire perfectă cu hardware-ul vehiculelor (cum ar fi seria NVIDIA Drive AGX). Această tehnologie nu numai că păstrează performanțele ridicate ale modelelor mari, dar asigură, de asemenea, că timpul de răspuns îndeplinește cerințele de control în timp real, jucând astfel un rol semnificativ în procesul de comercializare a conducerii autonomă L3\/L4.
În simularea și verificarea cu buclă închisă a conducerii autonome, modelele mari au demonstrat, de asemenea, avantaje semnificative. Pregătirea cu date pe scară largă și scene sintetice poate construi modele realiste ale lumii, iar testarea cu buclă închisă poate fi obținută într-un mediu virtual prin intermediul tehnologiei digitale Twin. Această metodă nu numai că reduce în mod semnificativ riscurile și costurile efectuării unui număr mare de teste pe drumurile reale, dar poate simula rapid diverse scenarii extreme și cu coadă lungă, oferind suport de date suficient pentru optimizarea iterativă a modelului. Modelul Emma al lui Waymo, prin utilizarea platformelor de simulare și a tehnologiei de model mare, a obținut predicția de înaltă precizie a deciziilor de evitare a traiectoriului și evitarea coliziunilor. Performanța sa o depășește cu mult pe cea a sistemelor ierarhice tradiționale, oferind o nouă abordare pentru verificarea cu buclă închisă a viitoarelor sisteme de conducere complet autonomă.
În plus, modelele mari au jucat, de asemenea, un rol semnificativ în îmbunătățirea securității sistemului și a experienței utilizatorilor. Conducerea autonomă nu este doar o problemă tehnică; De asemenea, implică interacțiunea om-computer și problemele de încredere socială. Prin tehnologia de procesare a limbajului natural, modelele mari pot realiza conversații în timp real cu șoferii, pot oferi sugestii de conducere și alerte de urgență și chiar pot oferi asistență personalizată pe baza emoțiilor șoferului. Un astfel de design de interacțiune poate îmbunătăți semnificativ încrederea pasagerilor, ceea ce face ca sistemul de conducere autonom să nu fie mai avansat în tehnologie, dar și mai în conformitate cu nevoile utilizatorilor în aplicații practice.
Ce provocări prezintă modelele mari în conducerea autonomă?
Deși modelele mari au arătat un potențial mare în domeniul conducerii autonome, există încă multe probleme în transformarea lor de la realizările de laborator în aplicații comerciale. Resursele de performanță și calcul în timp real sunt una dintre principalele blocaje în prezent. Modelele mari au de obicei o scară largă de parametri și o complexitate de calcul ridicată. Pentru a genera decizii în cadrul nivelului de milisecunde, prezintă cerințe extrem de ridicate pentru puterea de calcul a platformei de calcul în vehicul. Se pot folosi chipsuri AI dedicate, iar modelele mari pot fi comprimate prin tehnici precum distilarea modelului și cuantificarea, străduindu-se să îndeplinească cerințele de răspuns în timp real, asigurând în același timp performanța.
Problemele legate de securitate și robustete sunt, de asemenea, provocări de bază în aplicarea modelelor mari. Odată ce un vehicul autonom face o greșeală de luare a deciziilor, consecințele pot fi foarte grave. Prin urmare, modelele mari trebuie să fie supuse testării și verificării stricte înainte de a fi utilizate practic pentru a se asigura că pot răspunde corect în diverse scenarii complexe și extreme. Datorită naturii „cutiei negre” a modelelor mari, procesele lor interne de luare a deciziilor sunt adesea dificil de explicat. Cum să îmbunătățești interpretabilitatea modelului, asigurând în același timp performanțe ridicate a devenit o problemă urgentă pentru autoritățile de reglementare și producătorii auto să fie rezolvați. În viitor, prin combinarea unor metode precum învățarea de consolidare, reglarea fină pe baza feedback-ului uman și constrângerile de regulă, este de așteptat să proiecteze sisteme de luare a deciziilor care sunt atât eficiente, cât și transparente.
Confidențialitatea datelor și problemele etice nu pot fi ignorate nici în aplicarea modelelor mari. Sistemele de conducere autonomă trebuie să colecteze o cantitate mare de date de vehicul, mediu și utilizatori, iar stocarea și utilizarea sigură a acestor date sunt direct legate de protecția confidențialității utilizatorilor. Modul de a folosi pe deplin avantajele datelor mari, asigurând, în același timp, securitatea transmiterii și procesării datelor este prima problemă pe care autoritățile de reglementare trebuie să o abordeze. Este necesar să formulăm standarde stricte de protecție a datelor și mecanisme de protecție a confidențialității pentru a oferi garanții instituționale pentru aplicarea în siguranță a modelelor mari în conducere autonomă.
Colaborarea dintre software și hardware este, de asemenea, cheia implementării modelelor mari. Aplicarea cu succes a modelelor mari nu depinde doar de inovația algoritmului, dar necesită și suport hardware de înaltă performanță. În prezent, producătorii majori au lansat succesiv platforme de calcul în vehicul, precum Nvidia Drive Agx Pegasus, Atlan, etc. Aceste platforme oferă garanții hardware pentru inferența în timp real și implementarea pe scară largă a modelelor mari. Avansarea continuă a tehnologiei senzorilor a oferit, de asemenea, surse de date mai abundente și de înaltă calitate pentru fuziunea multimodală a datelor. Odată cu îmbunătățirea continuă a întregului ecosistem de conducere autonomă, integrarea profundă a software-ului și hardware-ului este obligată să conducă întreaga industrie într-o epocă nou-nouă a călătoriilor inteligente.
Impactul profund al modelelor mari asupra tehnologiei de conducere autonomă nu se reflectă numai în detaliile tehnice, dar a declanșat și o schimbare de paradigmă de la sistemele modulare tradiționale la end-la-end și de la inteligența perceptivă la inteligența cognitivă. Viitorul sistem de conducere autonomă, condus de modele mari, va obține o percepție a mediului cu precizie mai mare, luarea și planificarea deciziilor mai flexibile, precum și un control mai sigur și mai eficient al vehiculului. În același timp, va atinge un nou nivel în interacțiunea om-mașină, asistență personalizată și securitatea datelor.