LegoGPT: Tekoäly muuntaa tekstikäskyt Lego-luomuksiksi

Carnegie Mellon -yliopiston tutkijat ovat esitelleet LegoGPT:n, uuden tekoälyjärjestelmän, joka rakentaa todellisia Lego-teoksia kirjallisista kuvauksista.

Se on ensimmäinen laatuaan oleva tekoäly, joka ei ainoastaan seuraa tekstikäskyä – kuten ”virtaviivainen, pitkänomainen alus” – vaan myös varmistaa, että lopputulos on fyysisesti vakaa ja voidaan rakentaa, tiili tiileltä.

”Tätä tavoitetta varten rakennamme laajamittaisen, fyysisesti vakaan LEGO-suunnitelmien tietokannan, johon liittyy niiden yhteydessä olevat kuvatekstit”, tiimi selitti tutkimuspaperissaan.

LegoGPT koulutettiin käyttäen yli 47 000 vakaa Lego-mallia, jotka paritettiin yksityiskohtaisilla GPT-4o:n generoimilla kuvateksteillä. Nämä mallit rakennettiin 3D-muodoista, muutettiin Lego-rakenteiksi ja testattiin todellisen maailman vakauden suhteen käyttäen fysiikkasimulaatioita.

Jokainen rakenne kuvattiin myös 24 kulmasta, jotta tekoäly voisi oppia, miltä erilaiset suunnitelmat pitäisi näyttää sanojen avulla.

Tiimi käytti erityistä tekniikkaa nimeltä ”fysiikkaan perustuva palautus”, jossa epävakaat osat suunnitelmasta poistetaan ja rakennetaan uudelleen, kunnes koko rakenne on vakaa. Tämä paransi rakennusmenestysasteita 24 prosentista 98,8 prosenttiin.

Tekoälymalli, joka perustuu Metan LLaMA-3.2-Instructiin, ennustaa, mikä Lego-palikka tulisi asettaa seuraavaksi – samalla tavalla kuin ChatGPT ennustaa seuraavan sanan. Jokainen ehdotettu palikka tarkistetaan asettelun, koon ja mahdollisten törmäysten varalta ennen kuin se lisätään malliin.

LegoGPT:n luomuksia voivat rakentaa sekä ihmiset että robotit. ”Kokeemme osoittavat, että LegoGPT tuottaa vakaita, monipuolisia ja esteettisesti miellyttäviä Lego-suunnitelmia, jotka vastaavat tiiviisti syötetekstien vihjeitä”, tutkijat kirjoittivat.

Tällä hetkellä LegoGPT käyttää vain kahdeksaa peruspalikkatyyppiä ja toimii 20×20×20 tilassa, mutta tiimi toivoo laajentavansa sitä.

Heidän koko tietokantansa, koodinsa ja mallinsa ovat vapaasti saatavilla, jotta muut voivat jatkaa tämän tutkimuksen parissa työskentelyä. Vaihtoehtoisesti voit vain leikkiä heidän demollaan.