DALL-E

DALL-E (lühend sõnadest "Deep-Learning-to-Answer-Long-Questions") on loomuliku keele töötlemise mudel, mille on välja töötanud OpenAI, et vastata pilti puudutavatele küsimustele. Süsteem on koolitatud miljonite Interneti-andmekogumite kujutiste põhjal ja kasutab transformaatori keele mudelit, et tuvastada, millised sõnad on antud pildiga seotud. See võib luua pildile pealdise, mis kirjeldab selle sisu loomulikus keeles.

OpenAI andis DALL-E välja 2020. aasta detsembris. See on võimas keelemudel, kuna saab hakkama nii loomuliku keele mõistmise faasi kui ka ülesande genereerimise faasiga. See kasutab arvutinägemisalgoritmide ja loomuliku keele töötlemise tehnikate kombinatsiooni, et ühendada mitu teabeallikat üheks sidusaks kirjelduseks.

Näiteks kui pilt sisaldab ruumi, kus on inimesed ja koer, võib DALL-E luua pealdise, näiteks „Ruumis on mitu inimest, kes paitavad pruuni koera”. Seda tüüpi kirjeldus läheb kaugemale lihtsast märgistamisest, mis ütleks lihtsalt: "See on tuba, kus on inimesed ja koer."

DALL-E abil saavad teadlased luua pealdisi, mis kirjeldavad pilte üksikasjalikult, aidates luua täpsema kirjelduse kui traditsioonilised pildimärgistamise tehnikad. Seda saab kasutada ka pildi kohta küsimustele vastamiseks, näiteks mis värvi on pildil olev koer?

Süsteem suudab genereerida ka loomingulisemaid pealdisi, näiteks "Koer vaatab aknast välja ja unistab maailmavalitsemisest" või "Ruumis olevad inimesed vahetavad tähendusrikkaid pilke, kui koer nurgas lebab." See näitab süsteemi võimet kirjeldada pilte viisil, mida inimesed oskavad hinnata.

DALL-E on põnev ja võimas tehnoloogia, millel on potentsiaal muuta loomuliku keele töötlemise revolutsiooniliseks. See on oluline tööriist arvutinägemise ja loomuliku keele töötlemise tehnoloogiate edendamisel.