O echipă de cercetători din România a dezvoltat un model de limbaj de tip LLM (large language model) destinat exclusiv limbii române, având aplicații diverse în dezvoltarea de unelte și platforme bazate pe inteligență artificială.
Proiectul, denumit OpenLLM-Ro, este open source și permite accesul gratuit tuturor celor interesați să creeze instrumente AI adaptate limbii române.
În prezent, modelele de limbaj precum ChatGPT, Copilot și Gemini, utilizate frecvent pentru diverse aplicații, nu oferă rezultate precise pentru limba română din cauza expunerii limitate la date în această limbă. De asemenea, utilizarea acestor modele în mediile corporative este adesea restricționată din motive de securitate și confidențialitate, necesitând soluții locale. Modelele existente sunt, în principal, antrenate pe limba engleză, ceea ce limitează performanțele în limbile cu circulație mai redusă.
Noul model de limbaj românesc este o adaptare a unui LLM public destinat inițial limbii engleze, dar care a fost antrenat pe câteva milioane de documente în limba română pentru a asigura o înțelegere aprofundată a acestei limbi. Această adaptare este crucială pentru utilizarea în aplicații unde cerințele și răspunsurile trebuie formulate în limba română.
Proiectul a fost inițiat și implementat de POLITEHNICA București, Universitatea din București și Institutul de Logică și Știința Datelor, cu sprijinul BRD Groupe Société Générale. Universitățile au contribuit cu cercetători care au lucrat pro bono și au oferit resursele tehnice necesare.
Modelul poate fi utilizat pentru căutarea de informații în bazele de date ale organizațiilor sau pentru dezvoltarea de roboți conversaționali destinați clienților, facilitând accesul rapid și precis la informații și economisind timp. Utilizarea unor astfel de tehnologii este esențială pentru îmbunătățirea proceselor de lucru și oferirea unor servicii de calitate superioară.
Lansarea modelului a fost însoțită de formarea comunității OpenLLM-Ro, care își propune să reunească diverși actori interesați în dezvoltarea tehnologiilor AI pentru limba română. Eforturile viitoare se vor concentra pe crearea unor modele și mai performante, precum adaptarea unor tehnologii recente ca Llama-3 și Mistral. Proiectul necesită susținere continuă, atât prin resurse de date calitative, cât și prin infrastructură hardware adecvată.
Sperăm ca lansarea acestui model să fie doar începutul unui efort de lungă durată din care să rezulte LLM-uri mai bune pentru limba română, a declarat Traian Rebedea, conferențiar la POLITEHNICA București și cercetător principal la NVIDIA. Acesta subliniază importanța colaborării dintre entitățile private și publice pentru dezvoltarea continuă a modelelor de limbaj.
Lansarea acestui model de limbaj deschide noi oportunități pentru dezvoltarea de aplicații AI în limba română, contribuind semnificativ la avansarea tehnologică și la îmbunătățirea productivității în România. Inițiativa OpenLLM-Ro promite să fie un punct de plecare pentru viitoare inovații și colaborări în acest domeniu.
Raportul tehnic poate fi găsit aici, modelul LLM poate fi descărcat de pe platforma Hugging Face, codul asociat modelului poate fi descărcat de pe GitHub, iar alte detalii despre proiect pot fi accesate aici.