L’U.K. Safety Institute, l’ente per la sicurezza dell’intelligenza artificiale recentemente istituito nel Regno Unito, ha rilasciato Inspect, un set di strumenti progettato per rafforzare la sicurezza dell’AI. Questo toolkit, disponibile con una licenza open source (licenza MIT), mira a facilitare lo sviluppo di valutazioni dei sistemi di intelligenza artificiale da parte dell’industria, delle organizzazioni di ricerca e del mondo accademico.
Inspect si propone di valutare alcune capacità dei modelli AI, come la conoscenza di base e la capacità di ragionamento, generando un punteggio in base ai risultati ottenuti. Secondo il comunicato stampa del Safety Institute, Inspect segna la prima volta che una piattaforma di test di sicurezza dell’AI, guidata da un ente sostenuto dallo Stato, viene rilasciata per un uso più ampio.
L’istituto si augura che la comunità globale dell’intelligenza artificiale utilizzi Inspect non solo per eseguire i propri test di sicurezza sui modelli, ma anche per contribuire ad adattare e sviluppare la piattaforma open source, al fine di produrre valutazioni di alta qualità in tutti gli ambiti.
Inspect, il toolkit open source per testare la sicurezza dell’AI
I benchmark dell’IA sono complessi, in parte perché i modelli AI più sofisticati oggi sono scatole nere, la cui infrastruttura, i dati di addestramento e altri dettagli fondamentali sono tenuti nascosti dalle aziende che li creano. Inspect affronta questa sfida essendo estensibile e adattabile a nuove tecniche di test.
Il toolkit è costituito da tre componenti fondamentali: set di dati, sistemi di risoluzione (Solvers) e sistemi di valutazione (Scorers). I set di dati forniscono campioni per i test di valutazione, mentre i Solvers eseguono i test. Infine, gli Scorer valutano il lavoro dei Solver aggregando i punteggi dei test in metriche. Questi componenti possono essere ampliati tramite pacchetti di terze parti scritti in Python.
La comunità dell’AI ha accolto con favore l’iniziativa dell’U.K. Safety Institute. Deborah Raj, ricercatrice di Mozilla ed esperta di etica dell’intelligenza artificiale, ha definito Inspect una “testimonianza della potenza degli investimenti pubblici in strumenti open source per la responsabilità dell’intelligenza artificiale“. Clément Delangue, CEO della startup di AI Hugging Face, ha ventilato l’idea di integrare Inspect con la libreria di modelli di Hugging Face o di creare una classifica pubblica con i risultati delle valutazioni del toolset.
Collaborazione internazionale per la sicurezza dell’AI
Il rilascio di Inspect segue l’iniziativa del National Institute of Standards and Technology (NIST) degli Stati Uniti, che ha lanciato NIST GenAI, un programma di valutazione di varie tecnologie di AI generativa. Inoltre, gli Stati Uniti e il Regno Unito hanno annunciato una collaborazione per sviluppare congiuntamente test avanzati sui modelli di intelligenza artificiale, a seguito degli impegni presi al vertice sulla sicurezza dell’AI tenutosi nel Regno Unito a Bletchley Park nel novembre dello scorso anno.
Nell’ambito di questa collaborazione, gli Stati Uniti intendono lanciare un proprio istituto per la sicurezza dell’AI, incaricato di valutare i rischi dell’intelligenza artificiale.