Google Foto diventa un vero portento con Ask Photos, la nuova funzione basata su Gemini
La nuova funzione consente di trovare immagini specifiche con comandi vocali e testuali grazie all'intelligenza artificiale di Gemini.In occasione del Google I/O è stata annunciata una nuova funzionalità per Google Foto denominata "Ask Photos". La funzione sfrutta l'intelligenza artificiale di Gemini per consentire agli utenti di cercare immagini specifiche utilizzando comandi vocali e testuali. Gemini di fatto è il vero protagonista di questa edizione 2024 del Google I/O, e la conferenza per sviluppatori è iniziata con un qualcosa di più utile agli utenti che ai developer, comunque più che sufficiente per dimostrare la direzione intrapresa da Big. G con la sua IA.
La potenza della ricerca (vocale o testuale)
Google Foto integra già un motore di ricerca che trova con discreta facilità quello che stiamo cercando. Al momento però si possono fare ricerche molto generiche, come banalmente "hamburger", "gatto" o richiedere foto di persone che abbiamo registrato nell'app taggando i volti.
Grazie a Gemini e ad Ask to Photos, gli utenti potranno descrivere ciò che stanno cercando e ottenere risultati maggiormente pertinenti in pochi secondi.
Si potranno usare descrizioni dettagliate come "foto di Natale 2022 con la famiglia" o "foto di Francesca che impara a nuotare" per ottenere non solo risultati ben più specifici che in passato, ma veri e propri caroselli di immagini sensate e ordinate, quasi sulla falsa riga di mini-album fotografici.
Durante l'evento Google ha fatto anche l'esempio della targa dell'auto. Se avete comprato un'automobile è probabile che gli abbiate scattato una foto, e se non vi ricordate la targa (per fatica o perché sapete dove cercarla), su Google Foto basta scrivere "Auto" o "targa" per trovare tutti i risultati inerenti. Ecco, con Ask to Photos non dovrete più sfogliare tutte le immagini di auto per trovare quella giusta: sarà Gemini a trovare la targa dell'auto proponendovi direttamente il suo numero.
E i video? Ask Photos funzionerà anche con quelli a quanto pare, ma Google al momento non ha mostrato la funzionalità in azione.
Come funziona
Ask Photos si basa su tre step:
Comprendere la domanda
- Ask Photos comprende la domanda e pianifica una strategia per trovare la risposta.
- A questo punto esegue una ricerca sofisticata per conto dell'utente, identificando non solo parole chiave rilevanti, come luoghi, persone e date, ma anche concetti di linguaggio naturale come "festa di compleanno a tema".
Formulare la risposta
- Il passo successivo consiste nello studiare i risultati della ricerca, determinando quali sono i più rilevanti e quali rispondono meglio alla richiesta dell'utente.
- Le capacità multi modali di Gemini aiutano a capire esattamente cosa accade in ogni foto, leggendo anche il testo nell'immagine se necessario.
- Ask Photos formula quindi una risposta utile e seleziona le foto e i video da restituire.
Garantire la sicurezza e ricordare le correzioni
- Anche se Ask Photos è sperimentale e potrebbe non essere sempre preciso, Google sfrutta diversi livelli di sicurezza e modelli di IA per garantire che le risposte siano sicure e appropriate. Di conseguenza è molto probabile che filtri eventuali richieste.
- Se l'utente corregge una risposta o fornisce informazioni aggiuntive, Ask Photos può ricordare i dettagli per il futuro in modo da fornire risposte ancora più puntuali.
- Google ha approfittato dell'occasione per ribadire che le foto presenti in Google Foto non sono mai usate per addestrare l'intelligenza artificiale di Gemini o simili, e che non verranno mai usate al di fuori del contesto stesso di Google Foto.
Il Contributo di Gemini
Gemini, l'intelligenza artificiale utilizzata per "Ask Photos", sfrutta algoritmi di machine learning per comprendere le richieste vocali e testuali degli utenti, migliorando la capacità di riconoscimento e ricerca anche all'interno di app come Google Foto.
Al Google I/O tra l'altro lo stesso Sundar Pichai ha annunciato novità per quanto riguarda Gemini 1.5 e il numero di token che può digerire. Senza scendere troppo in dettaglio, Gemini digerisce sempre più dati tenendo di conto di sempre più informazioni (fino a 2 milioni di token, secondo l'ultimo aggiornamento) dando risposte sempre più precise e consistenti. E Google Foto è solo uno dei tanti strumenti di Google che potrà sfruttare la sempre crescente potenza di Gemini.
Una curiosità su Google Foto
Non immaginereste mai quante foto e video vengono caricati su Google Foto ogni giorno. Un milione? 100 milioni? No, 6 miliardi. Sei miliardi di foto e video ogni giorno, ovvero 2.190 miliardi l'anno.
Disponibilità
Google ha annunciato che la funzione "Ask Photos" sarà disponibile nei prossimi mesi per tutti gli utenti di Google Foto, anche se come di consueto si partirà prima dagli Stati Uniti. L'azienda prevede di integrare ulteriormente Gemini in Google Foto in futuro.