fi fi fi fi fi fi fi fi fi fi fi nds fr fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi it fi fi fi fi fi fi ur fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi de fi fi fi fi fi fi fi fi fi fi fi nl fi fi fi en fi fi fi fi fi fi fi fi fi fi fi fi eu fi fi fi fi fi en fi fi fi fi fi es id fi ru fi fi fi fi fi fi en fi fi fi fi en fi fi fi en fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi uk fi fi fi nl fi fi it fi fi fi
Kasvojentunnistusta museokuvista — Avoimen tiedon keskus
Musiikin, taiteen ja kulttuurin tutkimuksen laitos
JYUniorit - Lasten ja nuorten yliopisto
uMove - Jyväskylän korkeakoululiikunta
Yliopistokauppa SOPPI ja verkkokauppa
Avoimen tiedon keskus > Blogi > OSC-tech > Kasvojentunnistusta museokuvista
Kasvojentunnistusta museokuvista Testasimme kuinka hyvin kasvojen valokuvista havaitseminen onnistuu nykyisillä koneoppimisalgoritmeillä. Tulokset olivat erinomaisia. https://osc.jyu.fi/fi/blogi/osc-tech/kasvojentunnistusta-museokuvista https://osc.jyu.fi/@@site-logo/logo.png
Testasimme kuinka hyvin kasvojen valokuvista havaitseminen onnistuu nykyisillä koneoppimisalgoritmeillä. Tulokset olivat erinomaisia.
Kasvojen tunnistus (facial recognition) on kuuma puheenaihe tällä hetkellä esimerkiksi joidenkin valtiollisten toimijoiden kontrollitaipumusten vuoksi. Sen sijaan kasvojen havaitseminen (face detection), jota tässä käsitellään, ei ole suuria intohimoja herättävä asia. Kasvojen tunnistuksessa yritetään yksilöidä henkilö, sen sijaan kasvojen havaitsemisessa yritetään yksinkertaisesti päätellä, onko kuvassa ihmiskasvot vai ei.
Tarkoitus oli tehdä suhteellisen nopea kokeilu millaisilla työkaluilla kasvojen havaitseminen onnistuu museokokoelmien mustavalko- ja värikuvista ja millaisia mitkä seikat vaikuttavat tunnistuksen laatuun.
Koneoppimisen de facto -kieli on python. Opencv, tensorflow ja keras ovat hyviä lähtökohtia.
Testauskoodit löytyvät githubista: https://github.com/OSC-JYU/face-detection-sample
Testasin kahta erilaista menetelmää: Opencv:n Haar Cascade -luokittelijaa ja Tensorflowta hyödyntävää Facenet-mallia.
Testasin Haar Cascade -luokittelijaa valmiilla koulutetulla mallilla (haarcascade_frontalface_default.xml), joka tulee OpenCV:n mukana.  Tämä metodi on nopea ja sillä pystyy tekemään reaaliaikaista kasvojen havaitsemista jopa selaimessa. Ongelmaksi muodostui sopivien parametrien löytäminen. Toisilla kuvilla malli oli liian herkkä (kts. kuva alla) ja jos herkkyyttää pienennettiin, niin toisilla kuvilla selkeitäkään tapauksia ei havaittu.
Jo aivan ensimmäiset kokeilut osoittivat Facenetin toimivan hyvin kaikentyyppisille kuville. Malli löysi kasvot hyvin muun muassa hyvin haljusta 1850 -luvun dagerrotyypistä (kts. kuva alla).
Kuva: Helsingin kaupunginmuseo. Testikuvan resoluutio oli 616 × 768 pikseliä.
Facenet tunnisti myös sivuprofiilit suhteellisen luotettavasti oletusasetuksilla. Haar Cascade-testissä käyttämäni malli puolestaan oli koulutettu tunnistamaan kasvoja vain suoraan edestä ja profiilien tunnistamiseen täytyi käyttää eri mallia.
Koneelliseen kohteiden havaitsemisen laatuun vaikuttavat käytetty menetelmä, koulutusdatan laatu ja määrä sekä kohteena olevien kuvien resoluutio. Kuvan resoluution vaikutusta testasin muutamalla erityyppisellä esimerkillä. Ryhmäkuvissa resoluution nosto paransi tarkkuutta huomattavasti. Pieniresoluutioisesta (768x510) ryhmäkuvasta löytyi vain jokunen kasvo:
Kun kohteeksi otettiin alkuperäinen kuva (3572x2374), kasvoja alkoi löytymään huomattavasti paremmin.
Vastaavasti kokeilu vanhan dagerrotyypin suurempiresoluutioisella versiolla tuotti yllätyksen: kasvoja alkoi löytymään (algoritmin mielestä) myös kuvan kehyksestä.
Kuvan resoluution kasvattaminen ei siis yksiselitteisesti paranna tulosta. Jos suurempia resoluutioita käytetään, on ehkä syytä tehdä suodatus, jossa pienimmät tunnistukset jätetään huomioimatta.
Mitä hyötyä kasvojen tunnistamisesta on museo- tai kirjastokokoelmatyölle? Yksi käyttökohde on automaattinen kategorisointi. Kuvat voidaan luokitella ryhmäkuviin ja muotokuviin sen perusteella, kuinka monta kasvoa ja minkä kokoisia suhteessa kuvaan ne ovat. Kone on väsymätön luokittelija, jonka avulla voidaan käydä läpi satoja tuhansia kuvia. Tehtävä, jota ei ihmisvoimin kannata tehdä.
Samoilla menetelmillä voidaan prosessoida myös videomateriaalia. Videoon voidaan merkitä "joukkokohtauksia" ja "puhuvia päitä" niiden selailun helpottamiseksi. Videon käsittely ruutu ruudulta vie luonnollisesti paljon aikaa, mutta prosessia voidaan nopeuttaa tunnistamalla videosta epäjatkuvuuksia (ts. kohtauksia), jonka jälkeen voidaan tehdä kasvojen havaitsemista/tunnistamista vain muutamasta ruudusta per kohtaus.
Kohteiden tunnistamisen ei tietenkään tarvitse rajoittua pelkästään kasvojen tunnistamiseen. Samat periaatteet ja pääosin samat ohjelmistot toimivat muillekin objekteille. Vanhojen aineistojen kohdalla ongelma on sopivien (hyödyllisten) mallien löytämisessä. Jos esimerkiksi haluaisimme löytää autot 1900-luvun alkupuolen kuvista, niin voi olla hankala löytää mallia, joka tunnistaisi T-fordin vuodelta 1920.
Mallin voi tietysti myös kouluttaa itse. Tällöin aineistoa vaan pitää olla suhteellisen paljon, mikä voi aiheuttaa ongelmia vanhempien museoaineistojen kohdalla aineistojen vähäisyyden tai kirjavuuden takia. Kouluttaminen vaatii myös aika paljon puhdasta käsityötä eli haluttujen kohteiden merkitsemistä kuvaa (supervised  learning).
Seuraavaksi täytyykin kokeilla geneerisempää objektien tunnistamista esim YOLO-mallin avulla. Tämä voisi auttaa museoaineistojen alata kasvavien kuvamäärien automaattisessa tai semi-automaattisessa kuvailussa. Loppujen lopuksihan emme ole kovin kiinnostuneita siitä, näkyykö kuvassa kasvot vaan siitä, onko kuvassa ihmisiä, hamstereita, polkupyöriä vai Reino-tohveleita.
Kuva-aineistona on käytetty Helsingin kaupungimuseon CC-BY -lisenssoituja kuvia:
JYU ja avoin tiede
Jyväskylän yliopiston kirjasto Lähde avautuu maanantaina 30.8. 24.08.2021
Ylistönrinteen kirjasto suljetaan muuton vuoksi to 24.6.2021 22.06.2021
Lähde-kirjaston ravintolapalveluiden toteuttajaksi valittiin Compass Group 28.05.2021
Rakennustyömaan viikkotiedote, viikko 21 26.05.2021
The renovated Library Building will have a science and art education centre open for public 21.05.2021
PL 35 (B, Lähde)
Seminaarinkatu 15 (B, Lähde)
Yliopiston erillislaitokset ja palvelut
Monikielisen akateemisen viestinnän keskus Movi