fi fi fi fi fi fi fi fi fi fi fi fi fi en fi fi fi fi fi fi fi fi fi fi fi fi en fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi fi eo fr fi fi fi fi fi fi fi cs fi fi fi fi fi fi fi fi fi fi cs fi fi fi fi fi fi fi fi cs fi fi fi fi fi fi nb fi fi it fi fi en fi fi fi
SUS on hyvä - mutta älä käytä sitä hankinnoissa väärin!
Kehoitukseksi niin Apotti-hankkeelle kuin muillekin järjestelmähankkijoille: Älä käytä SUSia (System Usability Scale) käyttäjäraadin tekemissä pisteytyksissä - äläkä käytä käyttäjäraateja muutenkaan...
SUS:in hyviä puolia ovat sen yksinkertaisuus ja julkisuus: kuka tahansa voi sitä käyttää. Ja sitä on siis paljon tutkittu (mm. juuri Jeff Sauro) ja se on havaittu validiksi (= mittaa aidosti käyttäjäkokemusta). SUSista on myös uusi "positiivinen" versio, joka on myös todettu validiksi.
Näyttää kuitenkin, että SUSia käytetään helposti väärin. Olen kirjoittanut tästä aiemmin LinkedInin keskustelupalstoilla. Mutta nyt tässä asia vielä kertaalleen.
SUS on tarkoitettu käytettäväksi käytettävyystestisession jälkeen mittaamaan subjektiivista käyttökokemusta. SUSin käyttöön liittyy seuraavat oleelliset piirteet:
SUS mittaa käyttökokemusta käyttäjän omakohtaisen järjestelmän käytön perusteella
SUS mittaa nimenomaan käyttäjäkokemusta, EI käyttäjien mielipidettä järjestelmästä (käyttäjäkokemus ja käyttäjien mielipiteet ovat IHAN eri asioita)
SUS mittaa käyttökokemusta kun käyttäjä on käyttänyt järjestelmää ensi kertaa; se siis ei sovellu tilanteeseen, jossa henkilö on käyttänyt järjestelmää jo pitempään
Nyt SUSia näytetään - tai ainakin suunnitellaan - käytettävän julkisten hankintojen yhteydessä tavalla, joka ei ole toimiva monellakaan tapaa. Tämä on siis tullut esiin aiemmin LinkedInissä, ja myös nyt, kun Apotti-hanke esitteli julkisesti käytettävyyden arviointisuunnitelmiaan.
Tämä väärä tapa on seuraava:
Toimittajat esittelevät järjestelmiään käyttäjäraadille
Käyttäjät vertailevat järjestelmiä, pisteyttämällä järjestelmiä käyttäen SUS-kyselyä
Tässä lähestymistavassa on monta ongelmaa
Suoraan SUSin käyttöön liittyvä ongelma: käyttäjäraadissa käyttäjien arviointi perustuu järjestelmän näkemiseen ja toiminnan seuraamisen, ei siis omaan käyttökokemukseen. Tällaiseen SUS ei ole tarkoitettu, ja tällainen SUSin käyttö ei yksinkertaisesti ole validia.
Käyttäjäraati ei yleensäkään ei ole validi käytettävyyden arviointitapa, siis että käyttäjät laitetaan arvioimaan käytettävyyttä "näkemisen perusteella". Tällaista käytettävyyden arviointitapaa ei ole, eikä tämä tuota valideja tuloksia (riippumatta käytetäänkö SUS-kyselyä vai ei).
Yleensäkään käytettävyyttä ei pitäisi laittaa vertailukriteereihin vaan käytettävyys pitäisi asettaa hankinnoissa pakolliseksi vaatimukseksi; ks. http://hankikaytettavyytta.blogspot.fi/2013/03/esimerkki-jos-haluaa-laatua-niin-hinta.html
Mikä olisi sitten toimiva tapa? Tästä olen kirjoitellut ja pitänyt esityksiä monesti aiemmin. Eikä tässä yhteydessä siitä enempää. Paitsi ehkä sen periaatteen verran, että käytettävyyden arviointia ei koskaan tulisi lykätä käyttäjien tehtäväksi - se kun on vain (epäeettistä) vastuun siirtoa suunnittelu- tai hankintatiimiltä käyttäjille.
On kuitenkin helppo sanoa, mikä olisi helppo askel parempaan. Yksinkertaisesti: jos sinulla ei ole muuta tapaa kuin käyttäjäraati, mieluummin älä arvioi käytettävyyttä ollenkaan! Kaksi perustetta tähän:
Ei tule "väärää mielenrauhaa": että ei vain ajatella tehtävän käytettävyyttä vaikka sitä aidosti ei tehdäkään. Siis parempi olla rehellinen itselleen, todeta tämä ja jättää käyttäjäraati pois.
Säästetään (turhia) arviointikuluja. Esimerkiksi Apotin suunnitelmissa on aika massiiviset arvioinnit, jotka vievät huomattavasti sekä Apotti-projektin että käyttäjien (lukuisat eri HUS:in käyttäjäryhmien edustajat) resursseja.
Lähettänyt Timo Jokela klo 6.07 Ei kommentteja:
Kohteen lähettäminen sähköpostitseBloggaa tästä!Jaa TwitteriinJaa FacebookiinJaa Pinterestiin
Uudemmat tekstit Vanhemmat tekstit Etusivu
Positiivinen SUS (System Usability Scale) suomeksi
Positiivisen SUS -skaalan on todettu antavan yhtä luotettavia tuloksia kuin perinteisen SUS -skaalan, mutta on helpompi täyttää (ja sitä kau...
Millaista on käytettävyysasiantuntijan työ Logicalla, Tiedolla ym?
("ym." otsikossa tarkoittaa yleensäkin julkiselle taholle, esimerkiksi terveydenhuollolle, järjestelmiä kehittäviä ja toimittavia ...
P-SUS (positiviinen SUS) -kysely suomeksi: uusi versio
Aiemmassa kirjoituksessani ehdotin käännöstä P-SUS (Positive System Usability Scale) -kyselylle, ja pyysin käännöksestäni palautetta. Ja kii...
SUS on hyvä - mutta älä käytä sitä hankinnoissa vä...
Käytettävyyssuunnittelun perusteet. Sähköisenä tai painettuna
Olen ollut käytettävyyden ja käyttäjäkokemuksen suunnittelun alalla 1990-luvun puolesta välistä lähtien käytännön asiantuntijana, tutkijana, opettajana ja hankkeiden johtajana. Olen vienyt käytäntöön, kehittänyt uusia lähestymistapoja ja alan standardeja. Viime aikoina olen keskittynyt erityisesti käytettävyyden varmistamiseen tietojärjestelmien hankinnoissa. Olen kansainvälisestikin ensimmäisiä, joka on tunnistanut alan erityisen haastavaksi käytettävyyden osa-alueeksi. Olen auttanut asiakkaita tällä osa-alueella ja samalla kehittänyt tähän haasteeseen uusia lähestymistapoja: menetelmän, jolla pystyy määrittämään todennettavat ja validit käytettävyysvaatimukset tarjouspyyntöihin sekä käyttäjätutkimusmenetelmän, jolla pystyy nopeasti analysoimaan käyttäjien työn syvällisemmin kuin paljon resursseja vaativilla käyttötapausmäärittelyillä ym. Olen julkaissut aiheesta alan kansainvälisillä foorumeilla.
Teema: Yksinkertainen. Sisällön tarjoaa Blogger.