Betrouwbaarheid van de Zorgzwaartepakket (ZZP) scorelijst
Betrouwbaarheid van de Zorgzwaartepakket (ZZP) scorelijst D.H.M. Frijters  W.P. Achterberg verzorgingshuizen voor elke verblijvende clie¨ nt een sco-
relijst ZorgZwaartePakketten laten invullen. Is het invul-
len daarvan betrouwbaar en is het invullen van elk van de
54 vragen noodzakelijk? Om dit te kunnen beantwoor-
den hebben we onderzoek gedaan naar de betrouwbaar-
heid
van
invullen
in
een
verpleeghuis
en
een
verzorgingshuis bij elk twee afdelingen. Voor 122 clie¨ n-
ten werden scorelijsten ingevuld zodanig dat de inter- en
de intrabeoordelaarbetrouwbaarheid kon worden beoor-
deeld. Tien van de 54 vragen in de scorelijst scoorden bij
de toets naar interbeoordelaarbetrouwbaarheid onvol-
doende (<0,40) op de gewogen Cohen kappa overeen-
komsttoets en nog eens zestien matig (0,40 – 0,60). Ook
op intrabeoordelaarbetrouwbaarheid scoorden zeven
vragen onvoldoende en nog eens vijftien matig. Daar-
naast bleken tien clusters van vragen te kunnen worden
gevormd met per cluster een onderlinge Spearman corre-
latiecoe¨ fficie¨ nt van 0,75 of hoger, hetgeen redundantie
van een flink aantal items suggereert. Uit de uitkomsten
van de betrouwbaarheidtoetsen en de correlaties tussen
de vragen trekken wij de conclusie dat bijna de helft van
de vragen in de ZZP scorelijst moet worden verbeterd en
dat van de lijst zoals die nu is 15 van de 54 vragen op
statistische gronden overbodig lijken. Abstract The ZZP Questionnaire. Reliability of a new
resource utilization measure. Data to determine the
resource utilization of care recipients need to be relia-
ble and the items that are measured need to be useful. In 2006, the Dutch Ministry of Health and Welfare
has mandated all nursing homes and homes for the
elderly to measure the Resource Utilization of all
residents with the ZZP Questionnaire. Are the data
resulting from this measurement reliable and is each
of the 54 items of the ZZP Questionnaire useful? To
answer this we tested the reliability of the data in a
nursing home and a home for the elderly in two
wards each. For 122 residents questionnaires were
completed such that the inter- and intra-rater reliabi-
lity of the answers could be assessed. Ten of the 54
items in the questionnaire showed insufficient inter
rater
reliability
(<0.40)
on
the
weighted
Cohen
kappa and another sixteen moderate (0.40 – 0.60). On the intra rater reliability test seven items had an
insufficient kappa and another fifteen moderate. Besi-
des, ten clusters of items could be formed with in-
cluster Spearman correlation rates of .75 or higher. D.H.M. Frijters (*)
Afd. Verpleeghuisgeneeskunde, Vrije Universiteit Medisch
Centrum, Amsterdam. Tevens: Prismant, Utrecht. Betrouwbaarheid van de Zorgzwaartepakket (ZZP) scorelijst From the results of the reliability tests and the item
intercorrelation rates we concluded that a substantial
number of items needs to be improved and that in the
ZZP Questionnaire 15 of the 54 items appear to be
redundant on statistical grounds.Tijdschr Gerontol
Geriatr 2007; 38: 166-173 Keywords zorgzwaarte  invulbetrouwbaarheid 
verpleeghuis  verzorgingshuis  ZZP scorelijst Samenvatting Voor het bepalen van zorgzwaarte van
clie¨ nten zijn gegevens nodig die betrouwbaar zijn en die
voortkomen uit een doelmatige vragenlijst. Het Ministe-
rie van VWS heeft eind 2006 in alle verpleeg- en Tijdschrift voor Gerontologie en Geriatrie, 2007 (2007) 38:145–151
DOI 10.1007/BF03074844 Tijdschrift voor Gerontologie en Geriatrie, 2007 (2007) 38:145–151
DOI 10.1007/BF03074844 ARTIKEL Dataverzameling Dataverzameling Twee instellingen, verpleeghuis Het Zonnehuis Zuidhorn
en verzorgingshuis Driee¨ nhuijzen, namen deel aan het
onderzoek met ieder twee afdelingen. Op de deelnemende
afdelingen werden voor alle verblijvende clie¨ nten als
volgt de scorelijsten ingevuld. Op de vier afdelingen (van gemiddeld ruim 30 clie¨ nten)
zijn in november/december 2006 telkens door e´ e´ n beoor-
delaar per afdeling voor alle clie¨ nten van die afdeling in
een periode van een aantal weken alle ZZP scorelijsten
ingevuld. Van deze invullingen werd een papieren kopie
gemaakt. In de tweede en derde week van februari 2007
werd in het kader van het hier beschreven onderzoek
door dezelfde beoordelaar uit de november/december
periode voor de nog verblijvende clie¨ nten op papier
wederom de ZZP scorelijst ingevuld (voor bepalen van
de
intrabeoordelaarbetrouwbaarheid). Door
andere
beoordelaars (twee per afdeling) werd onafhankelijk
daarvan voor elk van de nog verblijvende clie¨ nten ook
op papier een ZZP scorelijst ingevuld (voor bepalen van
de interbeoordelaarbetrouwbaarheid). Vooruitlopend op de invoering van de zorgzwaartebe-
kostiging hebben alle instellingen waar intramurale zorg
wordt gegeven voor elk van hun clie¨ nten een ZZP score-
lijst moeten invullen. Deze scorelijst is door het bureau
Hoeksma, Homans & Menting (HHM) in opdracht van
en in afstemming met VWS opgesteld. De lijst bevat 54
vragen. Op basis van de antwoorden op deze vragen
wordt
een
clie¨ nt
een
zorgzwaartepakket
(ZZP)
toegewezen. g
Het invullen van de scorelijsten heeft de instellingen
veel tijd gekost en gaat hen in de toekomst bij aanvraag
van herindicatie van het zorgzwaartepakket wederom
tijd kosten. Voor nieuw op te nemen clie¨ nten zal de
scorelijst door het Centrum Indicatiestelling Zorg wor-
den ingevuld. De Nederlandse Zorgautoriteit i.o. (voor-
heen
CTZ)
stelt
in
de
toezichttoets
Zorgzwaartebekostiging
intramurale
AWBZ
zorg:
“Voor een efficie¨ nte vaststelling of AWBZ-uitgaven
rechtmatig zijn is het noodzakelijk dat alle partijen in
de zorgverlenings- en controleketen kunnen steunen op
voldoende en betrouwbare gegevens….”.2 Noch in de
informatie op de VWS-website, noch in de (inter)natio-
nale literatuur konden wij echter gegevens vinden over de
betrouwbaarheid, validiteit, responsiviteit of de doelma-
tigheid van de vragenlijst. In verschillende andere landen
in Europa en Noord-Amerika zijn wel zorgzwaarte-
bekostigingssystemen voor de chronische zorg uitgebreid
onderzocht en in de literatuur beschreven.3-9 Voor de beoordeling van de interbeoordelaarbetrouw-
baarheid werd de vergelijking van de tweede beoordeling
van de eerste beoordelaar en die van de nieuwe beoorde-
laar gebruikt. Methoden van de einddoelen van de modernisering van de Alge-
mene Wet Bijzondere Ziektekosten (AWBZ). Voor elke
zorgvrager wordt berekend op welk zorgzwaartepakket
(ZZP) hij of zij recht heeft. Een ZZP is een volledig pak-
ket van zorg dat aansluit op de kenmerken van de clie¨ nt
en het soort zorg dat deze nodig heeft. Een ZZP bestaat
uit een beschrijving van het type clie¨ nt (een clie¨ ntprofiel),
het aantal benodigde uren zorg en een beschrijving van
die zorg. Aan ieder ZZP hangt een (maximale) prijs. VWS gaat uit van 45 ZZP’s voor de drie sectoren binnen
de intramurale zorg; 10 voor de verpleging en verzorging,
7 voor de geestelijke gezondheidszorg en 28 voor de
gehandicaptenzorg. Dataverzameling Elk van de beoordelaars was werkzaam op
de afdeling, had een opleiding Verzorgende Individuele
Gezondheidszorg (VIG) op niveau 3 of hoger en kende
de clie¨ nt goed. De beoordelaars hadden buiten de instel-
ling in het kader van het VWS ZZP project dan wel in de
instelling een uitvoerige instructie en training ontvangen. De ingevulde scorelijsten zijn geanonimiseerd aan de
onderzoekers ter beschikking gesteld. Inleiding Het Ministerie van Volksgezondheid, Welzijn en Sport
(VWS) heeft besloten dat er in 2007 nieuwe regels komen
om de kosten voor het verblijf in een zorginstelling te
vergoeden.1 Dit heet zorgzwaartebekostiging en is een Tijdschrift voor Gerontologie en Geriatrie, 2007 (2007) 38:145–151 146 Overeenkomsten tussen de vragen De overeenkomst in de antwoorden tussen de verschil-
lende vragen van de scorelijst werd onderzocht met de
Spearman correlatietoets (SPSS versie 11). Wanneer bin-
nen hetzelfde thema (begeleidingsbehoefte, verzorgings-
behoefte,
verplegingsbehoefte,
behoefte
aan gedragsregulering, cognitieve/psychische aspecten, beno-
digde setting van zorgverlening) antwoorden op twee
verschillende vragen voor tenminste 0,75 met elkaar cor-
releerden, werden deze in een cluster geplaatst. Was er
nog een vraag binnen het thema dat met elk van de twee
al in het cluster geplaatste vragen voor tenminste 0,75
correleerde, dan werd ook deze vraag aan het cluster
toegevoegd enzovoort. De overeenstemmingsresultaten waren bij het ver-
pleeghuis over de gehele linie statistisch significant
hoger dan in het verzorgingshuis. Betrouwbaarheid Betrouwbaarheid Dataverzameling In november/december 2006 hadden vier beoordelaars
op de vier afdelingen die aan het onderzoek zouden gaan
deelnemen, van alle verblijvende clie¨ nten de ZZP score-
lijsten ingevuld met behulp van de ZZP scorelijst Inter-
netmodule van VWS. Intrabeoordelaarbetrouwbaarheid Een tweede beoordeling ten opzichte van de eerste
door dezelfde beoordelaar stemde over het algemeen
wat beter overeen dan scores van twee verschillende
beoordelaars. Zeven vragen stemden onvoldoende over-
een (kappa < 0,40), waarvan vijf die dat ook al deden
tussen beoordelaars. Negentien vragen stemden matig
overeen (kappa >0,40 en <0,60) , zesentwintig redelijk
tot goed (kappa > 0,60 en <0,80) en twee stemden uit-
stekend overeen (kappa > 0,80). Overeenstemming in scores op de vragen van de ZZP
scorelijst Tabel 2 laat zien dat met de resultaten van de Spearman
correlatietoets in totaal tien clusters van (inhoudelijk
samenhangende) vragen kunnen worden gevormd die
voor tenminste 0,75 in hun antwoorden met elkaar corre-
leerden en zeven clusters die zelfs voor tenminste 0,80 met
elkaar correleerden. Dit was in alle gevallen statistisch
significant met een P-waarde van < 0,001 (tweezijdig
getoetst). Interbeoordelaarbetrouwbaarheid De betrouwbaarheid van de ZZP scorelijst werd beoor-
deeld met de kappa-overeenstemmingstoets.10,11 De
kappa heeft een waardebereik van –1 tot +1. Een waarde
0 betekent “geen overeenkomst, m.a.w. toeval”, een
waarde +1 “volledig gelijk” en -1 “volledig ongelijk”. Indien het aantal scoremogelijkheden van een variabele
groter was dan 2, werd een kwadratisch gewogen kappa
gemeten.12 De kappawaarde is voor dit soort toetsen
bijzonder bruikbaar omdat de toevallige kans op over-
eenstemming wordt meegewogen. Tabel 1 laat zien dat tien van de 54 vragen van de
scorelijst een onvoldoende overeenstemming (kappa <
0,40) tussen beoordelaars hadden. Het gaat om de vragen
35, 36, 37, 38, 43, 45, 49, 50, 52 en 54 die handelen over
wond/stoma zorg, zorg bij uitscheiding, gespecialiseerd
verpleegkundig handelen, bescherming tegen zelfver-
wonding, dwangmatig gedrag, ontremd gedrag, verte-
kend omgevingsbeeld, motivatie, persoonlijke relaties
en type verblijfsomgeving. Zestien vragen stemden
matig overeen (kappa > 0,40 en < 0,60), vierentwintig
vragen stemden redelijk tot goed overeen (kappa > 0,60
en < 0,80) en vier stemden uitstekend overeen (kappa >
0,80). Voor de interpretatie van de kappawaarde maakten
wij gebruik van de Koch en Landis kwalificatie: een
kappawaarde groter dan 0,80 is uitstekend, van 0,60 tot
0,80 redelijk tot goed, van 0,40 tot 0,60 matig en lager
dan 0,40 onvoldoende.13 ZZP scorelijst De Zorgzwaartepakket scorelijst bevat vragen over 54
onderwerpen, gerangschikt naar begeleidingsbehoefte
(vragen 1 t/m 22); verzorgingsbehoefte (vragen 23 t/m
34); verplegingsbehoefte (vragen 35 t/m 37); behoefte aan
gedragsregulering (vragen 38 t/m 46); cognitieve/psychi-
sche aspecten (vragen 47 t/m 52); en benodigde setting
van zorgverlening (vragen 53 en 54). Alle vragen hebben
een oplopende score, wat wil zeggen dat ‘0’ een lichtere
conditie weergeeft dan ‘1’, dan ‘2’ enzovoort. Op vijf
vragen na zijn de scoremogelijkheden telkens 0 – 3, waar-
bij 0 en 3 de uitersten ‘geen hulp’ en ‘volledige/altijd hulp’
en 1 en 2 de tussenwaarden ‘enige/soms’ en ‘vaak/veel
hulp’ weergeven. Twee vragen hebben een scorebereik
van 1 – 4, e´ e´ n van 1 – 3, e´ e´ n van 0 – 2 en e´ e´ n van 0 – 1. Het hier gepresenteerde onderzoek wil een antwoord
geven op de volgende twee vragen: (1) Wat is de betrouwbaarheid van de vragen van de
ZZP scorelijst? (2) Welke vragen hebben statistisch sterke overeen-
komst met elkaar? De laatste vraag is belangrijk voor de doelmatigheid
van de scorelijst, omdat een sterke correlatie tussen sco-
res op verschillende vragen op itemredundantie kan
wijzen. 1 3 Tijdschrift voor Gerontologie en Geriatrie, 2007 (2007) 38:145–151 147 Discussie Voor alle clie¨ nten (122) die eind januari 2007 nog op
de vier afdelingen van de twee instellingen verbleven
werd op dat moment opnieuw een scorelijst ingevuld. De volledigheid van invulling van de vragen van de score-
lijsten was in november/december 100% en in januari bij
de meeste vragen wederom 100%, maar bij elk vraag
tenminste hoger dan 98%. In totaal werden door twaalf
verpleegkundigen ZZP scorelijsten ingevuld. Niet eerder is er een wetenschappelijk verslag verschenen
over de eigenschappen van de methode om te komen tot
zorgzwaartebekostiging in de Verpleeg- en Verzorgings-
sector (V&V) via de ZZP methode. Dit onderzoek bij 122
verpleeg- en verzorgingshuisclie¨ nten laat zien dat zowel
de inter- als de intrabeoordelaarbetrouwbaarheid van dit
systeem te wensen overlaat: tien van de 54 vragen hebben 1 1 3 Tijdschrift voor Gerontologie en Geriatrie, 2007 (2007) 38:145–151 148 Tabel 1 ZZP scorelijst: inter- en intrabeoordelaarbetrouwbaarheid (kappa met 95% betrouwbaarheidsinterval (B.I.), vergelijking tusse
twee locaties. Vraag
Inter
3H/HZZ
**
Intra
3H/HZZ
**
kappa
95% B.I. kappa
95% B.I. Discussie V1 Orie¨ ntatie in tijd
0,66
(,54 – ,77)
-
0,74
(,66 – ,82)
+
V2 Orie¨ ntatie in plaats
0,74
(,64 – ,85)
-
0,78
(,69 – ,87)
V3 Orie¨ ntatie in ruimte
0,66
(,55 – ,77)
-
0,80
(,72 – ,89)
+
V4 Orie¨ ntatie in persoon
0,60
(,48 – ,73)
-
0,66
(,55 – ,77)
-
V5 Beslisbekwaamheid
0,65
(,54 – ,75)
+
0,55
(,39 – ,70)
+
V6 Uitvoeren eenvoudige taken
0,56
(,42 – ,70)
-
0,53
(,38 – ,69)
-
V7 Uitvoeren complexere taken
0,59
(,41 – ,78)
-
0,44
(,20 – ,67)
-
V8 Dagelijkse routine regelen
0,63
(,51 – ,75)
-
0,65
(,53 – ,76)
+
V9 Uitvoeren dagelijkse bezigheden
0,72
(,61 – ,83)
-
0,61
(,20 – ,67)
-
V10 Geld beheren, kopen, betalen
0,75
(,64 – ,85)
+
0,75
(,48 – ,74)
+
V11 Afhandelen administratie
0,76
(,65 – ,87)
-
0,50
(,65 – ,86)
-
V12 Openbaar vervoer gebruiken
0,67
(,47 – ,86)
-
0,32
(-,09 – ,73)
+
V13 Zich redden in winkels, bank
0,78
(,70 – ,86)
-
0,65
(,49 – ,81)
+
V14 Anderen begrijpen
0,66
(,56 – ,76)
-
0,64
(,55 – ,73)
-
V15 Zich begrijpelijk maken
0,72
(,63 – ,80)
-
0,70
(,60 – ,79)
-
V16 Gesprek voeren
0,62
(,50 – ,74)
-
0,66
(,56 – ,76)
-
V17 Contacten leggen
0,62
(,50 – ,75)
-
0,62
(,51 – ,74)
-
V18 Deelnemen aan clubs
0,66
(,54 – ,79)
+
0,43
(,23 – ,62)
-
V19 Vrije tijd buitenshuis
0,67
(,54 – ,81)
-
0,42
(,20 – ,64)
-
V20 Bezoeken algemene voorzieningen
0,60
(,46 – ,74)
-
0,63
(,47 – ,79)
+
V21 Dagtaak uitvoeren
0,70
(,59 – ,81)
+
0,65
(,53 – ,77)
-
V22 Centrale doel van begeleiding
0,53
(,39 – ,68)
-
0,38
(,21 – ,55)
-
V23 Zich wassen
0,67
(,56 – ,78)
-
0,70
(,58 – ,81)
-
V24 Zich aan- en uitkleden
0,72
(,62 – ,82)
-
0,78
(,69 – ,87)
-
V25 In en uit bed stappen
0,82
(,75 – ,90)
-
0,83
(,76 – ,89)
-
V26 Toilet bezoeken
0,84
(,77 – ,91)
-
0,87
(,82 – ,92)
-
V27 Eten en drinken
0,51
(,39 – ,64)
-
0,62
(,50 – ,74)
-
V28 Zelfverzorging
0,55
(,41 – ,69)
-
0,55
(,41 – ,68)
+
V29 In zit- of lighouding komen
0,83
(,76 – ,91)
-
0,76
(,65 – ,86)
-
V30 Lichaamspositie veranderen
0,83
(,77 – ,90)
-
0,75
(,66 – ,83)
-
V31 Binnenshuis voortbewegen
0,74
(,63 – ,85)
+
0,75
(,64 – ,86)
-
V32 Korte afstanden lopen
0,62
(,50 – ,75)
-
0,53
(,38 – ,67)
-
V33 Gebruik rechter- of linkerhand
0,66
(,52 – ,79)
-
0,72
(,59 – ,84)
-
V34 Grove hand- en armbewegingen
0,61
(,50 – ,73)
-
0,60
(,50 – ,71)
-
V35 Wond- en /of stomaverzorging
0,33
(,11 – ,56)
+
0,28
(,05 – ,51)
-
V36 Ondersteuning bij uitscheiding
0,33
(,06 – ,61)
-
0,32
(,04 – ,61)
-
V37 Gespecialiseerd verplk. Discussie Omdat de CIZ-medewerkers een centrale positie gaan
krijgen bij de toewijzing van de ZZP’s is aanvullend
onderzoek naar betrouwbaarheid in deze setting dan
ook zeker wenselijk. een te lage interbeoordelaarbetrouwbaarheid (kappa <
0,40) en nog eens zestien scoren hierop matig. De indruk
bestaat dat lastiger te interpreteren items (motivatie, zelf-
verwonding, gedrag) slechter scoren dan items over
transfers (in zit of lighouding komen, lichaamspositie
veranderen, in en uit bed stappen, toiletbezoek) die uit-
stekend (kappa >0,80) scoren. Ook voor de intrabeoor-
delaarbetrouwbaarheid geldt dat een groot deel van de
vragen (16/54) onvoldoende tot matig scoorde. Een bij-
komende reden voor de matige betrouwbaarheid hiervan
zou kunnen liggen in mogelijke veranderingen in de toe-
stand van de clie¨ nten in de relatief lange tijdsspanne
(circa zes weken) tussen de eerste en tweede beoordeling. Daarentegen zouden wij dat effect van die veranderingen
dan zeker ook verwacht hebben bij de items die zowel bij
de inter- als bij de intrabeoordelaarsbetrouwbaarheid
uitstekend scoorden. een te lage interbeoordelaarbetrouwbaarheid (kappa <
0,40) en nog eens zestien scoren hierop matig. De indruk
bestaat dat lastiger te interpreteren items (motivatie, zelf-
verwonding, gedrag) slechter scoren dan items over
transfers (in zit of lighouding komen, lichaamspositie
veranderen, in en uit bed stappen, toiletbezoek) die uit-
stekend (kappa >0,80) scoren. Ook voor de intrabeoor-
delaarbetrouwbaarheid geldt dat een groot deel van de
vragen (16/54) onvoldoende tot matig scoorde. Een bij-
komende reden voor de matige betrouwbaarheid hiervan
zou kunnen liggen in mogelijke veranderingen in de toe-
stand van de clie¨ nten in de relatief lange tijdsspanne
(circa zes weken) tussen de eerste en tweede beoordeling. Daarentegen zouden wij dat effect van die veranderingen
dan zeker ook verwacht hebben bij de items die zowel bij
de inter- als bij de intrabeoordelaarsbetrouwbaarheid
uitstekend scoorden. Daarnaast vonden wij statistische aanwijzingen voor
mogelijke redundantie van een flink aantal vragen. Zo
konden wij tien clusters van vragen samenstellen die sterk
met elkaar zijn gecorreleerd. De mogelijkheid zou onder-
zocht moeten worden of deze clusters tot telkens e´ e´ n ZZP scorelijsten worden behalve door ziekenverzor-
genden in verpleeg- en verzorgingshuizen ook ingevuld
door medewerkers van de thuiszorg, medewerkers bij Tabel 2 Spearman correlatie in antwoorden tussen vragen van de ZZP scorelijst (N=122). Discussie handelen
0,33
(-,15 – ,81)
-
0,33
(-,15 – ,85)
-
V38 Zelfverwonding
0,20
(-,24 – ,65)
-
0,43
(,06 – ,81)
-
V39 Verbaal agressief gedrag
0,53
(,30 – ,79)
-
0,72
(,60 – ,84)
-
V40 Lichamelijk agressief gedrag
0,46
(,06 – ,86)
-
0,73
(,57 – ,88)
-
V41 Destructief gedrag
0,49
(-,20 – 1,00)
-
0,22
(-,76 – 1,00)
? V42 Manipulatief gedrag
0,54
(,35 – ,74)
-
0,56
(,35 – ,76)
-
V43 Dwangmatig gedrag
0,33
(,10 – ,55)
-
0,54
(,38 – ,71)
-
V44 Ongepast seksueel gedrag
0,62
(,17 – 1,00)
-
0,65
(,36 – ,95)
-
V45 Ontremd gedrag
0,25
(-,05 – ,55)
-
0,52
(,30 – ,73)
-
V46 Psychiatrische problematiek
0,49
(,27 – ,72)
-
0,60
(,44 – ,77)
-
V47 Concentratiestoornissen
0,48
(,33 – ,63)
+
0,54
(,42 – ,66)
- ter- en intrabeoordelaarbetrouwbaarheid (kappa met 95% betrouwbaarheidsinterval (B.I.), vergelijking tussen Tijdschrift voor Gerontologie en Geriatrie, 2007 (2007) 38:145–151 Tijdschrift voor Gerontologie en Geriatrie, 2007 (2007) 38:145–151 149 Tabel 1 (continued)
Vraag
Inter
3H/HZZ
**
Intra
3H/HZZ
**
kappa
95% B.I. kappa
95% B.I. V48 Geheugen- en denkstoornissen
0,57
(,43 – ,71)
+
0,64
(,53 – ,75)
+
V49 Vertekend omgevingsbeeld
0,30
(,10 – ,50)
-
0,54
(,37 – ,71)
-
V50 Onvoldoende motivatie
0,38
(,23 – ,53)
+
0,59
(,47 – ,70)
+
V51 Angststoornis
0,47
(,31 – ,64)
+
0,41
(,22 – ,60)
+
V52 Gemis persoonlijke relaties
0,36
(,18 – ,54)
+
0,19
(-,05 – ,43)
-
V53 Leveringsvoorwaarde zorg
0,51
(,35 – ,66)
-
0,55
(,46 – ,65)
-
V54 Type verblijfsomgeving
0,40
(,24 – ,57)
-
0,74
(,64 – ,85)
-
** De vergelijking van de kappacoe¨ fficie¨ nt in verzorgingshuis 3H ten opzichte van verpleeghuis HZZ, waarbij + een hogere kappa betekent
voor het verzorgingshuis, – een lagere en ? niet te bepalen. instellingen voor verstandelijk gehandicapten en, niet te
vergeten, door medewerkers bij het Centrum Indicatie-
stelling Zorg (CIZ). Het lijkt niet waarschijnlijk dat vra-
gen die in ons onderzoek een slechte betrouwbaarheid
hadden in andere settings beter zullen presteren. De
beoordelaars in het verpleeghuis en het verzorgingshuis
waren goed opgeleid, kenden hun clie¨ nten vanuit de
dagelijkse omgang en waren goed geschoold voor het
invullen van de ZZP scorelijst. Beoordelaars elders, met
name bij het CIZ, zullen vaak onder minder gunstige
omstandigheden
hun
gegevens
moeten
verzamelen. Discussie ZZP-scorelijst vragen
inhoud vragen
laagste Spearman correlatie:> 0,75
(+); > 0,80 (++)*
1
1, 2, 3
orie¨ ntatie in tijd, plaats en ruimte
++
2
6, 7
eenvoudige en complexe taken kunnen uitvoeren
+
3
8, 9
dagelijkse routine regelen en uitvoeren
++
4
11, 13
administratieve zaken afhandelen en zich in winkel en
bank kunnen redden
++
5
14, 15
anderen kunnen begrijpen en zichzelf begrijpelijk
maken
++
6a
6b
18,19, 20
19, 20
deelname aan clubs, vrije tijd buitenshuis en bezoek aan
algemene voorzieningen
+
++
7a
7b
23, 24, 28
23, 24
wassen, kleden, zelfverzorging
+
++
8
25, 29, 30, 31
in/uit bed komen, kunnen gaan zitten, lichaamspositie,
zich voortbewegen
++
9
39, 40
verbaal en lichamelijk agressief gedrag
+
10
47, 48
concentratie en geheugen
+
* Alle correlaties hebben een P<0,001 (tweezijdig getoetst). Tabel 2 Spearman correlatie in antwoorden tussen vragen van de ZZP scorelijst (N=122). ZZP-scorelijst vragen
inhoud vragen 1 3 Tijdschrift voor Gerontologie en Geriatrie, 2007 (2007) 38:145–151 150 vraag te herformuleren zijn, waardoor het aantal vragen
sterk kan worden beperkt. Dit geeft mogelijk een bespa-
ring van 15 vragen. Het betreft clusters van vragen over
orie¨ ntatie, kunnen uitvoeren van taken, de dagelijkse
routine, regelen van administratieve zaken, activiteiten
buitenshuis, ADL zelfzorg, lichamelijk functioneren,
agressief gedrag en denkvermogen. argumenten te staven. Zo zijn er nog vele vragen onbe-
antwoord. Is de vragenlijst bijvoorbeeld in staat om
belangrijke veranderingen in de zorgvraag van de patie¨ nt
aan te geven? Geeft het systeem mogelijk prikkels om
extra activiteiten die de kwaliteit van leven ten goede
komen, zoals snoezelen of Passiviteiten Dagelijks Leven
(PDL), niet uit te voeren? Wat is de invloed op zorgacti-
viteiten, zoals het bevorderen van een grotere zelfstandig-
heid of autonomie, die kunnen leiden tot een lager ZZP
en een lagere bekostiging? We hebben in dit onderzoek weliswaar de betrouw-
baarheid en doelmatigheid van de (hoeveelheid) vragen
gemeten, maar kunnen daarmee geen uitspraak doen
over de validiteit van de ZZP of de betrouwbaarheid
van toewijzing van Zorgzwaartepakketten aan clie¨ nten. Dit kunnen we niet omdat het algoritme waarmee de
ZZP toewijzing wordt berekend niet is vrijgegeven. Mogelijk dat door een samennemen van scoremogelijk-
heden op een vraag, bijvoorbeeld 0 en 1 samen en 2 en 3
samen de betreffende vraag een hogere kappa bij de
overeenstemmingstoets laat zien en daarmee als vraag
toch geschikt is voor de ZZP toewijzing. Dankwoord We danken Tom van der Meulen, voorzitter van de Raad
van Bestuur van Zorgcombinatie Nieuwe Maas, en Jan
Peter Kroes, voorzitter van Woonzorgcentra Wester-
kwartier voor het faciliteren van het onderzoek bij ver-
zorgingshuis
Driee¨ n-Huijsen
en
verpleeghuis
Het
Zonnehuis Zuidhorn. Tevens danken we de medewerkers
van het verzorgingshuis en het verpleeghuis die de gege-
vens hebben verzameld en die de verzameling hebben
voorbereid en georganiseerd. Een vraag die naar ons weten tot nu ten aanzien van de
ZZP scorelijst nergens volhardend is gesteld, maar die
wellicht de belangrijkste van alle is, is of de ZZP scorelijst
bij gebruik als onderliggend systeem voor kostenvergoe-
ding de druk van majoreren kan doorstaan. Majoreren
betekent dat de zorgverlener primair geleid wordt door
mogelijke effecten op zijn inkomsten. De Nederlandse
Zorgautoriteit (NZA) gebruikt hiervoor de term ‘upco-
ding’, ofwel het koppelen van een clie¨ nt aan een duurdere
ZZP dan nodig gelet op zijn zorgbehoefte. Uit het buiten-
land is bekend (VS, Canada) dat een systeem dat los van
de praktijk van de zorgverlening gegevens verzamelt voor
kostenvergoeding gevoelig is voor majoreren en veel con-
trole nodig heeft van buitenaf. Om die reden zijn in veel
landen kostenvergoedingssystemen ontwikkeld die geba-
seerd zijn op gegevensvastleggingen die primair bedoeld
zijn om de zorgverlening te ondersteunen en die inge-
bouwde controles hebben in de vorm van ‘grote redun-
dantie’ en ontmoedigen van onterecht hoge scores
doordat daarmee tevens slecht op indicatoren van kwa-
liteit van zorg wordt gescoord.4,5,8,9,14 Naast aanvullend
onderzoek naar de betrouwbaarheid van de vragenlijst,
zal validerend onderzoek met reeds geteste zorgzwaarte-
instrumenten nodig zijn om deze grote verandering in de
bekostiging van de V&V sector met wetenschappelijke Discussie Voor de vragen
die sterk met elkaar correleren blijft echter het feit dat ze,
hoe het algoritme ook is opgebouwd, zonder wezenlijk
verlies aan informatie kunnen worden ingedikt of kun-
nen vervallen. Omdat het hier per jaar om honderddui-
zenden vragenlijsten gaat is wezenlijke efficie¨ ntiewinst te
behalen. Een nog beter inzicht in de kwaliteiten van de
ZZP zou verkregen kunnen worden door aanvullend
onderzoek waarbij schaalanalysemethodes volgens de
moderne item-responstheorie worden gebruikt. Samenvattend geeft dit onderzoek aanleiding om de
betrouwbaarheid en doelmatigheid van de ZZP scorelijst
in twijfel te trekken. Aanvullend onderzoek, met een
grotere populatie en in verschillende settings, is daarom
noodzakelijk. Daarnaast vragen we ons af hoe verstandig
het is om de zorgbekostiging te baseren op een systeem
met een zo fragiele wetenschappelijke basis als de ZZP
Scorelijst. 1 3 Literatuur Website VWS: www.MinVWS.nl, 2006. Website VWS: www.MinVWS.nl, 2006. Toezichttoets Zorgzwaarte bekostiging Intramurale AWBZ zorg. www.ggzbeleid.nl/pdfdbc/fb_za_toetszzps_0609.pdf Toezichttoets Zorgzwaarte bekostiging Intramurale AWBZ zorg. www.ggzbeleid.nl/pdfdbc/fb_za_toetszzps_0609.pdf Hawes C, Morris JN, Phillips CD, Mor V, Fries BE, Nonemaker S. Reliability estimates for the Minimum Data Set for nursing
home residents assessments and care screening (MDS). Geron-
tologist 1995;35:172-8. Frijters DHM, Achterberg WP, Hirdes JP, Fries BE, Morris JN,
Steel K. Geı¨ntegreerd gezondheidsinformatiesysteem op basis
van Resident Assessment Instrumenten. Tijdschr Gerontol
Geriatr 2001; 32: 8-16. Fries BE, Schneider DP, Foley WJ, Gavazzi M, Burke R, Cornelius
E. Refining a case-mix measure for nursing homes: Resource
Utilization Groups (RUG-III). Medical Care 32 (7) 1994: 668-
85. Carpenter GI, Ikegami N, Ljunggren G, Carrillo E, Fries BE. RUG-III and resource allocation: comparing the relationship
of direct care time with patient characteristics in five countries. Age Ageing. 1997 Sep;26 Suppl 2:61-5. Bjorkgren MA, Hakkinen U, Finne-Soveri UH, Fries BE. Validity
and reliability of Resource Utilization Groups (RUG-III) in
Finnish long-term care facilities. Scand J Public Health. 1999
Sep;27(3):228-34. 1 3 Tijdschrift voor Gerontologie en Geriatrie, 2007 (2007) 38:145–151 151 Carpenter GI, Main A, Turner GF. Casemix for the elderly inpa-
tient: Resource Utilization Groups (RUGs) validation pro-
ject. Age Ageing (24) 1995: 5 -13. Frijters DHM, Gerritsen DL, Steverink N. Zorginhoudelijke kwa-
liteit: betrouwbaarheid en bruikbaarheid van observatiegege-
vens in de benchmark voor verpleeg- en verzorgingshuizen. Tijdschr Gerontol Geriatr 2003; 34: 21-9. Bjorkgren MA, Fries BE, Shugarman LR. A RUG-III Case-Mix
System for Home Care. Canadian Journal on Aging (19) 2000:
106-25. Landis JR, Koch GC. A review of statistical methods in the analy-
sis of data arising from observer reliability studies (part 1). Statistica Neerlandica 1975; 29: 101-123. Fleiss JL. Statistical methods for rates and proportions, 2nd Ed. New York: John Wiley & Sons, 1981. Mor V, Berg K, Angelelli J, Gifford D, Morris J, Moore T. The
Quality of Quality Measurement in U.S. Nursing Homes. Gerontologist (43 Spec. No 2) 2003: 37-46. Cohen J. Weighted kappa: nominal scale agreement with provision
for scaled disagreement or partial credit. Psychol Bull
1968;70:213-20. 1 3 1 3 1 3