08 Crowd Sourcing with VeleHanden and Transkribus - Transkribus User Conference 02/2020
Paulin van den Heuvel en Georgie Rengners van de Amsterdam City Archive. En we zullen jullie over wat er voor ons werkt... ...in de combinatie van crowdsourcing met transcribers. We hebben duurse maanden in onze vleidlandse landen... ...en ze consisten mainly op papier. En onze grootste maanden zijn de Natuurse archives. Ze zijn absoluut goudig... ...en ze consisten in veel deeltjes... ...en de beste deel van het is het meest... ...en het ontdekte terratie. Ze consisten in veel documenten. Millions of documents of 731 notaries. 3,5 km en we gaan tot 7,4 miljoen scans... ...en we zijn niet even halfway. Dus het is een groot deel van het ontdekte terratie. Een paar jaar geleden, sinds 2014, starten we... ...toen de Climates Mountain. We starten in een index project. Alle Amsterdamse acten, alle Amsterdam Deeds... ...on de crowdsourcing platform Velanderen. En op dat platform, iedereen kan een account maken... ...en lopen in, joinen in het project... ...leven een paar basic instructies en begrijpen... ...maar te beschrijven of wat er is. Met de Natuurse archives hebben we dat heel basic... ...omdat de deel van documenten is. Dus wat we vragen om mensen te krijgen... ...is heel basic elementen zoals persoonlijken, locaties... ...deel van de Deeds. Je kunt hier zien dat het zo ziet. Je kunt hier zien dat er een probleem is. Er is nog veel informatie die niet uitgaat. Dat zal in de archives zijn. En de tweede is dat we 30.000 van die grote boeken hebben. Dus het gaat te snel. Dus we wilden iets spelen. We wilden diepere en sneller. Dus we dachten dat het niet goed zou zijn... ...om alle woorden op de page te bezoeken. En wat als we de voorsprongen van de crowdsourcing... ...together met transcrivers? In dat geval zouden we alle volonteers... ...en veel documenten en data... ...van veel verschillende handwrijdingen... ...en de hr-engin opgeverd. Dat is een nieuw project, Crowd Leeds Computer Laser. De crowd heeft de computer te leren. We begon heel klein, met een klein project. De mensen hebben transcrivers van Scratch gemaakt. Later, als we onze eerste model hadden... ...we begon de tweede project. En die mensen waren alleen concentratieerd in de hdr-correcting. Maar we dachten dat we op een niveau zouden... ...dat we die twee projecten kunnen merken. En nu hebben we maar één waarin mensen zijn correcteerd. Dus het lijkt zo.  Dit is een normaal, familiele webinterface van transcrivers. Het is alleen in de failhanden-platform. Er zijn extra functies die de user helpen. De mensen hebben hun eigen profeil, hun login... ...met persoonlijke statistieken in de hdr-correcting. Persoonlijke statistieken is iets dat we weten dat de mensen... ...heel veel liefden. Er zijn veel mensen die 100 scans per dag doen, voordat ze stoppen. Ze hebben ook extra botten daar. Ze kunnen het nog langer houden... ...want ze willen stoppen en dan nog een paar dagen later. Ze kunnen kijken naar de volgende scan... ...om te zien of er misschien de volgende woord is... ...dat ze het daar kunnen readen of een andere tijd rijdt. En er is ook een beton opmerkelijk. Remarkable. Voor alles wat ze zeggen, mensen zouden dit weten. Dat is leuk. En ook een skip. Dat ze zeggen, het is te hard voor mij. Nog nooit. Dus waarom failhanden... ...en waarom niet de transcrivers-interface gebruiken? We konden dat doen, maar failhanden was daar... ...en onze grond is daar. We werken met failhanden in 2010. Je kunt hier in de logo zien dat er meer dan 10.000 user-accounten zijn. Dus ik denk dat we er niet meer meer dan 16.000 hebben. 16.000, ja. Dus je moet een update logo hebben. We werken in verschillende producten daar... ...maar de Natura-archief is zo groot. We hebben er in verschillende projecten geplaatst... ...maar de mensen krijgen statistiek op het project. En het is ook echt leuk om te zien de score. En om 100% te gaan. Het is heel motivatiek voor mensen. Dus dat werkt echt. En wat we hebben gezegd is de vorm. We gebruiken niet de sociale media, maar we hebben de vorm... ...waar mensen lagen in. Laten message's en in discussies. En ze kunnen zeggen, hey, kijk wat ik heb gevonden. Maar ze zijn ook soms echt helpen uit elkaar. En de reden dat we niet gebruiken van sociale media... ...is omdat we het een beetje veranderd hebben. Niet iedereen is op Twitter, niet iedereen is op Facebook. Sommige mensen willen ondraag zijn. En dat is allemaal mogelijk hier. Het is heel loke. Dus, wie is onze crowd? Ik heb nooit de woord crowd gebruikt. Ik vind het niet echt leuk. Het klopt dat je deze groep van... ...miniëns werkt voor je als werkvorm. We zien het meer als een team. We werken samen. Ze zijn de volanteers.  Ze komen en gaan, als ze plezier zijn. Ze kunnen enkel. Ze kunnen niet enkel. Er zijn geen targetten, geen interlevings, geen selectie-enligaties. Dus iedereen kan samenwerken. Er zijn volanteers. Soms hebben er geen historieke achtergrond. Maar in deze projecten kan je zien dat we veel werken. Ze zien 10.000 nautale verdedigen van een certaine periode... ...en ze worden echt snel geëxpert. De tweede deel is dat we meer interlevings- studenten proberen. En we proberen ook een professionele researcher te attracteren. Voor de professionele researcher hebben er ook benefits... ...omdat ze hun expertise kunnen ontdekken. We kunnen vragen en vragen. Maar voor ze is er ook iets in, omdat ze de eerste willen weten... ...waarom er iets heel interessant is. Dus het werkt in beide manier en het wordt echt... Het wordt gevoeld. Het is meer als één team. En dit kan je zien dat we echt een prijs zijn. Het is niet van onze projecten, maar van de hele Velandekraat-sorgingsplatform. Ze zijn niet alleen based in Nederland of in België. Dus ze werken er allemaal over de wereld. We willen ook wat fun toevoelen. We hebben een game geïnteresseerd... ...geen called Rembrandt Bingo. Iedereen die op de grond is Rembrandt. Ze koelen Bingo uit en kunnen de prijs collecten. En soms kan Rembrandt zijn signature. Hij is echt een active persoonlijke persoon. Soms is het gewoon een bijstander. Ik denk dat we vorige week een deed ontdekken hebben. Ik remember niet de details, maar het was van de vrouwen. De vrouw van Rembrandt, maar... ...we hebben een reden ontdekken dat Rembrandt... ...de accesse had tot de water van de kanaal... ...omdat hij een celler had onder de vrouw van zijn vrouw. Dat is interessant. De laatste partij is dat Rembrandt ook in de 18e en 19e c. documenten kan ontdekken. Want de schilderijen zijn liste in de probateninventuur. En dat kan ook als een Bingo... ...omdat er niet veel informatie is over de wereld... ...of de Rembrandt-pading over de jaren. Dat is iets dat ons in het proces helpt. We willen ook meteen meten. Aan elk jaar gaan we meteen organiseren voor de mensen die willen komen. Hier hebben we een Dutch writer en we praten erop. We doen ook dat aan de forum. We hebben direct interactie. Dus we kunnen vragen. Soms zijn er praktische vragen.  Wat vragen jullie meestal? Doen jullie de correctie werken of werken van de schrijven? Er zijn veel direct interacties van mensen die je nooit ziet. Ze zijn ongeveer online, maar andere zijn echt een dichtere groep. En we zien ze veel. Ze organiseren zelfs om alle dagelijks in onze readingroom te werken. Dat is iets dat we niet organiseren, maar het was een idee dat kwam. En we zeiden, oké, goed idee. We komen en zitten met ze soms en brengen ze chocolate. Het werkt voor iedereen. Nu naar de resultaten. Het klinkt leuk, maar het is ook hard te werken. We hebben nu meer dan 26.000 schrijven geïnspreden. En dat betekent 10.000 schrijven. We proberen het alleen als het niet alleen correct is, maar ook validerend is. We zijn een klein bedrijf, dus we hebben veel validerend werken te doen. We hebben 19 notarisch specifieke modelen. En we combineren veel van een generale 18e-seentie model. En dat is geïnspreden met Intras Cuba, zodat iedereen dat kan gebruiken. We hebben ook een generale 17e-seentie model, maar we zijn nog niet genoeg. Dus we willen nog meer graadwerken en dan kun je het alleen gebruiken. Maar het komt hier zeker. Moet ik meer zeggen over deze resultaten? Nee. Ik zou willen praten over de dingen die we hebben gedaan met deze resultaten. Want als Parlino-Ready zei dat we veel modelen hebben gemaakt. En onze conclusie was dat, en ook deze dagen... ...we hebben veel over hoeveel pages je moet graadwerken voordat je een goede model hebt. Een heel praktische vraag. In veel cases zeggen mensen dat 100 pages goed zijn. Onze experimenten zijn goed. 100 pages kunnen goed zijn als je heel gelukkig is. Maar bij de meeste tijd moet je 100 op 300 of even meer... ...500 pages en dan zeker. Aan de andere kant maken modelen groter dan 500. Dat is heel gelukkig, zoals je hier in de margin kan zien. Want wat we hier hebben gedaan, is dat we een beetje meer dan 500 pages... ...grondhoed met een model van 1000 pages grondhoed zijn. En zoals je kunt zien, de correcties zijn minimaal. En dan is er soms nog steeds een missie gemaakt door overcorrectie. Dus het is geen reale probleem. We hebben ook wat experimenten gedaan, zoals Paulien zei, met generale modelen. En daarom ontdekten we dat het heel belangrijk is...  ...niet om je grondhoed in één model te maken, maar gewoon om een heel gelukkig deel te maken. Dus we hebben gereden met de deel van per notariële handwrijding van 100 op 300 scans. En we hebben dit alweer gedaan. En we ontdekten dat als ik het op 8 notariërs heb gehaald... ...dat de model niet genoeg lastig was. Maar ik heb het later opgemaakt, toen we meer grondhoed hadden voor 15 notariërs. En dat werkte heel goed. En dat was het basis van onze eerste 18e generale notariële model. En het was de eerste generale model in Nederland. Dus het is echt mooi om te hebben. En zoals ik zei, werken we nog steeds op een verder 17e generale model. De basis van deze model, je kunt het zien hier... ...het heeft een karaktererade van een beetje meer dan 5 procent. Dit was zo goed dat ik een mail van Gunther heb gehaald en ik was heel blij. Hij zei, wow, dat is een heel mooie model. Kan we je een keeuwerspotting demo geven en Bertolt kan helpen met het? Dus ik heb wat contact met het en we hebben nu meer dan 7,5 miljoen scans... ...van dit notariële archijf. Dus een groot deel van deze scans, de 18e generale notariële handwrijdingen. En natuurlijk was het een geweldige pilot om te zien hoe de keeuwerspotting werkt... ...en ook om te vinden hoe general het model werkt... ...aan eenzien andere notariële handwrijdingen. En de resultaten, we waren echt... ...weer, wel, geweldig. De resultaten waren echt geweldig. We hebben 20 verschillende notariële handwrijdingen gekregen... ...en we hebben er gewoon één inventorieelijke nummer van alle handwrijdingen... ...in deze nieuwe keeuwerspotting demo gekregen. Je kunt het op transcribius.gu slash r slash notariële. Dus in totaal kan je er 10.000 scans bekijken. En ja, het ziet eigenlijk hetzelfde als de finish-court records. Dus het is gewoon een demo, maar het is heel goed om je idee te geven... ...of hoe het werkt met de keeuwerspotting te werken. En natuurlijk zijn we ook interesseerd, want we horen al de tijd... ...dat dit een totaal verschillende techniek is. Maar we zijn alleen archifisten en historiënten. Dus ja, hoe ziet dit verschillende eruit? Dus we hebben de uitgang van één scan van HDR... ...met de uitgang van de keeuwerspotting. En zoals je kunt zien, heb ik de verschillende markten. Ze zijn totaal verschillend.  Dus het is natuurlijk een verschillende techniek. En dat is echt wat we vinden. Maar de resultaten zijn heel positief. En ja, we zijn echt vergeten dat dit 18e eeuw een interessant ding is. En een meer experiment dat we hebben gedaan... ...was de National Archives of the Netherlands... ...realiseren daar, specialist model, speciaal op VOC documents. Dus de East Indian documents van de East Indian Company. En ze hebben eigenlijk hetzelfde set van Brown Truth. En onze set in totaal was 2.600 scans, iets zoals dat. En ze hebben ook 2.000 plus scans van Brown Truth. Dus het was natuurlijk heel interessant om deze twee sets te combineen... ...en te retrain een volledig nieuwe model, een combine model. En dat is wat we hebben gedaan. Maar als je twee verschillende sets hebt... ...one speciaal in de Ontario Amsterdam Handwritings overal... ...en een in de East Indian documents. Ja, je wilt testen hoe goed dit werkt, natuurlijk... ...aan andere 18e eeuw documents. Want je wilt dat elk dutchman kan gebruiken van dit model. Dus we hebben een andere validation-set nodig. Dus echt de transcriptie van Brown Truth. En we hebben een andere partner in de Netherlands contacten. Het was Erika Kuipers van het project Chronicling Novelty... ...die ook als speaker was gisteren. En we hebben gevraagd of we misschien een paar van de chronicles... ...dat zijn totaal transcribeerd en gebruikt als Brown Truth... ...om alle nieuwe modelen te testen. En je kunt hier de details zien. En onze conclusie is dat inderdaad deze combine model... ...maar ook beter werkt dan andere speciaalistische modelen. Dus het is echt een stap voor de die willen werken met de 18e eeuw... ...dutch handwritings in general. Dus please use this. Een ander ding, totaal anders dan werken met 18e eeuw handwritings... ...maar nog steeds heel interessant, is de cooperatie met researchers. Mijn positie in de Amsterdam City Archives... ...hebben door een researchproject geïnteresseerd called Golden Agents... ...en ze proberen alle soorten 17e eeuw documenten... ...en andere databases om een betere grip te krijgen... ...productie en consumptie in de Dutch Golden Age. En natuurlijk wanneer ze horen dat we deze archive hebben geïnteresseerd... ...waar je natuurlijk de rambrand kan vinden... ...maar ze waren heel interessant. Hoe kunnen we deze interessante set in onze research incoopereren? En ze waren vooral heel interessant... ...in een specifieke soort van notariaal deed, de probate inventorie.  Dus het is een list van goeds. En in deze list van goeds kan je natuurlijk de possession... ...de paintings, de sculptuur, etc. vinden. Dus dat is heel interessant. Maar ook een moeilijk bedrijf, omdat het niet alleen tekst is... ...maar het is niet een tabel, zoals ik vond uit gisteren. Maar ja, je moet het in een verschillende manier hebben met dit. En de researchen van het Golden Agentsproject... ...denen hebben we natuurlijk de grondhoed... ...en ook de HDR-output van de probate inventorie... ...de sets voor ze. En ze waren natuurlijk heel blij, laten we dat zeggen, als eerste. Maar ze hebben ook verschillende problemen gezien. En een van de problemen is natuurlijk dat je wilt... ...halve de values, de taxaties van de paintings, bijvoorbeeld... ...want deze soort van informatie wil je uit de zorg... ...omdat het echt structuurlijk is. Je kunt het in een heel structuurlijk manier vinden. Maar de techniek is een beetje lukkig daar. Soms is de lijnsegmentatie iets veranderd. Het is een beetje problematisch, maar we hebben het gevonden met... ...regulaar expressies. We kunnen er wat probleem's aan te pakken. Maar ik ben niet geweldigd of dat nog de niveau... ...we willen afgeven, zodat we kijken hoe we dit proberen te proberen. De volgende stap binnen dit project, en het is heel leuk om te zien... ...is natuurlijk dat de matching dat je kunt doen is heel interessant. Er zijn Tissari, bijvoorbeeld, de GATI, een instituut... ...dat natuurlijk ook op provenant werkt. En wat we ontdekken is dat we al kunnen matchen... ...de HDR selecteerd binnen deze specifieke jellige box... ...dat we dat al kunnen matchen met... ...dat we al de objecten van de HDR selecteerd kunnen krijgen. En we kunnen dat al met de Tissaris matchen. Dus dat is echt een stap voort. En natuurlijk, de GATI-institut is een instituut in Amerika. En natuurlijk zijn de mensen heel erg interesserig... ...hoe te linken met deze originele sources... ...waar dit allemaal is beschrijven. En natuurlijk zijn ze heel interessant in wat er meer te vinden is. Ja, het is natuurlijk soms een mesh hier, dus... ...ieven hoe groot dit product is... ...de realiteit kan zo een beetje mesh zijn. En de eerste ding is het volledige logistiek... ...of gewoon met metadata, data en scans van Veylander... ...toen de transformatieplattform en weer een export.  We moeten scans in twee plekken en het is nog veel handwerk. Maar ook de exportfuncties, voor praktische redenen... ...we stikten naar de uniten van de een boek. Dus ook voor de export doen we dat een door een. Dus we doen een job per job en we kennen de Koffie Cup icon... ...maar heel goed. En ook wat je vindt, is dat het niet echt... ...maar voor grote amounts van scans en data... ...en we willen werken met echt een grote plan. Ja, een van de problemen die ik al agendaiseerd was... ...was het problemen met de lijnsegmentatie. Natuurlijk zijn we heel blij dat het over de laatste jaren... ...in een heel positieve manier is. Maar nogmaals, vinden we dat we problemen hebben... ...en niet alleen voor de probateïnventariërs... ...maar ook voor andere soorten noctarieldeeds. Hier zie je een voorbeeld van een noodreuser... ...waar een grote plek is tussen de woorden. En dan is hij niet gekken als het hele lijn is. Ik vind het eigenlijk heel stupig, want bij de humanaar... ...is het heel gelijk dat dit onze lijn is. Ook met kapitalletters zijn er soms problemen. En foreign languages zijn ook een probleem. Ik heb al gisteren wat tips van Dirk Alverman. En ik denk dat ik een base model ga gebruiken om dit problemen te tekenen. Maar ik hoop echt dat het werkt. Maar ik zal dat terug in de volgende Transcribergeuser-conference, waarschijnlijk. Ja, het is een droomzijde dat we hebben. We wilden het groter gaan, dat was mogelijk... ...wein Transcribergeers de expertneur nu. Want we hebben veel speciale modelen van bepaalde noderen... ...en zouden het geweldig zijn om het model te gebruiken... ...en dan de processie van alle scans van het noderen in één keer. Dat zou 100 of 200 of 300.000 scans zijn. En we willen natuurlijk alles om in onze eigen collecties te zijn... ...en niet alleen de noderen-archief, maar ook alles wat we hebben. En natuurlijk, zelfs beter, alle handfridden en tekstdocumenten in Nederland. En verder zouden we meer verschillende en flexibele toolen... ...om te gebruiken in Transcribergeers of buiten of misschien in onze... ...solutionen voor de end-user. We zijn nog niet zeker over dat, maar... ...dan kunnen we meer doen en meer projecten ontdekken. En ook beter gebruiken als de toolen die Transcribergeers nu moet gebruiken. We hebben grote drennen. Ik denk dat we er in de weg zijn...  ...maar soms voel ik de man in zijn pictuur. Dat zegt dat we al deze boeken van papier hebben... ...en we hebben nu veel boeken met data. Maar wat? We zijn alleen in het begin. We hebben een potentieel, ik denk... ...maar met de 18e-septie model van twee miljoen scans... ...die we kunnen proberen. We zijn klaar voor de volgende stap. Maar zoals we hebben gestuurd, is er iets om ons terug te houden... ...en er is een prijstak. En natuurlijk wisten we dat het komt. Ik denk dat we het hebben gevoeligd om het te ignoreren. Het was zo lang mogelijk. Dus we hebben een estimate gemaakt en dat was vorig keer van gestuurd. Echt als Daniel van Den Brink, een van de mensen met een goede specialist model... ...hanvindt hij 230.000 scans die we vandaag kunnen proberen te proberen. Maar alleen een prijstak van 25.000 euro... ...die we niet hebben. En het was een beetje optimistisch, want gisteren hadden we... ...een zware user. We dachten van 17 cent per scan. Dus het is bijna 40.000. Dat is niet een bepaald bepaald, maar het is nog... ...een zoveel geld. En zoals de kans is voor de meeste van jullie... ...we hebben geen structurele fundering voor scanen of projecten. Dus we moeten echt creatief zijn. Een andere noterie is Hendrik Schaaf. Een heel interessant ding. Dat zou rond 3000 zijn. Dat klinkt veel beter. Dat klinkt duurbaar. Misschien voor ons, maar ook voor de researchers. We proberen mensen te interesseer om het in hun research-grant te doen. En dan zijn we creatief om de model en de scans te veranderen... ...en de HR in return van ze. En dat is ook een van de redenen waarom we nog niet een specif model hebben... ...dat we in creatieve manieren hebben om de money te krijgen voor de HR. Dus als iemand een betere creatieve solution vindt... ...leet ons weten, want we willen er echt op en we kunnen. Als we de scans van alleen de noteriearchiefs hebben... ...dan kijken we nu naar 1,2 miljoen dat we nodig hebben voor alleen de HR-processing. De plan van alle scans van de noteriearchiefs heeft 2,5 miljoen. Dus let's double that voor alle handwritten en documenten... ...dat we hebben in de CD-archiefs. Dus we hebben nog meer geld nodig. Ja, en natuurlijk zijn er ook verschillende opstukken geïnteresseerd...  ...maar deze financiële optie won't let us down. We hebben al zo ver gedaan. We hebben op de 17e eeuw in de nieuwe model... ...gemaakt om even een beter lay-out-analys te werken. En ja, en ik heb het al gezegd, de werking met de base model. En deze avond hebben we ook een meet-in met de Dutch partners. Er is echt een actieve groep van Dutch transcribbersgevoelers present... ...en we ook altijd discussieën hoe we werken... ...pom de realisatie van een Dutch model. Ja, en we gaan gewoon proceden met deze probleem. En iets in general, natuurlijk, is waar dit al komt... ...met het verhaal van het project, etc. Dat we natuurlijk willen realiseren de eurlijke droom van de digitale... ...humanities via dit project. Ja, het zal er wat tijd nemen, maar we zijn op ons weg. Ja, we willen blijven, maar we hopen om de bank te brengen. Ja, bedankt voor je attentie. En ik ben niet zeker of we nog tijd hebben voor vragen. Ja, er is tijd voor vragen, dus als je vragen hebt, feel free to... Dank je wel. Het is een echt fascinant project. Ik zou willen vragen of het mogelijk is voor je... ...om te estimeren hoeveel tijd of resources je hebt deden... ...voor engaging met de user-community of de volantie. Dus je hoeft niet social media te doen... ...maar je hebt een forum en je organiseert deze eventen. Ja, de eventen, maar mainly omdat het een communiteit is... ...waar we niet veel doen. Dus we hebben het gewoon begonnen. En dan zijn er isralls... ...en sommige mensen nemen een rol van een superuser... ...en ze nemen andere volantieërs. En het is echt een communiteit die helpt zichzelf. Dus soms willen we vragen. En natuurlijk moeten we ze pamperen en organiseren dingen. Maar overall of everyone is really happy to join and we don't really have that much work for it. En if I can add something to that, we ourselves are active on Twitter... ...and I of course work at a research institute. So if very specialist questions come up, we always try to do our best... ...to bring these questions of the volunteers... ...under the attention of professional researchers... ...and just provide them with the answers as quick as possible. So there is a kind of time investment and also in the weekends... ...I mean we have some colleagues and yeah...  ...people if you sometimes only react on a Saturday... ...people are appreciating that so very much. I mean why would you just for your work react in the weekend? So they also see that's your passion and that yeah it's really an exchange. We are a group of lovers I think. Thank you. Could I also ask the resulting transcriptions that you get from the platform... ...apart from putting that on the keyword supporting platform which you've showed. Is there a plan to then integrate it within the archive? Yeah definitely. Yeah we would like that tomorrow but unfortunately... ...all our systems are under construction. And in a new version yeah it would be like placed in... ...probably some kind of OCR viewer kind of states... ...where you see the scan and the transcription... ...and also download the transcription probably something like that. In the meantime, because it will take a year or two years I don't know... ...we need some solution to get this to people that can use it... ...and we're not sure in what form we will do that. Probably in some easy download. You were talking about merging your model with the one from the National Archives. I was wondering if you run into any issues concerning... ...kind of different rules or approaches to transcribing... ...for example abbreviations or special characters or so on. I think actually we didn't because what we did is... ...en we did the same with Erika... ...is that we developed a kind of instruction... ...based on communication with the transcriber's team... ...because there wasn't anything for a Dutch model. And also we shared it with Lisbeth from the National Archives... ...and we shared it with Erika from the Chronicles project. So everybody is I think is some way working with the same basic rules. So we didn't really run into problems. So that's also one of the things we are doing as a Dutch group. We have well one, two annual meetings... ...and then we discuss these kind of things... ...and just exchange new insights. So yeah, that's really helpful. Could you tell us more how you deal with researchers? Do they understand you right? That researchers do full transcriptions... ...and how do you tempt them to make full transcriptions? What do you give them in return in order to tempt them? Well not everyone does full transcriptions. 