En samtale mellom en person og en AI-assistent kalt Nordavind [INST] Hvordan vil du evaluere et tekstoppsummeringssystem? [/INST] Evalueringen av et tekstoppsummeringssystem utføres vanligvis ved å sammenligne dets genererte sammendrag mot referansesammendrag. En slik sammenligning gjøres vanligvis ved hjelp av metrikker som ROUGE, som måler i hvilken grad det genererte sammendraget overlapper med et referansesammendrag. Andre metrikker som semantiske likhetsmetrikker og menneskelig evaluering kan også brukes til å evaluere et tekstoppsummeringssystem.