Rafn sündis ja kasvas üles Norras Fredrikstadis ning hakkas mängima kohalikus klubis Skogstrand IL. 15-aastasena liitus ta Fredrikstad FK noorsookaademiaga ja hiljem edutati ta 2010. aastal seniori meeskonda. Ta jäi klubisse ja mängis 136 liigamängu, enne kui ta 2015. aasta novembris vabaks agentiks Gefle'i kolis. 2016. aasta Allsvenskani hooajal
Rafn sai põlve vigastuse ja jäi terve hooaja vahele. 2017. aasta jaanuaris sõlmis ta lepingu Lilleströmiga.