"Well, just for the fun of it. Sorry for having fun without you," is what you should say. "I'll just go ahead and do it anyway."
"Eh bien, juste pour m'amuser. Désolé de m'amuser sans toi". Voilà ce que vous devriez répondre. "Je vais continuer et faire ça de toute façon."