"Well, just for the fun of it. Sorry for having fun without you," is what you should say. "I'll just go ahead and do it anyway."
"Gewoon voor het plezier. Sorry dat ik zonder jou plezier maak," moet je zeggen, "ik doe het toch!"