I was old enough at the time that I knew what was going on.
By that age, I knew what was happening.
В то время я был достаточно взрослым, чтобы понимать, что происходит.
К тому возрасту я уже знал, что происходит.