Het oudste gebouw in het park is Ashtown Castle, een voormalig pauselijk huis dat is gerenoveerd om het prachtige Phoenix Park Visitor Centre (open 9:30 uur 6:30 uur; volwassenen IRa2, kinderen IRa1; concessies; toegang voor gehandicapten) te huisvesten.
Ashtown Castle is het oudste gebouw in het park.