敷地内には、かつて『駿河台邸』と呼ばれた西園寺邸（東京都千代田区神田）の庭園にあった石灯籠と庭石が寄贈され飾られているほか、館内ロビーには、名称の由来となった西園寺のレリーフ塑像（高さcm）が飾られている。このレリーフは、日展評議員議員で京都教育大学名誉教授の杉村尚によるもので、西園寺記念館の竣工を記念して制作されたものである。また記念館定礎石の題字は、住友銀行名誉会長の堀田庄三によって揮毫されたものである。