ในรัชสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ทรงให้รื้อพระที่นั่งองค์เดิมลง เพื่อขยายสระน้ำให้กว้างขวางยิ่งขึ้น พร้อมทั้งทรงพระกรุณาโปรดเกล้าฯ ให้สร้างพระที่นั่งองค์ใหม่ ซึ่งเป็นพระที่นั่งที่สร้างจากเครื่องไม้บริเวณกลางสระน้ำ โดยให้จำลองแบบพระที่นั่งมาจากพระที่นั่งอาภรณ์ภิโมกข์ปราสาทในพระบรมมหาราชวัง และพระราชทานนามว่า "พระที่นั่งไอศวรรย์ทิพยอาสน์" ซึ่งยังคงชื่อพระที่นั่งไว้ดังเช่นในสมัยสมเด็จพระเจ้าปราสาททอง