Inicjatorem budowy klasycystycznego pałacu był książę Ignacy Ogiński (1698–1775). Autorem projektu prawdopodobnie był Tomasz Rusell. Architekt ten zaprojektował m.in. barokowy kościół w Szumsku.
Przebudował dawny pałac
Pałac budowano w latach 1768–1771. Jak pisze historyk Antanas Rimvydas Čaplinskas, siedzibę Ogińskich stanowiły zabudowania pomiędzy ulicami Końską i Rudnicką. Przy Rudnickiej mieściły się dawniej budynki gospodarcze, stajnia i wozownia. Cały zespół pałacowy zajmował powierzchnię prawie 7 ha. W 1831 r. podczas powstania listopadowego zbudowano tu twierdzę. Po upadku zrywu władze carskie nałożyły areszt na część gmachów. W 1837 r. gmach przebudowano i zagospodarowano na potrzeby dywizji wileńskiej. Mieściły się tu także różne urzędy, sąd, siedziba bojarów. W budynkach od strony Rudnickiej były mieszkania pod wynajem.
Ciekawostką jest, że pałac Ogińskich stał w tym miejscu jeszcze w XVII w. Książę Ignacy Ogiński, marszałek wielki litewski, kasztelan wileński, marszałek nadworny litewski właściwie przebudował dawny pałac, który otrzymał w spadku po swoim ojcu Marcjanie Michale.
Rodowody
„Żoną Ignacego była Helena Ogińska, jego kuzynka, córka jego wuja Kazimierza Dominika Ogińskiego. Była ona kobietą piękną i wykształconą, znała kilka języków obcych. Nie doczekali się potomstwa i ich mienie odziedziczyli krewni. W 1783 r. pałac stał się własnością Franciszka Ksawerego Ogińskiego. Bezdzietny książę podarował pałac dla swego brata Andrzeja Ignacego (1740–1787), marszałka Trybunału Wielkiego Księstwa Litewskiego, a później wojewody trockiego. Żoną jego była księżna Paula Anna Szembek, wdowa po Celestynie Łubieńskiej i Janie Prosperze Potockim. Wychodząc za mąż za księcia Ogińskiego Paula Anna miała dwójkę dzieci z poprzednich związków — Feliksa Franciszka Łubieńskiego i Antoniego Protazego Potockiego. Kolejno na świecie pojawili się Michał Kleofas (przyszły kompozytor) i Józefa Ogińscy” — pisze historyk.
Pierwsza linia telefoniczna
W latach 1833–1859 właścicielem pałacu był najmłodszy syn słynnego kompozytora Ireneusz Kleofas Ogiński (1808–1863), ambasador Rosji w Wiedniu. Po powrocie Ireneusz osiadł w pałacu w Retowie. W 1835 r. zniósł pańszczyznę dla swoich chłopów, zainwestował sporo własnych środków w rozwój miasteczka, założył tu szkołę agronomiczną z litewskim językiem nauczania, szkołę początkową i muzyczną oraz szpital z wydziałem położniczym i przedszkolem.
Właśnie dzięki Ogińskim Retów (lit. Rietavas) jest uważany za litewską stolicę telefonizacji. To właśnie tu Bohdan Michał Ogiński, syn Ireneusza a wnuk słynnego kompozytora, jako pierwszy na Litwie skorzystał z telefonu.
— W 1882 r. pierwsza prywatna linia telefoniczna połączyła dwory książęce Ogińskich w Retowie i Tyszkiewiczów w pobliskiej Kretyndze. Ogińscy i Tyszkiewiczowie na własny koszt przeprowadzili linię telefoniczną liczącą ponad 50 km. Była to na owe czasy bardzo kosztowna inwestycja. Należało ustawić słupy, zamontować przewody telefoniczne. Ciekawe też, że telefony pojawiły się na Żmudzi zaledwie sześć lat po tym, jak wynalazek został opatentowany — opowiada „Kurierowi Wilenskiemu” Vytautas Rutkauskas, dyrektor Muzeum Historii Kultury im. Ogińskich w Retawie.
Pałac zabrało państwo
Po upadku powstania styczniowego pałac Ogińskich stał się własnością państwa.
Po I wojnie światowej w dawnej rezydencji Ogińskich czynne było gimnazjum. W okresie II wojny światowej zespół pałacowy znalazł się na terytorium getta żydowskiego. W 1979 r. budynki odrestaurowano. Odnowiono m.in. klasycystyczną fasadę, gotyckie piwnice, umocniono sklepienia. W jednym z gmachów umiejscowiono centrum restauratorsko – konserwatorskie. W 1980 r. placówce nadano imię Pranasa Gudynasa.
Miejsce przyciąga lalkarzy
Przed II wojną światową w budynku pałacowym działały trzy teatry — polskie teatry lalkowe „Bajka” i „Łątek” oraz żydowski teatr marionetek „Maidim”. Od 1977 r. działa tu teatr „Lėlė”, od 1982 r. także Państwowy Teatr Młodzieżowy.
W 2014 r. na gmachu umieszczono herb rodowy Ogińskich. Dotychczas nigdy tu herbu nie było, ale w ramach rekonstrukcji pałacu postanowiono w ten sposób uhonorować znanych mecenasów kultury. Autorem stylizowanego, ważącego 400 kg herbu jest wileński rzeźbiarz Konstantinas Navasaitis.
W Wilnie są też inne miejsca związane z autorem słynnego poloneza. Michał Kleofas Ogiński był też właścicielem dawnego pałacu Słuszków na Antokolu. Mieszkał przy ul. Dominikańskiej, w pałacu znanym dziś jako pałac Brzostowskich. Stąd też opuszczał na zawsze ojczyznę. Kolejnym miejscem przypominającym ród Ogińskich jest kaplica ich imienia w wileńskim kościele pw. św. Janów. Na cmentarzu św. Piotra i Pawła znajduje się kaplica Ogińskich. Na Antokolu jest ulica nosząca imię Michała Kleofasa Ogińskiego.
Pałac Abramowiczowej
W pobliżu pałacu Ogińskich, przy ulicy Wielkiej 36 znajduje się klasycystyczna budowla znana jako pałac M. Abramowiczowej. W 1790 r. Abramowiczowa nabyła kilka domów i postawiła na ich miejscu symetryczny budynek.
— Pałac w stylu wczesnego klasycyzmu wybudowano według projektu wybitnego wileńskiego architekta Marcina Knackfusa. Później pałac kilkakrotnie zmieniał właścicieli. W latach 1914–1915 rezydował tu biskup prawosławny Wilna i Litwy, późniejszy patriarcha Moskwy i Wszechrusi, Tichon. Prawosławny duchowny w 1989 r. został uznany za świętego. Po drugiej wojnie światowej budynek został znacjonalizowany — opowiada historyk Paweł Giedroyć.
Do niedawna mieściło się tu konserwatorium oraz Wydział Sztuk Pięknych Kolegium Wileńskiego. Po przeciwnej stronie stoi wybudowany w 1901 r. hotel „Astoria” — jeden z najstarszych w Wilnie.