Pałac u podnóża Góry Giedymina przez wieki pełnił funkcję rezydencji wielkiego księcia litewskiego. Wraz z innymi budynkami Zamku Dolnego w drugiej połowie XIV w. otaczał go ponad kilometrowy mur obronny z czterema bramami: przy pierwszej zaczynała się ulica Zamkowa (Pilies), przy drugiej Mostowa (Tilto), trzecia leżała na wprost mostu Zamkowego nad Wilenką, u początku ulicy Tadeusza Kościuszki, czwarta zaś wiodła na stronę południową.
Znajdowały się tam też cztery baszty. Na pozostałościach jednej z nich wzniesiono dzwonnicę katedralną. W XV w. teren ten zajmowało kilka budynków gotyckich – oprócz pałacu były tu siedziba biskupa, arsenał, trybunał oraz dom wikariuszy.
W przekazach historycznych Zamek Górny łączony jest najczęściej z epoką Giedymina, Olgierda i Witolda, Dolny zaś z czasami Zygmunta Starego i Zygmunta Augusta, królowej Bony i Barbary Radziwiłłówny. W XVI w. był to czteroczęściowy, ozdobiony attykami pałac w stylu włoskim. Otaczał on dziedziniec wewnętrzny i opierał się o wschodnią ścianę katedry, połączoną z pałacem krytą galerią, którą wielcy książęta chodzili na mszę. Pałac budowali włoscy architekci oraz majstrowie wileńscy.
W pierwszej połowie XVI w., za czasów panowania Zygmunta Starego, wrzało tu życie towarzyskie. Zamek odwiedzali goście zagraniczni, znajdowała się tu bogata biblioteka, kolekcja gobelinów i nawet zoo. W 1636 r. w pałacu wystawiono pierwszą na Litwie operę pt. „Porwanie Heleny”. Na południowy wschód od rezydencji znajdował się park. W pobliżu, nad Wilią, w miejscu dzisiejszej Biblioteki Akademii Nauk im. Wróblewskich, stał pałac Radziwiłłów. Podobno, gdy król Zygmunt August zakochał się w Barbarze, dla ułatwienia potajemnych schadzek kazał sobie nawet zbudować most nad Wilenką, który łączył rezydencję królewską z pałacem Radziwiłłów.
Po Unii Lubelskiej zaczął się upadek Zamku Dolnego. Przybywający do miasta władcy zatrzymywali się w innych rezydencjach. Zamek najbardziej ucierpiał w trakcie najazdu moskiewskiego w latach 1655-1661. Prof. Juliusz Kłos tak oto opisał tamte wydarzenia: „Ciosem brutalnym, w skutkach straszliwym, było zdobycie Wilna przez wojska moskiewskie i kozaków pod wodzą Zołotareńki w sierpniu 1655 r., w chwili, gdy całą Polskę zalewają falangi Szwedów. Rzeź ludności miasta, zrabowanie doszczętne pozostałych przy życiu, pożar przez 17 dni szalejący, a wreszcie głód i zaraza, zamieniły miasto w jedno cmentarzysko. Jakby w przeczuciu grożącego niebezpieczeństwa, Władysław IV nakazuje w 1648 r. wzmocnić i uzupełnić mury obronne miasta, inżynierowie opracowują plan fortyfikacji miejskich, lecz samo wykonanie niefrasobliwie odłożono na później. Mury dawne, z początku XVI w., przestarzałe i zaniedbane, nie były zdolne do obrony – toteż miasto oporu nie stawiało. Po zwycięskim dla Polski odparciu najazdu moskiewskiego Michał Pac, hetman wielki litewski, oswobadza Wilno w 1660 r., lecz przez półtora roku jeszcze oblegać musi Moskali, broniących się z kniaziem Myszeckim na czele na zamku górnym, skąd bombardowali miasto. Wówczas to zamek dolny został spalony doszczętnie i już więcej z ruin nie powstał. Dalsze losy Wilna, poczynając od katastrofy najazdu moskiewskiego, stanowią tragiczny wprost obraz zaciętego szamotania się niespożytej energii ludności z nawałem klęsk, jakie ustawicznie na miasto spadają i wiodą z całą Rzeczpospolitą ku nieuniknionemu upadkowi (…)”.
Na początku XIX w. został doszczętnie zburzony, a w 1831 r. na jego miejscu wzniesiono twierdzę.
Inicjatywa odbudowy Zamku Dolnego powstała dopiero po odzyskaniu przez Litwę niepodległości. Mimo wielu dyskusji wokół tej inicjatywy, w latach 2002–2009 Pałac Wielkich Książąt Litewskich został odbudowany.
Obecnie znajduje się tu Muzeum Narodowe – Pałac Wielkich Książąt Litewskich. Placówka została założona w 2009 r. Dyrektorem muzeum jest Vydas Dolinskas, litewski historyk i muzeolog.
– Jest to muzeum o charakterze rezydencji historycznej, powołane do przechowywania, opracowywania i konserwacji zbiorów z zakresu kultury, sztuki, historii i archeologii. Jednym z podstawowych celów muzeum jest popularyzacja dziedzictwa historycznego i kulturalnego państwa litewskiego i jego władców, upowszechnianie i eksponowanie oryginalnych zbiorów archeologicznych oraz kolekcji sztuki użytkowej i wizualnej Europy z różnych epok, od gotyku do baroku, jak też cennych materiałów lituanistycznych. Do zadań muzeum należy również prowadzenie działalności edukacyjnej, kulturalnej i informacyjno-turystycznej oraz zapewnienie warunków do przeprowadzania imprez państwowych o charakterze reprezentacyjnym – mówi w rozmowie z „Kurierem Wileńskim” Ramunė Vaičiulytė, kierowniczka działu komunikacji placówki.
Obecnie w Muzeum Narodowym Pałacu Wielkich Książąt Litewskich czynna jest m.in. międzynarodowa wystawa „O dobro ojczyzny. Litwa i Polska w epoce Konstytucji 3 maja”. Najcenniejszym eksponatem jest oryginał rękopiśmienny Konstytucji 3 maja. „Ten tak cenny dla historii ziem Rzeczypospolitej Obojga Narodów dokument przechowywany jest w Archiwum Głównym Akt Dawnych w Warszawie i tylko przy wyjątkowych okazjach opuszcza swoje stałe miejsce” – głosi komunikat Muzeum Narodowego Pałacu Wielkich Książąt Litewskich.
Dzięki wysiłkom muzeum i partnerów wystawy – Instytutu Adama Mickiewicza i Zamku Królewskiego w Warszawie – otrzymano zezwolenie na przywiezienie tego dokumentu do Wilna.
Oryginał rękopiśmienny Konstytucji 3 maja przybył z Warszawy do Wilna po raz pierwszy od 230 lat. Otwarcia wystawy jesienią ub. roku dokonali prezydenci Litwy i Polski. Na wystawie można obejrzeć również m.in. oryginał uchwalonego 20 października 1791 r. Zaręczenia Wzajemnego Obojga Narodów. Wystawa potrwa do 16 stycznia br.