Pierwszy pałac w stylu barokowym został zbudowany w latach 1671-1679 dla marszałka wielkiego koronnego Stanisława Herakliusza Lubomirskiego i jego żony Zofii z Opalińskich. Projektantem pałacu był holenderski architekt Tylman z Gameren. Budowla miała kształt prostokąta z czterema alkierzami w narożach i była przygotowana do pełnienia funkcji obronnych. Do dziś zachowała się barokowa sień wejściowa z XVII wieku z zachowaną oryginalną kolumnadą oraz formą i wystrojem sklepienia  (fot.). Powstał wówczas także pierwszy ogród. W 1702 roku puławskie dobra odziedziczyła córka Lubomirskiego, Elżbieta, która wyszła za mąż za późniejszego hetmana wielkiego koronnego Adama Mikołaja Sieniawskiego. W 1706 roku, podczas wojny północnej, wojska szwedzkie zniszczyły pałac i jego otoczenie.
Odbudowa pałacu rozpoczęła się w 1722 roku dzięki Elżbiecie Sieniawskiej. Po tym, jak jej córka, Zofia Sieniawska, wyszła za mąż za Augusta Aleksandra Czartoryskiego na resztkach spalonego pałacu, w latach 1731-36 powstał nowy pałac w stylu rokokowym. Nowy pałac zaprojektował saski architekt Jan Zygmunt Deybel, a budowniczym był Franciszek Mayer. Do pałacu wiodła aleja obsadzona czterema rzędami drzew, która przed wjazdem do pałacu krzyżowała się z obsadzoną drzewami węższą aleją łączącą gościniec lubelski z krętym wąwozem, tzw. Głęboką Drogą. Przed pałacem były dwa dziedzińce. Dziedziniec przedni obsadzony drzewami od strony wjazdu ograniczała fosa i dwie kordegardy, które istnieją do dziś. Po jego prawej stronie aż do gościńca lubelskiego ciągnęły się zabudowania gospodarcze. Z dziedzińca przedniego przez barokową arkadową bramę wjeżdżało się na dziedziniec honorowy z sadzawką pośrodku  (fot.). Jednopiętrowe oficyny, usytuowane prostopadle do pałacu na wysokości sadzawki, zamykały dziedziniec z dwóch stron  (fot.). Pałac zachował swój dawny wygląd, czyli jednopiętrowy korpus główny z czterema alkierzami w narożach. Korpus główny miał nadbudowane węższe, trzyokienne drugie piętro. Alkierze wydłużono równolegle do osi głównej pałacu i zlikwidowano taras na poziomie I piętra, znaczną jego część łącząc z alkierzami. Z reszty tarasu powstał balkon od strony Wisły. Z dziedzińca na reprezentacyjne I piętro wiodły dwubiegowe schody zewnętrzne przylegające do alkierzy, a w górnym odcinku do korpusu głównego. Balustrada schodów, attyka nad dachem II piętra i attyka obrzeżająca dachy nad I piętrem były zdobione rzeźbami. Wewnętrzne i zewnętrzne ściany pałacu otrzymały bogatą sztukaterię i zdobnictwo typowe dla stylu rokoko. Obok pałacu powstał ogród w stylu francuskim. W Ogrodzie Dolnym postawiono Altanę. Całość była otoczona murem i miejscami innym ogrodzeniem. Z tego okresu przetrwała do dziś dekoracja II piętra na bocznych ryzalitach od strony łachy i trzy środkowe arkady przy wejściu głównym z charakterystycznymi rzeźbami w zwornikach. Zachowane zostały również oficyny.

Okres rozkwitu Puław jako ośrodka życia politycznego, kulturalnego i literackiego przypadał na przełom XVIII i XIX wieku, kiedy w 1785 roku książę Adam Kazimierz Czartoryski i jego żona Izabella z Flemmingów, przenieśli się na stałe do Puław. Czartoryscy zgromadzili wówczas grono znakomitych malarzy (Jan Piotr Norblin, Zygmunt Vogel, Kazimierz Wojniakowski, Józef Richter), pisarzy (Franciszek Dionizy Kniaźnin, Jan Paweł Woronicz, Julian Ursyn Niemcewicz), architektów (Piotr Aigner, Joachim Hempel) czy muzyków (Wincenty i Franciszek Lesslowie). Rozpoczęto również restaurację i rozbudowę pałacu pod kierunkiem Joachima Hempla. W 1794 roku Puławy zostały zdewastowane przez wojska rosyjskie. Przebudowę pałacu i parku rozpoczęto już w 1796 roku. Głównym projektantem budowli został Christian Piotr Aigner. Aigner niewiele zmienił korpus główny pałacu rozbudowując jedynie alkierze i przebudował wnętrza. Połączył również pałac z lewą oficyną, budując parterową oranżerię z portykiem czterokolumnowym i lwami od strony parku. Pałac otrzymał wystrój klasycystyczny. Park o powierzchni około 30 ha przebudowano według pomysłu księżnej Izabelli nadając mu charakter romantycznego parku krajobrazowego w stylu angielskim. Współtwórcą parku był Anglik James Savage. W parku powstało wówczas wiele budowli: Domek Grecki, Pałac Marynki, Świątynia Sybilli, Dom Gotycki, Domek Żółty, altany, źródełka, mostki.
Przy gościńcu lubelskim na wzniesieniu postawiono kaplicę w kształcie rotundy, do której prowadziła z pałacu aleja obsadzona czterema rzędami drzew. Posadzono wiele nowych drzew i krzewów w postaci klombów, między którymi prowadziły ścieżki i rozciągały się trawniki. Wśród zieleni umieszczono rzeźby i różne sentencje wyryte na postumentach, kamieniach i tablicach.
W 1801 roku w Świątyni Sybilli powstało pierwsze w Polsce muzeum narodowe, w pałacu Czartoryscy zgromadzili bogaty księgozbiór, finansowali też różne prace naukowe, w które zaangażowane zostało liczne grono naukowców. Na dworze puławskim kształcona była także młodzież arystokratyczna i ziemiańska. Dzięki działaniom Czartoryskich, w XIX wieku, Puławy określane były mianem "Polskich Aten".
Złoty okres Puław zakończył się w 1831 roku. Książę Adam Jerzy Czartoryski za udział w powstaniu listopadowym został przez cara zaocznie skazany na ścięcie toporem, a wszystkie jego majątki uległy konfiskacie. Część wyposażenia pałacu i jego otoczenia wywieziono do Rosji, a część sprzedano na licytacji. Na szczęście ocałały zbiory ze Świątyni Sybilli i Domu Gotyckiego oraz biblioteka (około 60 tysięcy tomów), które etapami wywieziono do Paryża (zbiory te wróciły potem do Krakowa, gdzie na ich bazie w 1876 roku utworzono Muzeum Czartoryskich). Zofia z Czartoryskich Zamoyska zabrała część rzeźb (m.in. "Tankreda i Kloryndę", sarkofag, lwy, obelisk poświęcony księciu Józefowi Poniatowskiemu) do Podzamcza koło Maciejowic, skąd powróciły do Puław w 1947 roku.

W 1842 roku w pałacu został umieszczony Instytut Wychowania Panien, zwany Aleksandryjskim, dla którego potrzeb została dokonana przebudowa budynku przez Józefa Góreckiego, który nadał pałacowi charakter neoklasycystyczny. Pomysłem Góreckiego była m.in. sala kolumnowa w bibliotece w kształcie kwadratu, z 12 kolumnami toskańskimi usytuowanymi koliście na środku. Nad nią, w prawym narożu I piętra usytuowana została sala balowa w stylu Ludwika Filipa. Zniknęły też reprezentacyjne schody zewnętrzne od strony dziedzińca. Powstała natomiast wewnętrzna klatka schodowa prowadząca na II piętro. Korpus główny pałacu stał się wówczas na całej szerokości dwupiętrowy  (fot.)  (fot.). Oficyny połączono z rozbudowanymi przez Aignera alkierzami dobudowując jednopiętrowe skrzydła załamane pod kątem prostym. Powstał wówczas gmach w kształcie wydłużonej podkowy, z prawym skrzydłem obejmującym cały dziedziniec honorowy. Przebudowa Józefa Góreckiego nadała pałacowi wygląd, który przetrwał do dziś. W 1858 roku pożar zniszczył środkową część pałacu, którą odbudował Julian Ankiewicz. W miejscu sali złotej stworzył salę gotycką jako kaplicę katolicką. Dał również nowy wystrój sztukateryjny sali kamiennej, a na drugim piętrze wybudował kaplicę prawosławną, czyli dzisiejszą salę rycerską. Zaprojektował również, w miejsce spalonej, klatkę schodową z lanego żeliwa  (fot.). Od tego czasu wygląd zewnętrzny pałacu już się nie zmienił.

Instytut Wychowania Panien zajmował pałac do 1862 roku, później mieścił się tu Instytut Politechniczny i Rolniczo-Leśny w latach 1862-63, Instytut Gospodarstwa Wiejskiego i Leśnictwa do 1914 roku, Państwowy Instytut Naukowy Gospodarstwa Wiejskiego do 1950 roku. Obecnie właścicielem zespołu pałacowo-parkowego jest Instytut Uprawy, Nawożenia i Gleboznawstwa - Państwowy Instytut Badawczy.

Część pomieszczeń w pałacu zajmuje obecnie Muzeum Czartoryskich, które powstało w 2009 roku. Muzeum jest kontynuatorem tradycji pierwszego polskiego muzeum założonego przez księżną Izabellę Czartoryską w 1801 roku. W 2015 roku jego ekspozycja została poszerzona o eksponaty, które przekazane zostały przez Fundację Książąt Czartoryskich. W muzeum prezentowane są eksponaty gromadzone od końca XVIII wieku po II połowę XIX wieku. Eksponaty pochodzą z kolekcji księżnej Izabelli, a także ze zbiorów jej wnuka, Władysława Czartoryskiego, który przebywając na emigracji w Paryżu gromadził różnorodne zbiory, m.in. malarstwa włoskiego, flamandzkiego, holenderskiego oraz przedmioty rzemiosła artystycznego. Część prezentowanych na wystawie zbiorów znajdowało się wcześniej w Świątyni Sybilli oraz Domu Gotyckim. Zbiory muzeum prezentowane są w czterech salach: tradycji, kamiennej, gotyckiej i rycerskiej  (fot.)  (fot.)  (fot.)  (fot.).
Do początku 2017 roku muzeum było oddziałem Muzeum Nadwiślańskiego w Kazimierzu Dolnym, później zostało przejęte przez miasto Puławy.

Po zwiedzeniu ekspozycji w Muzeum Czartoryskich trzeba koniecznie pospacerować się po otaczającm pałac parku, w którym znajduje się kilka ciekawych obiektów:

Pałac położony jest w miejscowości Puławy (województwo lubelskie). Puławy leżą nad Wisłą na Nizinie Mazowieckiej tuż przy granicy z Wyżyną Lubelską.
Według danych z 2017 roku Puławy liczą około 48 000 mieszkańców. Przez miasto przebiega droga krajowa nr 12 oraz drogi wojewódzkie nr 824 i 874. Miasto leży w odległości około 62 km na wschód od Radomia i 50 km na północny zachód od Lublina.