Generolas Liudvikas M. Pacas pradėjo Dauspudos rūmų statybą 1820 m., grįžęs iš Italijos. Tai buvo susiję su sprendimu perkelti į Dauspudą šeimos rezidenciją. 1814-1815 metais Pacas gyveno Anglijoje, tikriausiai ten ir gimė idėja pastatyti Dauspudoje neogotikinius rūmus, panašius į šeimynines Anglijos lordų rezidencijas. Dauspudos rūmai turėjo būti kaimiška rezidencija ir tuo pat metu – paminklu šlovinančiu Lenkijos kariuomenės narsą bei Pacų giminės didybę, ir pasiaukojimą tėvynės labui. Rūmų statyba buvo pradėta pagal italų architekto Pietro Bosio projektą, iki 1822 m. jai vadovavo Paco, iš Italijos, pakviestas architektas Henrikas Markonis.
Dauspudos rūmai buvo pastatyti iš plytų, tinkuoti, apverstos „T“ raidės plano. Pagrindinio korpuso fasadą puošė keturių karalių ir aštuonių etmonų skulptūros. Rūmų reprezentacinė dalis buvo pirmame pagrindinio korpuso ir paviljono aukšte. Vakarinėje korpuso dalyje buvo įkurta karinė biblioteka ir ginklų kambarys, vadinamas arsenalu, rytinėje dalyje buvo oranžerija ir Korinto salė. Centrinėje paviljono dalyje buvo įrengta koplyčia per du aukštus, o už jos – paveikslų galerija. Vakariniame rūmų sparne buvo įkurdinta biblioteka, reprezentacinis miegamasis ir vonios kambarys, o rytiniame biliardo salė ir valgomasis.
Visos patalpos buvo gausiai dekoruotos freskomis, tapybos ir skulptūros darbais, gipsatūromis bei ginklų kolekcijomis. Tokiame interjere nagalėjo pritrūkti Kararos marmuro židinio ir įmantraus fontano. Langus puošė vitražai. Antrame rūmų aukšte buvo gyvenamieji ir svečių kambariai. Dviejų aukštų rūsio viršutiniame aukšte buvo įrengtos pirtys vadinamos termomis, ištpytos arabeskomis ir freskomis gamtos tema. Pagrindinio rūmų korpuso priekyje buvo pristatytas, iki šių dienų išlikęs, portikas.
L.M. Paco Dauspudos rūmų vizualizacija buvo sukurta įgyvendinant Lietuvos ir Lenkijos bendradarbiavimo per sieną 2007-2013 metų programos Smulkiųjų projektų fondo projektą, bendrai finansuojamą iš Europos regioninės plėtros fondo ir valstybės biudžeto.
Iki šių dienų Dauspudoje išliko sargybos būstinės (kordegardo) pastatas, esantis prie pagrindinių dvaro vartų. Šiame pastate buvo įsikūrusi rūmų apsauga.