Ditlev von Eggers, der ejede Rygaard fra 1795 til 1810, opførte en ny grundmuret hovedbygning i 1803 i overensstemmelse med samtidens nyklassicistiske arkitektoniske formsprog, der dikterede et aksefast anlæg med symmetrisk arrangement af plan og facader omkring hovedindgangen. Bygningen er senere forhøjet og tilbygget, men rumopdeling af kælder og bel-étagen fra 1803 er bevaret i den nuværende hovedbygning.

Hovedbygningen blev opført med sokkel og dørindfatning i bornholmsk sandsten i én etage med høj kælder. Over hoveddøren mod gården var der konsolbåren fordakning og til parken udgang til en monumental, svungen trappe med to løb, ligeledes i sandsten. Facaderne fremstod pudsede og hvidkalkede med en fast vinduestakt. Taget var teglhængt med sortglaserede vingeteglsten. Den fuldendte symmetri blev understreget af tre kviste og to runde kviste i begge tagflader samt to skorstenspiber. Arkitekturen var meget lig Palæet i Skodsborg (7) og den nærliggende Lundegaard, der ligeledes fremstod som et trefløjet anlæg omkring en åben gårdplads med en grundmuret hovedbygning på 7 fag i midteraksen (8).

Hovedbygningens indretning er nøje beskrevet i brandtaksationerne, og bygningen er gengivet på tegning og fotografi.

Hoveddøren lå et par trin over gårdens niveau med indgang til en vestibule, hvorfra der førte en bred trappe op til stueetagen. Den trefags havestue lå midt for trappen, desuden var der spisestue og seks forskellige værelser. Køkkenet og domestikværelserne var i kælderen, og i tagetagen seks værelser med skråvægge, hvert værelse med egen tagkvist. Øverst et magasinloft med to kviste med runde vinduer.

Samtidig med opførelsen af den nye hovedbygning til Rygaard blev der opført en række lystgårde i samme arkitektoniske formsprog, deriblandt Hellerupgaard (1802, nu nedrevet), Sophienholm (1803) og Øregaard (1806), alle tre med den franske arkitekt Rameé som arkitekt, og Søholm (1802-09) med C.F. Hansen som arkitekt. Disse celebre gårde blev toneangivende for den samtidige arkitektoniske udvikling og havde på forskellig måde direkte indflydelse på Rygaard på grund af familiemæssige relationer eller på grund af en stærk gensidig inspiration blandt de toneangivende kredse.

Søholm må regnes for en af de mest markante hovedbygninger i kraft af C.F. Hansens reputation. Huset blev opført i 1802 af den velhavende købmand Joseph Natan David efter tegning af Hansen, men muligvis med hans elev, Peder Malling, som udførende bygmester. De to sidepartier er tilføjet i 1860-erne, men den oprindelige del er stort set bevaret i den oprindelige udformning og fornemt restaureret i 1982-84 (9).

Johannes Søbøtker, der netop var hjemvendt som guvernør på Sit. Thomas opførte en ny hovedbygning på Øregaard og valgte Joseph-Jacques Ramée som arkitekt. Han havde i forvejen arbejdet for Søbøtkers kolleger, storkøbmændene Constantin Bruun og Eric Erichsen, og Øregaard har da også store ligheder med Sophienholm og Hellerupgaard. Øregaard er nu museum og delvis indrettet med møblement fra begyndelsen af 1800-tallet, så man kan få en forestilling om, hvordan det oprindelige interiør har været indrettet.

Von Eggers første kone var søster til Friederike Bruun på Sophienholm, hvor den nye hovedbygning blev opført samme år som Rygaard, og det giver måske en indirekte forklaring på, at hovedtrappen til parken begge steder har den samme udformning. Hun blev gift med den unge købmand Constantin Bruun, der blev en af byens største handelsmænd ved at levere korn til Frankrig under krigen og slog sig på mejeribrug på sine godser Antvorskov og Falkensten. Især haveanlægget omkring Sophienholm er velbevaret og giver det mest fuldendte indtryk af den fine samhørighed mellem bygningen og haveanlæggets komposition og beplantning, hvor alt havde sin bestemte betydning og virkning i det samlede billede. Von Eggers var i øvrigt født og opvokset i Holsten, hvor hans far var kongelig kancelli- og regeringsraad og det kan vel forventes, at han var bekendt med C.F. Hansens tidlige byggeri i Altona og omegnen omkring Hamburg. Ved at studere primærkilderne nærmere kunne denne sammenhæng muligvis afdækkes yderligere, og bygmesterens eller arkitektens navn identificeres.

I det efterfølgende halve århundrede er der tilsyneladende ikke sket de store forandringer med gården, der har haft en række skiftende ejere. I en lang årrække medens gården var ejet af Peter Witusen Berring fra 1828 til 1851 var hovedbygningen lejet ud om sommeren til ‘landliggere’ fra København.

På en af de tidligste afbildninger af Rygaard, der blev udført af H.G.F. Holm, omkring 1840, ligger gården frit i et dyrket kulturlandskab omgivet af åbne marker. Foran hovedbygningen ses et par store træer, som fremhæver anlæggets symmetri og bagved hovedbygningen er der en tæt træbevoksning øst for ejendomme og et glimt af Øresund. Det pastorale landskabsbillede er antagelig tegnet på bestilling af den daværende ejer, tillige med et prospekt af hovedbygningen set fra haven med ægteparret Witusen poserende på trappen. Den såkaldte ‘Fattig Holm’ rejse rundt og lavede den slags temmelig stiliserede billeder på bestilling, og de er ikke altid helt troværdige, men sammenlignet med de senere fotografier er de i en ganske god overensstemmelse med virkeligheden