De første fotografier af Rygaard fra 1865 er optaget på foranledning af ejeren, baron Carl Wilhelm Emil Knuth, der ejede gården fra 1856 til 1898. Han gennemførte en større ombygning i 1867, hvor hovedbygningen blev forhøjet med en etage og stort set fik den udformning, som den har i dag. Kælderen og 1. sal forblev urørt af ombygningen bortset fra vestibulen, der blev lagt op i 1. sals niveau med direkte indgang til havestuen. Mod gården blev indgangsportalen flyttet op og gjort højere med et halv-rundt vindue over den volutbårne fordakning, og der blev opstillet en bred udvendig hovedtrappe i støbejern. 2. salen blev indrettet med en midtergang med seks værelser til gårdsiden og fire værelser til havesiden samt en stor billardstue over tre fag med ovenlys i tagfladen. Taget med helvalm blev belagt med sort naturskifer. Indretning og udstyr fremgår af brandtaksationsforretningen fra 26. juli 1867. Heraf fremgår det desuden, at der er opført nye drivhuse i parken.

Af de hidtil trykte kilder fremgår det ikke, hvem der har været arkitekt på ombygningen, men den hele karakter af bygningen er øjensynlig inspireret af de tidligere landsteder i Nordsjælland som for eksempel hovedbygningen til Brede fra 1795, men taget blev belagt med naturskifer, som det nu var blevet almindeligt, og hovedtrappen i støbejern er antagelig en katalogvare.

I 1886 blev hovedbygningen udvidet med en tilbygning mod syd, der blev opført til datteren Regitze. Annekset blev tegnet af arkitekt F.V.Tvede, ligeledes i tre etager og adskilt fra hovedbygningen med en lavere mellembygning med selvstændig indgang med en malet og imiteret sandstensportal, men ellers i samme materialer som hovedbygningen (flig. 9). En tilsvarende udvidelse mod nord blev senere opført som mellembygning til den nye kirkefløj for at retablere symmetri omkring hovedtrappen.