Pierwszy pisany dokument z 1676 roku podaje, iż właścicielką Krasnohrudy była Krystyna Konstancja z Giblów, córka Tomasza Gibla, mieszczanina wileńskiego, który nabył krasnohrudzki folwark około 1660 roku. Po niej dobra te dziedziczyły jej dzieci z obu mężów i jej drugi mąż Władysław Jerzy Kosiłło, wojski trocki. W wyniku działań rodzinnych część dóbr Krasnohruda przypadła ks. Dominikowi Podchocimskiemu, protonotariuszowi apostolskiemu i kaznodziei generalnemu dominikanów, który zapisał ją dominikanom sejneńskim. Od dominikanów odkupiła ją w roku 1676 przyrodnia siostra ks. Dominika Podchocimskiego, Joanna Helena z Kosiłłów, żona Kazimierza Piątkowskiego, podstolego starodubowskiego.
Kolejni właściciele dóbr Krasnohruda nie są znani. Można przypuszczać, że aż do drugiej połowy XVIII wieku zmieniali się często. Dopiero bowiem w 1785 roku Maciej Eysmont (1741-1805), gubernator szczeberski, następnie wiceadministrator ekonomii grodzieńskiej, a pod koniec życie stolnik grodzieński, gromadząc duże dobra pod Sejnami, nabył także dobra Krasnohruda z folwarkiem Krasnohruda od rotmistrza grodzieńskiego, Siwickiego. Maciej Eysmont wielce zasłużył się w dziejach osadnictwa tych ziem, zakładając nowe miasta (m.in. Krasnopol) oraz wsie. Rezydencję swoja umieścił we dworze Krasnohrudzie.
Po śmierci Macieja Eysmonta Krasnohruda należała do jego trzech synów: po roku 1818 zaś do Wiktorii z Łuniewskich, wdowie po Ignacym Eysmoncie. Jej syn Ryszard był właścicielem Krasnohrudy jeszcze w 1851 roku.
"Słownik Geograficzny Królestwa Polskiego" z 1883 roku podaje: "Krasnogruda - Krasnohruda - folwark nad jeziorem Gaładuś, powiat sejneński, gmina i parafia Berżniki. Odległość 9 wiorst od Sejn, ma 4 domy i 38 mieszkańców. Dobra Krasnogrudy składają się z folwarków: Krasnogruda i Wereszczeńszczyzna, jezior: Druć, Rojst, Dusojcie mniejsze, Dusojcie większe, Sztabinki, Dubelis, Pyrkość, Bałąć, Dubelski, wsi: Żegary, Podgawieniańce, Maciejowizna, Sztabinki, Dworczysko, Gawieniańce. Rozległość wynosi 1845 morgów. (...) Własność niegdyś Eysmontów, następnie Kunatów".
Pierwszym właścicielem Krasnogrudy z rodziny Kunatów, z której wywodziła się matka Czesława Miłosza, Weronika, był Teofil, po nim syn Bronisław Kunat, następnie - po pierwszej wojnie światowej - jego córki: Gabriela (jej dedykowany jest utwór Pieśń w tomie "Trzy zimy") i Janina (po mężu Niementowska). Pierwsza z nich wyszła za mąż za inżyniera Władysława Lipskiego, który zarządzał majątkiem.
Obie panie prowadziły we dworze pensjonat. Jako miejsce letniskowe wymieniana jest Krasnogruda w przewodniku "Pojezierze Augustowsko-Suwalskie" z 1937 roku. Informacja o niej zawiera interesujące szczegóły i warta jest zacytowania w całości: "2,5 km na wschód od jez. Gaładuś w pięknej pagórkowatej okolicy leży nad jez. Hołny majątek Krasnogruda, dawniej Eysmontów, potem Kunatów, obecnie p.p. W. Lipskch. Dwór drewniany, od frontu ganek na kolumnach, od ogrodu - przybudówka (alkierzyk) nadaje mu kształt litery L. Pochodzi z końca XVII w.
Wewnątrz jadalnia o belkowanym suficie. Portrety rodzinne pędzla L. Janowskiej z lat 1910-1912. Kolekcja książek ze zbiorów St. Kunata (koniec XVIII w.) oraz jego portret (sztych) ryt. W Paryżu 1832 r. Kolekcja sztychów królów polskich (ze zbioru Lessera). Sztych kardynała Jana Lipskiego (1690-1736), biskupa krakowskiego. W parku - jesiony i lipy 33-letnie.
We dworze pensjonat na 20 osób. Na pisemne zamówienie (poczta Sejny) wysyła się samochód do st. Augustów. Obok dworu 132 ha lasu (świerk, sosna). Na polu olbrzymi głaz granitowy.
Zachodni brzeg jez. Hołny suchy i lesisty nadaje się do obozowania".
W czasie wojny, po aresztowaniu za działalność konspiracyjną i zesłaniu do obozu Władysława Lipskiego i jego syna Zygmunta, majątek Krasnogruda zostaje odebrany właścicielom i przechodzi pod zarząd niemiecki.
Po wojnie następuje parcelacja majątku (o ogólnej powierzchni 344,5 ha). Nierozparcelowaną część (154,5 ha) przejmuje państwo. Przez pewien czas użytkownikiem Krasnogrudy był Aleksander Czyrowski. Obecnie właścicielem majątku jest Okręgowy Zarząd Lasów Państwowych, użytkownikiem zaś - Nadleśnictwo Pomorze. We dworze mieszkają rodziny pracowników nadleśnictwa.
Historia krasnogrudzkiego zespołu dworskiego sięga XVII wieku. Parterowy, drewniany dwór usytuowano na koronie skorupy, łagodnie opadającej w kierunku wschodnim i bardziej stromo w kierunku południowym. Frontem budynek zwrócony jest na północ; od zachodu prowadzi do dworu droga wjazdowa ze wsi Krasnogruda.
Aż do połowy naszego stulecia, z nieznacznymi elementami przebudowy z pierwszej połowy XIX wieku, dwór trwał niezmieniony. Pozbawiony jednak w okresie powojennym opieki, ulegał stopniowej dewastacji. Krytyczne okazały się lata sześćdziesiąte; zawaliły się wówczas stropy i więźba dachowa, zniszczono podłogi i ściany. Systemem gospodarczym remontowano później dwór wielokrotnie, zmieniając jego formę architektoniczną i układ wnętrz. Przeszłość pamiętają jedynie piwnice i kamienne fundamenty.
Park dworski o charakterze krajobrazowym, choć zapewne założony wcześniej, pochodzi z połowy XIX wieku. Tworzą go pojedyncze drzewa wokół dworu i grupy drzew na terenie parkowym; najstarsze z nich - lipy, klony, jesiony i kasztanowce - 100-150-letnie. Od dworu do jeziora po stronie wschodniej prowadzi, tak jak w przeszłości, aleja lipowo-kasztanowa. Układ dróg parkowych nie istnieje, samosiew zniekształcił pierwotny układ zieleni, starodrzew uległ zniszczeniu. Zachowane jego okazy w południowej części parku dostojnie opierają się czasowi i ludziom.
Wolą Czesława i Andrzeja Miłoszów oraz Janiny i Andrzeja Jurewiczów - ostatnich spadkobierców Krasnogrudy - jest stworzenie w krasnogrudzkim dworze Ośrodka Małych Ojczyzn Europy Środkowowschodniej pod patronatem Ośrodka "Pogranicze - sztuk, kultur, narodów" i Fundacji "Pogranicze". Trwają prace nad tym projektem.
Opracował Zbigniew Fałtynowicz