1345 – A kezdetek
Szilsárkány első okleveles említése (akkor még „Sarkan” néven). A terület a középkorban a befolyásos Osl, később a Nádasdy családé volt. A régió virágkorában hat kúria épült itt – de csak egyetlen igazi kastély.
19. század első fele – A Bozzay-korszak
A kastély a jómódú földbirtokos, Bozzay Miklós tulajdonába kerül. Ő adja a birtoknak a mai napig ismert nevét, és teszi a régió reprezentatív központjává. 1830 körül az épületet klasszicista stílusban átépítik, és valószínűleg ekkor kapja meg a jellegzetes emeletet is. Később a család elszegényedik, birtokuk 100 hold alá csökken.
1930-as évek – Új nemesi tulajdonos
A pénzügyi nehézségek eladásra kényszerítik a leszármazottakat. A kastélyt a Baditz család veszi meg. A tulajdonosváltás miatt a népnyelv egy időben "Felső Baditz-kastélynak" is nevezi az épületet.
A II. világháború után – Államosítás
A magyar állam beavatkozik. A kastély földszintjét államosítják, és egyszerű lakásokat alakítanak ki benne. A korábbi tulajdonosoknak egyelőre csak az emeleten engedélyezik a további lakhatást.
1970 - 2019 – Magántulajdonban
A birtok évtizedekig egy család tulajdonában volt. Ebben az időben a területet nagyon gondozták: irtották a gyomot, rendszeresen nyírták a hatalmas füvet, tisztán tartották a terepet. A régi szökőkút is ápolt volt, bár nem működött. Belül a kastély biztonságos volt; minden ablak ép volt és a helyiségek tiszták.
2019-től napjainkig – Eladás és hanyatlás
2019 körül a kastélyt eladták egy családnak, akik azzal a szándékkal vették meg, hogy felújítják. Kezdetben eltávolították a bozótot, de a lelkesedés hamar alábbhagyott. Rövid ideig fizetség ellenében még nyírták a füvet, de amikor a fizetések elmaradtak, ez is abbamaradt. Ma a kastély üresen áll, sok bejárat nyitva van, a füvet nem nyírják, és a birtokot magára hagyták, átadva a természet pusztításának.