Srednjeveško Žusemsko zemljiško gospostvo, zgodaj last krške škofije, so si prilastili v drugi polovici 14. stoletja Celjski. Za njimi je postalo lastnina vladarjev. Lastniki so ga oddajali v posedovanje raznim plemičem, najprej Žusemskim. Leta 1624 ga je kupil v pravo last Polikarp Scheidt. Nasledili so ga Reisingi, ki so ga posedovali do konca 18. stoletja. Leta 1871 je dal takratni njegov lastnik porušiti grad, da si je tako znižal davčno obveznost.