Das Schloss liegt im Südosten von Škrle an dem Bach Chomutovka. Die erste urkundliche Erwähnung über eine Festung an dieser Stelle stammt aus dem Jahr 1621, 1730 ist sie dann zu einem mehrstöckigen barocken Stadt umgebaut worden.

Nach der Verwaltungsreform wurde Škrle Mitte des neunzehnten Jahrhunderts zur einer selbständigen Gemeinde und im Schloss war der Gemeinderat untergebracht. Nach dem Zweiten Weltkrieg wurde das Schloss lange nicht gepflegt und ist langsam verfallen, erst einige Jahre nach der Wende wurde es renoviert und zur Zeit wird auch seine Umgebung umgestaltet. Im Schloss befanden sich einst Büros und die Wohnung der Gutsverwaltung sowie Gästezimmer für die Ordensbrüder aus Osek (Ossegg).