Dnešní trojkřídlý barokní zámek vznikl přestavbou původního renesančního paláce ze 16. století, který byl původně v držení rodu Lobkoviců. Barokní úpravy zámku, jakož i celého areálu a unikátní barokní zahrady prováděli následující majitelé z rodu Valdštejnů již od roku 1675; fasády dostaly současný klasicistní vzhled v letech 1812–1818 a v rámci klasicistní přestavby byla barokní zahrada přeměněna na rozsáhlý přírodní park. Výrazným zásahem do areálu zámku byla likvidace barokního špitálu z důvodu povrchové těžby uhlí v roce 1958 a následně stavba moderního pavilonu pro přenesenou špitální fresku Nanebevzetí Panny Marie od Václava Vavřince Reinera. Zámek proslavil dobrodruh a světoběžník Giacomo Casanova, který zde třináct let sloužil jako hraběcí knihovník a je připomínán v rámci jednoho z prohlídkových okruhů. Na zámku je v současné době zpřístupněn Valdštejnský sál s rodovou galerií předků, zámecká obrazárna, Valdštejnské zámecké muzeum, Biliárový sál, místnosti zámeckého personálu a konečně expozice věnovaná Giacomu Casanovovi; v Galerii Giacomo jsou pořádány sezónní výstavy. Úchvatný výhled do parku, na Krušné hory i západ slunce nabízí zámecké terasy z balustrádového schodiště.