Grad Gradac se nahaja na okljuku reke Lahinje, v središču vasi Gradac. Prvič je bil omenjen leta 1326 kot Gräcz , na začetku 17. stoletja pa je bil v lasti znane in premožne italijanske plemiške rodovine grofov Thurn-Valsassina. Leta 1692 je prišla gospoščina v roke plemenitih Burgstallov, lastnikov gradu Krupa in Pobrežje, ob koncu 17. stoletja pa je bil grad last rodovine Gusič.
V grajskem parku se nahaja grobnica s kamnitim sarkofagom leta 1831 umrlega Jurija Gusiča, ki je bil predzadnji lastnik ter je svoj pečat pustil ob prezidavah gradu. Grad je leta 1846 kupil Franc vitez Fridau, ki je v Gradcu leta 1858 zgradil železolivarno s plavžem in jo oskrboval z železovo rudo, nakopano v Beli krajini.
Železolivarna je delovala do leta 1882, nato se je zamenjalo še nekaj lastnikov, med katerimi je bil zadnji, pred drugo svetovno vojno, zagrebški trgovec Šutej.
Med drugo svetovno vojno je bila v gradu partizanska bolnišnica, v letih 1944/45 pa tudi oficirska šola VDV. Po vojni je bila v njem šola za težko vzgojljive mladostnike in nato kmetijsko-gospodinjska šola, dokler niso po letu 1956 v njem uredili stanovanja.
