I ruderi dell' antica fortezza (il fortilitium Gardonae) si trovano in località Gardona, a nord dell'abitato di Castellavazzo. Il luogo è facilmente raggiungibile percorrendo il sentiero che dal cementificio si snoda in quota sopra il tracciato ferroviario, ricalcando l'antico percorso della strada romana.
Dell'estesa costruzione rimangono solo i resti della torre che aveva un'inusuale pianta triangolare. Nei pressi esiste ancora la cava di pietra che ha fornito il materiale per la costruzione del castello.
Ricordato come fortilitium Gardonae, fu innalzato nel 1171 dal vescovo di Belluno Ottone presso il confine con il Cadore (allora parte del patriarcato di Aquileia). È tuttavia probabile che le sue origini fossero più antiche, da collocare all'epoca delle invasioni barbariche.
Faceva parte, assieme al castello di San Giorgio di Soccher, di un più vasto sistema per la difesa della contea vescovile. Col tempo assunse sempre maggiore importanza, andando ad assorbire le funzioni del Castellum Laebactium, localizzato più a valle, presso l'abitato di Castellavazzo.
Il castello fu coinvolto nei combattimenti della guerra della Lega di Cambrai. Successivamente, sopraggiunto un lungo periodo di stabilità, rimase inutilizzato e decadde.
