Negli ambienti del piano interrato e seminterrato è possibile ancora vedere tracce del passato, mantenuto fino al 1965: le basse e massicce porte borchiate con finestrella e doppi catenacci, scritte, numerazione delle celle e graffiti sui muri. Il percorso delle prigioni, illuminato in notturna negli ambienti costituiti da corridoi sotterranei e anguste celle occupate da antichi registri manoscritti o allestite in modo da rievocare l’originaria funzione, è arricchito da proiezioni con animazioni a tema. In passato sembra che l’edificio assegnato come residenza dei rettori veneziani coincidesse con l’antico palacium communis.
Dopo la distruzione del 3 luglio 1510 da parte delle truppe di Massimiliano d’Asburgo il governo si mosse per la ricostruzione della struttura già nel 1515. Nel 1517 il palazzo doveva però essere ancora in rovina se il rettore Agostino Moro ne mise a disposizione il sedime per la costruzione della nuova cattedrale in corpore civitatis, mai realizzata.
L’opera riedificatoria intrapresa durante il mandato di Michele Cappello nel 1524 fu ultimata in quello di Girolamo da Lezze e il primo rettore che tornò ad abitarvi, nel 1533 dalla provvisoria sede nel castello fu Marco Loredan, come si apprende dalla relazione di quest’ultimo.
Nei domini di terraferma l’amministrazione della giustizia civile e penale era tra le mansioni dei rettori veneziani, coadiuvati da un numero variabile di assessori, ovvero giuristi laureati in utroque iure, civile e canonico, uno solo nel caso di Feltre, e da membri dei consigli cittadini (non sempre collaborativi). Risultava dunque funzionale la vicinanza agli alloggi del rettore di un certo numero di celle per i detenuti in attesa di giudizio.
