È del 1298 un documento che richiama l'esistenza della torre e del castello di San Vito. Alla fine del secolo XIII il patriarca Raimondo della Torre restaurò il .palagio. cadente e la rocca che minacciava rovina e vi aggiunse mura merlate e robuste torri (ne rimangono tre: a Est la Scaramuccia, a Sud la Grimana e a Ovest la Raimonda). Nel 1533-34 il patriarca Marino Grimani, costruì le mura attorno al borgo di Taliano, una fossa attorno a quello di San Lorenzo, innalzò la torre degli Altan (poi conosciuta come Grimana in suo onore), restaurò il palazzo patriarcale e lo ornò di giardini. Ma già nel 1649 cominciarono manomissioni alla cinta muraria, che nel 1909, snaturarono definitivamente l'intero sistema difensivo. All'interno del centro storico vi sono ancora palazzi e monumenti di grande pregio artistico, fra i quali il palazzo quattrocentesco Altan-Rota, oggi municipio, con affreschi del Moretto (sec. XVI) e palazzo Fancello dalla facciata affrescata forse dal Bellunello. Nella vicina Prodolone esisteva (dal sec. XIII) un castello, ma di esso non c'è più traccia.