Dell'antico castello di Mizza a Fanna di Sopra, come un tempo si chiamava l'attuale Cavasso, rimangono poche rovine, raggiungibili da Borgo Grilli per un agevole sentiero. Il maniero appartenne ai conti di Polcenigo, che nel 1222 proseguirono come ramo Polcenigo-Fanna. Nella piazza principale del capoluogo sorge il poderoso complesso del "Palazat", costruito tra il 1562 e il 1574 dai Bonifacio-Fanna, passato poi ai Polcenigo-Fanna. Ha torri, affreschi di scuola veneta del XVIII sec. e stucchi. Profondamente ristrutturato dopo i sismi del 1976, diventerà municipio. In zona, ma nell'odierno comune di Fanna, esisteva anche un'antica abbazia benedettina, collegata con quella di Pomposa (Ferrara), di cui permangono alcune vestigia.