Il nucleo originario del castello (prime notizie del 963), feudo della famiglia Polcenigo, venne ampliato nel Duecento comprendendo il borgo che dal medioevo si era notevolmente sviluppato e che anche attualmente comprende fabbricati di grande pregio, come i palazzi Scolari e Fullini-Zaja, l'ex convento francescano (l'attuale parrocchiale) e alcune torri medievali appartenenti alle cinte murate. Parte del complesso, nel Settecento fu radicalmente trasformato, su progetto di Matteo Lucchesi, assumendo l'aspetto di imponente villa veneta, resa un tempo ancor più scenografica dalla scalinata di 365 scalini che saliva dal paese al colle. Ancor oggi, nonostante le ripetute spoliazioni, l'insieme si presenta come un rudere imponente, immerso in un ambiente naturale di straordinaria bellezza (nei dintorni molto interessanti pure il parco di San Floriano e le sorgenti del Livenza e del Gorgazzo).