Il castello fu innalzato dai conti di Porcia e Brugnera, derivati dai conti di Prata dai quali si divisero nel 1214. I Porcia e Brugnera ebbero nella loro qualità di comites et liberi il primo posto nel parlamento della Patria del Friuli, perché erano feudatari muniti di importanti giurisdizioni e di grandi proprietà libere e immunitarie. Esercitarono l'avvocazia, ossia furono protettori, del vescovo di Ceneda (l'odierna Vittorio Veneto). Un ramo dei Porcia nel 1662 venne elevato alla dignità di principe del Sacro Romano Impero. Ottennero il titolo di -altezza serenissima. e persino la facoltà di nobilitare e di battere moneta. Oltre che in Friuli, ebbero ragguardevoli palazzi e possedimenti in Austria, Ungheria e Baviera. Nella famiglia si contano condottieri (fra i quali Silvio che fu uno dei comandanti nella battaglia di Lepanto del 1571), diplomatici, cardinali (uno di questi, Leandro, nel XVIII sec., giunse a un passo dalla tiara), vescovi, letterati, ecc. Il conte Girolamo di Porcia nel XVI sec. scrisse che il maniero "è grosso benissimo accasato e con acque assai" e che ragguardevoli erano alcune ali dello stesso dove, tra l'altro, nel 1532 venne ospitato l'imperatore Carlo V. Il mastio, mozzato sul finire del secolo scorso, dovrebbe risalire al Mille, anche se lo si vorrebbe addirittura del periodo romano. Il complesso è tuttora imponente (e vi ha sede anche un'azienda vinicola). Il campanile della vicina chiesa di San Giorgio di Porcia, simile a una torre difensiva, costruito tra il 1488 e il 155O, ha una particolarità: è l'unico del Friuli-Venezia Giulia a doppia canna e perciò alla cella campanaria si può arrivare attraverso 46 piani inclinati sia a piedi che a cavallo. Del borgo medioevale fortificato di Brugnera rimangono, invece, solo poche tracce, mentre quello di Prata fu completamente distrutto nel 1420 dai veneziani.