Nel XII sec. nel luogo, soggetto al vescovo di Concordia, esisteva un castello collegato, attraverso il fiume Sile, a quello di Meduna (del patriarca di Aquileia). Si ha notizia di giurisdicenti di Panigai nel 1209. La famiglia Panigai venne confermata nel possedimento e nella giurisdizione anche dalla Repubblica di Venezia. Il castello già nel XVI sec. risultava senza opere difensive, successivamente fu profondamente trasformato assumendo le linee di una villa "veneta".