Das Kastell war ehemals Palast und Residenz des Bischofs von Poreč, der vom VI. Jahrhundert bis 1778 über Vrsar herrschte. Das heutige Kastell ist ein mittelalterlicher Bau, der im XVII. Jahrhundert erweitert und barockisiert wurde. Mit dem Beginn der venezianischen Herrschaft im Jahre 1778 wurde das Kastell der Kirche abgenommen und verweltlicht. Im XIX. Jahrhundert war es im Besitz der Familie Vergottini. Das Kastell wurde 2001 renoviert, so dass es heute in Privatbesitz als Ferienresidenz benutzt wird.
Das Kastell von Vrsar ist ein ehemaliger Palast und Wohnsitz des Bischofs von Poreč, der Vrsar über 1000 Jahre regierte.
Dieses Gebäude dominiert in der Silhouette Vrsars und ist vom Osteingang in die Stadt, auch vom Meer aus sowie von der Insel St. Georg aus gut zu sehen. Es handelt sich um das höchste und flächenmäßig größte historische Bauwerk in Vrsar.
Das älteste Kastell in Vrsar an diesem Platz wurde im IX. Jahrhundert errichtet und hatte mit Sicherheit kleinere Dimensionen als das heutige. In Archivquellen trifft man auf das Kastell von Vrsar seit dem XII. Jahrhundert unter der Bezeichnung castrum Ursariae. Das Kastell war seit seiner Errichtung Sitz der Grafschaft von Vrsar, aber auch der Ort in dem der Bischof von Poreč im Laufe des Mittelalters und der Neuzeit viele Papiere zusammenstellte. Das erste Kastell veränderte der Bischof von Poreč Oto (1256-1282). Daraus geht hervor, dass das Kastell auf dem höchsten Punkt der Siedlung liegt und Merkmale einer Festung hatte. Als solches wird es auch auf den Veduten von Vrsar gezeigt, die aus der Neuzeit stammen. Im XVII. Jahrhundert zur Zeit des Bischofs A. Adelassio aus Poreč wurde das Kastell wurde völlig renoviert, barockisiert und erweitert. Es hatte eine Wehrmauer mit romanischen Türmen, Schießscharten, Wohnraum und Pferdestall. 1778 wurde das Kastell in Verbindung mit der Politik der venezianischen Herrschaft verweltlicht und nationalisiert. Im XIX. Jahrhundert gehörte es der Familie Vergottini. Der Bischof von Poreč residierte regelmäßig im Kastell, besonders während der Kriege, Epidemien und unsicheren Zeiten. Nach dem Ende des Bestehens der Grafschaft Vrsar im Jahre 1778 und seiner Verstaatlichung verfiel das Kastell systematisch. Das Gebäude wurde 2001 renoviert und dient heute in Privatbesitz als Ferienresidenz.
In der Dokumentation der Geschichte Vrsars ist sein Kastell bei weitem das meist erwähnte und wichtigste Bauwerk. Es war Sitz des Bischofs von Poreč; in ihm sind viele Dokumente von entscheidender Wichtigkeit für die Geschichte Vrsars und Umgebung aber auch von Bedeutung für ganz Istrien ausgestellt worden. Es war oppidum beziehungsweise castrum im wahren Sinne des Wortes, das sich aus dem spätantiken bzw. frühmittelalterlichen Zufluchtsort (refugium) entwickelt hatte. In den diplomatischen Quellen muss der Begriff castrum Vrsari mit Vorsicht interpretiert werden, denn dieser Begriff bezeichnet das Kastell selbst und ebenso den engsten befestigten residentalen Kern der Altstadt in den Stadtmauern.
Das Kastell in Vrsar ist nur ein Teil des Gebäudekomplexes auf dem Hügel von Vrsar, zu dem die Pfarrkirche, der Glockenturm sowie der nahe Aussichtsturm gehören. Von hier aus führen Straßen zu den anderen Teilen des alten Vrsar, zu dem Großen Stadttor, dem Marktplatz und dem Kleinen Stadttor hinunter.
