Vrsar je naselje koje se urbanistički oblikovalo od prijelaza kasne antike u srednji vijek, a cjelovito je unutar zidina oblikovano u srednjemu vijeku. Do druge polovice XVII. stoljeća cijeli je Vrsar bio stiješnjen unutar gradskih zidina, a otada počinje izlaziti iz tih okvira zbog demografske ekspanzije. Najbolje su očuvani su dijelovi gradskih zidina kod Velikih i Malih vrata, dvije romaničke kule koje su činile dio fortifikacijskog sustava te vlastite zidine vrsarskog kaštela koje su također bile uklopljene u srednjovjekovni fortifikacijski sustav Vrsara i dobro su očuvane zajedno sa svojim nazubljenim vrhom.
Najbolje su očuvani su dijelovi gradskih zidina kod Velikih i Malih vrata, dvije romaničke kule i zidine oko kaštela.
Velika gradska vrata nalaze se u neposrednoj blizini crkve svete Foške. Tijekom srednjeg i novoga vijeka ona su bila središnji ulaz u grad. Kroz njih se prema podnožju vrsarskoga brijega protezala jedina izgrađena cesta na području Vrsara. Velika vrata pripadaju fortifikacijskom sustavu Vrsara i srednjovjekovnog su nastanka s romaničkim obilježjima, dok su današnji (konačni) oblik poprimila u drugoj polovici XVIII. stoljeća kada su Mlečani iznad njih postavili svoje heraldičko obilježje. Gradska vrata zimi su se zatvarala u 19, a ljeti u 20 sati te su ostajala zatvorena do zore. Drvena vrata kojima se priječio ulaz u grad nisu ostala očuvana.
Mala gradska vrata u Vrsaru nalaze se u neposrednoj blizini crkve svetog Antuna Padovanskog. To je bio sporedni i većinom pješački ulaz u Vrsar. Mala vrata pripadaju fortifikacijskom sustavu Vrsara i srednjovjekovnog su nastanka s romaničkim obilježjima, dok su današnji (konačni) oblik poprimila u drugoj polovici XVIII. stoljeća kada su Mlečani iznad njih postavili svoje heraldičko obilježje. Za razliku od Velikih vrata, ova vrata imaju dobro očuvanu drvenu konstrukciju kojom se priječio ulaz u grad, što je rijedak slučaj u Istri. Mala gradska vrata u Vrsaru, zajedno s prolazom koji se na njih nastavlja unutar zidina, otvaraju ulaz na glavni gradski trg (gdje se tijekom povijesti nalazila župna crkva) te predstavljaju najbrži izlaz iz grada ako se osoba nalazi na glavnom trgu.
