Danas mnogi ostrvo zovu ostrvo mrtvih jer su na njemu vjekovima sahranjivani Peraštani. Priča kaže da su ga zvali i „ukleto ostrvo“ jer je rimski papa bio zvanično prokleo zbog groznog zločina koji se desio na njemu. Hrišćani nijesu smjeli na njega kročiti da ih ne bi stigla anatema prvog božjeg sluge. Pletu se i pletu mitske priče oko ovog ostrva... Prvi arhivski spomen crkve i samostana sv. Đorđa “Sanctus Georgius de Gulfo” je iz 1166. godine, kada Ivan, opat sv. Jurja, prisustvuje posvećenju nove, druge romaničke crkve sv. Tripuna u Kotoru. Međutim, prema nalazima ornamentike na crkvi, pretpostavlja se da su tu boravili benedikanci još od IX vijeka, kada ih ima na više mjesta u primorju. Legenda kaže i da je ostrvo vjekovima bilo bijele boje, dok nisu došli benegdiktanci i zasadili čemprese – simbole smrti i nestajanja. Izgled stare crkve nije sačuvan, osim pojedinih detalja, jer su je rušili i napadači i zemljotresi, posebno jaki zemljotres iz 1667. godine. Poslije tog zemljotresa izgrađena je jednostavna crkva, sa jedinstvenom zbirkom heraldičkih oznaka na grobovima starih peraških porodica. Ostrvo sv. Đorđa je bilo gradsko groblje sve do 1866. godine, kada je izgrađeno novo, u sjevernom dijelu samog Perasta. Samostan su, u smjenama prevlasti, Mlečani, Francuzi i Austrijanci koristili kao vojnu tvrđavu, izgrađujući odbrambene zidove sa puškarnicama oko kompleksa. Na ostrvu postoje ilirski grobovi, rimski natpisi, a nađene su i rimske tegule.