Virtsut mainitakse esmakordselt aastal 1459 kui Uexküllidele kuuluvat mõisat ja aadlilinnust. Linnus oli nelinurkne pae- ja maakivist ehitis otse mere kaldal. 1533-1534 Saare-Lääne piiskopkonna kodusõja ajal linnus hävis. 1536. aasta rahulepingu põhjal ei tohtinud seda enam üles ehitada. Praeguseks on linnusest säilinud vaid ühest nurgatornist veidi kõrgem müüri jäänus. Arheoloogiliste kaevamiste tulemusena on nüüd linnuse põhiplaan avatud vaatamiseks.

Virtsu linnus sai laiemalt tuntuks kõigepealt kirjanduse kaudu. Vene mereväeohvitser, hilisem dekabrist Nikolai Bestužev (1791-1855) kirjutas jutustuse “Hugo von Bracht” (alapealkirjaga “Eesti legend”).

Virtsu on korduvalt olnud suurte sõjaliste sündmuste tunnistajaks. Esimese maailmasõja ajal püstitati siin mitmeid kindlustusehitisi. 17. oktoobril 1917. a. toimus siin Vene ja Saksa laevastiku suur merelahing. Et takistada Saksa laevadele pääsu Väinamerre, uputati laevateele soomuslaev “Slava”.

Suure Isamaasõja ajal oli 1941. aastal Virtsus mitu lahingut. Virtsu oli viimane ala Eesti NSV mandril, kus okupantidele vastupanu osutati. Alles 5. septembril taandusid viimased Virtsu kaitsjad Muhumaale.

1944. aasta 29. septembril forsseerisid Eesti laskurkorpuse väed Virtsu väina ja see operatsioon pani aluse Lääne-Eesti saarte vabastamisele. Seda sündmust tähistab sadamasse paigutatud mälestuskivi.

Virtsu asula arengut mõjutas tunduvalt kitsarööpmeline raudteeaastail 1931-1969. Praegu elab Virtsu alevikus tuhande inimese ringis.

Silmapaistvaist inimestest on Virtsuga mitmed seotud olnud. Üheksa aastat töötas Vana-Virtsu mõisas inspektorina Thomas Hiärne(1638-1678), kes on tuntud kroonika autor.

Virtsus kasvas tolliametniku perekonnas kuulus geobotaanik, mullateadlane ja geograaf Gavriil Tanfiljev (1857-1928). 1912. aastal sündis Virtsus ajalooliste romaanide “Musta risti ikke all” ja “Mõõgaga mõõdetud maa” autor Aristarch Sinkel.

Suure Isamaasõja puhkedes avaldas Läänemaal esimesena soovi vabatahtlikult rindele minna Virtsu tööline Arteemi Keskküla, kes hukkus samal suvel. Virtsust oli pärit ka 1940.-1941. aastal Karuse valla täitevkomitee esimees kommunist Villem Velt, kes langes fašistide terrori läbi 1942. aastal.