Vapnet är ett av Sveriges äldsta kommunala vapen med anor från 1200-talet. Det nuvarande kommunvapnet anknyter till Lödösehus, det största historiska minnesmärket i Lilla Edet. Med små förändringar fastställde kommunfullmäktige detta vapen 1956 som kommunens eget.
Den tidigaste borgen i Lödöse tros ha uppförts under Knut Eriksssons tid mot slutet av 1100-talet. Man tror idag att det legat en kungsgård på nordsidan av borgkullen medan det på Tegelkullen i söder fanns en vaktborg, en kastal.
Kastalen omtalas i Håkon den gamles saga där det beskrivs hur Håkons män, birkebeinarna, i en lyckad hämndakt år 1227 bränner och river tornet.
Kastalen är en av de äldsta kända borgarna i Sverige, möjligtvis undantagen Näs på Visingsö vars uppförandeår inte är helt säkerställt men kanske är ytterligare något äldre. Kastalen var dock den enda försvarsborgen som var ett gränsfäste under tidig medeltid.