Den tidigaste borgen i Lödöse tros ha uppförts under Knut Eriksssons tid mot slutet av 1100-talet. Man tror idag att det legat en kungsgård på nordsidan av borgkullen medan det på Tegelkullen i söder fanns en vaktborg, en kastal. Kastalen omtalas i Håkon den gamles saga där det beskrivs hur Håkons män, birkebeinarna, i en lyckad hämndakt år 1227 bränner och river tornet. Kastalen är en av de äldsta kända borgarna i Sverige, möjligtvis undantagen Näs på Visingsö vars uppförandeår inte är helt säkerställt men kanske är ytterligare något äldre. Lödöse var dock den enda försvarsborgen som var ett gränsfäste under tidig medeltid. Kastalen kom snart att ersättas av vad som blev Lödöse hus, omnämnt i Erikskrönikan. Den nya borgen uppfördes troligen under 1230-talet under kung Erik läspe och halte och omslöts av dubbla vallgravar, delvis t.o.m tredubbla. Man ansåg tydligen att borgens utbyggnad var så viktig att man t.o.m. rev delar av stadsbebyggelsen. Detta kan man se på kartbilden över Lödöse år 1300, där gatan fram mot borgen plötsligt svänger av norrut i en böj – de övriga gatorna är räta och vinklade.