Borgens storhetstid började under andra halvan av 1300-talet som ett administrativt centrum. Det väldiga centraltornet, vars rester idag kan ses på den konstgjorda kullen, var 30 meter högt, 16-sidigt med fem meter tjocka gråstensmurar klädda med rött tegel. Under Kalmarunionen, 1402, höll drottning Margareta och kung Erik möte på slottet. 1564 är slottets storhetstid slut, då det bränns av kommendanten Parsberg för att inte hamna i svenske kungen Erik XIV:s händer.
Varifrån Sölvesborg har fått sitt namn är omtvistat, men den aktuella teorin är att namnet Sölve härrör från det fornnordiska ordet Sölvir som betyder blekt och grumligt vatten eller sammansättningen sil och vi som betyder lugnt vatten och helig plats.
Staden Sölvesborg har än idag ett välbevarat medeltida gatunät med Stortorget i centrum och åtta vinkelrätt utdragna gator från hörnen. Nordväst om torget ligger stadens enda bevarade medeltida byggnad, S:t Nicolai kyrka, uppkallad efter sjöfararnas skyddshelgon. Kyrkan började troligen byggas i slutet på 1200-talet i sk gotisk stil. Under 1400-talets första år dekorerades valven och väggarna med vackra kalkmålningar och triumfkrucifixet kom på plats. Norr om kyrkan kan man idag se spår efter karmeliterklostret som anlades 1486, efter påvens instruktioner. Femtio år senare kom reformationen och klostrets dagar var över.
Genom freden i Roskilde 1658 blir Skåneland svenskt. Under början av 1700-talet förlorar stadens privilegier till Karlshamn och istället för handel livnär sig sölvesborgarna på jordbruk, fiske och hållande av ollonsvin. I slutet av seklet blir tiderna bättre och Sölvesborg blir handsk- och hattmakarnas stad. 1801 görs 208 personer husvilla efter en stor brand i stora delar av staden. Under 1800-talet växer nya industrier fram och då främst brännvinsexporten.
Listerlandet är halvön i söder med många byar och fiskelägen. Var namnet Lister kommer ifrån är oklart, men kanske härrör ordet List från ordet kant eller rand.
Sölvesborg med omnejd har många fornminnen. På Mörby backe ligger ett röse från äldre bronsålder (ca 1400 f Kr) med vidsträckt utsikt. I Lörby skog finns ett gravfält troligen från järnåldern och i Stiby står bautastenen Stiby Sissa och "vänder sig mot doften av nybakat bröd". Vid S:t Nicolai kyrka står två runstenar, dock inte på sin ursprungliga plats. Fler av de fynd som hittats i kommunen finns utställda på Sölvesborgs museum, som har öppet sommartid.
