Vóór de komst van de Portugezen werd de stad Anomansah (“eeuwigdurend” of “onuitputtelijke drank”) genoemd, naar haar ligging op het schiereiland tussen de Benya-lagune en de zee.
In 1478 (tijdens de Castiliaanse Successieoorlog) vochten een Castiliaanse armada van 35 karvelen en een Portugese vloot een grote zeeslag uit bij Elmina om de controle over de handel in Guinea (goud, slaven, ivoor en melegueta-paprika). De oorlog eindigde met een overwinning van de Portugese zeemacht, gevolgd door de officiële erkenning door de katholieke vorsten van de Portugese soevereiniteit over het grootste deel van de betwiste Westafrikaanse gebieden, neergelegd in het Verdrag van Alcáçovas, 1479. Dit was de eerste koloniale oorlog tussen Europese mogendheden. Er zouden er nog veel volgen.
De stad groeide rond het kasteel van São Jorge da Mina, dat in 1482 door de Portugees Diogo de Azambuja werd gebouwd op de plaats van een stad of dorp met de naam Amankwakurom of Amankwa. Het was het West-Afrikaanse hoofdkwartier van Portugal voor handel en exploitatie van de Afrikaanse rijkdommen. De oorspronkelijke belangstelling van de Portugezen ging uit naar goud, met 8.000 ounces die van 1487 tot 1489 naar Lissabon werden verscheept, 22.500 ounces van 1494 tot 1496, en 26.000 ounces aan het begin van de zestiende eeuw.
Later breidde de haven zich uit met tienduizenden slaven die via de handelspost Elmina werden aangevoerd, alleen al tien- tot twaalfduizend in de periode 1500-35. Tegen 1479 vervoerden de Portugezen slaven van zo ver weg als Benin, die goed waren voor 10% van de handel in Elmina, en werden gebruikt om land vrij te maken voor grondbewerking.
Door de ligging van Elmina was het een belangrijke plaats voor de bevoorrading van schepen die op weg waren naar het zuiden, naar Kaap de Goede Hoop op hun weg naar India. Na jaren van Portugese rijkdom aan de Elmina-kust, kwamen de Nederlanders op de hoogte van de winstgevende activiteit die plaatsvond via Barent Eriksz van Medemblik, een van de oudste handelaren en Guinea Navigators. Erickzen kreeg informatie over de handel op de kust van Elmina toen hij gevangen zat op Principe en was bijgevolg een belangrijke bron voor de Nederlanders in termen van het verstrekken van geografische en handelsinformatie. De Nederlandse West-Indische Compagnie veroverde de stad in 1637; in de eeuwen daarna werd ze vooral gebruikt voor de slavenhandel. De Britten vielen de stad aan in 1782, maar ze bleef in Nederlandse handen tot 1872, toen de Nederlandse Goudkust aan de Britten werd verkocht. De koning van Ashanti, die beweerde grondbezitter te zijn, maakte bezwaar tegen de overdracht, en het resultaat was de derde Anglo-Ashanti-oorlog van 1873-1874.
Elmina is ook de thuishaven van Fort Coenraadsburg op St. Jago Hill, gebouwd door de Portugezen in 1555 onder de naam Forte de Santiago, het werd gebruikt voor de handel. In 1637 werd het veroverd en hernoemd door de Nederlanders, na de verovering van Elmina’s hoofdburcht. Tegenwoordig is de belangrijkste economische industrie van Elmina de visserij, de zoutwinning en het toerisme. Ook Elmina Castle ligt heel dicht bij Cape Coast Castle beide kastelen zijn opmerkelijk voor hun rol in de transatlantische slavenhandel Portugezen kwamen er in 1481 en het kasteel was in 3 jaar klaar.