Före portugisernas ankomst kallades staden Anomansah (”evig” eller ”outtömlig dryck”) på grund av sitt läge på halvön mellan Benya-lagunen och havet.
Under det kastilianska tronföljdskriget år 1478 utkämpade en kastiliansk armada bestående av 35 karaveller och en portugisisk flotta en stor sjöstrid i närheten av Elmina för att få kontroll över handeln med Guinea (guld, slavar, elfenben och melegueta-peppar). Kriget slutade med en portugisisk sjövinst som följdes av att de katolska monarkerna officiellt erkände Portugals suveränitet över de flesta av de omtvistade västafrikanska territorierna i Alcáçovasfördraget från 1479. Detta var det första kolonialkriget mellan europeiska makter. Många fler skulle komma.
Staden växte fram kring slottet São Jorge da Mina, som byggdes av portugisen Diogo de Azambuja 1482 på platsen för en stad eller by som kallades Amankwakurom eller Amankwa. Det var Portugals västafrikanska högkvarter för handel och exploatering av afrikanska rikedomar. Det ursprungliga portugisiska intresset var guld, med 8 000 uns som skickades till Lissabon mellan 1487 och 1489, 22 500 uns mellan 1494 och 1496 och 26 000 uns i början av 1500-talet.
Sedermera expanderade hamnen till att omfatta tiotusentals slavar som slussades via handelsplatsen Elmina, tio- till tolvtusen enbart mellan 1500 och 1935. År 1479 transporterade portugiserna slavar från så långt bort som Benin, som stod för 10 procent av handeln i Elmina och användes för att röja mark för odling.:23-24
Elminas läge gjorde det till en viktig plats för att ombesörja förnödenheter för fartyg som var på väg söderut mot Godshospets udde på sin väg till Indien. Efter åratal av portugisisk rikedom på Elminakusten fick holländarna kännedom om den lönsamma verksamhet som ägde rum genom Barent Eriksz från Medemblik, en av de äldsta handelsmännen och Guinea-navigatorerna. Erickzen fick information om handeln på Elmina-kusten när han var fånge på Principe och var följaktligen en viktig resurs för holländarna när det gällde att tillhandahålla geografisk information och handelsinformation. Det nederländska västindiska kompaniet erövrade den 1637; under de följande århundradena användes den främst för slavhandel. Britterna attackerade staden 1782, men den förblev i nederländsk ägo fram till 1872, då den nederländska guldkusten såldes till britterna. Kungen av Ashanti, som hävdade att han var markägare, motsatte sig överföringen och resultatet blev det tredje Anglo-Ashanti-kriget 1873-1874.
Elmina är också hemvist för Fort Coenraadsburg på St. Jago Hill, som byggdes av portugiserna 1555 under namnet Forte de Santiago, det användes för handel. År 1637 erövrades det och döptes om av holländarna, efter erövringen av Elminas huvudborg. I dag är Elminas viktigaste ekonomiska näring fiske, saltproduktion och turism. Elmina Castle ligger också mycket nära Cape Coast Castle och båda slotten är kända för sin roll i den transatlantiska slavhandeln. Portugiserna kom dit 1481 och slottet stod färdigt på tre år.