Înainte de sosirea portughezilor, orașul se numea Anomansah („perpetuu” sau „băutură inepuizabilă”) din cauza poziției sale pe peninsula dintre laguna Benya și mare.
În 1478 (în timpul Războiului de Succesiune Castiliană), o armadă castiliană de 35 de caravelle și o flotă portugheză au purtat o mare bătălie navală în apropiere de Elmina pentru controlul comerțului din Guineea (aur, sclavi, fildeș și piper melegueta). Războiul s-a încheiat cu o victorie navală portugheză, urmată de recunoașterea oficială de către regii catolici a suveranității portugheze asupra majorității teritoriilor din Africa de Vest aflate în dispută, consfințită în Tratatul de la Alcáçovas din 1479. Acesta a fost primul război colonial între puterile europene. Aveau să vină multe altele.
Orașul s-a dezvoltat în jurul castelului São Jorge da Mina, construit de portughezul Diogo de Azambuja în 1482 pe locul unui oraș sau sat numit Amankwakurom sau Amankwa. Acesta a fost sediul central al Portugaliei în Africa de Vest pentru comerțul și exploatarea bogățiilor africane. Interesul inițial al portughezilor a fost aurul, cu 8.000 de uncii expediate la Lisabona între 1487 și 1489, 22.500 de uncii între 1494 și 1496 și 26.000 de uncii până la începutul secolului al XVI-lea.
Ulterior, portul s-a extins pentru a include zeci de mii de sclavi canalizați prin postul comercial din Elmina, zece până la douăsprezece mii numai între 1500 și 1935. Până în 1479, portughezii transportau sclavi de la distanțe atât de mari precum Benin, care reprezentau 10 la sută din comerțul din Elmina și erau folosiți pentru a curăța pământul pentru cultivare.:23-24
Localizarea Elminei a făcut din ea un loc important pentru reaprovizionarea navelor care se îndreptau spre sud, spre Capul Bunei Speranțe, în drumul lor spre India. După ani de bogăție portugheză pe coasta Elmina, olandezii au aflat de activitatea profitabilă care avea loc prin intermediul lui Barent Eriksz din Medemblik, unul dintre cei mai vechi comercianți și navigatori din Guineea. Erickzen a primit informații despre comerțul de pe coasta Elmina în timp ce era prizonier pe Principe și, prin urmare, a fost o resursă majoră pentru olandezi în ceea ce privește furnizarea de informații geografice și comerciale. Compania olandeză a Indiilor Occidentale l-a capturat în 1637; în secolele următoare a fost folosit în principal pentru comerțul cu sclavi. Britanicii au atacat orașul în 1782, dar acesta a rămas în mâinile olandezilor până în 1872, când Coasta de Aur olandeză a fost vândută britanicilor. Regele Ashanti, care pretindea că este proprietarul terenului, s-a opus transferului său, iar rezultatul a fost cel de-al treilea război Anglo-Ashanti din 1873-1874.
Elmina găzduiește, de asemenea, Fortul Coenraadsburg de pe dealul St. Jago, construit de portughezi în 1555 sub numele de Forte de Santiago, a fost folosit pentru comerț. În 1637 a fost cucerit și redenumit de către olandezi, după cucerirea castelului principal din Elmina. Astăzi, principala industrie economică a Elminei este pescuitul, producția de sare și turismul. De asemenea, Castelul Elmina se află foarte aproape de Castelul Cape Coast, ambele castele sunt notabile pentru rolul în comerțul transatlantic cu sclavi Portughezii au ajuns acolo în 1481, iar castelul a fost terminat în 3 ani.