Przed przybyciem Portugalczyków miasto nosiło nazwę Anomansah („wieczny” lub „niewyczerpany napój”) od położenia na półwyspie między laguną Benya a morzem.
W 1478 r. (podczas wojny o sukcesję kastylijską) kastylijska armada 35 karawel i flota portugalska stoczyły w pobliżu Elminy wielką bitwę morską o kontrolę nad handlem gwinejskim (złotem, niewolnikami, kością słoniową i pieprzem melegueta). Wojna zakończyła się zwycięstwem portugalskiej floty, a następnie oficjalnym uznaniem przez katolickich monarchów portugalskiego zwierzchnictwa nad większością spornych terytoriów Afryki Zachodniej, zawartym w traktacie z Alcáçovas w 1479 roku. To była pierwsza wojna kolonialna między europejskimi potęgami. Miasto rozrosło się wokół zamku São Jorge da Mina, zbudowanego przez Portugalczyka Diogo de Azambuja w 1482 roku na miejscu miasta lub wioski zwanej Amankwakurom lub Amankwa. Była to główna siedziba Portugalii w Afryce Zachodniej, zajmująca się handlem i eksploatacją afrykańskich bogactw. Pierwotnym celem Portugalczyków było złoto, którego 8000 uncji wysyłano do Lizbony w latach 1487-1489, 22 500 uncji w latach 1494-1496, a 26 000 uncji na początku XVI wieku.
Później port rozszerzył się o dziesiątki tysięcy niewolników przewożonych przez punkt handlowy w Elminie, dziesięć do dwunastu tysięcy w latach 1500-35. Do 1479 r. Portugalczycy transportowali niewolników z tak daleka jak Benin, którzy stanowili 10 procent handlu w Elminie i byli wykorzystywani do oczyszczania ziemi pod uprawę.23-24
Położenie Elminy sprawiło, że stała się ona ważnym miejscem dla zaopatrzenia statków zmierzających na południe w kierunku Przylądka Dobrej Nadziei w drodze do Indii. Po latach portugalskiego bogactwa na Wybrzeżu Elminy, Holendrzy dowiedzieli się o zyskownej działalności, która miała miejsce dzięki Barentowi Erikszowi z Medemblik, jednemu z najstarszych kupców i Nawigatorów Gwinei. Eriksz otrzymał informacje o handlu na wybrzeżu Elminy, gdy był więźniem na Principe i w rezultacie był dla Holendrów ważnym źródłem informacji geograficznych i handlowych. Holenderska Kompania Zachodnioindyjska zdobyła miasto w 1637 roku; w kolejnych wiekach było ono wykorzystywane głównie do handlu niewolnikami. Brytyjczycy zaatakowali miasto w 1782 roku, ale pozostało ono w rękach holenderskich aż do 1872 roku, kiedy to holenderskie Złote Wybrzeże zostało sprzedane Brytyjczykom. Król Ashanti, twierdząc, że jest właścicielem gruntu, sprzeciwił się jego przeniesieniu, a wynikiem tego była trzecia wojna angielsko-szantyjska w latach 1873-1874.
W Elminie znajduje się również Fort Coenraadsburg na Wzgórzu Świętego Jago, zbudowany przez Portugalczyków w 1555 roku pod nazwą Forte de Santiago, był on wykorzystywany do handlu. W 1637 roku został zdobyty i przemianowany przez Holendrów, po zdobyciu głównego zamku Elminy. Dziś głównym przemysłem gospodarczym Elminy jest rybołówstwo, produkcja soli i turystyka. Zamek Elmina znajduje się również bardzo blisko Cape Coast Castle, oba zamki są godne uwagi ze względu na rolę w transatlantyckim handlu niewolnikami. Portugalczycy dotarli tam w 1481 roku, a zamek został ukończony w ciągu 3 lat.