Před příchodem Portugalců se město nazývalo Anomansah („věčný“ nebo „nevyčerpatelný nápoj“) podle své polohy na poloostrově mezi lagunou Benya a mořem.
V roce 1478 (během války o kastilské dědictví) svedla kastilská armáda čítající 35 karavel a portugalská flotila u Elminy velkou námořní bitvu o kontrolu nad obchodem s guinejským zbožím (zlatem, otroky, slonovinou a pepřem melegueta). Válka skončila portugalským námořním vítězstvím, po němž katoličtí monarchové oficiálně uznali portugalskou svrchovanost nad většinou sporných západoafrických území zakotvenou ve smlouvě z Alcáçovas z roku 1479. Jednalo se o první koloniální válku mezi evropskými mocnostmi. Přijdou ještě mnohé další.
Město vyrostlo kolem hradu São Jorge da Mina, který nechal postavit Portugalec Diogo de Azambuja v roce 1482 na místě města či vesnice zvané Amankwakurom nebo Amankwa. Bylo to portugalské západoafrické ústředí pro obchod a využívání afrického bohatství. Původním zájmem Portugalců bylo zlato – v letech 1487-1489 bylo do Lisabonu dodáno 8 000 uncí, v letech 1494-1496 22 500 uncí a na počátku 16. století 26 000 uncí.
Později se přístav rozšířil o desítky tisíc otroků, kteří směřovali přes obchodní stanici Elmina, jen v letech 1500-35 jich bylo deset až dvanáct tisíc. Do roku 1479 vozili Portugalci otroky až z Beninu, kteří tvořili 10 % obchodu v Elmině a byli využíváni k obdělávání půdy.:23-24
Poloha Elminy z ní učinila významné místo pro doplňování zásob lodí směřujících na jih k mysu Dobré naděje na cestě do Indie. Po letech portugalského bohatství na pobřeží Elminy se Nizozemci dozvěděli o probíhající výnosné činnosti díky Barentu Erikszovi z Medembliku, jednomu z nejstarších obchodníků a guinejských mořeplavců. Erickzen získal informace o obchodování na pobřeží Elminy, když byl vězněn na Principe, a následně byl pro Nizozemce významným zdrojem, pokud jde o poskytování zeměpisných a obchodních informací. Nizozemská Západoindická společnost se jej zmocnila v roce 1637; v následujících staletích byl využíván především pro obchod s otroky. V roce 1782 na město zaútočili Britové, ale v nizozemských rukou zůstalo až do roku 1872, kdy bylo nizozemské Zlaté pobřeží prodáno Britům. Král Ašanti, který se prohlašoval za pozemkového vlastníka, se proti jeho převodu ohradil a výsledkem byla třetí anglo-ashanská válka v letech 1873-1874.
V Elmině se nachází také pevnost Coenraadsburg na kopci svatého Jaga, kterou postavili Portugalci v roce 1555 pod názvem Forte de Santiago, sloužila k obchodu. V roce 1637 ji dobyli a přejmenovali Holanďané, a to po dobytí hlavního elminského hradu. Dnes je hlavním hospodářským odvětvím Elminy rybolov, výroba soli a cestovní ruch. Také hrad Elmina je velmi blízko hradu Cape Coast Oba hrady jsou pozoruhodné pro roli v transatlantickém obchodu s otroky Portugalci se sem dostali v roce 1481 a hrad byl dokončen za 3 roky.