Avant l’arrivée des Portugais, la ville était appelée Anomansah (« boisson perpétuelle » ou « boisson inépuisable ») du fait de sa position sur la péninsule entre la lagune de Benya et la mer.
En 1478 (pendant la guerre de Succession de Castille), une armada castillane de 35 caravelles et une flotte portugaise se livrent une grande bataille navale près d’Elmina pour le contrôle du commerce de la Guinée (or, esclaves, ivoire et poivre mélégueta). La guerre se termine par une victoire navale portugaise, suivie de la reconnaissance officielle par les monarques catholiques de la souveraineté portugaise sur la plupart des territoires ouest-africains en litige, concrétisée par le traité d’Alcáçovas de 1479. Il s’agit de la première guerre coloniale entre puissances européennes. Beaucoup d’autres allaient suivre.
La ville s’est développée autour du château de São Jorge da Mina, construit par le Portugais Diogo de Azambuja en 1482 sur le site d’une ville ou d’un village appelé Amankwakurom ou Amankwa. C’était le quartier général du Portugal en Afrique de l’Ouest pour le commerce et l’exploitation des richesses africaines. L’intérêt initial des Portugais était l’or, avec 8 000 onces expédiées à Lisbonne de 1487 à 1489, 22 500 onces de 1494 à 1496 et 26 000 onces au début du XVIe siècle.
Plus tard, le port s’est étendu à des dizaines de milliers d’esclaves acheminés par le poste de traite d’Elmina, dix à douze mille pour la seule période 1500-35. En 1479, les Portugais transportaient des esclaves d’aussi loin que le Bénin, qui représentaient 10 % du commerce d’Elmina, et étaient utilisés pour défricher les terres à cultiver.:23-24
L’emplacement d’Elmina en faisait un site important pour le réapprovisionnement des navires se dirigeant vers le sud, vers le cap de Bonne-Espérance, en route vers l’Inde. Après des années de richesse portugaise sur la côte d’Elmina, les Néerlandais ont appris l’activité profitable qui s’y déroulait par l’intermédiaire de Barent Eriksz de Medemblik, l’un des plus anciens commerçants et navigateurs de Guinée. Erickzen a reçu des informations sur le commerce sur la côte d’Elmina alors qu’il était prisonnier à Principe et a donc été une ressource majeure pour les Néerlandais en termes d’informations géographiques et commerciales. La Compagnie néerlandaise des Indes occidentales s’en est emparée en 1637 ; au cours des siècles suivants, elle a surtout été utilisée pour le commerce des esclaves. Les Britanniques attaquent la ville en 1782, mais elle reste aux mains des Néerlandais jusqu’en 1872, date à laquelle la Gold Coast néerlandaise est vendue aux Britanniques. Le roi d’Ashanti, prétendant être le propriétaire du sol, s’opposa à son transfert, et le résultat fut la troisième guerre Anglo-Ashanti de 1873-1874.
Elmina abrite également le Fort Coenraadsburg sur la colline de St. Jago, construit par les Portugais en 1555 sous le nom de Forte de Santiago, il était utilisé pour le commerce. En 1637, il a été conquis et rebaptisé par les Hollandais, après la conquête du château principal d’Elmina. Aujourd’hui, la principale industrie économique d’Elmina est la pêche, la production de sel et le tourisme. Aussi le château d’Elmina très proche du château de Cape Coast les deux châteaux sont remarquables pour le rôle dans le commerce transatlantique des esclaves Les Portugais y sont arrivés en 1481 et le château a été terminé en 3 ans.