Antes de la llegada de los portugueses, la ciudad se llamaba Anomansah («perpetua» o «bebida inagotable») por su posición en la península entre la laguna de Benya y el mar.
En 1478 (durante la Guerra de Sucesión Castellana), una armada castellana de 35 carabelas y una flota portuguesa libraron una gran batalla naval cerca de Elmina por el control del comercio de Guinea (oro, esclavos, marfil y pimienta melegueta). La guerra terminó con una victoria naval portuguesa, seguida del reconocimiento oficial por parte de los Reyes Católicos de la soberanía portuguesa sobre la mayor parte de los territorios de África Occidental en disputa, plasmado en el Tratado de Alcáçovas de 1479. Esta fue la primera guerra colonial entre potencias europeas. Vendrían muchas más.
La ciudad creció en torno al castillo de São Jorge da Mina, construido por el portugués Diogo de Azambuja en 1482 en el emplazamiento de una ciudad o pueblo llamado Amankwakurom o Amankwa. Era la sede de Portugal en África Occidental para el comercio y la explotación de las riquezas africanas. El interés original de los portugueses era el oro, con 8.000 onzas enviadas a Lisboa de 1487 a 1489, 22.500 onzas de 1494 a 1496 y 26.000 onzas a principios del siglo XVI.
Más tarde, el puerto se amplió para incluir decenas de miles de esclavos canalizados a través del puesto comercial de Elmina, entre diez y doce mil sólo de 1500 a 35. Hacia 1479, los portugueses transportaban esclavos desde lugares tan lejanos como Benín, que representaban el 10% del comercio en Elmina, y se utilizaban para limpiar la tierra para la labranza.:23-24
La ubicación de Elmina la convirtió en un sitio importante para el reabastecimiento de los barcos que se dirigían al sur hacia el Cabo de Buena Esperanza en su camino a la India. Tras años de riqueza portuguesa en la costa de Elmina, los holandeses se enteraron de la rentable actividad que se desarrollaba a través de Barent Eriksz de Medemblik, uno de los más antiguos comerciantes y navegantes de Guinea. Erickzen recibió información sobre el comercio en la costa de Elmina mientras estaba prisionero en Príncipe y, en consecuencia, fue un recurso importante para los holandeses a la hora de proporcionar información geográfica y comercial. La Compañía Holandesa de las Indias Occidentales la capturó en 1637; en los siglos posteriores se utilizó sobre todo para el comercio de esclavos. Los británicos atacaron la ciudad en 1782, pero permaneció en manos holandesas hasta 1872, cuando la Costa de Oro holandesa fue vendida a los británicos. El rey de Ashanti, que afirmaba ser propietario de la tierra, se opuso a su traspaso, y el resultado fue la tercera guerra Anglo-Ashanti de 1873-1874.
En Elmina también se encuentra el Fuerte Coenraadsburg en la colina de San Jago, construido por los portugueses en 1555 con el nombre de Forte de Santiago, se utilizaba para el comercio. En 1637 fue conquistado y rebautizado por los holandeses, tras la conquista del castillo principal de Elmina. En la actualidad, la principal industria económica de Elmina es la pesca, la producción de sal y el turismo. También el Castillo de Elmina está muy cerca del Castillo de Cape Coast, ambos castillos son notables por el papel en el comercio transatlántico de esclavos Los portugueses llegaron allí en 1481 y el castillo fue terminado en 3 años.