El apellido Eiffel fue adoptado por su abuelo Jeane Bönickhausen, que emigró a Bougirate, desde la ciudad de Marmagen, y se afincó en París a principios del siglo XVIII, tomado de su lugar de nacimiento, la región de Eifel, (Alemania), ya que en francés no se podía pronunciar su verdadero apellido Bönickhausen. Aunque la familia ya utilizaba Eiffel, Gustave fue registrado al nacer como Bonickhausen dit Eiffel, y no lo cambió oficialmente a Eiffel hasta 1880 (a sus 48 años).
Estudió en la École Centrale de París, en la que se graduó como ingeniero en 1855. Poco después empezó a trabajar en una empresa de equipos para ferrocarriles.
En 1867 funda la consultora y constructora Eiffel et Cie., que adquirió un gran prestigio internacional en el uso del hierro, construyendo cientos de importantes estructuras (puentes, grúas, estaciones, etc.).
Con la ayuda del ingeniero Téophile Seyrig, se adjudicó una subasta internacional para diseñar y construir un viaducto de 160 metros de luz sobre el río Duero, entre Oporto y Vila Nova de Gaia, Portugal. Su propuesta usaba el «método de fuerzas», una técnica nueva para diseñar estructuras, creada por Maxwell en 1846. El puente María Pía está constituido por un doble arco que sostiene la vía única de ferrocarril por medio de pilares que refuerzan todo el puente. La construcción fue bastante rápida y estuvo concluida en menos de dos años (5 de enero de 1876-4 de noviembre de 1877). Fue inaugurado por el rey Luis I y la reina María Pía. El puente se utilizó hasta 1991 (114 años) y se sustituyó por el nuevo puente de San Juan.
Su construcción más famosa es la torre Eiffel (1887 y 1889), para la Exposición Universal de 1889 en París, Francia. Esta gran estructura de hierro, que se convertiría en el símbolo de París, llegaría a tener varios usos a lo largo de su historia. En la Segunda Guerra Mundial se utilizó como antena para que los aliados pudieran espiar las maniobras del ejército alemán. Asimismo, diseñó la estructura interna de la Estatua de la Libertad de Nueva York. También adquirió experiencia diseñando puentes de hierro.
Gustave Eiffel también diseñó La Ruche en París, que se convertiría, al igual que la torre Eiffel, en un punto de referencia de la ciudad. Es una estructura circular de tres pisos que parece una colmena. Se creó como una construcción temporal para la Gran Exposición de 1900.
En Sudamérica se le atribuye el diseño de la Estación Central de Santiago, en circunstancias que este edificio declarado Monumento Nacional mediante el Decreto Supremo N.º 614 del 29 de junio de 1983, fue diseñado por Schneider su principal competidor y edificado por Le Creuzot. En Perú, el gobierno chileno de ocupación tras la Guerra del Pacífico, encargó a una empresa subsidiaria de Eiffel et Cie la última etapa de construcción de la catedral de Tacna, y en territorio chileno la edificación de la Aduana. Catedral de San Marcos de Arica, Chile. De igual manera se le atribuye la Terminal del Ferrocarril de la ciudad de La Paz, Bolivia, la que actualmente es la terminal de buses de dicha ciudad y la construcción en 1906 por encargo de las autoridades del Instituto Médico «Sucre» de una réplica de la torre en el parque Bolívar de Sucre, capital de Bolivia, las cuales fueron edificadas por compañías licenciatarias de Eiffel et Cie. Asimismo se le atribuye una serie de diseños de puentes y obras mayores en hierro, como el antiguo puente al río Rocha en Cochabamba reemplazado por puentes para circulación de vehículos, el diseño de la catedral de Chiclayo, ubicada en el norte del Perú, en su plaza de armas, al igual que las vigas del puente Balta en la ciudad de Lima, y los arcos del Palacio de la Exposición, actual Museo de Arte de Lima, La Casa de Fierro, ubicada en la Amazónica ciudad de Iquitos. También diseñó en 1907 el Mercado Central de la ciudad de Guayaquil, Ecuador, llamado actualmente el Palacio de Cristal. Se le atribuye asimismo erróneamente la autoría de la construcción del Puente de Fierro en Arequipa, un puente con una armadura Fink y la subestructura compuesta de Columna Phoenix de la compañía Phoenix lron Company.
Otras obras diseñadas por Eiffel son: El Puente del Arte o Puente de Fierro, que hoy es un museo en el municipio de Ecatepec, Estado de México y la Iglesia de Santa Rosalía, en Baja California Sur, comprada por el general Charles La Forqué, entonces dueño de la compañía minera El Boleo, instalada en la región. Asimismo, diseñó el primer edificio de los almacenes El Palacio de Hierro en el centro de la Ciudad de México, mismo que fue consumido por las llamas en 1914.
La reputación de Eiffel sufrió un duro revés cuando se vio implicado en el escándalo de Panamá, un caso de corrupción relacionado con el intento fallido de construcción del canal de Panamá. Inicialmente fue declarado culpable, pero posteriormente fue absuelto y no llegó nunca a ser encarcelado, aunque supuso el fin de su carrera como constructor. Desde ese escándalo se dedicó a trabajos en otros ámbitos, como la meteorología y la aerodinámica.
Eiffel murió el 27 de diciembre de 1923, a la edad de 91 años, en su mansión de la Rue Rabelais de París y fue enterrado, con todos los honores, en la tumba familiar del cementerio de Levallois-Perret, en la misma localidad.