エッフェル姓は、18世紀初頭にマルマゲンの町からブギラートへ移住し、パリに住みついた祖父ジーン・ベーニックハウゼンが、本姓のベーニックハウゼンがフランス語では発音できないので生家のドイツ・アイフェル地方から取ったものである。
彼はパリのエコール・セントラルで学び、1855年にエンジニアとして卒業しました。
1867年には、コンサルティングと建設の会社エッフェル・エ・シィを設立しました。
技術者テオフィル・セーリグの協力を得て、ポルトガルのポルトとヴィラ・ノヴァ・デ・ガイア間のドウロ川にかかる160mの高架橋を設計・建設する国際入札を落札したのです。 彼の提案は、1846年にマックスウェルが考案した構造物設計の新しい手法である「力の方法」を用いたものであった。 マリア・ピア橋は、橋全体を補強する支柱によって単線の線路を支えるダブルアーチで構成されている。 工事はかなり早く、2年足らずで完成した（1876年1月5日〜1877年11月4日）。 国王ルイ1世と王妃マリー・ピアによって落成式が行われた。
彼の最も有名な建築物は、1889年にフランス・パリで開催された万国博覧会のためのエッフェル塔（1887年、1889年）である。 パリのシンボルとなるこの大きな鉄の建造物は、その歴史の中でいくつもの用途に使われることになる。 第二次世界大戦では、連合国軍がドイツ軍の作戦を監視するためのアンテナとして使われた。 また、ニューヨークの自由の女神像の内部構造も設計した。
ギュスターヴ・エッフェルもパリの「ラ・リューシュ」を設計し、エッフェル塔と並んでパリのランドマークとなった。 3階建ての円形の建物で、蜂の巣のような形をしています。 南米では、1983年6月29日の最高布告第614号で国定公園に指定されたサンティアゴ中央駅を設計したことで知られ、設計は主戦力のシュナイダー、施工はル・クルーゾが担当した。 太平洋戦争後のペルーでは、占領下のチリ政府がエッフェル・エ・シーの子会社に依頼して、タクナ大聖堂の最終段階の建設、チリ領では税関の建設などを行った。 チリ、アリカにあるサンマルコス大聖堂。 また、ボリビア・ラパス市の鉄道ターミナル（現在は同市のバスターミナル）の建設や、1906年に「スクレ」医学研究所当局の依頼で、ボリビアの首都スクレにあるボリーバル公園の塔のレプリカを、エッフェル・エ・シーのライセンスを受けた会社で建設したことでも知られる。 また、コチャバンバのロチャ川にかかる古い橋が車両通行用の橋に変わったこと、ペルー北部に位置するチクラヨの中央広場の大聖堂の設計、リマ市のバルタ橋の梁、リマ美術館のパラシオ・デ・ラ・エクスポジシオン、アマゾンの都市イキトスにあるラ・カサ・デ・フィエロなどの橋や主要鉄工所の設計を次々に手掛けている。 1907年には、エクアドルのグアヤキル市にある中央市場（現在はパラシオ・デ・クリスタルとして知られている）も設計している。 また、アレキパのプエンテ・デ・フィエロの建設は、フィンク・トラスとフェニックス・ロン社の複合下部構造を持つ橋と誤ってクレジットされている。
エッフェルが設計した他の作品には次のようなものがある。 現在はメキシコ州エカテペック市にある美術館「エル・プエンテ・デル・アルテ」または「プエンテ・デ・フィエロ」と、バハ・カリフォルニア・スル州の「サンタ・ロザリア教会」は、当時この地域に設置されたエル・ボレオ鉱山会社のオーナー、チャールズ・ラ・フォルクエ将軍が購入したものです。 また、メキシコシティのダウンタウンにある最初のデパート「エル・パラシオ・デ・イエロ」を設計したが、1914年に炎に包まれた。
エッフェルは、パナマ運河建設の失敗による汚職事件「パナマ事件」に巻き込まれ、その名声は大きく損なわれた。 当初は有罪となったが、その後無罪となり、ビルダーとしてのキャリアは終わったものの、投獄されることはなかった。
エッフェルは1923年12月27日、91歳でパリのラブレー通りの邸宅で死去し、同町のルヴァロワ・ペレ墓地の家族墓に謹んで埋葬された
。