メルビンはミズーリ州カンザスシティでマリーとリチャード・メルビンの間に生まれたが、父方の祖父母であるヘレン（旧姓キャンベル）とフランク・メルビンとともに幼少期の一部をニューヨークで暮らした。 コロンビア大学で学び、卒業後、第二次世界大戦中はアメリカ海軍に所属した。 1944年、ニューヨークでアマリア・ファウスティナ・セステロと結婚。
NBCラジオの音響効果部門で仕事をしながら、ナイトクラブで演技をし、ラジオ番組「アーサー・ゴドフリーの才能スカウト」に出演して優勝したこともある。 ブロードウェイで『Stalag 17』に出演していたとき、人気番組『The Phil Silvers Show』でスティーブ・ヘンショウ伍長の役を得て、テレビ界でブレイクしたのである。 この時代の米国のテレビファンには、この番組でビルコ軍曹の右腕となるヘンショウの役が最もよく記憶されている。 「アマリア・メルヴィンは、「彼はあの番組を一番誇りに思っていた。 「あの人たちの仲間意識が、仕事を楽しいものにしていたんだと思う。
この時期、『フィル・シルバーズ・ショー』での役割に加え、メルヴィンはしばしば、少しうるさい、時には険悪な、しかし概して友好的な二番手の役を演じさせられた。
1960年代、メルビンはCBSでシェルドン・レオナルドとアーロン・ルーベンのもとで幅広く活躍した。
「ゴーマーパイル」でヴィンス・カーター巡査部長のライバル、チャーリー・ハッカー巡査部長を4シーズンにわたって演じた。 また、「ディック・ヴァン・ダイク・ショー」に8回出演した。 また、アニメのキャラクター、マジラ・ゴリラ、『The Banana Splits Adventure Hour』のライオンのドルーパー、『The Secret Lives of Waldo Kitty』の大悪党タイロン、『The All New Popeye Hour』のブルートなどの声を担当した。 また、『アンディ・グリフィス・ショー』には8回ゲスト出演し、8種類の役を演じたが、たいていは重役だった。 ペリー・メイソン』にも3回ゲスト出演し、1966年のエピソード “The Case of the Sausalito Sunrise “ではレポーターのバート・カノンなど、さまざまな役柄で出演している。
メルビンは1970年代の2つの人気シットコムで脇役を演じたことが記憶に残っている。
「ブレイディ・バンチ」では地元の肉屋の店主でブレイディ家の家政婦アリス（アン・B・デイビス演じる）の恋人サム・フランクリン、「オール・イン・ザ・ファミリー」ではアーチー・バンカーの隣人で友人のバーニー・ヘフナーを演じました。 その他、『アリス』のメルズダイナーの常連客として出演し、ボイスアーティスト（「アル・メルビン」名義）としても活動するなど、1970年代のポップカルチャーに貢献した。
最も多く出演したのはテレビコマーシャルで、ケロッグの「シュガーフロステッドフレークス」やレミントンの電気カミソリなど、さまざまな商品の声を担当した。
最も多く出演したのは、ケロッグのシュガーフロストフレークやレミントンの電気カミソリなどのテレビコマーシャルで、後者のコマーシャルではフランク・レッサーの歌「I Believe in You」を歌詞を変えて数小節歌った。
1980年代前半、メルビンは『アーチー・バンカーズ・プレイス』のレギュラーとして出演し、今ではより重要な役となったバーニー・ヘフナーを再演した。 1983 年にこのシリーズが終了すると、メルビンの仕事はもっぱらアニメのボイスオーバーになった。 彼の声優としてのキャリアは1994年まで続き、『スクービー・ドゥー！in アラビアン・ナイト』が引退前の最後の声優作品となった（再びマジラ・ゴリラとして）。
メルビンの声優としてのキャリアは1994年まで続き、『スクービー・ドゥー！in アラビアン・ナイト』が引退前の最後の声優作品となった。