Melvin werd geboren in Kansas City, Missouri, als zoon van Marie en Richard Melvin, maar woonde een deel van zijn jeugd in New York City bij zijn grootouders van vaderskant, Helen (née Campbell) en Frank Melvin. Allan ging naar Columbia University en na zijn afstuderen diende hij tijdens de Tweede Wereldoorlog bij de Amerikaanse marine. In 1944 trouwde hij in New York met Amalia Faustina Sestero.
Terwijl hij een baan had op de geluidseffectenafdeling van NBC Radio, deed hij een nachtclubact en verscheen en won hij in de Arthur Godfrey’s Talent Scouts radioshow. Terwijl hij op Broadway verscheen in Stalag 17, kreeg hij zijn doorbraak op televisie door de rol van korporaal Steve Henshaw te krijgen in het populaire programma The Phil Silvers Show. Amerikaanse televisiefans uit die tijd herinneren zich meestal het best zijn rol als Henshaw, de rechterhand van Sgt. Bilko in die show. “Hij was het meest trots op die show,” zei Amalia Melvin. “Ik denk dat de kameraadschap van al die jongens het zo’n prettige manier van werken maakte. Ze waren zo relaxed.”
Tijdens deze periode werd Melvin, naast zijn rol in The Phil Silvers Show, vaak gecast in ietwat luidruchtige, soms schurende, maar over het algemeen vriendelijke tweede bananenrollen. Melvin was ook bedreven in “tough guy” rollen; in een voorbeeld van zijn bereik als acteur, een aflevering van The Phil Silvers Show featured Melvin doen een herkenbare imitatie van Humphrey Bogart.
In de jaren 1960, Melvin werkte uitgebreid op CBS voor Sheldon Leonard en Aaron Ruben. Hij speelde Staff Sgt. Charlie Hacker die vier seizoenen lang Sgt. Vince Carter’s rivaal was in Gomer Pyle, USMC. Hij was ook acht keer te zien in The Dick Van Dyke Show. Hij verzorgde ook de stemmen van tekenfilmfiguur Magilla Gorilla, de leeuw Drooper in The Banana Splits Adventure Hour, aartsvijand Tyrone in The Secret Lives of Waldo Kitty en Bluto in The All New Popeye Hour. Melvin maakte ook acht gastoptredens in The Andy Griffith Show in acht verschillende rollen, meestal als zwaargewicht. Hij maakte ook drie gastoptredens in Perry Mason in verschillende rollen, waaronder verslaggever Bert Kannon in de aflevering van 1966, “The Case of the Sausalito Sunrise.” Ook in 1966 speelde Allan de ruimtehandhaver in de serie Lost in Space, in de aflevering “West Of Mars”.
Melvin wordt herinnerd door bijrollen in twee populaire sitcoms uit de jaren zeventig. Hij speelde Sam Franklin, de eigenaar van een plaatselijke slagerij en vriend van de huishoudster van de Brady’s, Alice (gespeeld door Ann B. Davis) in The Brady Bunch, en Barney Hefner, de buurman en vriend van Archie Bunker in All in the Family. In andere bijdragen aan de popcultuur van de jaren 1970 verscheen hij als Mel’s Diner-patron in Alice en werkte hij als stemartiest (onder de naam “Al Melvin”). Hij verzorgde de stemmen van verschillende personages in de TV-show H.R. Pufnstuf en de stem van Prins Thun van de Leeuwenmannen in The New Adventures of Flash Gordon.
Het meest productieve werk verrichtte hij in televisiereclames, voor uiteenlopende producten als Kellogg’s Sugar Frosted Flakes en Remington elektrische scheerapparaten. In de laatste reclame zong hij een paar maten van Frank Loesser’s lied “I Believe in You” met een aangepaste tekst. Hij was ook vijftien jaar lang te zien als Al de Loodgieter in de Liquid-Plumr afvoeropener reclames.
In het begin van de jaren tachtig verscheen Melvin als vaste gast in Archie Bunker’s Place, waarin hij de nu belangrijkere rol van Barney Hefner opnieuw opvoerde. Toen de serie eindigde in 1983, ging Melvin zich uitsluitend toeleggen op tekenfilm voice-overs. Zijn stemacteercarrière duurde tot 1994, met Scooby-Doo! in Arabian Nights als zijn laatste stemwerk (weer als Magilla Gorilla) voordat hij met pensioen ging.