Melvin nacque a Kansas City, nel Missouri, da Marie e Richard Melvin ma visse parte della sua infanzia a New York City con i nonni paterni, Helen (nata Campbell) e Frank Melvin. Allan ha frequentato la Columbia University e dopo la laurea ha servito nella Marina degli Stati Uniti durante la seconda guerra mondiale. Nel 1944, sposò Amalia Faustina Sestero a New York City.
Mentre lavorava nel reparto effetti sonori della NBC Radio, fece un numero in un nightclub e apparve e vinse allo show radiofonico Arthur Godfrey’s Talent Scouts. Mentre appariva a Broadway in Stalag 17, fece il suo ingresso in televisione ottenendo il ruolo del caporale Steve Henshaw nel popolare programma The Phil Silvers Show. I fan della televisione statunitense di quell’epoca di solito ricordano meglio il suo ruolo di Henshaw, il braccio destro del sergente Bilko in quello show. “Era molto orgoglioso di quello show”, ha detto Amalia Melvin. “Penso che il cameratismo di tutti quei ragazzi lo rendesse un modo così piacevole di lavorare. Erano così rilassati.”
Durante questo periodo, oltre al suo ruolo in The Phil Silvers Show, Melvin veniva spesso scritturato in ruoli di seconda banana leggermente rumorosi, a volte abrasivi, ma generalmente amichevoli. Melvin era anche abile nei ruoli da “duro”; in un esempio della sua gamma di attori, in un episodio di The Phil Silvers Show Melvin fece una riconoscibile imitazione di Humphrey Bogart.
Negli anni ’60, Melvin lavorò molto alla CBS per Sheldon Leonard e Aaron Ruben. Ha interpretato il sergente Charlie Hacker che era il rivale del sergente Vince Carter per quattro stagioni in Gomer Pyle, USMC. Fece anche otto apparizioni in The Dick Van Dyke Show. Fornì anche le voci del personaggio dei cartoni animati Magilla Gorilla, il leone Drooper in The Banana Splits Adventure Hour, l’arcicattivo Tyrone in The Secret Lives of Waldo Kitty e Bluto in The All New Popeye Hour. Melvin fece anche otto apparizioni come ospite in The Andy Griffith Show in otto ruoli diversi, di solito come pesi. Fece anche tre apparizioni come ospite in Perry Mason in vari ruoli, tra cui il reporter Bert Kannon nell’episodio del 1966, “The Case of the Sausalito Sunrise.” Sempre nel 1966 Allan interpretò l’esecutore spaziale nella serie Lost in Space, nell’episodio “West Of Mars”.
Melvin è ricordato per ruoli di supporto in due popolari sitcom degli anni ’70. Ha interpretato Sam Franklin, il proprietario di una macelleria locale e fidanzato della governante dei Brady Alice (interpretata da Ann B. Davis) in The Brady Bunch, e Barney Hefner, il vicino e amico di Archie Bunker in All in the Family. In altri contributi alla cultura pop degli anni ’70, è apparso come patrono di Mel’s Diner in Alice e ha lavorato come doppiatore (con il nome di “Al Melvin”). Ha fornito le voci di diversi personaggi per lo show televisivo H.R. Pufnstuf e la voce del principe Thun dei Lion Men in The New Adventures of Flash Gordon.
Alcuni dei suoi lavori più prolifici furono in spot televisivi, per prodotti diversi come Kellogg’s Sugar Frosted Flakes e rasoi elettrici Remington. In quest’ultimo spot, ha cantato alcune battute della canzone di Frank Loesser “I Believe in You” con un testo modificato. Fu anche presente come Al l’idraulico negli spot della Liquid-Plumr per aprire gli scarichi per quindici anni.
Nei primi anni ’80, Melvin apparve come regolare in Archie Bunker’s Place, in cui riprese il ruolo ormai più importante di Barney Hefner. Quando la serie finì nel 1983, il lavoro di Melvin si dedicò esclusivamente alle voci fuori campo dei cartoni animati. La sua carriera di doppiatore continuò fino al 1994, con Scooby-Doo! in Arabian Nights che fu il suo ultimo lavoro di voce (sempre come Magilla Gorilla) prima di ritirarsi.