Melvin föddes i Kansas City, Missouri, som son till Marie och Richard Melvin, men levde en del av sin barndom i New York med sina farföräldrar, Helen (född Campbell) och Frank Melvin. Allan gick på Columbia University och efter sin examen tjänstgjorde han i den amerikanska flottan under andra världskriget. År 1944 gifte han sig med Amalia Faustina Sestero i New York City.
Samtidigt som han arbetade på ett jobb inom avdelningen för ljudeffekter på NBC Radio gjorde han ett nattklubbsnummer och uppträdde och vann i radioprogrammet Arthur Godfrey’s Talent Scouts. Medan han uppträdde på Broadway i Stalag 17 fick han sitt genombrott i tv genom att få rollen som korpral Steve Henshaw i det populära programmet The Phil Silvers Show. Amerikanska tv-fans från den här tiden minns vanligtvis bäst hans roll som Henshaw, sergeant Bilkos högra hand i programmet. ”Han var mest stolt över det programmet”, säger Amalia Melvin. ”Jag tror att kamratskapet mellan alla dessa killar gjorde det till ett så trevligt sätt att arbeta. De var så avslappnade.”
Under den här perioden, utöver sin roll i Phil Silvers Show, fick Melvin ofta rollen som en något högljudd, ibland aggressiv, men i allmänhet vänlig andra banan. Melvin var också skicklig i ”tuffa killar”-roller; ett exempel på hans bredd som skådespelare är att Melvin i ett avsnitt av The Phil Silvers Show gjorde en igenkännbar imitation av Humphrey Bogart.
Under 1960-talet arbetade Melvin mycket på CBS för Sheldon Leonard och Aaron Ruben. Han spelade Staff Sgt. Charlie Hacker som var Sgt. Vince Carters rival under fyra säsonger i Gomer Pyle, USMC. Han gjorde också åtta framträdanden i The Dick Van Dyke Show. Han har också gjort rösterna till den tecknade figuren Magilla Gorilla, lejonet Drooper i The Banana Splits Adventure Hour, ärkeskurken Tyrone i The Secret Lives of Waldo Kitty och Bluto i The All New Popeye Hour. Melvin gjorde också åtta gästspel i The Andy Griffith Show i åtta olika roller, oftast som tunga killar. Han gjorde också tre gästspel i Perry Mason i olika roller, bland annat som reporter Bert Kannon i avsnittet ”The Case of the Sausalito Sunrise” från 1966. Även 1966 spelade Allan en rymdförrättare i serien Lost in Space, i avsnittet ”West Of Mars”.
Melvin är ihågkommen för biroller i två populära sitcoms från 1970-talet. Han spelade Sam Franklin, ägaren till en lokal slakteributik och pojkvän till Bradys hushållerska Alice (spelad av Ann B. Davis) i The Brady Bunch, och Barney Hefner, Archie Bunkers granne och vän i All in the Family. I andra bidrag till 1970-talets populärkultur framträdde han som en Mel’s Diner-patron i Alice och arbetade som röstkonstnär (under namnet ”Al Melvin”). Han tillhandahöll flera karaktärers röster för TV-serien H.R. Pufnstuf och rösten till prins Thun från Lion Men i The New Adventures of Flash Gordon.
En del av hans mest produktiva arbete var i TV-reklamfilmer, för så olika produkter som Kellogg’s Sugar Frosted Flakes och Remington elektriska rakhyvlar. I den sistnämnda reklamen sjöng han några takter av Frank Loessers sång ”I Believe in You” med en modifierad text. Han var också med som Al the Plumber i Liquid-Plumrs reklamfilmer för avloppsöppnare i femton år.
I början av 1980-talet var Melvin en vanlig gäst i Archie Bunker’s Place, där han återtog den numera viktigare rollen som Barney Hefner. När serien upphörde 1983 ägnade sig Melvin uteslutande åt tecknad röstinspelningar i tecknade serier. Hans karriär som röstskådespelare fortsatte fram till 1994, där Scooby-Doo! i Arabian Nights var hans sista röstarbete (återigen som Magilla Gorilla) innan han gick i pension.