Melvin nasceu em Kansas City, Missouri, para Marie e Richard Melvin mas viveu parte da sua infância em Nova Iorque com os seus avós paternos, Helen (née Campbell) e Frank Melvin. Allan frequentou a Universidade de Columbia e, após a sua graduação, serviu na Marinha dos Estados Unidos durante a Segunda Guerra Mundial. Em 1944, ele se casou com Amalia Faustina Sestero na cidade de Nova York.
Apesar de trabalhar no departamento de efeitos sonoros da Rádio NBC, ele fez um número em uma boate e apareceu e ganhou no programa de rádio Talent Scouts do Arthur Godfrey. Enquanto aparecia na Broadway em Stalag 17, ele conseguiu sua entrada na televisão ao conseguir o papel do Cabo Steve Henshaw no popular programa The Phil Silvers Show. Os fãs da televisão americana desta época geralmente lembram-se melhor do seu papel como Henshaw, o braço direito do Sgt. Bilko naquele programa. “Ele estava mais orgulhoso daquele programa”, disse Amalia Melvin. “Acho que a camaradagem de todos aqueles tipos fez dele uma forma tão agradável de trabalhar. Eles estavam tão relaxados””
Durante este período, além do seu papel no The Phil Silvers Show, Melvin era muitas vezes elenco em voz alta, ocasionalmente abrasivo, mas geralmente amigável segundo papel de banana. Melvin também era adepto de papéis de “durão”; em um exemplo de sua gama como ator, um episódio de The Phil Silvers Show apresentou Melvin fazendo uma imitação reconhecível de Humphrey Bogart.
Nos anos 60, Melvin trabalhou extensivamente na CBS para Sheldon Leonard e Aaron Ruben. Ele interpretou Staff Sgt. Charlie Hacker, que foi rival do Sgt. Vince Carter por quatro temporadas no Gomer Pyle, USMC. Ele também fez oito aparições no The Dick Van Dyke Show. Também fez as vozes da personagem de desenhos animados Magilla Gorilla, o leão Drooper em The Banana Splits Adventure Hour, o arqui-vilão Tyrone em The Secret Lives of Waldo Kitty e o Bluto em The All New Popeye Hour. Melvin também fez oito participações no The Andy Griffith Show em oito papéis diferentes, geralmente como pesados. Ele também fez três participações convidadas em Perry Mason em vários papéis, incluindo o repórter Bert Kannon no episódio de 1966, “The Case of the Sausalito Sunrise”. Também em 1966 Allan interpretou o Space Enforcement na série Lost in Space, no episódio “West Of Mars”.
Melvin é lembrado por papéis de apoio em duas populares sitcoms dos anos 70. Ele interpretou Sam Franklin, o dono de um açougue local e namorado da governanta do Brady Alice (interpretado por Ann B. Davis) em The Brady Bunch, e Barney Hefner, vizinho e amigo de Archie Bunker em All in the Family. Em outras contribuições para a cultura pop dos anos 70, ele apareceu como patrono do Mel’s Diner em Alice e trabalhou como artista vocal (sob o nome “Al Melvin”). Ele forneceu várias vozes de personagens para o programa de TV H.R. Pufnstuf e a voz do Príncipe Thun dos Homens Leões em As Novas Aventuras de Flash Gordon.
Algum de seus trabalhos mais prolíficos foi em comerciais de televisão, para produtos tão diversos como os Sugar Frosted Flakes de Kellogg e as máquinas de barbear elétricas Remington. Neste último comercial, ele cantou alguns compassos da música de Frank Loesser “I Believe in You” com uma letra modificada. Ele também foi apresentado como Al the Plumber on Liquid-Plumr drain openser commercials por quinze anos.
No início dos anos 80, Melvin apareceu como um regular no Archie Bunker’s Place, no qual ele reprisou o agora mais importante papel de Barney Hefner. Quando a série terminou em 1983, o trabalho de Melvin era exclusivamente dedicado à locução de desenhos animados. Sua carreira de ator de voz continuou até 1994, com Scooby-Doo! em Arabian Nights sendo seu último trabalho de voz (novamente como Magilla Gorilla) antes de se aposentar.