Melvin nació en Kansas City, Missouri, hijo de Marie y Richard Melvin, pero vivió parte de su infancia en Nueva York con sus abuelos paternos, Helen (de soltera Campbell) y Frank Melvin. Allan asistió a la Universidad de Columbia y, tras su graduación, sirvió en la Marina de los Estados Unidos durante la Segunda Guerra Mundial. En 1944, se casó con Amalia Faustina Sestero en la ciudad de Nueva York.
Mientras trabajaba en un empleo en el departamento de efectos de sonido de NBC Radio, hizo un acto en un club nocturno y apareció y ganó en el programa de radio Arthur Godfrey’s Talent Scouts. Mientras actuaba en Broadway en Stalag 17, tuvo su oportunidad en televisión al conseguir el papel del cabo Steve Henshaw en el popular programa The Phil Silvers Show. Los aficionados a la televisión estadounidense de esta época suelen recordar mejor su papel de Henshaw, la mano derecha del sargento Bilko en ese programa. «Estaba muy orgulloso de ese programa», dijo Amalia Melvin. «Creo que la camaradería de todos esos tipos hacía que fuera una forma tan agradable de trabajar. Estaban tan relajados».
Durante este periodo, además de su papel en The Phil Silvers Show, Melvin fue contratado a menudo en papeles de segundón ligeramente ruidoso, ocasionalmente abrasivo, pero generalmente amistoso. Melvin también era experto en papeles de «tipo duro»; en un ejemplo de su rango como actor, un episodio de The Phil Silvers Show contó con Melvin haciendo una reconocible imitación de Humphrey Bogart.
En la década de 1960, Melvin trabajó mucho en la CBS para Sheldon Leonard y Aaron Ruben. Interpretó al sargento Charlie Hacker que era el rival del sargento Vince Carter durante cuatro temporadas en Gomer Pyle, USMC. También hizo ocho apariciones en The Dick Van Dyke Show. También puso voz al personaje de dibujos animados Magilla Gorilla, al león Drooper en The Banana Splits Adventure Hour, al archivillano Tyrone en The Secret Lives of Waldo Kitty y a Bluto en The All New Popeye Hour. Melvin también hizo ocho apariciones como invitado en The Andy Griffith Show, en ocho papeles diferentes, normalmente como pesados. También hizo tres apariciones como invitado en Perry Mason en varios papeles, incluyendo al reportero Bert Kannon en el episodio de 1966, «El caso del amanecer de Sausalito». También en 1966 Allan interpretó al ejecutor del espacio en la serie Lost in Space, en el episodio «West Of Mars».
Melvin es recordado por papeles secundarios en dos populares comedias de los años 70. Interpretó a Sam Franklin, el propietario de una carnicería local y novio de la ama de llaves de los Brady (interpretada por Ann B. Davis) en La tribu de los Brady, y a Barney Hefner, el vecino y amigo de Archie Bunker en Toda la familia. En otras contribuciones a la cultura pop de los años 70, apareció como patrón de Mel’s Diner en Alice y trabajó como artista de voz (bajo el nombre de «Al Melvin»). Proporcionó las voces de varios personajes para el programa de televisión H.R. Pufnstuf y la voz del Príncipe Thun de los Hombres León en Las Nuevas Aventuras de Flash Gordon.
Algunos de sus trabajos más prolíficos fueron en anuncios de televisión, para productos tan diversos como los copos escarchados de azúcar de Kellogg’s y las maquinillas de afeitar eléctricas de Remington. En este último anuncio, cantó unos compases de la canción de Frank Loesser «I Believe in You» con una letra modificada. También apareció como Al el fontanero en los anuncios de abridor de desagües Liquid-Plumr durante quince años.
A principios de la década de 1980, Melvin apareció como un habitual en Archie Bunker’s Place, en la que retomó el papel, ahora más importante, de Barney Hefner. Cuando la serie terminó en 1983, el trabajo de Melvin se dedicó exclusivamente a la locución de dibujos animados. Su carrera como actor de voz continuó hasta 1994, siendo Scooby-Doo! en Arabian Nights su último trabajo de voz (de nuevo como Magilla Gorilla) antes de retirarse.