Melvin est né à Kansas City, dans le Missouri, de Marie et Richard Melvin mais a vécu une partie de son enfance à New York avec ses grands-parents paternels, Helen (née Campbell) et Frank Melvin. Allan a fréquenté l’université Columbia et, après avoir obtenu son diplôme, il a servi dans la marine américaine pendant la Seconde Guerre mondiale. En 1944, il épouse Amalia Faustina Sestero à New York.
Tandis qu’il occupe un emploi dans le département des effets sonores de la radio NBC, il fait un numéro en boîte de nuit et apparaît et gagne dans l’émission de radio Arthur Godfrey’s Talent Scouts. Alors qu’il jouait à Broadway dans Stalag 17, il a fait son entrée à la télévision en obtenant le rôle du caporal Steve Henshaw dans la populaire émission The Phil Silvers Show. Les fans de la télévision américaine de cette époque se souviennent généralement mieux de son rôle de Henshaw, le bras droit du sergent Bilko dans cette émission. « C’est de cette émission qu’il était le plus fier », a déclaré Amalia Melvin. « Je pense que la camaraderie de tous ces gars en faisait une façon si agréable de travailler. Ils étaient tellement détendus. »
Pendant cette période, en plus de son rôle dans le Phil Silvers Show, Melvin était souvent casté dans des rôles de second banane un peu bruyants, parfois abrasifs, mais généralement amicaux. Melvin était également adepte des rôles de » durs à cuire » ; dans un exemple de son éventail en tant qu’acteur, un épisode du Phil Silvers Show montrait Melvin faisant une imitation reconnaissable de Humphrey Bogart.
Dans les années 1960, Melvin a beaucoup travaillé chez CBS pour Sheldon Leonard et Aaron Ruben. Il a incarné le sergent d’état-major Charlie Hacker qui était le rival du sergent Vince Carter pendant quatre saisons dans Gomer Pyle, USMC. Il a également fait huit apparitions dans le Dick Van Dyke Show. Il a également fourni les voix du personnage de dessin animé Magilla Gorilla, du lion Drooper dans The Banana Splits Adventure Hour, de l’archi-vilain Tyrone dans The Secret Lives of Waldo Kitty et de Bluto dans The All New Popeye Hour. Melvin a également fait huit apparitions dans le Andy Griffith Show dans huit rôles différents, généralement en tant que poids lourds. Il a également fait trois apparitions dans la série Perry Mason dans différents rôles, dont celui du reporter Bert Kannon dans l’épisode de 1966 « The Case of the Sausalito Sunrise ». Toujours en 1966, Allan a joué l’homme de main de l’espace dans la série Lost in Space, dans l’épisode « West Of Mars ».
On se souvient de Melvin pour des rôles secondaires dans deux sitcoms populaires des années 1970. Il a incarné Sam Franklin, le propriétaire d’une boucherie locale et petit ami de la gouvernante des Brady, Alice (jouée par Ann B. Davis) dans The Brady Bunch, et Barney Hefner, le voisin et ami d’Archie Bunker dans All in the Family. Dans d’autres contributions à la culture pop des années 1970, il est apparu comme un patron du Mel’s Diner dans Alice et a travaillé comme artiste vocal (sous le nom de « Al Melvin »). Il a fourni les voix de plusieurs personnages pour l’émission télévisée H.R. Pufnstuf et la voix du Prince Thun des Hommes-Lions dans Les Nouvelles Aventures de Flash Gordon.
Certains de ses travaux les plus prolifiques ont été réalisés dans des publicités télévisées, pour des produits aussi divers que les Sugar Frosted Flakes de Kellogg et les rasoirs électriques Remington. Dans cette dernière publicité, il a chanté quelques mesures de la chanson de Frank Loesser « I Believe in You » avec des paroles modifiées. Il a également joué le rôle d’Al le plombier dans des publicités de déboucheurs de canalisations Liquid-Plumr pendant quinze ans.
Au début des années 1980, Melvin est apparu comme un régulier dans Archie Bunker’s Place, dans lequel il a repris le rôle désormais plus important de Barney Hefner. Lorsque la série s’arrête en 1983, le travail de Melvin est exclusivement consacré aux voix off de dessins animés. Sa carrière de doubleur se poursuit jusqu’en 1994, Scooby-Doo ! dans les Mille et Une Nuits étant sa dernière prestation vocale (toujours en tant que Magilla Gorilla) avant de prendre sa retraite.