Melvin se narodil v Kansas City ve státě Missouri Marii a Richardu Melvinovým, ale část dětství prožil v New Yorku u prarodičů z otcovy strany, Helen (rozené Campbellové) a Franka Melvinových. Allan navštěvoval Kolumbijskou univerzitu a po jejím absolvování sloužil během druhé světové války u námořnictva Spojených států. V roce 1944 se v New Yorku oženil s Amalií Faustinou Sestero.
Při práci v oddělení zvukových efektů rozhlasové stanice NBC vystupoval v nočním klubu a objevil se a zvítězil v rozhlasové show Arthura Godfreyho Talent Scouts. Během účinkování na Broadwayi ve hře Stalag 17 prorazil v televizi, když získal roli desátníka Steva Henshawa v populárním pořadu The Phil Silvers Show. Fanoušci americké televize z této éry si obvykle nejlépe pamatují jeho roli Henshawa, pravé ruky seržanta Bilka v tomto pořadu. „Na ten pořad byl nejvíc pyšný,“ řekla Amalia Melvinová. „Myslím, že díky kamarádství všech těch chlapů to byl takový příjemný způsob práce. Byli tak uvolnění.“
V tomto období byl Melvin kromě své role v The Phil Silvers Show často obsazován do mírně hlasitých, občas drsných, ale obecně přátelských rolí druhého banána. Melvin byl také zdatný v rolích „drsňáků“; příkladem jeho hereckého rozsahu je, že v jedné epizodě The Phil Silvers Show Melvin rozpoznatelně napodobil Humphreyho Bogarta.
V šedesátých letech Melvin intenzivně pracoval v CBS pro Sheldona Leonarda a Aarona Rubena. V seriálu Gomer Pyle, USMC hrál po čtyři sezóny štábního seržanta Charlieho Hackera, který byl soupeřem seržanta Vince Cartera. Osmkrát se také objevil v seriálu The Dick Van Dyke Show. Dále propůjčil hlas kreslené postavičce Magilla Gorilla, lvu Drooperovi v The Banana Splits Adventure Hour, arcizloduchovi Tyronovi v The Secret Lives of Waldo Kitty a Blutovi v The All New Popeye Hour. Melvin také osmkrát hostoval v seriálu The Andy Griffith Show v osmi různých rolích, obvykle jako těžkooděnci. Třikrát hostoval také v seriálu Perry Mason v různých rolích, včetně reportéra Berta Kannona v epizodě „The Case of the Sausalito Sunrise“ z roku 1966. V roce 1966 si Allan zahrál také vesmírného vymahače v seriálu Ztraceni ve vesmíru, a to v epizodě „West Of Mars“.
Melvin se do paměti diváků zapsal vedlejšími rolemi ve dvou populárních sitcomech 70. let. Hrál Sama Franklina, majitele místního řeznictví a přítele hospodyně Alice Bradyové (hrála ji Ann B. Davisová) v seriálu The Brady Bunch, a Barneyho Hefnera, souseda a přítele Archieho Bunkera v seriálu All in the Family. V dalších příspěvcích do popkultury 70. let se objevil jako návštěvník Mel’s Diner v seriálu Alice a pracoval jako hlasový umělec (pod jménem „Al Melvin“). Propůjčil hlas několika postavám v televizním pořadu H. R. Pufnstuf a hlas princi Thunovi z Lvích mužů v seriálu Nová dobrodružství Flashe Gordona.
Nejplodnější byla jeho práce v televizních reklamách na nejrůznější produkty, například na cukrové vločky Kellogg’s Sugar Frosted Flakes nebo elektrické holicí strojky Remington. V posledně jmenované reklamě zazpíval několik taktů písně Franka Loessera „I Believe in You“ s upraveným textem. Patnáct let také vystupoval jako instalatér Al v reklamě na otvírák na odpadní potrubí Liquid-Plumr.
Na začátku osmdesátých let se Melvin pravidelně objevoval v seriálu Místo Archieho Bunkera, kde si zopakoval dnes již významnější roli Barneyho Hefnera. Když seriál v roce 1983 skončil, věnoval se Melvin výhradně kreslenému dabingu. Jeho hlasová kariéra pokračovala až do roku 1994, přičemž Scooby-Doo! v Arabian Nights byl jeho posledním hlasovým počinem (opět jako Magilla Gorilla) před odchodem do důchodu.