Melvin s-a născut în Kansas City, Missouri, în familia lui Marie și Richard Melvin, dar a trăit o parte din copilărie în New York City, la bunicii paterni, Helen (născută Campbell) și Frank Melvin. Allan a urmat cursurile Universității Columbia, iar după absolvire a servit în Marina Statelor Unite în timpul celui de-al Doilea Război Mondial. În 1944, s-a căsătorit cu Amalia Faustina Sestero în New York.
În timp ce lucra la un loc de muncă în departamentul de efecte sonore al postului de radio NBC, a făcut un număr într-un club de noapte și a apărut și a câștigat la emisiunea radiofonică Arthur Godfrey’s Talent Scouts. În timp ce apărea pe Broadway în „Stalag 17”, a dat lovitura în televiziune obținând rolul caporalului Steve Henshaw în popularul program „The Phil Silvers Show”. Fanii televiziunii americane din această epocă își amintesc, de obicei, cel mai bine rolul său ca Henshaw, mâna dreaptă a sergentului Bilko în acea emisiune. „Era cel mai mândru de acel show”, a spus Amalia Melvin. „Cred că camaraderia dintre toți acei băieți a făcut să fie un mod atât de plăcut de a lucra. Erau atât de relaxați.”
În această perioadă, pe lângă rolul său din The Phil Silvers Show, Melvin a fost deseori distribuit în roluri ușor zgomotoase, ocazional abrazive, dar în general prietenoase de banană a doua. Melvin era, de asemenea, priceput la roluri de „tip dur”; ca un exemplu al gamei sale ca actor, într-un episod din The Phil Silvers Show, Melvin l-a prezentat pe Melvin făcând o imitație recognoscibilă a lui Humphrey Bogart.
În anii 1960, Melvin a lucrat mult la CBS pentru Sheldon Leonard și Aaron Ruben. El l-a interpretat pe sergentul Charlie Hacker, care a fost rivalul sergentului Vince Carter timp de patru sezoane în serialul Gomer Pyle, USMC. De asemenea, a avut opt apariții în The Dick Van Dyke Show. De asemenea, a asigurat vocile personajului de desene animate Magilla Gorilla, a leului Drooper din The Banana Splits Adventure Hour, a arhicunoscutului Tyrone din The Secret Lives of Waldo Kitty și a lui Bluto din The All New Popeye Hour. Melvin a avut, de asemenea, opt apariții ca invitat în The Andy Griffith Show în opt roluri diferite, de obicei ca grei. De asemenea, a avut trei apariții ca invitat în serialul Perry Mason în diferite roluri, printre care cel al reporterului Bert Kannon în episodul din 1966, „The Case of the Sausalito Sunrise”. Tot în 1966, Allan a jucat rolul de executant spațial în serialul Lost in Space, în episodul „West Of Mars”.
Melvin este amintit pentru roluri secundare în două sitcom-uri populare din anii 1970. El l-a interpretat pe Sam Franklin, proprietarul unei măcelării locale și iubitul menajerei familiei Brady, Alice (interpretată de Ann B. Davis), în serialul The Brady Bunch, și pe Barney Hefner, vecinul și prietenul lui Archie Bunker, în serialul All in the Family. În alte contribuții la cultura pop a anilor 1970, a apărut ca patron al restaurantului Mel’s Diner în Alice și a lucrat ca artist de voce (sub numele „Al Melvin”). A asigurat vocea mai multor personaje pentru emisiunea TV H.R. Pufnstuf și vocea prințului Thun din Lion Men în The New Adventures of Flash Gordon.
Câteva dintre cele mai prolifice lucrări ale sale au fost în reclame de televiziune, pentru produse atât de diverse precum Kellogg’s Sugar Frosted Flakes și aparatele de ras electrice Remington. În această din urmă reclamă, a cântat câteva măsuri din cântecul lui Frank Loesser „I Believe in You”, cu versuri modificate. De asemenea, timp de cincisprezece ani, a apărut în rolul lui Al the Plumber în reclamele pentru deschizători de canalizare Liquid-Plumr.
La începutul anilor 1980, Melvin a apărut ca actor obișnuit în emisiunea Archie Bunker’s Place, în care a reluat rolul, acum mai important, al lui Barney Hefner. Când serialul s-a încheiat în 1983, activitatea lui Melvin a fost dedicată exclusiv voice-over-ului pentru desene animate. Cariera sa de actor de voce a continuat până în 1994, Scooby-Doo! in Arabian Nights fiind ultima sa lucrare de voce (din nou ca Magilla Gorilla) înainte de a se retrage.