Melvin urodził się w Kansas City, Missouri, jako syn Marie i Richarda Melvinów, ale część dzieciństwa spędził w Nowym Jorku u swoich ojcowskich dziadków, Helen (z domu Campbell) i Franka Melvinów. Allan uczęszczał na Uniwersytet Columbia, a po jego ukończeniu służył w Marynarce Wojennej Stanów Zjednoczonych podczas II wojny światowej. W 1944 roku poślubił Amalię Faustinę Sestero w Nowym Jorku.
Podczas pracy w dziale efektów dźwiękowych NBC Radio, występował w klubach nocnych oraz pojawił się i wygrał w programie radiowym Arthur Godfrey’s Talent Scouts. Podczas występów na Broadwayu w Stalagu 17, dostał rolę kaprala Steve’a Henshawa w popularnym programie The Phil Silvers Show. Fani amerykańskiej telewizji z tej epoki zazwyczaj najlepiej pamiętają jego rolę jako Henshawa, prawej ręki sierżanta Bilko w tym programie. „Z tego programu był najbardziej dumny” – powiedziała Amalia Melvin. „Myślę, że koleżeństwo wszystkich tych facetów sprawiło, że był to taki przyjemny sposób pracy. Byli tacy zrelaksowani.”
W tym okresie, oprócz swojej roli w Phil Silvers Show, Melvin był często obsadzany w nieco głośnych, okazjonalnie obraźliwych, ale ogólnie przyjaznych rolach drugiego banana. Melvin był również zdolny do ról „twardzieli”; w jednym z odcinków Phil Silvers Show Melvin wcielił się w postać Humphreya Bogarta.
W latach 60-tych Melvin pracował w CBS dla Sheldona Leonarda i Aarona Rubena. Grał Staff Sgt. Charlie Hacker, który był rywalem Sgt. Vince’a Cartera przez cztery sezony w Gomer Pyle, USMC. Wystąpił także w ośmiu odcinkach serialu Dick Van Dyke Show. Udzielał także głosu postaci z kreskówek Magilla Gorilla, lwu Drooperowi w The Banana Splits Adventure Hour, arcyłotrowi Tyrone w The Secret Lives of Waldo Kitty oraz Bluto w The All New Popeye Hour. Melvin wystąpił również ośmiokrotnie w programie Andy Griffith Show w ośmiu różnych rolach, zazwyczaj jako heavymetalowiec. Wystąpił również trzy razy w Perry Mason w różnych rolach, w tym reportera Berta Kannona w odcinku „The Case of the Sausalito Sunrise” z 1966 roku. Również w 1966 roku Allan zagrał kosmicznego egzekutora w serialu Lost in Space, w odcinku „West Of Mars”.
Melvin jest pamiętany za role drugoplanowe w dwóch popularnych sitcomach z lat 70-tych. Grał Sama Franklina, właściciela lokalnego sklepu mięsnego i chłopaka gosposi Brady’ch, Alice (granej przez Ann B. Davis) w serialu The Brady Bunch, oraz Barneya Hefnera, sąsiada i przyjaciela Archiego Bunkera w serialu All in the Family. W innych swoich dokonaniach w popkulturze lat 70. występował jako patron Mel’s Diner w serialu Alice i pracował jako artysta głosowy (pod pseudonimem „Al Melvin”). Użyczył głosu kilku postaciom w serialu telewizyjnym H.R. Pufnstuf oraz księciu Thunowi z Ludzi Lwa w The New Adventures of Flash Gordon.
Kilka z jego najbardziej płodnych prac było w reklamach telewizyjnych, dla tak różnych produktów jak Kellogg’s Sugar Frosted Flakes i elektryczne maszynki do golenia Remington. W tej ostatniej reklamie zaśpiewał kilka taktów piosenki Franka Loessera „I Believe in You” ze zmienionym tekstem. Występował również jako Al the Plumber w reklamach otwieracza do kanalizacji Liquid-Plumr przez piętnaście lat.
W początkach lat 80-tych Melvin pojawił się jako stały bywalec w Archie Bunker’s Place, w którym powtórzył ważniejszą teraz rolę Barneya Hefnera. Kiedy seria zakończyła się w 1983 roku, praca Melvina była poświęcona wyłącznie głosom w kreskówkach. Jego kariera aktorstwa głosowego trwała do 1994 roku, z Scooby-Doo! w Arabian Nights jest jego ostatnia praca głos (ponownie jako Magilla Gorilla) przed emeryturą.