Melvin a Missouri állambeli Kansas Cityben született Marie és Richard Melvin gyermekeként, de gyermekkorának egy részét New Yorkban töltötte apai nagyszüleinél, Helen (született Campbell) és Frank Melvinnél. Allan a Columbia Egyetemre járt, majd a diploma megszerzése után a második világháború alatt az Egyesült Államok haditengerészeténél szolgált. 1944-ben New Yorkban feleségül vette Amalia Faustina Sesterót.
Amíg az NBC rádió hangeffektusok osztályán dolgozott, éjszakai klubban lépett fel, és fellépett és nyert az Arthur Godfrey’s Talent Scouts rádióműsorban. Miközben a Broadwayn a Stalag 17-ben szerepelt, a televízióban is betört, amikor megkapta Steve Henshaw tizedes szerepét a népszerű The Phil Silvers Show című műsorban. A korszak amerikai televíziós rajongói általában leginkább Henshaw, Bilko őrmester jobbkezének szerepére emlékeznek ebben a műsorban. “Arra a műsorra volt a legbüszkébb – mondta Amalia Melvin. “Azt hiszem, a srácok bajtársiassága tette olyan kellemes munkává. Annyira lazák voltak.”
Ebben az időszakban, a The Phil Silvers Show-ban betöltött szerepe mellett, Melvin gyakran kapott kissé hangos, néha durva, de általában barátságos másodhegedűs szerepeket. Melvin a “keményfiús” szerepekben is jártas volt; színészi skálájának egyik példája, hogy a The Phil Silvers Show egyik epizódjában Melvin felismerhetően Humphrey Bogartot utánozta.
A hatvanas években Melvin sokat dolgozott a CBS-nél Sheldon Leonardnak és Aaron Rubennek. Ő játszotta Charlie Hacker törzsőrmestert, aki négy évadon keresztül Vince Carter őrmester riválisa volt a Gomer Pyle, USMC című sorozatban. Nyolcszor szerepelt a The Dick Van Dyke Show-ban is. Ő adta a hangját a rajzfilmfigurának, Magilla Gorillának, az oroszlán Droopernek a The Banana Splits Adventure Hourban, a főgonosz Tyrone-nak a The Secret Lives of Waldo Kittyben és Blutónak a The All New Popeye Hourban. Melvin nyolc különböző szerepben vendégszerepelt az Andy Griffith Show-ban is, általában nehézfiúként. Háromszor vendégszerepelt a Perry Mason című sorozatban is különböző szerepekben, többek között Bert Kannon riporterként az 1966-os “The Case of the Sausalito Sunrise” című epizódban. Szintén 1966-ban Allan játszotta az űrbéli végrehajtót a Lost in Space című sorozatban, a “West Of Mars” című epizódban.
Melvinre két népszerű 1970-es évekbeli sitcom mellékszereplőjeként emlékeznek. Ő játszotta Sam Franklint, a helyi hentesüzlet tulajdonosát és Bradyék házvezetőnőjének, Alice-nek a barátját (Ann B. Davis alakította) a The Brady Bunch-ban, valamint Barney Hefnert, Archie Bunker szomszédját és barátját az All in the Family-ben. Az 1970-es évek popkultúrájához való egyéb hozzájárulásai között szerepelt Mel’s Diner patrónusaként az Alice című sorozatban, és szinkronszínészként is dolgozott (Al Melvin néven). Több karakter hangját is ő adta a H.R. Pufnstuf című tévésorozathoz, és ő volt az Oroszlánemberek Thun hercegének hangja a Flash Gordon új kalandjai című sorozatban.
A legtermékenyebb munkái közé tartoznak a televíziós reklámok, olyan különböző termékekhez, mint a Kellogg’s Sugar Frosted Flakes és a Remington elektromos borotvák. Az utóbbi reklámban Frank Loesser “I Believe in You” című dalának néhány ütemét énekelte el, módosított szöveggel. A Liquid-Plumr lefolyónyitó reklámokban tizenöt éven át Al, a vízvezeték-szerelő szerepében is szerepelt.
A nyolcvanas évek elején Melvin állandó szereplője volt az Archie Bunker’s Place című sorozatnak, amelyben újra eljátszotta Barney Hefner immár fontosabb szerepét. Amikor a sorozat 1983-ban véget ért, Melvin kizárólag rajzfilmes szinkronhangokkal foglalkozott. Szinkronszínészi karrierje 1994-ig tartott, a Scooby-Doo! az Arab éjszakában volt az utolsó szinkronmunkája (ismét Magilla Gorillaként), mielőtt visszavonult.