Melvin wurde in Kansas City, Missouri, als Sohn von Marie und Richard Melvin geboren, verbrachte aber einen Teil seiner Kindheit in New York City bei seinen Großeltern väterlicherseits, Helen (geb. Campbell) und Frank Melvin. Allan besuchte die Columbia University, und nach seinem Abschluss diente er während des Zweiten Weltkriegs in der US-Marine. 1944 heiratete er Amalia Faustina Sestero in New York City.
Während er in der Abteilung für Soundeffekte bei NBC Radio arbeitete, trat er in einem Nachtclub auf und gewann in der Radioshow Arthur Godfrey’s Talent Scouts. Während er am Broadway in Stalag 17 auftrat, gelang ihm der Durchbruch im Fernsehen, als er die Rolle des Corporal Steve Henshaw in der beliebten Sendung The Phil Silvers Show erhielt. Die Fans des US-Fernsehens aus dieser Zeit erinnern sich am besten an seine Rolle als Henshaw, Sergeant Bilkos rechte Hand in dieser Sendung. „Auf diese Sendung war er am stolzesten“, sagte Amalia Melvin. „Ich glaube, die Kameradschaft zwischen all diesen Jungs machte die Arbeit so angenehm. Sie waren so entspannt.“
Neben seiner Rolle in der Phil Silvers Show wurde Melvin in dieser Zeit oft in leicht lauten, gelegentlich ruppigen, aber im Allgemeinen freundlichen Rollen als zweite Banane besetzt. Melvin war auch für Rollen als „harter Kerl“ geeignet; ein Beispiel für seine schauspielerische Bandbreite ist eine Folge der Phil Silvers Show, in der Melvin Humphrey Bogart nachahmte.
In den 1960er Jahren arbeitete Melvin viel bei CBS für Sheldon Leonard und Aaron Ruben. Er spielte Staff Sgt. Charlie Hacker, der vier Staffeln lang der Rivale von Sgt. Vince Carter in Gomer Pyle, USMC war. Außerdem hatte er acht Auftritte in der Dick Van Dyke Show. Er lieh auch die Stimmen der Zeichentrickfigur Magilla Gorilla, des Löwen Drooper in The Banana Splits Adventure Hour, des Erzbösewichts Tyrone in The Secret Lives of Waldo Kitty und von Bluto in The All New Popeye Hour. Melvin hatte außerdem acht Gastauftritte in der Andy Griffith Show in acht verschiedenen Rollen, meist als Schwergewicht. Außerdem hatte er drei Gastauftritte in Perry Mason in verschiedenen Rollen, unter anderem als Reporter Bert Kannon in der Folge „The Case of the Sausalito Sunrise“ von 1966. Ebenfalls 1966 spielte Allan den Weltraum-Vollstrecker in der Serie Lost in Space, in der Folge „West Of Mars“.
Melvin ist durch Nebenrollen in zwei beliebten Sitcoms der 1970er Jahre in Erinnerung geblieben. Er spielte Sam Franklin, den Besitzer einer örtlichen Metzgerei und Freund der Brady-Haushälterin Alice (gespielt von Ann B. Davis) in The Brady Bunch und Barney Hefner, den Nachbarn und Freund von Archie Bunker in All in the Family. In anderen Beiträgen zur Popkultur der 1970er Jahre trat er als Gast in Mel’s Diner in Alice auf und arbeitete als Synchronsprecher (unter dem Namen „Al Melvin“). Er lieh mehreren Charakteren in der Fernsehserie H.R. Pufnstuf seine Stimme und war die Stimme von Prinz Thun von den Löwenmenschen in The New Adventures of Flash Gordon.
Eine seiner produktivsten Arbeiten war die Fernsehwerbung, für so unterschiedliche Produkte wie Kellogg’s Sugar Frosted Flakes und Remington Elektrorasierer. Im letztgenannten Werbespot sang er ein paar Takte von Frank Loessers Lied „I Believe in You“ mit einem veränderten Text. Außerdem war er fünfzehn Jahre lang als Al der Klempner in Werbespots für Abflussöffner von Liquid-Plumr zu sehen.
Anfang der 1980er Jahre trat Melvin regelmäßig in der Serie Archie Bunker’s Place auf, in der er die nun wichtigere Rolle des Barney Hefner übernahm. Als die Serie 1983 endete, widmete sich Melvin ausschließlich der Synchronisation von Zeichentrickfilmen. Seine Karriere als Synchronsprecher setzte sich bis 1994 fort, wobei Scooby-Doo! in Arabian Nights seine letzte Arbeit als Synchronsprecher war (wieder als Magilla Gorilla), bevor er in den Ruhestand ging.