Il a commencé sa carrière dans le programme de théâtre pour enfants Curtain Pullers du Cleveland Play House au début des années 1940, apparaissant dans des productions telles que Grandmother Slyboots, Jack of Tarts et un rôle principal dans leur production principale de On Borrowed Time. En 1952, à l’âge de 20 ans, il se produit en vedette dans la boîte de nuit Copacabana à New York.
À la fin des années 1950 et au début des années 1960, Grey apparaît dans plusieurs westerns télévisés, notamment Maverick (1959), Bronco (1960) et Lawman (3 fois en 1960 et 1961).
Grey a créé le rôle du maître de cérémonie dans la comédie musicale Cabaret à Broadway en 1966, pour lequel il a remporté un Tony Award. Il a également joué à Broadway dans Come Blow Your Horn (1961), Stop the World – I Want to Get Off (1962), Half a Sixpence (1965), George M ! (1968), Goodtime Charley (1975), The Grand Tour (1979), Chicago (1996), Wicked (2003) et Anything Goes (2011). En novembre 1995, il a joué le rôle du magicien dans The Wizard of Oz in Concert : Dreams Come True, une mise en scène de l’histoire populaire au Lincoln Center au profit du Children’s Defense Fund. Le spectacle a été diffusé à l’origine sur Turner Network Television (TNT) en novembre 1995, et publié sur CD et vidéo en 1996.
Grey a remporté l’Oscar du meilleur acteur dans un second rôle en mars 1973 pour son interprétation du maître de cérémonie dans la version cinématographique de 1972 de Cabaret. Sa victoire faisait partie d’un quasi-succès de Cabaret, qui a vu Liza Minnelli remporter le prix de la meilleure actrice et Bob Fosse celui du meilleur réalisateur, bien qu’il ait perdu l’Oscar du meilleur film au profit du Parrain. Pour ce rôle, Grey a également remporté un prix BAFTA pour « le nouveau venu le plus prometteur pour les rôles principaux au cinéma » et des prix du meilleur second rôle aux Golden Globes, au Kansas City Film Critics Circle, au National Board of Review of Motion Pictures, à la National Society of Film Critics, ainsi qu’un Tony Award pour sa performance originale sur scène six ans auparavant, ce qui fait de lui l’une des dix personnes seulement à avoir remporté un Tony Award et un Oscar pour le même rôle.
Il s’est produit au Muny de Saint-Louis, dans le Missouri, dans des rôles tels que George M. Cohan dans George M ! (1970 et 1992), l’Emcee dans Cabaret (1971), et Joey Evans dans Pal Joey (1983). Au Williamstown Theatre Festival, Grey a joué le rôle titre dans leur production de Platonov (1977).
Grey est apparu en tant que panéliste pour le jeu télévisé What’s My Line ? lors de la saison 1967, ainsi qu’en tant que premier invité mystère lors de sa syndication en 1968. Il a été la guest star du cinquième épisode du Muppet Show lors de sa première saison en 1976, en chantant « Razzle Dazzle » de Chicago et « Willkommen » de Cabaret. Il a également joué le rôle du Maître de Sinanju Chiun, le vieux maître coréen d’arts martiaux de Remo dans le film Remo Williams : The Adventure Begins (1985), un rôle qui lui a valu un Saturn Award et une deuxième nomination au Golden Globe du meilleur acteur dans un second rôle. Le personnage de Chiun a été rendu populaire par les répliques « La viande de vache tue » et « Tu bouges comme un yak en gestation », tirées du film. En 1991, il a joué le rôle d’Adam, un diable, dans l’épisode final de la série télévisée Dallas (1991). La même année, Grey apparaît dans la production de l’American Repertory Theatre de When We Dead Awaken à la Biennale de Sao Paulo. En 1993, il joue dans la production de New York Stage & Film de A Fool and Her Fortune de John Patrick Shanley et reçoit une nomination à l’Emmy « Outstanding Guest Actor in a Comedy Series » pour son rôle récurrent de Jacob Prossman dans la série télévisée Brooklyn Bridge. En 1995, il fait une apparition dans Star Trek : Voyager dans le rôle d’un rebelle vieillissant qui cherche à libérer sa femme (décédée) de prison. En 1999, il joue dans la pièce Give Me Your Answer, Do ! de Brian Friel montée par la Roundabout Theatre Company.
En 2000 , Grey a joué le rôle d’Oldrich Novy dans le film Dancer in the Dark et a eu des rôles récurrents à la télévision dans Buffy the Vampire Slayer (dans le rôle du démon reptilien Doc, 2001), Oz (dans le rôle de Lemuel Idzik, 2003) et Alias (dans le rôle de « Another Mr. Sloane », 2005). Il a joué un ancien détenu riche et libéré sur parole dans la série Law & Order : Criminal Intent (épisode « Cuba Libre », 2003). Grey a également tenu le rôle du Magicien d’Oz dans la comédie musicale à succès Wicked, à Broadway. Il est également apparu dans les séries House et Brothers & Sisters (2007), dans cette dernière, il a joué le rôle du Dr Bar-Shalom, le conseiller conjugal de Sarah et Joe. Il est apparu dans le rôle du professeur de lycée d’Izzie qui a besoin d’un traitement contre la démence dans Grey’s Anatomy (2009).
Grey est revenu à Broadway au printemps 2011 dans le rôle de Moonface Martin dans la reprise de Anything Goes par la Roundabout Theatre Company au Stephen Sondheim Theatre. Il a également joué le rôle de Ned dans la production Off-Broadway de 1985 de The Normal Heart de Larry Kramer, et a ensuite codirigé la reprise récompensée par un Tony Award en 2011.
.