Ha iniziato la sua carriera nel programma di teatro per bambini Curtain Pullers della Cleveland Play House nei primi anni ’40, apparendo in produzioni come Grandmother Slyboots, Jack of Tarts e un ruolo principale nella loro produzione principale di On Borrowed Time. Nel 1952, all’età di 20 anni, si esibiva come protagonista al nightclub Copacabana di New York.
Nei tardi anni ’50 e nei primi anni ’60, Grey apparve in diversi western televisivi tra cui Maverick (1959), Bronco (1960) e Lawman (3 volte nel 1960 e 1961).
Grey ha creato il ruolo del Maestro di Cerimonie nel musical di Broadway Cabaret nel 1966 per il quale ha vinto un Tony Award. Altri crediti a Broadway includono Come Blow Your Horn (1961), Stop the World – I Want to Get Off (1962), Half a Sixpence (1965), George M! (1968), Goodtime Charley (1975), The Grand Tour (1979), Chicago (1996), Wicked (2003), e Anything Goes (2011). Nel novembre 1995, si è esibito come il Mago in The Wizard of Oz in Concert: Dreams Come True, un concerto della popolare storia al Lincoln Center a beneficio del Children’s Defense Fund. La performance è stata originariamente trasmessa su Turner Network Television (TNT) nel novembre 1995, e pubblicata su CD e video nel 1996.
Grey ha vinto un Academy Award come miglior attore non protagonista nel marzo 1973 per la sua interpretazione del Maestro di Cerimonie nella versione cinematografica di Cabaret del 1972. La sua vittoria fu parte di una quasi vittoria di Cabaret, che vide Liza Minnelli vincere come miglior attrice e Bob Fosse come miglior regista, anche se perse l’Oscar come miglior film a favore de Il padrino. Per quel ruolo, Grey ha anche vinto un premio BAFTA per “Il più promettente esordiente nei ruoli principali” e i premi come miglior attore non protagonista ai Golden Globes, al Kansas City Film Critics Circle, al National Board of Review of Motion Pictures, alla National Society of Film Critics e un Tony Award per la sua performance originale sul palco sei anni prima, il che lo rende una delle sole dieci persone che hanno vinto sia un Tony Award che un Academy Award per lo stesso ruolo.
Ha recitato al The Muny di St. Louis, Missouri, in ruoli come George M. Cohan in George M! (1970 e 1992), l’Emcee in Cabaret (1971), e Joey Evans in Pal Joey (1983). Al Williamstown Theatre Festival, Grey ha interpretato il ruolo principale nella loro produzione di Platonov (1977).
Grey è apparso come panelist per il game show televisivo What’s My Line? nella stagione 1967, oltre ad essere il primo Mystery Guest durante la sua syndication nel 1968. Fu la guest star del quinto episodio del Muppet Show nella sua prima stagione nel 1976, cantando “Razzle Dazzle” da Chicago e “Willkommen” da Cabaret. Ha anche interpretato il Maestro di Sinanju Chiun, l’anziano maestro di arti marziali coreano di Remo nel film Remo Williams: The Adventure Begins (1985), un ruolo che gli ha fruttato un Saturn Award e una seconda nomination ai Golden Globe come miglior attore non protagonista. Il personaggio di Chiun era popolare per le battute “La carne di mucca uccide”, e “Ti muovi come uno yak incinto”, del film. Nel 1991, interpretò Adam, un diavolo, nell’episodio finale della serie televisiva Dallas (1991). Lo stesso anno, Grey apparve anche nella produzione dell’American Repertory Theatre di When We Dead Awaken alla Biennale di San Paolo. Nel 1993 ha recitato nel New York Stage & Film nella produzione di A Fool and Her Fortune di John Patrick Shanley e ha ricevuto una nomination agli Emmy come “Outstanding Guest Actor in a Comedy Series” per il suo ruolo ricorrente di Jacob Prossman nella serie televisiva Brooklyn Bridge. Nel 1995, ha fatto un’apparizione in Star Trek: Voyager come un vecchio ribelle che cerca di liberare la sua (defunta) moglie dalla prigione. Nel 1999, ha recitato in Give Me Your Answer, Do! di Brian Friel, montato dalla Roundabout Theatre Company.
Nel 2000, Grey ha interpretato Oldrich Novy nel film Dancer in the Dark e ha avuto ruoli televisivi ricorrenti in Buffy l’ammazzavampiri (come il malvagio demone rettiliano Doc, 2001), Oz (come Lemuel Idzik, 2003) e Alias (come “Another Mr. Sloane”, 2005). Ha interpretato un ricco ex detenuto in libertà vigilata in Law & Order: Criminal Intent (episodio “Cuba Libre”, 2003). Grey ha anche interpretato il ruolo del Mago di Oz nel musical di successo di Broadway Wicked. È apparso anche negli show House e Brothers & Sisters (2007), in quest’ultimo ha interpretato il ruolo del Dr. Bar-Shalom, il consulente matrimoniale di Sarah e Joe. È apparso nel ruolo dell’insegnante di liceo di Izzie che ha bisogno di cure per la demenza in Grey’s Anatomy (2009).
Grey è tornato a Broadway nella primavera del 2011 come Moonface Martin nel revival della Roundabout Theatre Company di Anything Goes al Stephen Sondheim Theatre. Ha anche interpretato Ned nella produzione Off-Broadway del 1985 di The Normal Heart di Larry Kramer, e ha continuato a co-dirigere il revival vincitore del Tony Award nel 2011.