Empezó su carrera en el programa de teatro infantil Curtain Pullers de la Cleveland Play House a principios de la década de 1940, apareciendo en producciones como Grandmother Slyboots, Jack of Tarts y un papel principal en su producción principal de On Borrowed Time. En 1952, a la edad de 20 años, ya aparecía como actor principal en el club nocturno Copacabana de Nueva York.
A finales de la década de 1950 y principios de la de 1960, Grey apareció en varios westerns de televisión, como Maverick (1959), Bronco (1960) y Lawman (3 veces en 1960 y 1961).
Grey interpretó el papel de maestro de ceremonias en el musical de Broadway Cabaret en 1966, por el que ganó un premio Tony. ¡Otros créditos en Broadway incluyen Come Blow Your Horn (1961), Stop the World – I Want to Get Off (1962), Half a Sixpence (1965), George M! (1968), Goodtime Charley (1975), The Grand Tour (1979), Chicago (1996), Wicked (2003) y Anything Goes (2011). En noviembre de 1995, actuó como el Mago en The Wizard of Oz in Concert: Los sueños se hacen realidad, un concierto escenificado de la popular historia en el Lincoln Center a beneficio del Fondo de Defensa de los Niños. La actuación se emitió originalmente en la cadena de televisión Turner Network (TNT) en noviembre de 1995, y se publicó en CD y vídeo en 1996.
Grey ganó un Premio de la Academia al Mejor Actor de Reparto en marzo de 1973 por su interpretación del Maestro de Ceremonias en la versión cinematográfica de Cabaret de 1972. Su victoria formó parte de la casi barrida de Cabaret, en la que Liza Minnelli ganó el premio a la mejor actriz y Bob Fosse el de mejor director, aunque perdió el Oscar a la mejor película en favor de El Padrino. Por ese papel, Grey también ganó el premio BAFTA a la «Revelación más prometedora para papeles protagonistas en el cine» y los premios al mejor actor de reparto de los Globos de Oro, el Círculo de Críticos de Cine de Kansas City, la Junta Nacional de Críticos de Cine y la Sociedad Nacional de Críticos de Cine, así como un premio Tony por su interpretación original en el escenario seis años antes, lo que le convierte en una de las diez únicas personas que han ganado un premio Tony y un premio de la Academia por el mismo papel.¡
Ha actuado en The Muny en St. Louis, Missouri, en papeles como George M. Cohan en George M! (1970 y 1992), el maestro de ceremonias en Cabaret (1971) y Joey Evans en Pal Joey (1983). En el Festival de Teatro de Williamstown, Grey interpretó el papel principal en su producción de Platonov (1977).
Grey apareció como panelista del programa de juegos de televisión What’s My Line? en la temporada de 1967, además de ser el primer invitado misterioso durante su sindicación en 1968. Fue la estrella invitada del quinto episodio de The Muppet Show en su primera temporada en 1976, cantando «Razzle Dazzle» de Chicago y «Willkommen» de Cabaret. También interpretó al Maestro de Sinanju Chiun, el anciano maestro coreano de artes marciales de Remo en la película Remo Williams: La aventura comienza (1985), papel que le valió un premio Saturn y una segunda nominación al Globo de Oro como mejor actor de reparto. El personaje de Chiun fue popular por las frases «La carne de vaca mata» y «Te mueves como un yak preñado», de la película. En 1991, interpretó a Adam, un diablo, en el último episodio de la serie de televisión Dallas (1991). Ese mismo año, Grey también apareció en la producción del American Repertory Theatre de When We Dead Awaken en la Bienal de Sao Paulo. En 1993 protagonizó la producción de New York Stage & Film de A Fool and Her Fortune, de John Patrick Shanley, y recibió una nominación al Emmy como «Actor invitado destacado en una serie de comedia» por su papel recurrente de Jacob Prossman en la serie de televisión Brooklyn Bridge. En 1995, hizo una aparición como invitado en Star Trek: Voyager en el papel de un viejo rebelde que intenta liberar a su esposa (fallecida) de la cárcel. En 1999, protagonizó la obra de Brian Friel Give Me Your Answer, Do! montada por la Roundabout Theatre Company.
En el año 2000, Grey interpretó a Oldrich Novy en la película Dancer in the Dark y tuvo papeles recurrentes en televisión en Buffy the Vampire Slayer (como el malvado demonio reptiliano Doc, 2001), Oz (como Lemuel Idzik, 2003) y Alias (como «Another Mr. Sloane», 2005). Interpretó a un rico ex convicto en libertad condicional en Law & Order: Criminal Intent (episodio «Cuba Libre», 2003). Grey también interpretó el papel del Mago de Oz en el exitoso musical de Broadway Wicked. También apareció en las series House y Brothers & Sisters (2007), en esta última interpretó el papel del Dr. Bar-Shalom, el consejero matrimonial de Sarah y Joe. Apareció como el profesor de instituto de Izzie que necesita tratamiento para la demencia en Anatomía de Grey (2009).
Grey volvió a Broadway en la primavera de 2011 como Moonface Martin en la reposición de la Roundabout Theatre Company de Anything Goes en el Stephen Sondheim Theatre. También interpretó a Ned en la producción Off-Broadway de 1985 de The Normal Heart, de Larry Kramer, y pasó a codirigir la reposición ganadora del premio Tony en 2011.