Er begann seine Karriere in den frühen 1940er Jahren im Kindertheaterprogramm Curtain Pullers des Cleveland Play House, wo er in Produktionen wie Grandmother Slyboots, Jack of Tarts und einer Hauptrolle in der Hauptbühnenproduktion von On Borrowed Time auftrat. 1952, im Alter von 20 Jahren, trat er als Hauptdarsteller im Nachtclub Copacabana in New York auf.
In den späten 1950er und frühen 1960er Jahren trat Grey in mehreren TV-Western auf, darunter Maverick (1959), Bronco (1960) und Lawman (dreimal 1960 und 1961).
Grey spielte 1966 die Rolle des Zeremonienmeisters in dem Broadway-Musical Cabaret, für die er einen Tony Award gewann. Zu seinen weiteren Broadway-Auftritten gehören Come Blow Your Horn (1961), Stop the World – I Want to Get Off (1962), Half a Sixpence (1965), George M! (1968), Goodtime Charley (1975), The Grand Tour (1979), Chicago (1996), Wicked (2003) und Anything Goes (2011). Im November 1995 trat er als der Zauberer in The Wizard of Oz in Concert auf: Dreams Come True, einer konzertanten Aufführung der beliebten Geschichte im Lincoln Center zugunsten des Children’s Defense Fund. Die Aufführung wurde ursprünglich im November 1995 auf Turner Network Television (TNT) ausgestrahlt und 1996 auf CD und Video veröffentlicht.
Grey gewann im März 1973 einen Oscar als bester Nebendarsteller für seine Leistung als Zeremonienmeister in der Verfilmung von Cabaret von 1972. Sein Sieg war Teil eines Beinahe-Sieges von Cabaret, bei dem Liza Minnelli als beste Schauspielerin und Bob Fosse als bester Regisseur ausgezeichnet wurden, obwohl der Film den Oscar für den besten Film an Der Pate verlor. Für diese Rolle gewann Grey auch einen BAFTA Award für „The Most Promising Newcomer to Leading Film Roles“ und Auszeichnungen als bester Nebendarsteller von den Golden Globes, dem Kansas City Film Critics Circle, dem National Board of Review of Motion Pictures, der National Society of Film Critics und einen Tony Award für seine ursprüngliche Bühnenaufführung sechs Jahre zuvor, was ihn zu einem von nur zehn Personen macht, die sowohl einen Tony Award als auch einen Academy Award für dieselbe Rolle gewonnen haben.
Er trat am The Muny in St. Louis, Missouri, in Rollen wie George M. Cohan in George M! (1970 und 1992), den Emcee in Cabaret (1971) und Joey Evans in Pal Joey (1983). Beim Williamstown Theatre Festival spielte Grey die Titelrolle in der Inszenierung von Platonov (1977).
Grey trat in der Saison 1967 als Jurymitglied in der Fernsehspielshow What’s My Line? auf und war auch der erste Mystery-Gast während der Syndizierung im Jahr 1968. Er war der Gaststar in der fünften Folge der Muppet Show in ihrer ersten Staffel 1976 und sang „Razzle Dazzle“ aus Chicago und „Willkommen“ aus Cabaret. Außerdem spielte er den Meister von Sinanju Chiun, Remos älteren koreanischen Kampfkunstmeister in dem Film Remo Williams: The Adventure Begins (1985), eine Rolle, die ihm einen Saturn Award und eine zweite Golden Globe-Nominierung als bester Nebendarsteller einbrachte. Chiuns Figur wurde durch die Sätze „Fleisch von Kühen tötet“ und „Du bewegst dich wie ein schwangeres Yak“ aus dem Film bekannt. 1991 spielte er Adam, einen Teufel, in der letzten Folge der Fernsehserie Dallas (1991). Im selben Jahr trat Grey auch in der Inszenierung des American Repertory Theatre von When We Dead Awaken auf der Biennale von Sao Paulo auf. 1993 spielte er die Hauptrolle in New York Stage & Film’s production of John Patrick Shanley’s A Fool and Her Fortune und erhielt eine „Outstanding Guest Actor in a Comedy Series“ Emmy-Nominierung für seine wiederkehrende Rolle als Jacob Prossman in der Fernsehserie Brooklyn Bridge. 1995 hatte er einen Gastauftritt in Star Trek: Voyager als alternder Rebell, der seine (verstorbene) Frau aus dem Gefängnis befreien will. Im Jahr 1999 spielte er die Hauptrolle in Brian Friels Give Me Your Answer, Do! der Roundabout Theatre Company.
Im Jahr 2000, Grey spielte Oldrich Novy in dem Film Dancer in the Dark und hatte wiederkehrende Fernsehrollen in Buffy the Vampire Slayer (als böser Reptiliendämon Doc, 2001), Oz (als Lemuel Idzik, 2003) und Alias (als „Another Mr. Sloane“, 2005). Er spielte einen wohlhabenden, auf Bewährung entlassenen Ex-Sträfling in Law & Order: Criminal Intent (Folge „Cuba Libre“, 2003). Grey spielte auch die Rolle des Zauberers von Oz in dem Broadway-Musical Wicked. Er trat auch in den Serien House und Brothers & Sisters (2007) auf, in letzterer spielte er die Rolle des Dr. Bar-Shalom, Sarahs und Joes Eheberater. In Grey’s Anatomy (2009) spielte er Izzies Highschool-Lehrer, der wegen Demenz behandelt werden muss.
Grey kehrte im Frühjahr 2011 als Moonface Martin in der Wiederaufnahme von Anything Goes durch die Roundabout Theatre Company am Stephen Sondheim Theatre an den Broadway zurück. Außerdem spielte er Ned in der Off-Broadway-Produktion von Larry Kramers The Normal Heart (1985) und führte 2011 bei der mit dem Tony Award ausgezeichneten Wiederaufnahme Regie.