Hij begon zijn carrière in het kindertheaterprogramma Curtain Pullers van het Cleveland Play House in het begin van de jaren veertig, met optredens in producties als Grandmother Slyboots, Jack of Tarts en een hoofdrol in hun hoofdproductie van On Borrowed Time. In 1952, toen hij 20 was, trad hij op als hoofdrolspeler in de nachtclub Copacabana in New York.
In de late jaren vijftig en vroege jaren zestig speelde Grey in verschillende tv-westerns, waaronder Maverick (1959), Bronco (1960) en Lawman (3 keer in 1960 en 1961).
Grey speelde de rol van ceremoniemeester in de Broadway-musical Cabaret in 1966, waarvoor hij een Tony Award won. Andere Broadway-rollen waren Come Blow Your Horn (1961), Stop the World – I Want to Get Off (1962), Half a Sixpence (1965), George M! (1968), Goodtime Charley (1975), The Grand Tour (1979), Chicago (1996), Wicked (2003), en Anything Goes (2011). In november 1995 trad hij op als de Tovenaar in The Wizard of Oz in Concert: Dreams Come True een geënsceneerd concert van het populaire verhaal in het Lincoln Center ten bate van het Children’s Defense Fund. Het optreden werd oorspronkelijk uitgezonden op Turner Network Television (TNT) in november 1995, en uitgebracht op CD en video in 1996.
Grey won een Academy Award voor Beste Bijrol in maart 1973 voor zijn optreden als ceremoniemeester in de verfilming van Cabaret uit 1972. Zijn overwinning maakte deel uit van een bijna-zege op Cabaret, waarbij Liza Minnelli Beste Actrice werd en Bob Fosse Beste Regisseur, hoewel de Oscar voor Beste Film verloren ging aan The Godfather. Voor die rol won Grey ook een BAFTA award voor “The Most Promising Newcomer to Leading Film Roles” en Best Supporting Actor awards van de Golden Globes, Kansas City Film Critics Circle, National Board of Review of Motion Pictures, National Society of Film Critics, en een Tony Award voor zijn originele toneelprestatie zes jaar daarvoor, waarmee hij een van de slechts tien mensen is die zowel een Tony Award als een Academy Award hebben gewonnen voor dezelfde rol.
Hij trad op in The Muny in St. Louis, Missouri, in rollen als George M. Cohan in George M! (1970 en 1992), de Emcee in Cabaret (1971), en Joey Evans in Pal Joey (1983). Op het Williamstown Theatre Festival speelde Grey de titelrol in hun productie van Platonov (1977).
Grey verscheen als panellid in de televisieshow What’s My Line? in het seizoen 1967, en was ook de eerste Mystery Guest tijdens de syndicatie in 1968. Hij was de gastster in de vijfde aflevering van The Muppet Show in het eerste seizoen in 1976, waar hij “Razzle Dazzle” zong uit Chicago en “Willkommen” uit Cabaret. Hij speelde ook Meester Sinanju Chiun, Remo’s bejaarde Koreaanse martial arts meester in de film Remo Williams: The Adventure Begins (1985), een rol die hem een Saturn Award opleverde en een tweede Golden Globe nominatie voor Beste Bijrol. Chiun’s personage was populair door de regels “Meat of cow kills”, en “You move like a pregnant yak”, uit de film. In 1991 speelde hij Adam, een duivel, in de laatste aflevering van de televisieserie Dallas (1991). Datzelfde jaar was Grey ook te zien in de productie van When We Dead Awaken van het American Repertory Theatre op de Biënnale van Sao Paulo. In 1993 speelde hij in New York Stage & Film’s productie van John Patrick Shanley’s A Fool and Her Fortune en kreeg een “Outstanding Guest Actor in a Comedy Series” Emmy nominatie voor zijn terugkerende rol als Jacob Prossman in de televisieserie Brooklyn Bridge. In 1995 was hij te gast in Star Trek: Voyager als een rebel op leeftijd die zijn (overleden) vrouw uit de gevangenis wil bevrijden. In 1999 speelde hij de hoofdrol in Brian Friel’s Give Me Your Answer, Do! van de Roundabout Theatre Company.
In 2000, Grey speelde Oldrich Novy in de film Dancer in the Dark en had terugkerende televisierollen in Buffy the Vampire Slayer (als de kwaadaardige reptielachtige demon Doc, 2001), Oz (als Lemuel Idzik, 2003) en Alias (als “Another Mr. Sloane”, 2005). Hij speelde een rijke, voorwaardelijk vrijgelaten ex-gevangene in Law & Order: Criminal Intent (aflevering “Cuba Libre”, 2003). Grey speelde ook de rol van de Tovenaar van Oz in de Broadway musical Wicked. Hij verscheen ook in de shows House en Brothers & Sisters (2007), waarin hij de rol speelde van Dr. Bar-Shalom, de huwelijksconsulent van Sarah en Joe. Hij was te zien als Izzie’s leraar op de middelbare school die behandeld moet worden voor dementie in Grey’s Anatomy (2009).
Grey keerde terug naar Broadway in het voorjaar van 2011 als Moonface Martin in de Roundabout Theatre Company revival van Anything Goes in het Stephen Sondheim Theatre. Hij speelde ook Ned in de 1985 Off-Broadway productie van Larry Kramer’s The Normal Heart, en was mederegisseur van de Tony Award-winnende reprise in 2011.