Svoji kariéru zahájil v dětském divadelním programu Curtain Pullers v Cleveland Play House na počátku 40. let 20. století, kde hrál například v inscenacích Babička Slyboots, Jack of Tarts a hlavní roli v jejich hlavní inscenaci On Borrowed Time. V roce 1952, když mu bylo 20 let, vystupoval jako hlavní účinkující v nočním klubu Copacabana v New Yorku.
Na přelomu 50. a 60. let se Grey objevil v několika televizních westernech včetně Maverick (1959), Bronco (1960) a Lawman (3x v letech 1960 a 1961).
Grey vytvořil roli ceremoniáře v broadwayském muzikálu Cabaret v roce 1966, za kterou získal cenu Tony. Další broadwayské role: Come Blow Your Horn (1961), Stop the World – I Want to Get Off (1962), Half a Sixpence (1965), George M! (1968), Goodtime Charley (1975), The Grand Tour (1979), Chicago (1996), Wicked (2003) a Anything Goes (2011). V listopadu 1995 vystoupil jako Čaroděj v představení The Wizard of Oz in Concert: V Lincolnově centru uspořádal scénický koncert populárního příběhu ve prospěch Fondu na obranu dětí. Představení bylo původně vysíláno na televizní stanici Turner Network Television (TNT) v listopadu 1995 a v roce 1996 vyšlo na CD a videu.
Grey získal v březnu 1973 Oscara za nejlepší mužský herecký výkon ve vedlejší roli za roli ceremoniáře ve filmové verzi Kabaretu z roku 1972. Jeho vítězství bylo součástí téměř vítězného Cabaretu, v němž Liza Minnelli získala cenu za nejlepší herečku a Bob Fosse za nejlepšího režiséra, ačkoli film prohrál Oscara za nejlepší film s filmem Kmotr. Za tuto roli získal Grey také cenu BAFTA pro „nejslibnějšího nováčka v hlavních filmových rolích“ a ocenění za nejlepší vedlejší roli od Zlatých glóbů, Kansas City Film Critics Circle, National Board of Review of Motion Pictures, National Society of Film Critics a cenu Tony za původní divadelní představení šest let předtím, čímž se stal jedním z pouhých deseti lidí, kteří získali za stejnou roli cenu Tony i Oscara.
Vystupoval v divadle The Muny v St. Louis ve státě Missouri v rolích jako George M. Cohan ve hře George M! (1970 a 1992), Emcee v Cabaretu (1971) a Joey Evans v Pal Joey (1983). Na divadelním festivalu ve Williamstownu hrál Grey titulní roli v jejich inscenaci Platonov (1977).
Grey se objevil jako porotce televizní hry What’s My Line? v sezóně 1967 a také jako první Mystery Guest během jejího syndikování v roce 1968. Byl hostující hvězdou páté epizody The Muppet Show v její první sezóně v roce 1976, kde zpíval „Razzle Dazzle“ z Chicaga a „Willkommen“ z Kabaretu. Hrál také mistra Sinandžu Čchüna, Remova staršího korejského mistra bojových umění, ve filmu Remo Williams: Dobrodružství začíná (1985), za tuto roli získal cenu Saturn a druhou nominaci na Zlatý glóbus za nejlepší herecký výkon ve vedlejší roli. Čunova postava byla populární díky hláškám „Maso krávy zabíjí“ a „Pohybuješ se jako březí jak“ z filmu. V roce 1991 si zahrál Adama, ďábla, v závěrečné epizodě televizního seriálu Dallas (1991). V témže roce se Grey objevil také v představení amerického repertoárového divadla When We Dead Awaken na bienále v Sao Paulu. V roce 1993 hrál v představení New York Stage & Film ve hře Johna Patricka Shanleyho Blázen a jeho štěstí a získal nominaci na cenu Emmy v kategorii „Vynikající hostující herec v komediálním seriálu“ za svou stálou roli Jacoba Prossmana v televizním seriálu Brooklynský most. V roce 1995 hostoval v seriálu Star Trek: Voyager jako stárnoucí rebel, který se snaží osvobodit svou (zesnulou) ženu z vězení. V roce 1999 hrál ve hře Briana Friela Give Me Your Answer, Do! v produkci Roundabout Theatre Company.
V roce 2000, Grey hrál Oldřicha Nového ve filmu Tanečník v temnotách a měl opakované televizní role v seriálech Buffy, přemožitelka upírů (jako zlý plazí démon Doc, 2001), Oz (jako Lemuel Idzik, 2003) a Alias (jako „Another Mr. Sloane“, 2005). V seriálu Zákon & Ordinace hrál bohatého, podmínečně propuštěného bývalého trestance: (epizoda „Cuba Libre“, 2003). Grey také ztvárnil roli Čaroděje ze země Oz v úspěšném broadwayském muzikálu Wicked. Objevil se také v seriálech House a Bratři & sestry (2007), v druhém jmenovaném hrál roli doktora Bar-Shaloma, manželského poradce Sarah a Joea. V seriálu Grey’s Anatomy (2009) se objevil jako středoškolský učitel Izzie, který se potřebuje léčit z demence.
Grey se na jaře 2011 vrátil na Broadway jako Moonface Martin v obnoveném představení Anything Goes v divadle Stephena Sondheima společnosti Roundabout Theatre Company. Hrál také Neda v mimobroadwayské inscenaci hry Larryho Kramera The Normal Heart z roku 1985 a v roce 2011 se podílel na režii obnovené verze oceněné cenou Tony.