Han började sin karriär i Cleveland Play House’s Curtain Pullers barnteaterprogram i början av 1940-talet och medverkade i produktioner som Grandmother Slyboots, Jack of Tarts och en huvudroll i deras huvudproduktion av On Borrowed Time. 1952, vid 20 års ålder, uppträdde han som en av de främsta artisterna på nattklubben Copacabana i New York.
I slutet av 1950-talet och i början av 1960-talet medverkade Grey i flera TV-västernfilmer, bland annat Maverick (1959), Bronco (1960) och Lawman (tre gånger 1960 och 1961).
Grey skapade rollen som ceremonimästare i Broadwaymusikalen Cabaret 1966 för vilken han vann en Tony Award. Andra Broadwayroller inkluderar Come Blow Your Horn (1961), Stop the World – I Want to Get Off (1962), Half a Sixpence (1965), George M! (1968), Goodtime Charley (1975), The Grand Tour (1979), Chicago (1996), Wicked (2003) och Anything Goes (2011). I november 1995 uppträdde han som trollkarlen i The Wizard of Oz in Concert: Dreams Come True, en iscensatt konsert av den populära sagan på Lincoln Center till förmån för Children’s Defense Fund. Föreställningen sändes ursprungligen på Turner Network Television (TNT) i november 1995 och gavs ut på CD och video 1996.
Grey vann en Oscar för bästa birollsskådespelare i mars 1973 för sin roll som ceremonimästare i 1972 års filmversion av Cabaret. Hans seger var en del av en nästan-svepning av Cabaret, där Liza Minnelli vann bästa skådespelerska och Bob Fosse vann bästa regissör, även om den förlorade Oscar för bästa film till Gudfadern. För den rollen vann Grey också ett BAFTA-pris för ”The Most Promising Newcomer to Leading Film Roles” (den mest lovande nykomlingen i ledande filmroller) och utmärkelser som bästa birollsskådespelare från Golden Globes, Kansas City Film Critics Circle, National Board of Review of Motion Pictures, National Society of Film Critics samt ett Tony Award för sin ursprungliga scenframställning sex år tidigare, vilket gör honom till en av de endast tio personer som har vunnit både ett Tony Award och en Oscar för samma roll.
Han har uppträtt på The Muny i St. Louis, Missouri, i roller som George M. Cohan i George M! (1970 och 1992), Emcee i Cabaret (1971) och Joey Evans i Pal Joey (1983). Vid Williamstown Theatre Festival spelade Grey titelrollen i deras produktion av Platonov (1977).
Grey framträdde som paneldeltagare i tv-spelshowen What’s My Line? under säsongen 1967, samt som den första Mystery Guest under dess syndikering 1968. Han var gäststjärna i det femte avsnittet av The Muppet Show under dess första säsong 1976 och sjöng ”Razzle Dazzle” från Chicago och ”Willkommen” från Cabaret. Han spelade också Master of Sinanju Chiun, Remos äldre koreanska kampsportsmästare i filmen Remo Williams: The Adventure Begins (1985), en roll som gav honom en Saturn Award och en andra Golden Globe-nominering för bästa birollsskådespelare. Chiuns karaktär var populär för replikerna ”Meat of cow kills” och ”You move like a pregnant yak” från filmen. År 1991 spelade han Adam, en djävul, i det sista avsnittet av tv-serien Dallas (1991). Samma år medverkade Grey även i American Repertory Teaters uppsättning av When We Dead Awaken på Sao Paulo Biennalen. År 1993 spelade han huvudrollen i New York Stage & Films uppsättning av John Patrick Shanleys A Fool and Her Fortune och fick en Emmy-nominering för ”Outstanding Guest Actor in a Comedy Series” för sin återkommande roll som Jacob Prossman i tv-serien Brooklyn Bridge. 1995 gästspelade han i Star Trek: Voyager som en åldrande rebell som försöker befria sin (avlidna) fru från fängelset. 1999 spelade han huvudrollen i Brian Friels Give Me Your Answer, Do! som producerades av Roundabout Theatre Company.
Å 2000, Grey spelade Oldrich Novy i filmen Dancer in the Dark och hade återkommande tv-roller i Buffy the Vampire Slayer (som den onda reptildemonen Doc, 2001), Oz (som Lemuel Idzik, 2003) och Alias (som ”Another Mr. Sloane”, 2005). Han spelade en rik, villkorligt frigiven före detta fånge i Law & Order: Criminal Intent (avsnittet ”Cuba Libre”, 2003). Grey spelade också rollen som trollkarlen från Oz i Broadway-musikalen Wicked. Han har också medverkat i serierna House och Brothers & Sisters (2007), där han i den senare spelade rollen som Dr. Bar-Shalom, Sarahs och Joes äktenskapsrådgivare. Han var med som Izzies gymnasielärare som behöver behandling för demens i Grey’s Anatomy (2009).
Grey återvände till Broadway våren 2011 som Moonface Martin i Roundabout Theatre Companys återupplivning av Anything Goes på Stephen Sondheim Theatre. Han spelade också Ned i Off-Broadway-produktionen 1985 av Larry Kramers The Normal Heart, och fortsatte att vara medregissör för den Tony Award-belönade återupptagningen 2011.