Zaczął swoją karierę w Cleveland Play House’s Curtain Pullers program teatru dla dzieci na początku 1940 roku, pojawiając się w produkcjach takich jak Babcia Slyboots, Jack of Tarts i główną rolę w ich głównej scenie produkcji On Borrowed Time. W 1952 roku, w wieku 20 lat, występował już jako główny wykonawca w klubie nocnym Copacabana w Nowym Jorku.
W późnych latach 50. i wczesnych 60. Grey pojawił się w kilku telewizyjnych westernach, w tym Maverick (1959), Bronco (1960) i Lawman (3 razy w 1960 i 1961).
Grey zagrał rolę Mistrza Ceremonii w musicalu Cabaret na Broadwayu w 1966 roku, za którą otrzymał nagrodę Tony Award. Dodatkowe role na Broadwayu to Come Blow Your Horn (1961), Stop the World – I Want to Get Off (1962), Half a Sixpence (1965), George M! (1968), Goodtime Charley (1975), The Grand Tour (1979), Chicago (1996), Wicked (2003) i Anything Goes (2011). W listopadzie 1995 roku wystąpił jako Czarnoksiężnik w The Wizard of Oz in Concert: Dreams Come True – inscenizowanym koncercie popularnej opowieści w Lincoln Center na rzecz Children’s Defense Fund. Występ był pierwotnie transmitowany przez Turner Network Television (TNT) w listopadzie 1995 roku, a w 1996 roku został wydany na CD i wideo.
Grey zdobył Oscara dla Najlepszego Aktora Drugoplanowego w marcu 1973 roku za występ w roli Mistrza Ceremonii w filmowej wersji Kabaretu z 1972 roku. Jego zwycięstwo było częścią Cabaret near-sweep, który zobaczył Liza Minnelli wygrać Najlepsza aktorka i Bob Fosse wygrać Najlepszy reżyser, choć stracił Oscara Best Picture do The Godfather. Za tę rolę Grey zdobył również nagrodę BAFTA dla „Najbardziej obiecującego debiutanta w głównych rolach filmowych” oraz nagrody dla najlepszego aktora drugoplanowego od Złotych Globów, Kansas City Film Critics Circle, National Board of Review of Motion Pictures, National Society of Film Critics, a także nagrodę Tony za swój oryginalny występ sceniczny sześć lat wcześniej, co czyni go jedną z zaledwie dziesięciu osób, które zdobyły zarówno Tony Award, jak i Oscara za tę samą rolę.
Występował w The Muny w St. Louis, Missouri, w takich rolach jak George M. Cohan w George M! (1970 i 1992), Emcee w Cabaret (1971) i Joey Evans w Pal Joey (1983). Na Williamstown Theatre Festival, Grey zagrał tytułową rolę w produkcji Płatonowa (1977).
Grey pojawił się jako panelista w telewizyjnym teleturnieju What’s My Line? w sezonie 1967, jak również był pierwszym Mystery Guest podczas syndykacji w 1968 roku. Był gwiazdą gościnną piątego odcinka The Muppet Show w jego pierwszym sezonie w 1976 roku, śpiewając „Razzle Dazzle” z Chicago i „Willkommen” z Kabaretu. Zagrał również Mistrza Sinanju Chiun, starszego koreańskiego mistrza sztuk walki Remo w filmie Remo Williams: The Adventure Begins (1985), rola ta przyniosła mu nagrodę Saturna i drugą nominację do Złotego Globu dla najlepszego aktora drugoplanowego. Postać Chiun’a stała się popularna dzięki wersom „Mięso krowy zabija” i „Poruszasz się jak ciężarny jak” z tego filmu. W 1991 roku zagrał Adama, diabła, w finałowym odcinku serialu telewizyjnego Dallas (1991). W tym samym roku Grey wystąpił również w produkcji American Repertory Theatre „When We Dead Awaken” na Biennale w Sao Paulo. W 1993 roku wystąpił w produkcji New York Stage & Film w A Fool and Her Fortune Johna Patricka Shanleya i otrzymał nominację do nagrody Emmy w kategorii „Outstanding Guest Actor in a Comedy Series” za powtarzającą się rolę Jacoba Prossmana w serialu telewizyjnym Brooklyn Bridge. W 1995 roku wystąpił gościnnie w serialu Star Trek: Voyager jako starzejący się buntownik pragnący uwolnić z więzienia swoją (zmarłą) żonę. W 1999 roku zagrał w sztuce Briana Friela Give Me Your Answer, Do! wystawionej przez Roundabout Theatre Company.
W 2000 r, Grey zagrał Oldricha Novy’ego w filmie Dancer in the Dark i miał powracające role telewizyjne w Buffy the Vampire Slayer (jako zły reptiliański demon Doc, 2001), Oz (jako Lemuel Idzik, 2003) i Alias (jako „Another Mr. Sloane”, 2005). Zagrał bogatego, zwolnionego warunkowo byłego skazańca na Law & Order: Criminal Intent (odcinek „Cuba Libre”, 2003). Grey wcielił się również w rolę Czarnoksiężnika z Oz w przebojowym broadwayowskim musicalu „Wicked”. Pojawił się również w serialach House i Bracia & Sisters (2007), w którym zagrał rolę Dr. Bar-Shaloma, doradcy małżeńskiego Sary i Joe. W Grey’s Anatomy (2009) pojawił się jako nauczyciel Izzie, która potrzebuje leczenia demencji.
Grey powrócił na Broadway wiosną 2011 roku jako Moonface Martin w Roundabout Theatre Company w Anything Goes w Stephen Sondheim Theatre. Grał również rolę Neda w off-broadwayowskiej produkcji Larry’ego Kramera The Normal Heart z 1985 roku, a następnie współreżyserował nagrodzone Tony Award wznowienie w 2011 roku.