Karrierjét a Cleveland Play House Curtain Pullers gyermekszínházi programjában kezdte az 1940-es évek elején, és olyan produkciókban szerepelt, mint a Nagymama Slyboots, a Jack of Tarts, valamint főszerepet játszott az On Borrowed Time című főszínpadi produkcióban. 1952-ben, 20 évesen már a New York-i Copacabana éjszakai klubban lépett fel, mint kiemelt előadóművész.
Az 1950-es évek végén és az 1960-as évek elején Grey számos tévés westernben szerepelt, köztük a Maverick (1959), a Bronco (1960) és a Lawman (1960-ban és 1961-ben háromszor).
Grey alakította a ceremóniamester szerepét a Cabaret című Broadway-musicalben 1966-ban, amelyért Tony-díjat kapott. További Broadway-szerepei közé tartozik a Come Blow Your Horn (1961), a Stop the World – I Want to Get Off (1962), a Half a Sixpence (1965), a George M! (1968), Goodtime Charley (1975), The Grand Tour (1979), Chicago (1996), Wicked (2003) és Anything Goes (2011). 1995 novemberében az Óz, a nagy varázsló koncertszerű előadásában a varázsló szerepében lépett fel: Dreams Come True, a népszerű történet színpadi koncertje a Lincoln Centerben a Children’s Defense Fund javára. Az előadást eredetileg a Turner Network Television (TNT) közvetítette 1995 novemberében, majd 1996-ban CD-n és videón is megjelent.
Grey 1973 márciusában Oscar-díjat nyert a legjobb férfi mellékszereplőnek a Cabaret 1972-es filmváltozatában a ceremóniamesterként nyújtott alakításáért. Győzelme része volt a Kabaré majdnem-söprésének, amelyben Liza Minnelli a legjobb színésznő és Bob Fosse a legjobb rendező lett, bár a legjobb film Oscar-díját elvesztette A keresztapa ellenében. Ezért a szerepéért Grey elnyerte a BAFTA “A legígéretesebb újonc főszereplő” díját, valamint a Golden Globe, a Kansas City Film Critics Circle, a National Board of Review of Motion Pictures, a National Society of Film Critics és a hat évvel korábbi eredeti színpadi alakításáért járó Tony-díjat is, így egyike annak a tíz embernek, aki ugyanazért a szerepért Tony-díjat és Oscar-díjat is kapott.
A Missouri állambeli St. Louisban (The Muny) olyan szerepekben lépett fel, mint George M. Cohan a George M! (1970 és 1992), az Emcee-t a Cabaret-ben (1971) és Joey Evanst a Pal Joey-ban (1983). A Williamstown Theatre Festivalon Grey játszotta a címszerepet a Platonov (1977) című előadásukban.
Grey az 1967-es évadban a What’s My Line? című televíziós vetélkedő panelistájaként tűnt fel, valamint az első Mystery Guest volt az 1968-as szindikálás során. A The Muppet Show ötödik epizódjának vendégszereplője volt az 1976-os első évadban, ahol a Chicagóból a “Razzle Dazzle”-t és a Kabaréból a “Willkommen”-t énekelte. Szintén ő alakította Sinanju Chiun mestert, Remo idős koreai harcművész mesterét a Remo Williams: A kaland kezdődik (1985) című filmben, amely szerepért Saturn-díjat és második Golden Globe-jelölést kapott a legjobb mellékszereplő kategóriában. Chiun karaktere a filmből ismert “A tehénhús megöl”, és “Úgy mozogsz, mint egy terhes jak” sorok miatt volt népszerű. 1991-ben a Dallas (1991) című televíziós sorozat utolsó epizódjában ő alakította Adam-et, az ördögöt. Ugyanebben az évben Grey szerepelt az American Repertory Theatre When We Dead Awaken című előadásában a Sao Pauló-i Biennálén. 1993-ban szerepelt a New York Stage & Film John Patrick Shanley A Fool and Her Fortune (Egy bolond és a szerencséje) című előadásában, és “Kiváló vendégszereplő vígjátéksorozatban” Emmy-jelölést kapott Jacob Prossman visszatérő szerepéért a Brooklyn Bridge című televíziós sorozatban. 1995-ben vendégszerepelt a Star Trek: Voyager című sorozatban, mint egy öregedő lázadó, aki (elhunyt) feleségét akarja kiszabadítani a börtönből. 1999-ben főszerepet játszott Brian Friel Give Me Your Answer, Do! című darabjában, amelyet a Roundabout Theatre Company rendezett.
2000-ben, Grey játszotta Oldrich Novyt a Táncos a sötétben című filmben, és visszatérő televíziós szerepe volt a Buffy the Vampire Slayerben (mint a gonosz hüllő démon Doc, 2001), az Ozban (mint Lemuel Idzik, 2003) és az Aliasban (mint “Another Mr. Sloane”, 2005). A Law & Order című sorozatban egy gazdag, feltételesen szabadlábra helyezett volt fegyencet alakított: Criminal Intent (epizód: “Cuba Libre”, 2003). Grey alakította az Óz, a nagy varázsló szerepét is a Wicked című sikeres Broadway-musicalben. Szerepelt a House és a Brothers & Sisters (2007) című sorozatokban is, ez utóbbiban Dr. Bar-Shalomot, Sarah és Joe házassági tanácsadóját alakította. A Grey’s Anatomy (2009) című sorozatban Izzie középiskolai tanárát alakította, aki demencia miatt kezelésre szorul.
Grey 2011 tavaszán tért vissza a Broadwayre, mint Moonface Martin a Roundabout Theatre Company felújított Anything Goes című darabjában a Stephen Sondheim Színházban. Emellett ő játszotta Nedet Larry Kramer 1985-ös Off-Broadway produkciójában, a The Normal Heart-ban, majd 2011-ben társrendezője volt a Tony-díjas felújításnak.