Și-a început cariera în programul de teatru pentru copii Curtain Pullers de la Cleveland Play House la începutul anilor 1940, apărând în producții precum Grandmother Slyboots, Jack of Tarts și un rol principal în producția principală On Borrowed Time. În 1952, la vârsta de 20 de ani, a apărut ca actor principal la clubul de noapte Copacabana din New York.
La sfârșitul anilor 1950 și începutul anilor 1960, Grey a apărut în mai multe westernuri de televiziune, inclusiv Maverick (1959), Bronco (1960) și Lawman (de 3 ori în 1960 și 1961).
Grey a creat rolul maestrului de ceremonii în musicalul Cabaret de pe Broadway în 1966, pentru care a câștigat un premiu Tony. Printre creditele suplimentare de pe Broadway se numără Come Blow Your Horn (1961), Stop the World – I Want to Get Off (1962), Half a Sixpence (1965), George M! (1968), Goodtime Charley (1975), The Grand Tour (1979), Chicago (1996), Wicked (2003) și Anything Goes (2011). În noiembrie 1995, a jucat rolul Vrăjitorului în The Wizard of Oz in Concert: Dreams Come True (Visele devin realitate), un concert pus în scenă al popularei povești la Lincoln Center, în beneficiul Children’s Defense Fund. Spectacolul a fost difuzat inițial la Turner Network Television (TNT) în noiembrie 1995 și a fost lansat pe CD și video în 1996.
Grey a câștigat un premiu Oscar pentru cel mai bun actor în rol secundar în martie 1973 pentru interpretarea sa ca maestru de ceremonii în versiunea cinematografică din 1972 a filmului Cabaret. Victoria sa a fost parte a unei cvasi-înfrângeri a filmului Cabaret, în care Liza Minnelli a câștigat premiul pentru cea mai bună actriță și Bob Fosse a câștigat premiul pentru cel mai bun regizor, deși a pierdut Oscarul pentru cel mai bun film în fața filmului The Godfather. Pentru acest rol, Grey a câștigat, de asemenea, un premiu BAFTA pentru „Cel mai promițător debutant în rolurile principale de film” și premiile pentru cel mai bun actor în rol secundar de la Globurile de Aur, Cercul Criticilor de Film din Kansas City, National Board of Review of Motion Pictures, Societatea Națională a Criticilor de Film, precum și un premiu Tony pentru interpretarea sa originală de pe scenă cu șase ani înainte, ceea ce îl face unul dintre cele zece persoane care au câștigat atât un premiu Tony, cât și un premiu Oscar pentru același rol.
A jucat la The Muny din St. Louis, Missouri, în roluri precum George M. Cohan în George M! (1970 și 1992), Emcee în Cabaret (1971), și Joey Evans în Pal Joey (1983). La Festivalul de Teatru Williamstown, Grey a interpretat rolul principal în producția lor din Platonov (1977).
Grey a apărut ca membru al juriului pentru emisiunea de televiziune What’s My Line? în sezonul 1967, precum și ca primul invitat misterios în timpul sindicalizării acesteia în 1968. A fost vedeta invitată pentru cel de-al cincilea episod al emisiunii The Muppet Show din primul sezon al acesteia, în 1976, cântând „Razzle Dazzle” din Chicago și „Willkommen” din Cabaret. De asemenea, l-a interpretat pe Maestrul Sinanju Chiun, bătrânul maestru coreean de arte marțiale al lui Remo în filmul Remo Williams: The Adventure Begins (1985), rol care i-a adus un premiu Saturn și o a doua nominalizare la Globul de Aur pentru cel mai bun actor în rol secundar. Personajul lui Chiun a fost popular pentru replicile „Carnea de vacă ucide”, și „Te miști ca un iac gravid”, din film. În 1991, l-a interpretat pe Adam, un diavol, în ultimul episod al serialului de televiziune Dallas (1991). În același an, Grey a apărut și în producția „When We Dead Awaken” a American Repertory Theatre la Bienala din Sao Paulo. În 1993, a jucat în producția New York Stage & Film a lui John Patrick Shanley, A Fool and Her Fortune, și a primit o nominalizare la premiul Emmy pentru „Actor invitat remarcabil într-un serial de comedie” pentru rolul recurent al lui Jacob Prossman din serialul de televiziune Brooklyn Bridge. În 1995, a avut o apariție ca invitat în Star Trek: Voyager în rolul unui rebel în vârstă care încearcă să-și elibereze soția (decedată) din închisoare. În 1999, a jucat în spectacolul „Give Me Your Answer, Do!” de Brian Friel, montat de Roundabout Theatre Company.
În 2000, Grey l-a interpretat pe Oldrich Novy în filmul Dancer in the Dark și a avut roluri recurente la televiziune în Buffy the Vampire Slayer (în rolul demonului reptilian malefic Doc, 2001), Oz (în rolul lui Lemuel Idzik, 2003) și Alias (în rolul „Another Mr. Sloane”, 2005). A jucat rolul unui fost pușcăriaș bogat, eliberat condiționat, în serialul Law & Order: Criminal Intent (episodul „Cuba Libre”, 2003). Grey a fost, de asemenea, inițiatorul rolului Vrăjitorul din Oz în musicalul de succes de pe Broadway „Wicked”. A apărut, de asemenea, în serialele House și Brothers & Sisters (2007), în cel din urmă interpretând rolul Dr. Bar-Shalom, consilierul matrimonial al lui Sarah și Joe. A apărut în rolul profesorului de liceu al lui Izzie, care are nevoie de tratament pentru demență, în Grey’s Anatomy (2009).
Grey a revenit pe Broadway în primăvara anului 2011 în rolul lui Moonface Martin în reluarea piesei Anything Goes de la Roundabout Theatre Company, la Teatrul Stephen Sondheim. De asemenea, el l-a interpretat pe Ned în producția Off-Broadway din 1985 a piesei The Normal Heart a lui Larry Kramer, și a continuat să co-regizeze reluarea premiată cu un Tony Award în 2011.
.