Ele começou sua carreira no programa de teatro infantil Cleveland Play House’s Curtain Pullers no início da década de 1940, aparecendo em produções como Grandmother Slyboots, Jack of Tarts e um papel principal em sua produção principal de On Borrowed Time. Em 1952, aos 20 anos de idade, ele estava aparecendo como ator de destaque na boate de Copacabana, em Nova York.
No final dos anos 50 e início dos anos 60, Grey apareceu em vários westerns de TV incluindo Maverick (1959), Bronco (1960) e Lawman (3 vezes em 1960 e 1961).
Grey originou o papel do Mestre de Cerimónias no Cabaré musical da Broadway em 1966, pelo qual ganhou um Prémio Tony. Os créditos adicionais da Broadway incluem Come Blow Your Horn (1961), Stop the World – I Want to Get Off (1962), Half a Sixpence (1965), George M! (1968), Goodtime Charley (1975), The Grand Tour (1979), Chicago (1996), Wicked (2003), e Anything Goes (2011). Em novembro de 1995, ele se apresentou como o Feiticeiro em The Wizard of Oz in Concert: Dreams Come True um concerto encenado da história popular no Lincoln Center para beneficiar o Fundo de Defesa das Crianças. A apresentação foi originalmente transmitida na Turner Network Television (TNT) em novembro de 1995, e lançada em CD e vídeo em 1996.
Grey ganhou um Oscar de Melhor Ator Coadjuvante em março de 1973 por sua performance como Mestre de Cerimônias na versão cinematográfica de 1972 do Cabaré. Sua vitória foi parte de um Cabaré quase varrido, que viu Liza Minnelli ganhar o prêmio de Melhor Atriz e Bob Fosse ganhar o de Melhor Diretor, embora tenha perdido o Oscar de Melhor Filme para O Padrinho. Por esse papel, Grey também ganhou um prêmio BAFTA por “The Most Promising Newcomer to Leading Film Roles” e os prêmios de Melhor Ator Coadjuvante dos Globos de Ouro, Círculo de Críticos de Cinema de Kansas City, Conselho Nacional de Revisão de Filmes, Sociedade Nacional de Críticos de Cinema, e um Prêmio Tony por sua performance original no palco seis anos antes, tornando-o uma das apenas dez pessoas que ganharam tanto um Prêmio Tony quanto um Oscar pelo mesmo papel.
Ele já se apresentou no The Muny em St. Louis, Missouri, em papéis como George M. Cohan em George M! (1970 e 1992), o Emcee em Cabaret (1971), e Joey Evans em Pal Joey (1983). No Festival de Teatro de Williamstown, Grey desempenhou o papel principal na sua produção de Platonov (1977).
Grey apareceu como painelista no programa de televisão What’s My Line? na temporada de 1967, além de ter sido o primeiro Mystery Guest durante a sua sindicação em 1968. Foi o convidado do quinto episódio de The Muppet Show na sua primeira temporada em 1976, cantando “Razzle Dazzle” de Chicago e “Willkommen” de Cabaret. Também interpretou Master of Sinanju Chiun, o velho mestre coreano de artes marciais de Remo no filme Remo Williams: The Adventure Begins (1985), papel que lhe valeu um Saturn Award e uma segunda indicação ao Globo de Ouro para Melhor Ator Coadjuvante. O personagem de Chiun era popular pelas falas “Meat of cow kill”, e “You move like a pregnant yak”, do filme. Em 1991, ele interpretou Adam, um diabo, no episódio final da série de televisão Dallas (1991). Nesse mesmo ano, Grey também apareceu na produção do American Repertory Theatre de When We Dead Awaken, na Bienal de São Paulo. Em 1993 ele estrelou no palco de Nova York & Produção cinematográfica de A Fool and Her Fortune de John Patrick Shanley e recebeu uma nomeação para “Outstanding Guest Actor in a Comedy Series” Emmy por seu papel recorrente como Jacob Prossman na série de televisão Brooklyn Bridge. Em 1995, ele fez uma aparição convidada no Star Trek: Voyager como um rebelde envelhecido procurando libertar sua (falecida) esposa da prisão. Em 1999, ele estrelou no filme “Give Me Your Answer, Do!”, de Brian Friel, montado pela Roundabout Theatre Company.
Em 2000, Grey interpretou Oldrich Novy no filme Dancer in the Dark e teve papéis recorrentes na televisão em Buffy the Vampire Slayer (como o demônio reptiliano malvado Doc, 2001), Oz (como Lemuel Idzik, 2003) e Alias (como “Outro Sr. Sloane”, 2005). Ele interpretou um ex-condenado rico e em liberdade condicional sobre a Lei & Ordem: Intenção criminosa (episódio “Cuba Libre”, 2003). Grey também originou o papel do Feiticeiro de Oz no sucesso musical Wicked da Broadway. Ele também apareceu nos shows House and Brothers & Sisters (2007), no último dos quais ele interpretou o papel do Dr. Bar-Shalom, Sarah e da conselheira matrimonial de Joe. Ele apareceu como professor da escola secundária de Izzie que precisa de tratamento para a demência no Grey’s Anatomy (2009).
Grey voltou à Broadway na primavera de 2011 como Moonface Martin na companhia de teatro Roundabout Theatre Company revival of Anything Goes no Stephen Sondheim Theatre. Ele também interpretou Ned na produção Off-Broadway de 1985 de The Normal Heart, de Larry Kramer, e continuou a co-dirigir o reavivamento premiado com o Tony Award em 2011.