1940年代初頭にクリーブランド・プレイハウスの児童演劇プログラム「カーテン・プラーズ」でキャリアをスタートし、「Grandmother Slyboots」「Jack of Tarts」などの作品に出演、メインステージの「On Borrowed Time」では主役を演じた。 1952年には、20歳でニューヨークのナイトクラブ「コパカバーナ」の看板役者として活躍した。
1950年代後半から1960年代前半にかけて、グレイは「マーベリック」（1959）「ブロンコ」（1960）や「法律家」（60、61年の3度）などのテレビ西部劇に出演しています。
1966年にはブロードウェイミュージカル「キャバレー」で司会者役を演じ、トニー賞を受賞した。 ブロードウェイでのその他の出演作には、『Come Blow Your Horn』（1961）、『Stop the World – I Want to Get Off』（1962）、『Half a Sixpence』（1965）、『ジョージ M！』（1966）などがある。 (1968), Goodtime Charley (1975), The Grand Tour (1979), Chicago (1996), Wicked (2003), Anything Goes (2011)がある。 1995 年 11 月には、『オズの魔法使い in コンサート』に魔法使い役で出演した。 1995 年 11 月、リンカーン・センターで行われた、子供防衛基金のために行われたこの人気物語のステージ・コンサート「Dreams Come True」に魔法使い役で出演した。 この公演は、1995年11月にターナー・ネットワーク・テレビジョン（TNT）で放送され、1996年にCDとビデオでリリースされました。
1972年映画版『キャバレー』で司会を演じたことにより1973年3月にアカデミー賞助演男優賞を受賞したGreyは、その演技で、1972年映画版『キャバレー』に出演しています。 彼の受賞は、ライザ・ミネリが主演女優賞、ボブ・フォッシーが監督賞を受賞した、キャバレーがほぼ独占状態にあったことの一部でしたが、アカデミー作品賞は「ゴッドファーザー」に奪われてしまいました。 この役でグレイは、BAFTA賞の「映画界をリードする最も有望な新人賞」、ゴールデングローブ賞、カンザスシティ映画評論家協会、全米映画評論家協会の助演男優賞、6年前のオリジナル舞台でトニー賞を受賞し、同じ役でトニー賞とアカデミー賞の両方を獲得したわずか10人の一人として知られています。
ミズーリ州セントルイスのザ・ミューニーで、『ジョージ・M！』のジョージ・M・コーハン役などを演じている。 (1970、1992)、『キャバレー』の司会者(1971)、『パル・ジョーイ』のジョーイ・エヴァンス(1983)などの役で出演している。
グレイは1967年のシーズンにテレビゲーム番組「ホワッツ・マイ・ライン」のパネリストとして出演し、1968年のシンジケーションでは最初のミステリーゲストとして登場した。 1976年の「マペット・ショー」第1シーズンの第5話ではゲスト出演し、「シカゴ」の「ラズル・ダズル」と「キャバレー」の「ウィルコメン」を歌った。 また、映画『レモ・ウィリアムズ／冒険の始まり』（1985年）では、レモの年老いた韓国武術の師匠、シナンジュ・チウン役を演じ、サターン賞とゴールデングローブ賞助演男優賞に2度目のノミネートをされた。 チウンのキャラクターは、映画の中の「牛の肉は殺す」、「妊娠したヤクのように動く」というセリフで人気を博した。 1991年、テレビシリーズ「ダラス」（1991年）の最終回で悪魔のアダムを演じた。 同年、グレイはサンパウロ・ビエンナーレでアメリカン・レパートリー・シアターが製作した『When We Dead Awaken』にも出演している。 1993 年には、ニューヨーク・ステージ & 映画のジョン・パトリック・シャンリー作『A Fool and Her Fortune』に出演し、テレビシリーズ『ブルックリン橋』のジェイコブ・ポーズマン役でエミー賞の「コメディシリーズにおける優秀ゲスト俳優」にノミネートされた。 1995 年には、『スター・トレック：ヴォイジャー』に、（亡くなった）妻を刑務所から解放しようとする老いた反逆者としてゲスト出演した。 1999 年、ラウンドアバウト・シアター・カンパニーが上演したブライアン・フリエル作『Give Me Your Answer, Do！』に主演した。
2000年には、。 映画『ダンサー・イン・ザ・ダーク』でオルドリッチ・ノヴィーを演じたほか、『バフィー・ザ・ヴァンパイア・スレイヤー』（邪悪な爬虫類の悪魔ドク役、2001年）、『オズ』（レミュエル・イジーク役、2003年）、『エイリアス』（「もうひとりのミスター」役）でレギュラーを務めている。 Sloane “役、2005年）。 Law & Orderでは、裕福で仮釈放された元囚人を演じた。 Criminal Intent」（エピソード「Cuba Libre」、2003年）で裕福な元囚人を演じる。 また、大ヒットしたブロードウェイミュージカル「ウィキッド」では、オズの魔法使いの役を担当した。 また、「House」や「Brothers」& Sisters（2007）にも出演し、後者ではサラとジョーの結婚カウンセラー、バーシャロン博士を演じた。
2011年春、スティーブン・ソンドハイム劇場で行われたラウンドアバウト・シアター・カンパニーの『エニシング・ゴーズ』のリバイバル公演で、ムーンフェース・マーティン役でブロードウェイに復帰した。 また、1985年にオフブロードウェイで上演されたラリー・クレイマーの『The Normal Heart』ではネッドを演じ、2011年にトニー賞を受賞したリバイバル版では共同監督を務めました
。