Pokrywający powierzchnię 141 300 km kw. km, stan Nowy Jork położony jest w północno-wschodniej części Stanów Zjednoczonych.
Jak zaobserwowano na mapie, stan Nowy Jork ma zróżnicowaną geografię. Południowo-wschodnia część stanu jest zdominowana przez główne części systemu górskiego Appalachów, które rozciągają się również na stany Vermont, New Hampshire i południową Kanadę.
Większa część południowo-zachodniego Nowego Jorku jest pokryta niższymi pasmami Płaskowyżu Allegheny, podczas gdy góry Adirondack i Catskill pokrywają wschodnią trzecią część stanu. Masywne i najbardziej surowe Góry Adirondack, położone w północno-wschodniej części stanu, są głównym ukształtowaniem terenu Nowego Jorku. W tym silnie zalesionym regionie górskim leży najwyższy punkt stanu – Mount Marcy. Położona w zachodnio-centralnej części hrabstwa Essex, Góra Marcy wznosi się na wysokość 5,344ft (1,629m).
Stan ma prawie 300 mil połączonego frontu wzdłuż Wielkich Jezior Erie i Ontario. Nowy Jork posiada również wiele znaczących jezior, w tym łańcuch jezior Finger Lakes, jezioro George i jezioro Oneida. Jezioro Champlain stanowi naturalną granicę stanu z Vermont.
Najważniejsze rzeki stanu to Hudson, Genesee, Mohawk i Black River. Rzeka Delaware stanowi część południowej granicy z Pensylwanią, natomiast rzeka Świętego Wawrzyńca (droga morska) stanowi część północnej granicy stanu z Kanadą.
Zrobiony przez człowieka Kanał Erie łączy wody jeziora Erie na zachodzie z rzeką Hudson na wschodzie. W momencie budowy był on cudem inżynierii, a niektórzy nazywali go „ósmym cudem świata”. W skład systemu wchodzą trzy oddzielne wodospady: Horseshoe Falls (lub Canadian Falls), American Falls oraz mniejszy, przylegający do niego Bridal Veil Falls.
Atlantyckie Równiny Nadbrzeżne w południowej części stanu obejmują wiele mniejszych wysp stowarzyszonych, a także Long Island, Manhattan Island, Staten Island, Nowy Jork oraz dolinę rzeki Hudson. Najniższy punkt stanu znajduje się na Oceanie Atlantyckim (0ft).