Také se u něj naplno projevily ty nepoddajné vlastnosti, které jsou typické pro zrozence-playboye. Byl chronickým hráčem na dostihové dráze i na burze, kde pracoval jako poměrně průměrný makléř, a za hazardní hry byl vyloučen z přípravné školy Phillips Exeter. Patologicky se nezajímal o intelektuální ani kulturní dění a jeho studijní výsledky byly příšerné; na Yaleově univerzitě se specializoval na večírky (pořádal je i navštěvoval, v obou případech s krásnými dívkami) a byl nutkavým sukničkářem.
Black Jackovi bylo 37 let, když se konečně oženil s Janet Nortonovou Leeovou; pocházela z bezúhonného rodu WASP a byla bez námahy elegantní, ale také ocelová – říkalo se o ní, že má „železný rozmar“. Obecně se mělo za to, že se „vdala“, ale už na svatební cestě, při plavbě do Evropy na lodi Aquitania, se Black Jack pustil do lodního flirtu s newportskou dědičkou Doris Dukeovou. Později v Biarritzu okamžitě prohrál všechny jejich peníze v kasinu (Janet prokázala záviděníhodnou chladnokrevnost, sebrala zbylé drobné, sama se vydala k hracím stolům a všechno vyhrála zpět).
Pro Black Jacka byla Janet nóbl ozdobou, zejména na koni (vyhrávala ceny na výstavách po celém východě a na společenských stránkách byla oslavována za to, že nosí „nejchytřejší jezdecké hábity na Long Islandu“), ale nepodařilo se jí udělat výraznější díru do jeho přehnané sebeúcty. Nikdy nebyl šťastnější, než když stál před kamerou, uhlazoval si vlasy a upravoval kravatu tak akorát, liboval si ve svém instinktivním smyslu pro divadlo a ve svém ústředním postavení v záři reflektorů – tyto vlastnosti přenášel na své dcery Jackie a Lee, k nimž se choval spíš jako milenec než jako otec, flirtoval s nimi a rozdmýchával situaci tím, že jednu nebo druhou vyzdvihoval a extravagantně chválil – „Z Lee bude jednou opravdová glamour girl. Podívej se na ty její oči… a ty její sexy rty.“ nebo „Nevypadá Jackie úžasně? Dívka letos posbírala všechny ceny ve své třídě… a navíc je nejhezčí v ringu.“ Těmto výrokům se v rodině začalo říkat „vitamín P“.
Další důkaz, že se Black Jack vrozeně nehodí k rodinnému životu, nepřicházel pomalu – možná to byly sériové večírky pro showgirl, které pořádal, zatímco jeho žena a dcery byly na severu státu, nebo skutečnost, že se v New York Daily News objevila fotografie Janet s manželem, který za jejími zády otevřeně držel za ruku krásnou mladou ženu jménem Virginia Kernochanová – a v roce 1936 se odstěhoval do pokoje v hotelu Westbury; Nebyla to žádná velká potíž, protože jeho Polo Bar patřil k jeho oblíbeným místům schůzek. Definitivní rozchod byl oznámen v New York Daily Mirrorin v roce 1940 pod titulkem „Společenský makléř zažalován o rozvod“ s dalšími nelichotivými podrobnostmi – jmény, daty a fotografiemi – o jeho různých mimomanželských zásnubách. Black Jack byl nyní na útěku a propadal alkoholismu, který mu zabránil vést Jackie k oltáři na její svatbě s Johnem F. Kennedym v roce 1953 (místo ní měl tu čest její nevlastní otec Hugh Auchincloss) a který ho nakonec zabil. Když o čtyři roky později ve věku 66 let zemřel, byl už jen stínem svého někdejšího já – ale jakým. Nenapravitelný, nezdolný a vzorový pro celou řadu sebevědomých šviháků. „V lásce a válce je všechno spravedlivé,“ jak znělo jeho další životní motto, k němuž s potěšením dodával, kdo by to věděl lépe než já: „Protože všichni lidé jsou krysy.“