Wykazywał też pełen zestaw cech charakterystycznych dla potomka-playboya. Był chronicznym hazardzistą zarówno na torze wyścigowym, jak i na giełdzie, gdzie pracował jako dość mierny makler, i został wyrzucony za hazard ze swojej szkoły przygotowawczej Phillips Exeter. Był patologicznie niezainteresowany intelektualnymi i kulturalnymi doznaniami, a jego wyniki w nauce były fatalne; w Yale specjalizował się w przyjęciach (zarówno w wydawaniu, jak i uczestniczeniu w nich, z mnóstwem pięknych dziewczyn w zanadrzu) i był nałogowym kobieciarzem.
Black Jack miał 37 lat, kiedy w końcu ożenił się z Janet Norton Lee; pochodziła z nieskazitelnego rodu WASP i była bez wysiłku szykowna, ale też nieustępliwa – opisywano ją jako mającą „żelazny kaprys”. Powszechnie uważano, że „wyszła za mąż”, ale nawet podczas ich miesiąca miodowego, gdy płynęli do Europy statkiem Aquitania, Black Jack wdał się w pokładowy flirt z dziedziczką z Newport, Doris Duke. Później, w Biarritz, szybko stracił wszystkie ich pieniądze w kasynie (Janet, wykazując godną pozazdroszczenia sangfroidę, zebrała pozostałe resztki, poszła do stołów do gry i wygrała wszystko z powrotem).
Dla Black Jacka, Janet była klasyczną ozdobą, szczególnie na koniu (wygrywała nagrody na pokazach na całym wschodzie i była fetowana na stronach towarzyskich za noszenie „najmądrzejszych strojów do jazdy konnej na Long Island”), ale nie udało jej się zrobić znaczącej dziury w jego przesadnym poczuciu własnej wartości. Nigdy nie był szczęśliwszy niż przed kamerą, wygładzając włosy i dopasowując krawat, rozkoszując się instynktownym wyczuciem teatru i centralnym miejscem w świetle reflektorów – cechy, które przekazywał swoim córkom Jackie i Lee, wobec których zachowywał się bardziej jak kochanek niż ojciec, flirtując z nimi i podsycając sytuację poprzez wyróżnianie jednej lub drugiej ekstrawagancką pochwałą – „Lee będzie kiedyś prawdziwą glamour girl. Spójrzcie na te jej oczy… i te seksowne usta” lub „Czyż Jackie nie wygląda wspaniale? Dziewczyna zgarnęła wszystkie nagrody w swojej klasie w tym roku… a do tego jest najładniejsza na ringu”. Te wylewne opinie stały się znane w rodzinie jako „Witamina P”.
Dalszy dowód na to, że Black Jack był wrodzenie nieprzystosowany do życia rodzinnego nie nadciągał powoli – być może były to seryjne przyjęcia z udziałem showgirl, które urządzał, gdy jego żona i córki były w stanie upstate, lub fakt, że zdjęcie Janet pojawiło się w New York Daily Newswith z jej mężem otwarcie trzymającym za plecami rękę ładnej młodej kobiety o imieniu Virginia Kernochan – i w 1936 roku wyprowadził się do pokoju w hotelu Westbury; Nie było to wielką trudnością, gdyż Polo Bar był jednym z jego ulubionych miejsc schadzek. Ostateczne zerwanie zostało ogłoszone w nowojorskim Daily Mirror w 1940 roku, pod nagłówkiem „Broker towarzyski pozwany o rozwód”, wraz z dalszymi przerażającymi szczegółami – nazwiskami, datami, zdjęciami – jego różnych pozamałżeńskich podbojów. Black Jack był teraz w zatoce, poddając się alkoholizmowi, który uniemożliwił mu poprowadzenie Jackie do ołtarza na jej ślubie z Johnem F. Kennedym w 1953 roku (zamiast niego honory czynił jej ojczym, Hugh Auchincloss), a który w końcu go zabił. W chwili śmierci, cztery lata później, w wieku 66 lat, był już tylko cieniem dawnego siebie – ale za to jakim sobą. Niepoprawny, niepokorny i wzór do naśladowania dla całego legionu zarozumiałych dandysów w oczekiwaniu. „Wszystko jest sprawiedliwe w miłości i na wojnie”, jak głosiło jego inne motto życiowe, do którego dodałby z rozkosznym uśmiechem, kto wie lepiej niż ja: „Bo wszyscy ludzie to szczury”
.