Er wies auch all die widerspenstigen Eigenschaften auf, die dem Spross eines Playboys eigen sind. Er war ein chronischer Spieler, sowohl auf der Rennbahn als auch an der Börse, wo er als mittelmäßiger Börsenmakler arbeitete, und wurde wegen Glücksspiels von seiner Privatschule, Phillips Exeter, verwiesen. Er war krankhaft uninteressiert an intellektuellen oder kulturellen Aktivitäten, und seine akademischen Leistungen waren miserabel; in Yale gab er vor allem Partys (sowohl als Gastgeber als auch als Besucher, mit einer Menge hübscher Mädchen im Schlepptau) und war ein zwanghafter Frauenheld.
Black Jack war 37, als er schließlich Janet Norton Lee heiratete; sie stammte aus tadellosen WASP-Verhältnissen und war mühelos schick, aber auch stählern – sie wurde als „eiserne Laune“ beschrieben. Es wurde allgemein davon ausgegangen, dass sie „verheiratet“ war, aber schon in den Flitterwochen, als sie auf der Aquitania nach Europa segelten, flirtete Black Jack an Bord mit der Newport-Erbin Doris Duke. Später, in Biarritz, verlor er prompt ihr gesamtes Geld im Kasino (Janet, die eine beneidenswerte Gelassenheit an den Tag legte, sammelte das restliche Kleingeld ein, ging selbst an die Spieltische und gewann alles zurück).
Für Black Jack war Janet eine stilvolle Zierde, vor allem auf dem Pferderücken (sie gewann Preise auf Turnieren im ganzen Osten und wurde in den Gesellschaftsseiten dafür gefeiert, dass sie „die schicksten Reitklamotten in Long Island“ trug), aber sie vermochte es nicht, sein überzogenes Selbstwertgefühl nennenswert zu beeinträchtigen. Nie war er glücklicher als vor der Kamera, wo er sein Haar glättete und seine Krawatte zurechtrückte und in seinem instinktiven Sinn für Theater und seine zentrale Stellung im Rampenlicht schwelgte – Qualitäten, die er an seine Töchter Jackie und Lee weitergab, für die er sich mehr wie ein Liebhaber als wie ein Vater verhielt, mit ihnen flirtete und die Dinge anheizte, indem er die eine oder andere mit extravaganten Lobeshymnen bedachte – „Lee wird eines Tages ein richtiges Glamourgirl sein. Sieh dir nur diese Augen an… und diese sexy Lippen“ oder „Sieht Jackie nicht fantastisch aus? Das Mädchen hat dieses Jahr alle Preise in ihrer Klasse gewonnen… und sie ist obendrein das hübscheste Ding im Ring.“ Diese Ergüsse wurden in der Familie als „Vitamin P“ bekannt.
Weitere Beweise dafür, dass Black Jack für das Familienleben ungeeignet war, ließen nicht lange auf sich warten – vielleicht waren es die serienmäßigen Showgirl-Partys, die er veranstaltete, während seine Frau und seine Töchter im Norden des Landes waren, oder die Tatsache, dass ein Bild von Janet in der New York Daily News erschien, auf dem ihr Mann offen hinter ihrem Rücken die Hand einer hübschen jungen Frau namens Virginia Kernochan hielt – und 1936 zog er in ein Zimmer im Westbury Hotel; kein großes Problem, denn die Polo Bar war einer seiner bevorzugten Treffpunkte für Verabredungen. Die endgültige Trennung wurde 1940 im New York Daily Mirror unter der Überschrift „Society Broker Sued for Divorce“ bekannt gegeben, mit weiteren unerfreulichen Details – Namen, Daten, Fotos – seiner verschiedenen außerehelichen Eroberungen. Black Jack war nun auf dem Rückzug und erlag dem Alkoholismus, der ihn daran hindern sollte, Jackie bei ihrer Hochzeit mit John F. Kennedy 1953 zum Altar zu führen (ihr Stiefvater, Hugh Auchincloss, gab sich stattdessen die Ehre), und der ihn schließlich umbringen sollte. Als er vier Jahre später im Alter von 66 Jahren starb, war er nur noch ein Schatten seiner selbst – aber was für einer. Unverbesserlich, unbezähmbar und ein Vorbild für eine ganze Legion von selbstbewussten Dandys in spe. „In der Liebe und im Krieg ist alles erlaubt“, so lautete sein anderes Lebensmotto, dem er mit lächelndem Wer-wüsste-was-besser-als-ich-Genuss hinzufügen würde: „Denn alle Menschen sind Ratten.“