Az ivadék-playboyra jellemző visszahúzódó tulajdonságok teljes skáláját megmutatta. Krónikus szerencsejátékos volt mind a lóversenypályán, mind a tőzsdén, ahol meglehetősen középszerű brókerként dolgozott, és szerencsejáték miatt kirúgták az előkészítő iskolából, a Phillips Exeterből. Patologikusan érdektelen volt az intellektuális és kulturális törekvések iránt, és tanulmányi eredményei siralmasak voltak; a Yale-en a partik voltak a fő szakterülete (partikat adott és részt vett rajtuk, csinos lányok seregével), és megrögzött nőcsábász volt.
Fekete Jack 37 éves volt, amikor végül feleségül vette Janet Norton Lee-t; a nő kifogástalan WASP családból származott, és könnyedén elegáns volt, de ugyanakkor acélos is – úgy jellemezték, hogy “vasból van a szeszélye”. Általánosságban úgy tartották, hogy “felnősült”, de még a nászútjukon is, amikor az Aquitanián Európába hajóztak, Black Jack a fedélzeten flörtölni kezdett a Newport örökösnőjével, Doris Duke-kal. Később, Biarritzban a férfi azonnal elvesztette az összes pénzüket a kaszinóban (Janet irigylésre méltó hidegvérrel összeszedte a maradék aprópénzt, maga ment el a játékasztalokhoz, és visszanyerte az egészet).
Fekete Jack számára Janet előkelő dísz volt, különösen lóháton (díjakat nyert a keleti parton rendezett bemutatókon, és a társasági oldalakon “Long Island legokosabb lovaglóruháját” ünnepelték), de túlzó önbecsülésén nem tudott jelentős csorbát ejteni. Soha nem volt boldogabb, mint amikor a kamera előtt állt, simogatta a haját és igazgatta a nyakkendőjét, élvezte ösztönös színházi érzékét és a reflektorfényben elfoglalt központi helyét – ezeket a tulajdonságait átadta lányainak, Jackie-nek és Lee-nek, akikkel szemben inkább szeretőként, mint apaként viselkedett, flörtölt velük és felbolygatta a dolgokat azzal, hogy egyiket vagy másikat extravagáns dicséretekkel illette – “Lee egy nap igazi glamour girl lesz. Nézd csak azokat a szemeket… és azokat a szexi ajkakat!” vagy “Hát nem fantasztikusan néz ki Jackie? A lány idén minden díjat elvitt az osztályában… és ráadásul ő a legszebb a ringben”. Ezek az ömlengések a családban “P-vitamin” néven váltak ismertté.
Az újabb bizonyíték arra, hogy Black Jack veleszületetten alkalmatlan volt a családi életre, nem késett sokáig – talán a sorozatos showgirl-partik, amelyeket rendezett, amíg a felesége és a lányai az államban voltak, vagy az a tény, hogy a New York Daily Newsban megjelent egy kép Janetről, amelyen a férje nyíltan a háta mögött fogta egy Virginia Kernochan nevű csinos fiatal nő kezét -, és 1936-ban kiköltözött a Westbury Hotel egyik szobájába; ami nem jelentett nagy nehézséget, mivel a Polo Bar volt az egyik kedvenc randevúhelye. A végső szakítást a New York Daily Mirror 1940-ben jelentette be a “Society Broker perelt válásért” cím alatt, további nem túl üdvös részletekkel – nevekkel, dátumokkal, fényképekkel – különböző házasságon kívüli hódításairól. Black Jack mostanra már az alkoholbetegségnek engedett, ami megakadályozta, hogy 1953-ban John F. Kennedyvel kötött esküvőjén Jackie-t az oltárhoz kísérje (helyette mostohaapja, Hugh Auchincloss adta át a tiszteletet), és ami végül a halálát okozta. Négy évvel később, 66 éves korában bekövetkezett halálakor már csak árnyéka volt korábbi önmagának – de micsoda önmagának. Javíthatatlan, fékezhetetlen, és példaképe volt a várakozó dandyk légiójának. “A szerelemben és a háborúban minden szép és jó” – szólt a másik életmottója, amit ő maga is hozzátett, szájbarágós, ki-ki-ismeri-jobban-mint-magam élvezettel: “Mert minden ember patkány.”