1941. aasta juulis sai Hickory Hillist Ameerika Ühendriikide ülemkohtu asekohtuniku Robert H. Jacksoni ja tema naise Irene kodu, kes müüsid Hickory Hill'i 1955. aastal pärast tema surma Ameerika Ühendriikide senaator John F. Kennedyle (D-Massachusetts) ja tema naisele Jacqueline'ile. Pärast 1956. aasta Demokraatliku Rahvusliku Konventsiooni
, maja müüdi John'i vennale Robert F. Kennedyle ja tema naisele Ethel'ile, kellel oli kasvav perekond (lõpuks üksteist last). Kui ta elas Hickory Hillis, sai Robert Kennedy 1961. aastal Ameerika Ühendriikide peaprokuröriks, 1965. aastal Ameerika Ühendriikide senaatoriks ja 1968. aastal presidendivalimiskandidaadiks.