Li Ji wurde als Sohn einer wohlhabenden Familie in der Provinz Hubei geboren. 1918 ging er in die Vereinigten Staaten und nahm ein Studium der Anthropologie bei Roland Dixon und Earnest Hooton an der Harvard University auf.