Ngay cả trong phong trào dân quyền, Baldwin, đôi khi, cảm thấy bị bỏ ngoài cuộc vì lựa chọn sống ở nước ngoài cũng như là giới tính mà ông đã công khai trong các bài viết vào thời điểm mà kì thị đồng tính lan rộng. 