07/11/2023 23:44:37 - INFO - __main__ - Distributed environment: MULTI_GPU  Backend: nccl
Num processes: 4
Process index: 2
Local process index: 2
Device: cuda:2
Mixed precision type: fp16
Resolving data files: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 172/172 [00:00<00:00, 29910.87it/s]