num_workers

PyTorch의 num_workers는 어떤 것을 의미할까?

torch.utils.data.Dataset의 데이터를 GPU로 전송할 때 필요한 전처리 수행 시 사용하는 subprocess의 개수를 의미한다.

당연히 num_workers를 늘리면 병렬처리를 통해 더 빠르게 GPU로 정보를 전달할 수 있지만, 다른 일을 수행하는데 방해가 되어 결과적으로 시간 상 이득을 못 볼 수도 있다.