[pytorch/분산처리/디버깅노트] 배치사이즈 주의점 / 배치사이즈가 1일 때 분산처리 주의사항 / 에러 원인 및 해결방법
[pytorch/분산처리] 배치사이즈 주의점 / 배치사이즈가 1일 때 분산처리 주의사항 / 에러 원인 및 해결 방법 인고의 디버깅 끝에 알아낸 문제와 해결 과정 및 방법. 1. 문제현재 어떤 오픈소스 모델 학습 중에 있는데, 건드린게 없는데도 학습 시 에러가 발생했다.audio = audio.view(-1, 5, audio.shape[-1]) # [B, T, 128]RuntimeError: shape '[-1, 5, 128]' is invalid for input of size 256 해석하자면 audio 변수를 [b, 5, 128] 형태로 바꿀 수 없다는 것이다.audio 변수는 코드상으로는 [b*5, 128] 형태이기 때문에, [b, 5, 128]으로 당연히 바꿀 수 있는 것이었다. 그러나 특정 구간..
2025. 2. 18.