TensorFlow Lite(TFLite) vs TensorRT 비교
TensorFlow Lite(TFLite) vs TensorRT 비교 두 기술 모두 AI 모델을 최적화하여 경량화 및 속도 향상을 목표로 하지만, 사용 목적과 동작 방식이 다르다. TensorFlow Lite (TFLite)TensorRT주요 목적모바일 및 엣지 디바이스에서 AI 모델을 위한 경량화NVIDIA GPU에서 딥러닝 모델을 최적화하여 실행 속도 향상지원 플랫폼Android, iOS, Raspberry Pi, 마이크로컨트롤러 등NVIDIA GPU 기반 시스템 (Jetson, 서버 GPU 등)모델 변환 방식Float → Quantization (8-bit, FP16)으로 변환, 경량화FP32 → FP16 또는 INT8 변환으로 속도 향상하드웨어 가속CPU, Edge TPU, GPU, DSP 등 다..
2025. 2. 27.
[pytorch/분산처리/디버깅노트] 배치사이즈 주의점 / 배치사이즈가 1일 때 분산처리 주의사항 / 에러 원인 및 해결방법
[pytorch/분산처리] 배치사이즈 주의점 / 배치사이즈가 1일 때 분산처리 주의사항 / 에러 원인 및 해결 방법 인고의 디버깅 끝에 알아낸 문제와 해결 과정 및 방법. 1. 문제현재 어떤 오픈소스 모델 학습 중에 있는데, 건드린게 없는데도 학습 시 에러가 발생했다.audio = audio.view(-1, 5, audio.shape[-1]) # [B, T, 128]RuntimeError: shape '[-1, 5, 128]' is invalid for input of size 256 해석하자면 audio 변수를 [b, 5, 128] 형태로 바꿀 수 없다는 것이다.audio 변수는 코드상으로는 [b*5, 128] 형태이기 때문에, [b, 5, 128]으로 당연히 바꿀 수 있는 것이었다. 그러나 특정 구간..
2025. 2. 18.
