Distributed Data Parallel (DDP)Parallel의 종류model을 쪼개서 여러 개의 GPU로 뿌려주는 경우model이 너무 클 때 사용특정 layer는 part_1이 하고, 또 다른 특정 layer는 part_2가 하는 식임Model Parallel예시 코드class ModelParallel(nn.Module): def __init__(self, *args, **kwargs): super(ModelParallel, self).__init__() self.part_1 = nn.Sequential(...) self.part_2 = nn.Sequential(...) # put each part on a different device..
