I did the following:
model = Net(model1, model2)
optimizer = optim.SGD([{'params': model.model1.parameters(), 'lr': 1e-4},
                    {'params': model.model2.parameters(), 'lr': 1e-4},
                    {'params': model.classifier.parameters(), 'lr': 0.1}],)