I’m not sure I understand the use case correctly and what “feature” maps refer to in this case, but this might work:
a = torch.zeros(2, 3, 4)
a[1] = 1.

b = torch.ones(2, 3, 4) * 2
b[1] = 3

c = torch.cat((a, b), dim=1)
print(c)
> tensor([[[0., 0., 0., 0.],
           [0., 0., 0., 0.],
           [0., 0., 0., 0.],
           [2., 2., 2., 2.],
           [2., 2., 2., 2.],
           [2., 2., 2., 2.]],

          [[1., 1., 1., 1.],
           [1., 1., 1., 1.],
           [1., 1., 1., 1.],
           [3., 3., 3., 3.],
           [3., 3., 3., 3.],
           [3., 3., 3., 3.]]])


d = c.clone()
d = d.view(d.size(0), 2, d.size(1)//2, d.size(2)).permute(0, 2, 1, 3).contiguous().view_as(c)
print(d)
> tensor([[[0., 0., 0., 0.],
           [2., 2., 2., 2.],
           [0., 0., 0., 0.],
           [2., 2., 2., 2.],
           [0., 0., 0., 0.],
           [2., 2., 2., 2.]],

          [[1., 1., 1., 1.],
           [3., 3., 3., 3.],
           [1., 1., 1., 1.],
           [3., 3., 3., 3.],
           [1., 1., 1., 1.],
           [3., 3., 3., 3.]]])