Rinto Harahap
Pada tahun 1972, The Mercy’s memutuskan hijrah ke Jakarta. Bermula dari datangnya dewa penolong dari "tulang" ‘Herman Tobing (adik Ibu dari Erwin & Rinto Harahap). Ia menyurati mereka dan mengajak pindah ke Jakarta, berjanji akan mencarikan tempat wadah bermusiknya. Charles, Rizal, dan Rinto memanfaatkan kesempatan tersebut pertama kali. Erwin bersama Reynold pun bergabung dengan formasi yang telah lebih dulu merintis manggung di Jakarta, karena harus menyelesaikan masalah administrasi di Medan. Pada mulanya di ibukota mereka masih tampil di beberapa kelab malam, membawakan lagu-lagu yang mereka ciptakan sendiri. Kemudian mereka mengisi serangkaian show secara berkala di empat tempat, seperti Tropicana, LCC, Paprica, dan Mini Discotique. Kesempatan baik ini dimanfaatkan betul oleh The mercy’s dengan memperkenalkan lagu ciptaan mereka seperti ‘"Untukmu", "Hidupku sunyi", "Love" dll. Di tempat terakhir inilah, The Mercy's mampu menembus dominasi band asal kota-kota besar, seperti Jakarta dan Bandung. Mereka yang datang dari sebuah band lokal asal Medan menjadi band nasional sejajar dengan The Rollies, Gipsy, dan The Pros. Setelah di Jakarta, pasang surut yang melanda blantika musik Indonesia juga dirasakan oleh The Mercy's hingga periode kesempatan memasuki dunia rekaman. Rizal Arsyad kemudian memilih mengundurkan diri karena hendak meneruskan sekolahnya ke Jerman. Kepemimpinan The Mercy’s pada saat itu pun beralih kepada Erwin Harahap.
Rinto Harahap
Penyanyi yang melejitkan lagu Rinto pada awalnya adalah Eddie Silitonga lewat lagu ”Biarlah Sendiri” pada 1976, lantas Diana Nasution dengan "”Benci tetapi Rindu”" (1978). Pada 1979, Hetty Koes Endang mempulerkan "”Dingin”", Rita Butarbutar melengkingkan "”Seandainya Aku Punya Sayap”", dan Iis Sugianto (istri Rizal Arsyad yang juga mantan personel awal The Mercy's) dengan "”Jangan Sakiti Hatinya”". Satu benang merah yang menonjol dari lagu-lagu kondang tersebut adalah semuanya memerlukan nada-nada tinggi. Kemampuan mencapai nada tinggi adalah suatu hal yang sulit dilakukan oleh vokal Rinto selama bernyanyi dalam The Mercy’s. Lagu ciptaan Rinto dalam The Mercy’s, seperti "”Love”" dan "”Bunga Mawar”", perlu dinyanyikan berdua Rinto bersama Charles Hutagalung, vokalis dan pemain keyboards band tersebut. Charles melalap bagian nada-nada tinggi, seperti pada refrein lagu ”Bunga Mawar” dan ”Love”. Bagian lain dibawakan Rinto. Lewat Eddie Silitonga, Diana Nasution, Rita Butarbutar, dan Hetty Koes Endang, Rinto bisa leluasa menulis lagu yang melengking-lengking tinggi.