Rinto Harahap
Pada tahun 1972, The Mercy’s memutuskan hijrah ke Jakarta. Bermula dari datangnya dewa penolong dari "tulang" ‘Herman Tobing (adik Ibu dari Erwin & Rinto Harahap). Ia menyurati mereka dan mengajak pindah ke Jakarta, berjanji akan mencarikan tempat wadah bermusiknya. Charles, Rizal, dan Rinto memanfaatkan kesempatan tersebut pertama kali. Erwin bersama Reynold pun bergabung dengan formasi yang telah lebih dulu merintis manggung di Jakarta, karena harus menyelesaikan masalah administrasi di Medan. Pada mulanya di ibukota mereka masih tampil di beberapa kelab malam, membawakan lagu-lagu yang mereka ciptakan sendiri. Kemudian mereka mengisi serangkaian show secara berkala di empat tempat, seperti Tropicana, LCC, Paprica, dan Mini Discotique. Kesempatan baik ini dimanfaatkan betul oleh The mercy’s dengan memperkenalkan lagu ciptaan mereka seperti ‘"Untukmu", "Hidupku sunyi", "Love" dll. Di tempat terakhir inilah, The Mercy's mampu menembus dominasi band asal kota-kota besar, seperti Jakarta dan Bandung. Mereka yang datang dari sebuah band lokal asal Medan menjadi band nasional sejajar dengan The Rollies, Gipsy, dan The Pros. Setelah di Jakarta, pasang surut yang melanda blantika musik Indonesia juga dirasakan oleh The Mercy's hingga periode kesempatan memasuki dunia rekaman. Rizal Arsyad kemudian memilih mengundurkan diri karena hendak meneruskan sekolahnya ke Jerman. Kepemimpinan The Mercy’s pada saat itu pun beralih kepada Erwin Harahap.
Rinto Harahap
Menariknya, belum setahun terbentuk, grup ini sudah mendapat tawaran show di Malaysia. Ketika ada undangan untuk show di Penang, Malaysia pada tahun yang sama, Iskandar memutuskan tidak ikut. Ia memilih mengundurkan diri karena kuliahnya di Fakultas Kedokteran tidak mengizinkannya untuk meninggalkan bangku kuliah (Kini menjadi akhli bedah saraf). Posisinya lalu digantikan oleh Charles Hutagalung yang saat itu telah keluar dari bandnya sebelumnya Bhayangkara Nada. Formasi lengkap pemain The Mercy’s kemudian berubah adalah menjadi Erwin Harahap (Gitar Melody), Rinto Harahap (Gitar Bass), Rizal Arsyad (Gitar Rhythm), Reynold Panggabean (Drum), dan Charles Hutagalung (Keyboard, Organ). Dengan masuknya Charles, The Mercy’s menjadi sebuah band yang terasa berbeda dari sebelumnya. Ia memiliki kemampuan bermain keyboard yang baik serta kualitas suara yang bagus untuk ditampilkan sebagai "front line man". Posisi Rinto tidak lagi menjadi vokalis utama, namun masih kerap berbagi lagu dengan Charles untuk dibawakannya. Mereka melewatkan hampir tiap malam mengisi acara di Night Club Chusan Hotel di Malaysia. Pada tahun pertama terbentuk, The Mercy's memang masih berpetualang dari satu klub malam ke klub malam yang lain, mulai dari Medan hingga ke Penang, Malaysia.
Seusai kontraknya selama enam bulan, tepatnya pertengahan 1970, The Mercy's, kembali ke Medan melanjutkan aktivitas bermusiknya di pesta-pesta anak muda. Kemudian kelompok ini mendapat tawaran show di Vietnam di mana negara ini saat itu masih genting terjadi perang saudara dan nyawa adalah taruhannya. Hal ini tidak menyurutkan nyalinya mereka sebagai seorang yang profesional di bidangnya untuk melebarkan sayap untuk bisa diakui musiknya di negara lain. Dengan kondisi itu, di negara perantauan, menimbulkan naluri bakat menulis lagu dari salah satu personelnya. Charles saat dalam kesendiriannya mampu menorehkan bait demi bait menghasilkan lagu-lagu hebat, salah satunya berjudul ‘"Tiada Lagi"’ yang kelak hari melambungkan nama The Mercy’s ke puncak ketenaran. Dan, patut diacungi jempol bahwa sosok Charles Hutagalung yang selalu ceria, tetapi tetap mampu melahirkan lagu sentimental, seperti "“Tiada Lagi”" . Lewat tembang ini pula The Mercy's kelak menjadi sebuah supergroup yang diminati jutaan penggemarnya.