Rinto Harahap
Pada tahun 1972, The Mercy’s memutuskan hijrah ke Jakarta. Bermula dari datangnya dewa penolong dari "tulang" ‘Herman Tobing (adik Ibu dari Erwin & Rinto Harahap). Ia menyurati mereka dan mengajak pindah ke Jakarta, berjanji akan mencarikan tempat wadah bermusiknya. Charles, Rizal, dan Rinto memanfaatkan kesempatan tersebut pertama kali. Erwin bersama Reynold pun bergabung dengan formasi yang telah lebih dulu merintis manggung di Jakarta, karena harus menyelesaikan masalah administrasi di Medan. Pada mulanya di ibukota mereka masih tampil di beberapa kelab malam, membawakan lagu-lagu yang mereka ciptakan sendiri. Kemudian mereka mengisi serangkaian show secara berkala di empat tempat, seperti Tropicana, LCC, Paprica, dan Mini Discotique. Kesempatan baik ini dimanfaatkan betul oleh The mercy’s dengan memperkenalkan lagu ciptaan mereka seperti ‘"Untukmu", "Hidupku sunyi", "Love" dll. Di tempat terakhir inilah, The Mercy's mampu menembus dominasi band asal kota-kota besar, seperti Jakarta dan Bandung. Mereka yang datang dari sebuah band lokal asal Medan menjadi band nasional sejajar dengan The Rollies, Gipsy, dan The Pros. Setelah di Jakarta, pasang surut yang melanda blantika musik Indonesia juga dirasakan oleh The Mercy's hingga periode kesempatan memasuki dunia rekaman. Rizal Arsyad kemudian memilih mengundurkan diri karena hendak meneruskan sekolahnya ke Jerman. Kepemimpinan The Mercy’s pada saat itu pun beralih kepada Erwin Harahap.
Rinto Harahap
Tahun 1978, Charles Hutagalung & Albert Sumlang kembali bergabung ke dalam The Mercy’s dan mereka melakukan rekamannya yang terakhir. Album Mimpi, tercatat sebagai album terakhir mereka dengan formasi lengkap setelah kembalinya Charles dan Albert yang dirilis pada tahun itu. Setelah The Mercy's menyelesaikan album tersebut, para anggota mengalami situasi kejenuhan. Anggota The Mercy’s memulai kegiatannya masing-masing di luar group. Charles Hutagalung sibuk bersolo karier, Erwin Harahap memilih berprofesi sebagai pengusaha jalur Produser Rekaman dengan mendirikan perusahaan sendiri. Reynold Panggabean memutuskan mendirikan group musik sendiri beraliran dangdut yaitu Orkes Melayu Tarantula. Sementara Albert Sumlang sibuk membantu album solo penyanyi lain. Rinto Harahap menjadi penyanyi solo, mendirikan band Lolypop, dan perusahaan rekaman, mencipta lagu, dan mengorbitkan penyanyi-penyanyi.
Setelah rilis album itu praktis The Mercy's vakum dari dunia rekaman dan pada akhirnya berujung selesainya riwayat band legendaris The Mercy’s. The Mercy’s tercatat telah merekam sebanyak 40 Album yang dihasilkannya mulai dari album Pop, Keroncong, Pop Anak-anak, dan Rohani yang rata-rata sukses serta digemari masyarakat luas. Rinto Harahap selalu mengungkapkan bahwa sebenarnya The Mercy's masih ada dan dari mereka pun belum ada pernyataan resmi bubar. Namun, tidak dapat dimungkiri The Mercy's dikenal karena keberadaan Charles Hutagalung dan mereka ini hanya sebagai pelengkap saja.