Suku Batak
Konflik terbesar adalah pertentangan antara masyarakat bagian utara Tapanuli dengan selatan Tapanuli, mengenai identitas Batak dan Mandailing. Bagian utara menuntut identitas Batak untuk sebagain besar penduduk Tapanuli, bahkan juga wilayah-wilayah di luarnya. Sedangkan bagian selatan menolak identitas Batak, dengan bertumpu pada unsur-unsur budaya dan sumber-sumber dari Barat. Penolakan masyarakat Mandailing yang tidak ingin disebut sebagai bagian dari etnis Batak, sempat mencuat ke permukaan dalam Kasus Syarikat Tapanuli (1919-1922), Kasus Pekuburan Sungai Mati (1922), dan Kasus Pembentukan Propinsi Tapanuli (2008-2009).
Suku Mandahiling
Dalam [[bahasa Minangkabau]], Mandailing juga bisa diartikan sebagai "mande hilang" yang bermaksud "ibu yang hilang". Oleh karenanya ada pula anggapan berdasarkan silsilah, yang mengatakan bahwa masyarakat Mandailing berasal dari [[Kerajaan Pagaruyung]] di Minangkabau. Itu sebabnya bahasa Melayu dialek Minangkabau masih dikenal luas sebagai bahasa asli di wilayah-wilayah penyebaran etnis Mandailing di Sumatera.