Europese zeelieden, voor wie de tempel een belangrijk monument was, waardoor ze zich konden vermijden van de gevaarlijke ondiepe gebieden van de kust van Orissa (ze hadden het bijna omgezet in een vuurtoren), noemden het de Zwarte Pagode om het te kunnen onderscheiden van de Witte Pagode van de wit geverfde Jaggannath Tempel van Puri verder onder de kust.
De tempel werd de Black Pagoda genoemd om het te onderscheiden.