Гоулберн был назван геодезистом Джеймсом Миханом в честь Генри Гоулберна, заместителя министра по делам войны и колоний, и это имя было утверждено губернатором Лахланом Маккуори.
Губернатор Лахлан Маккуори одобрил выбор имени.