Pemberontakan Heiji
Nobuyori melihat kesempatan emas untuk memberontak setelah pemimpin kekuatan militer faksi Shinzei, Taira no Kiyomori pergi berziarah ke Kumano. Setelah mendapat restu dari faksi Kaisar Nijō, pasukan klan Minamoto yang dipimpin Nobuyori dan Yoshitomo menyerang Istana Sanjō dan menculik Kaisar Nijō. Setelah itu, Nobuyori dan Yoshitomo menyerang istana mantan kaisar, dan menahan Go-Shirakawa. Shinzei melarikan diri dan bersembunyi di gunung, namun akhirnya ditemukan oleh Minamoto no Mitsuyasu dan dibunuh.
Puri Himeji
Istana Himeji lalu dijual secara lelang. Lelang dimenangkan seorang penduduk yang tinggal di Yonedamachi (masih sekitar lingkungan istana) dengan harga 23 yen 50 sen. Pemenang lelang cuma bermaksud mencari keuntungan dengan menjual genteng-genteng istana. Pekerjaan membongkar genteng ternyata memakan banyak biaya sehingga genteng tidak jadi dijual dan istana dibiar-biarkan begitu saja. Hak kepemilikan istana lalu dihapus dengan alasan pemilik menelantarkan istana yang sudah dibeli. Tiba-tiba pada tahun 1927, menurut berita di suatu surat kabar, ada orang yang mengaku sebagai anak laki-laki pemenang lelang bermaksud menuntut hak kepemilikan Istana Himeji, tetapi menurut surat kabar lain yang terbit beberapa hari kemudian, tuntutan itu ternyata sama sekali tidak beralasan .