ปี พศ  โปรดฯ ให้ สมเด็จกรมพระยาดำรงราชนุภาพ ขณะนั้นยังทรงดำรงพระยศ พระเจ้าน้องยาเธอ พระองค์เจ้าดิศวรกุมาร ราชองค์รักษ์ ผู้บังคับการทหารมหาดเล็ก ทรงตั้งโรงเรียนขึ้นอีกแห่งหนึ่งเพื่อสอนผู้ที่จะมาเป็นนายสิบ นายร้อย ในกรมทหารมหาดเล็ก ด้วยมีนักเรียนเข้าเรียนเป็นจำนวนมากสถานที่ในกรมทหารมหาดเล็กมีไม่เพียงพอ จึงทรงพระราชทานพระตำหนักสวนกุหลาบ ให้ใช้เป็นโรงเรียนสำหรับทหารมหาดเล็ก ปีพศ  โดยนักเรียนส่วนใหญ่เป็นราชนิกูล และบุตรหลานของข้าราชการ