Wie in vielen anderen Behinderteneinrichtungen wurden im Nationalsozialismus auch aus Rappertshofen im Jahr 1940 insgesamt 73 Menschen deportiert und in der Vernichtungsanstalt Grafeneck auf der Schwäbischen Alb ermordet.