במהלך מלחמת העולם השנייה, הארמון הושמד בחלקו ביום הראשון של ההתקפה הגרמנית, במהלך הפצצות על בלגרד.
ב-6 באפריל 1941. חיילים גרמנים צילמו לעתים קרובות מול הבניין ההרוס. קבוצות ראשונות של יהודים נעצרו נשלחו על ידי הגרמנים כדי לנקות את ההריסות. בקרוב, החלה בניית הבניין מחדש, אך לא הושלמה עד אוקטובר 1944, כאשר העיר שוחררה, כאשר הכיפה נותרה הרוסה.