یکی از بناهای باشکوه مجموعه سعد آباد ساختمانی است که از سال  تا  محل استقرار وزارت دربار بوده و از سال  به عنوان موزه هنرهای زیبا مورد بهره‌برداری قرار گرفته‌است این موزه که هر روزه نظر بسیاری از هنردوستان را به خود جلب می‌کند در جنوبی‌ترین نقطه مجموعه سعد آباد واقع شده و دارای سه طبقه با  متر مربع زیر بناست ساختمان این عمارت مربوط به دوران رضا شاه است و از آنجا که در بنای آن از سنگ‌های مرمر سیاه رنگ استخراج شده از معدن ولی آباد چالوس به کار رفته‌است به کاخ اسود یا کاخ سیاه معروف بوده‌است