إلى مسجد، واتخذ الولاة الأتراك القلعة مقرا لهم ولأسرتهم، وعندما استقل أحمد باشا القرهمانلي بحكم البلاد في سنة 1711م بذل هو وأسرته اهتماما خاصا بالحصون الدفاعية، وتضم القلعة في العهد القرهمانلي بناء خاصا لحاكم طرابلس به قاعة فسيحة يستقبل فيها الوفود وقنصل الدول الأجنبية، وكانت بالقلعة أيضا دار لصك العملة، وديوان القضاء، وصيدلية حكومية، وبعض المخازن والسجون والمطاحن. الاحتلال الإيطالي عندما استولت إيطاليا على طرابلس سنة 1911م، اتخذت السراي مقرا للحاكم العام، كما استعملت بعض أجزائها كمتاحف، وقد حدث في هذه الفترة تغييرات كثيرة داخل السراي، من أهمها إزالة بعض المباني الخارجية التي كانت ملاصقة لها، وشق الطريق الذي يؤدي إلى ميناء طرابلس، والأقواس الواقعة بالجانب الشمالي من سور القلعة، وفي عام 1919 تحولت القلعة إلى متحف للمرة الأولى في تاريخها. في البداية اكتفوا ببناء قديم
إِلَى مَسْجِدٍ، وَاتَّخَذَ الْوُلَاةُ الْأَتْرَاكُ الْقَلْعَةَ مَقَرًّا لَهُمْ وَلِأَسْرَتِهِمْ، وَعِنْدَمَا اسْتَقَلَّ أَحْمَدُ بَاشَا الْقَرَهْمَانْلِي بِحُكْمِ الْبِلَادِ فِي سَنَةِ 1711م بَذَلَ هُوَ وَأَسْرَتُهُ اهْتِمَامًا خَاصًّا بِالْحُصُونِ الدِّفَاعِيَّةِ، وَتَضُمُّ الْقَلْعَةَ فِي الْعَهْدِ الْقَرَهْمَانْلِي بِنَاءً خَاصًّا لِحَاكِمِ طَرَابُلُسَ بِهِ قَاعَةٌ فَسِيحَةٌ يَسْتَقْبِلُ فِيهَا الْوُفُودَ وَقُنَصُلَ الدُّوَلِ الْأَجْنَبِيَّةِ، وَكَانَتْ بِالْقَلْعَةِ أَيْضًا دَارٌ لِصَكِّ الْعُمْلَةِ، وَدِيوَانُ الْقَضَاءِ، وَصيدَلِيَّةٌ حُكُومِيَّةٌ، وَبَعْضُ الْمَخَازِنِ وَالسُّجُونِ وَالْمَطَاحِنِ. الْاحْتِلَالُ الْإِيْطَالِيُّ عِنْدَمَا اسْتَوَلَتْ إِيطَالِيَا عَلَى طَرَابُلُسَ سَنَةَ 1911م، اتَّخَذَتِ السَّرَايَ مَقَرًّا لِلْحَاكِمِ الْعَامِّ، كَمَا اسْتُعْمِلَتْ بَعْضُ أَجْزَائِهَا كَمَتَاحِفَ، وَقَدْ حَدَثَ فِي هَذِهِ الْفَتْرَةِ تَغْيِيرَاتٌ كَثِيرَةٌ دَاخِلَ السَّرَايَ، مِنْ أَهَمِّهَا إِزَالَةُ بَعْضِ الْمَبَانِي الْخَارِجِيَّةِ الَّتِي كَانَتْ مُلَاصِقَةً لَهَا، وَشَقُّ الطَّرِيقِ الَّذِي يُؤَدِّي إِلَى مِينَاءِ طَرَابُلُسَ، وَالْأَقْوَاسِ الْوَاقِعَةِ بِالْجَانِبِ الشَّمَالِيِّ مِنْ سُورِ الْقَلْعَةِ، وَفِي عَامِ 1919 تَحَوَّلَتِ الْقَلْعَةُ إِلَى مُتَحَفٍّ لِلْمَرَّةِ الْأُولَى فِي تَارِيخِهَا. فِي الْبِدَايَةِ ٱكْتَفَوْا بِبِنَاءٍ قَدِيمٍ