Đầu những năm 1800, vua Gia Long xây một công trình nhỏ là Bảng đình (đình treo bảng), đến năm 1819 mới thay bằng tòa nhà hai tầng, gọi là Phu Văn lâu. Đây là nơi triều đình nhà Nguyễn niêm yết chỉ dụ quan trọng của vua hoặc kết quả các cuộc thi Hội, Đình do triều đình tổ chức. Cạnh đó, những buổi lễ lớn cũng được tổ chức nơi đây với sự góp mặt của vua, quan và bá tánh. Cũng vì tính trang trọng nên hai bên lầu có hai bia đá với hàng chữ "Khuynh cái hạ mã" nhắc mọi người đi ngang phải "Nghiêng lọng, xuống ngựa".
Công trình cao khoảng 12 m, mái lợp ngói hoàng lưu ly (ngói ống tráng men vàng, loại ngói lợp những công trình nằm trên trục chính của Kinh thành), 16 cột đỏ sậm (4 cột chính cao 8 m chống qua hai tầng, xung quanh là 12 cột phụ). Tầng dưới trống, tầng trên bốn mặt có 2 cửa sổ vuông, tròn (trời tròn, đất vuông) đối xứng từng cặp, chạy quanh là hệ lan can gỗ. Nóc lầu có đắp lưỡng long chầu nguyệt (hai rồng chầu trăng).
Ca dao có câu: Ngọ Môn năm cửa chín lầu/Cột cờ ba bậc, Phu Văn lâu trước thành. Có giả thuyết rằng trên trục chính của Kinh thành Huế từ ngoài vào trong sẽ đi từ núi Ngự Bình (làm tiền án, có thể tượng trưng cho Thái Cực), Phu Văn lâu (hai tầng, tượng trưng cho Lưỡng Nghi), Cột cờ (ba bậc tượng trưng cho tam tài: thiên, địa, nhân), Ngọ môn (năm cửa tượng trưng cho ngũ hành: kim, mộc, thủy, hỏa, thổ).
Dù đã qua rất nhiều lần trùng tu, nhưng về cơ bản kiến trúc công trình vẫn không thay đổi nhiều (một số cột kèo gỗ đã được thay bằng bê tông). Ngoài ra, hình Phu Văn lâu còn được in trên tờ tiền mệnh giá 50.000 đồng phát hành năm 2003.