Ngược dòng lịch sử, trên hòn đảo Ngọc vào thời Lý đã có một ngôi đền có tên là Ngọc Tượng, đến thời Trần đổi tên là Ngọc Sơn. Trải qua thăng trầm lịch sử, đền đã nhiều lần sụp đổ và được xây dựng lại.
Quần thể kiến trúc từ bờ hồ Hoàn Kiếm ra đảo Ngọc
Năm Tự Đức thứ 18 (1865), nhà nho Nguyễn Văn Siêu đứng ra tu sửa lại đền. Diện mạo đền Ngọc Sơn ngày nay về cơ bản vẫn được giữ nguyên từ đợt trùng tu của Nguyễn Văn Siêu.
Về tổng quan, ngôi đền là một quần thể kiến trúc gồm nhiều lớp kéo dài từ bờ hồ Hoàn Kiếm ra đảo Ngọc, hòa quyện với không gian cây xanh và kiến trúc của hồ Gươm.
Lớp kiến trúc đầu tiên là cổng Nghi Môn, được dựng với bốn cây cột xây bằng gạch và hai mảng tường lửng. Ở mỗi cột đều có đắp câu đối chữ Nho. Hai mảng tường ở hai bên có hai chữ Phúc, Lộc cỡ lớn, tô son như lời chúc mọi sự tốt lành.
Phía sau Nghi Môn, nằm phía bên phải là Tháp Bút, tòa tháp bằng đá cao 9 mét được dựng vào năm 1864 trên núi Độc Tôn. Đỉnh tháp hình ngọn bút lông dựng ngược, thân tháp có khắc ba chữ "Tả Thanh Thiên" (viết lên trời xanh), thể hiện chí khí của các bậc nho sĩ đương thời.
Từ Nghi Môn bước tiếp vào sẽ đến cổng thứ hai. Cổng này có hai bên trụ xây hai cửa nách giả kiểu hai tầng tám mái cong, mặt trước đắp nổi một bên là hình rồng với hai chữ Long Môn và một bên là hổ trắng với hai chữ Hổ Bảng.
Cánh cổng tiếp theo là Đài Nghiên, có dạng tam quan với ba vòm cửa cuốn. Đỉnh Đài Nghiên đặt một cái nghiên mực bằng đá. Tương truyền, vào một số thời khắc nhất định, bóng của đỉnh tháp bút sẽ “chấm” vào lòng nghiên mực trên Đài Nghiên.
Lối đi độc đạo cầu Thê Húc
Sau Đài Nghiên là cầu Thê Húc, lối đi độc đạo dẫn vào đền Ngọc Sơn. Cầu có 15 nhịp, mặt cầu lát ván, thành sơn màu đỏ sẫm, chữ Thê Húc được thếp vàng. Tên cầu nghĩa là giữ lại ánh sáng đẹp của mặt trời.
Qua cầu Thê Húc sẽ đến cánh cổng mang tên Đắc Nguyệt Lâu (lầu được trăng). Cổng xây hai tầng, tầng hai có hai mái, bốn mặt có những cửa sổ hình tròn. Hai bên cổng có hai bức tranh gắn bằng mảnh sứ vỡ, bên phải là bức Long Mã Hà Đồ, bên trái là bức Thần Quy Lạc Thư.
Khu đền chính của đền Ngọc Sơn có ba nếp nhà chính, từ ngoài vào trong gồm bái đường, trung đường và hậu cung.
Bái đường là nơi hành lễ đầu tiên. Trung đường là nơi thờ Văn Xương, Quan Vũ và Lã Tổ, những vị thần học vấn được các văn nhân, quan lại, nho sĩ theo quan niệm Nho giáo tôn thờ. Hậu cung được xây cao hơn bái đường và trung đường, là nơi thờ Trần Hưng Đạo, vị anh hùng dân tộc đã ba lần đại phá quân nguyên sang xâm lược nước ta ở thế kỉ 13.
Hai bên khu đền chính có hai gian chái, trong đó gian bên phải là nơi trưng bày hai tiêu bản rùa Hồ Gươm, sinh vật đặc biệt quý hiếm gắn liền với những giai thoại huyền bí về chuyện vua Lê Lợi trả gươm cho Rùa Thần.
Trong đền có một hệ thống hiện vật cổ phong phú với nhiều bia đá, chuông, khánh, tượng thờ, câu đối... có từ thời nhà Nguyễn. Ngoài các công trình kiến trúc, vẻ đẹp của đền Ngọc Sơn còn được tôn lên bởi rất nhiều cây cổ thụ bao quanh khuôn viên.
Với những giá trị lịch sử, văn hóa và kiến trúc đặc biệt, đền Ngọc Sơn cùng hồ Hoàn Kiếm đã được công nhận là di tích quốc gia đặc biệt của Việt Nam vào năm 2013.