Núi Kỳ Lân nhỏ nhưng có tới 5 cái hang. hang Tối dài 10m, hang sáng dài khoảng 30m chạy xuyên qua núi theo hướng Bắc - Nam. Hai bên thành hang, đá dựng đứng, phẳng lỳ như một giao thông hào rộng có thể đi lại qua được. Hang Ngang ở ngang núi có độ sâu 8m, hang Đền ở sát cạnh ngôi đền thờ bà Quận Chúa ở phía Tây-Bắc. Hang Trung là hang ở lưng trừng núi, sâu khoảng 10m, rộng mênh mông có thể chứa được cả trăm người.
Ở phía Bắc núi Kỳ Lân, có một cây cầu vòm bằng đá, bẩy nhịp , mặt cầu rộng 2m, dài trên 22m, cao 4m bắc qua hồ nước vào núi. Mỗi nhịp cầu là một phến đá lớn. Cây cầu đá này là của nhân dân xã Ninh Hải, huyện Hoa Lư làm vào năm 1973 làm tăng thêm vẻ đẹp của cảnh vật trong vùng. Núi Kỳ lân có nhiều loại cây đại thụ và cây cảnh như: lộc vừng, ruối,đa, chân chim, xanh trắng, si đỏ, đại vàng, thiên tuế, vạn tuế... Ngoài ra còn nhiều cây và dây leo trổ hoa mầu sắc đan xen với núi đá. ở đây có một số loài chim, thú nhỏ quý hiếm. Đó chính là một vườn tiên ở hạ giới đủ sắc mầu, đường nét, âm thanh.
Hiện nay núi kỳ lân là một vườn cảnh thiên nhiên độc đáo, đồng thời là công viên có hàng trăm cây cảnh, cây hoa, phong lan, đá cảnh, non bộ, góp phần làm cho Kỳ Lân thêm một nét đẹp mới.
Núi Kỳ Lân chính là một hòn non bộ ngoại mục do thiên nhiên tạo dựng bên hồ nước, lại được bàn tay và sức lao động của con người trang điểm đã trở thành thắng cảnh.