Sau khi ông mất, nhà Lê đã cho xây Am Tháp này để người dân hương khói. Trải qua hơn 500 năm, tháp đá vẫn được giữ nguyên. Am Tháp có ba tầng, cao hơn 3 m, được ghép từ những tấm đá nguyên khối. Bao quanh tháp là hệ thống tường dày khoảng 1 m, cao 1,2 m, được xây bằng gạch gồ (loại gạch nung riêng dùng xây đền chùa trước đây).