Sử sách ghi lại, Tháp đá cổ Cẩm Duệ hay còn gọi là Am Tháp được xây dựng vào thế kỷ XVI tại xã Hoa Duệ, tổng Mỹ Duệ cũ, nay thuộc thôn Quang Trung, xã Cẩm Duệ, huyện Cẩm Xuyên. Ngôi tháp đá cổ thờ Lê Am, vị quan triều nhà Lê.
Lê Am tài giỏi, thông minh, có nhiều công trạng phò vua giúp nước nên được vua Lê Lợi ban đặc ân chọn sinh phần (khi còn sống được chọn phần đất để an táng). Lê Am đã chọn khu đất cao, gần sông Ngàn Mọ - nơi ông sinh thành (nay thuộc thôn Quang Trung, xã Cẩm Duệ), rộng hơn 2.000m2. Lê Am còn được vua sắc phong "Phúc thần đương cảnh thành hoàng làng Phương Cai".
Quần thể khu di tích ngoài tháp đá còn có điện thờ, tượng voi... Năm 2006, công trình được xếp hạng di tích kiến trúc nghệ thuật cấp quốc gia.
Tháp đá cấu trúc hình đồ vuông, cao hơn 3m, có 3 tầng (không kể bệ và chân), phía trước tháp đặt lư hương.
Quần thể khu di tích ngoài tháp đá còn có điện thờ, tượng voi...
Năm chữ Hán cổ "Thiên cơ thân đức tạo" được khắc trên vòm cửa hướng chính diện tại tầng 2, có ý nghĩa ca ngợi người đức độ, cần mẫn. Ba chữ khắc trên tầng 3 có nghĩa "tinh nhật nguyệt", ca ngợi tấm lòng của người xưa.
Năm chữ Hán được khắc tại tầng 2, "Thiên cơ thân đức tạo".
Hai pho tượng bằng đá được đặt tại tầng 2.
Hai cặp ngựa và voi bằng đá được đặt trước cổng vào tháp.
Tháp Am được tạo ghép bằng những phiến đá màu gan gà. Các phiến đá được ghép phẳng, vuông thành sắc cạnh, không có vữa lót kết dính nhưng gắn kết với nhau chắc chắn.
Nhìn từ trên xuống, tháp đá trông cổ kính, bắt mắt bởi kiến trúc nghệ thuật độc đáo, hiếm có.
Những bức tường nhuốm màu thời gian, rêu phong, cổ kính.
Từ khi xây dựng đến nay, tháp đá được trùng tu vào năm 2009 - 2011. Lực lượng chức năng đã làm mới điện thờ, xây cổng tam quan cùng hệ thống tường rào xung quanh bằng gạch nung.
Phía trên mái điện thờ chạm trổ, tạo hình rồng phượng.
Chính quyền đã cắt cử một gia đình ở xã trông coi, quét dọn tháp đá. Người dân cho biết, Am Tháp cổ rất linh thiêng.
Lãnh đạo UBND xã Cẩm Duệ (huyện Cẩm Xuyên) cho biết, Am Tháp đã được xây dựng hơn 500 năm về trước. Năm 2006, Am Tháp được xếp hạng là di tích kiến trúc nghệ thuật cấp quốc gia bởi có giá trị về mặt văn hóa, lịch sử, khoa học nghệ thuật.
Hằng năm, xã Cẩm Duệ đón hàng nghìn lượt khách về Am Tháp thắp hương, nghiên cứu lịch sử, tôn giáo.
