Đền ở làng Thần Đầu, nay là xã Kỳ Phương, nên sử sách thường chép là “Đền Thần Đầu”, còn dân gian thì gọi là “Đền hai quan Trạng”. Thực ra, ở Thần Đầu có 3 ngôi đền khác nhau: “Lãm sơn tiên sinh từ” thờ Lê Quảng Chí (1451-1533), “Bảng quận công từ” thờ Lê Quảng Ý (1453-1526). Hai ngôi đền này do dân làng Thần Đầu lập nên sau khi hai ông mất. Xưa có câu đối ca ngợi:

“Nhất môn khoa giáp nan huynh đệ,
Song miếu anh linh tự cổ kim”.
Thái Kim Đỉnh dịch:
Khoa giáp một nhà ai bác, chú?
Anh linh hai miếu tự xưa nay.

Về sau, xã Hoằng Lệ, tổng Hoằng Lệ (nay là các xã Kỳ Nam, Kỳ Phương) lập thêm ngôi đền thờ ở gần mộ hai ông, ven đường quốc lộ cạnh “cầu Thánh Trạng”. Đời Tự Đức, sứ Tàu là Lao Sùng Quang qua đây có đề hai câu:

“Thùy gia hảo huynh đệ - Song miếu uất tinh linh”.
Đặng Chu Kình dịch:
Anh em danh tiếng một nhà,
Tinh linh hai miếu sáng lòa nghìn thu

Mộ Lê Quảng Chí - Lê Quảng Ý

Lê Quảng Chí – Lê Quảng Ý là hai anh em ruột quê ở làng Thần Đầu, phủ Hà Hoa; nay là xã Kỳ Phương, huyện Kỳ Anh. Cách đây khoảng 500 năm về trước, hai anh em họ Lê đã làm sáng danh cho quê hương xứ sở bằng trí thông minh và đức tính cần cù.
Sinh ra trong một gia đình nghèo khổ, không có điều kiện học hành nên buộc phải đi ở nhờ cho một nhà giàu, hai anh em vô cùng vất vả; song với tấm lòng hiếu học, trí thông minh trời phú, vào lúc tối trời khi công việc gia chủ giao cho đã xong, hai anh em bắt đom đóm bỏ vào lọ thủy tinh làm đèn học. Do học một biết mười, càng học càng giỏi, có những lúc để vượt qua cái đói hàng ngày, họ vừa học vừa đùa vui. Một lần Lê Quảng Chí ra câu đối:
Sáng khoai, trưa khoai, khoai một rổ.
Anh vừa đọc xong thì chú em cũng ứng khẩu luôn:
Anh đậu, em đậu, đậu một tràng.
Lê Quảng Chí (1451 – 1533)
Năm Mậu Tuất 1478 tiến triều mở khoa thi, ông đã đậu Tiến sĩ cấp đệ, được vua ban chức Tả Thị Lang bộ Lễ kiêm Đông các Đại học sĩ. Vua Thánh Tông mời ông vào làm quan và nhờ ông dạy Thái tử thành người. Ông mất lúc 82 tuổi; khi ông mất, vua kính nể đã không kìm nổi nước mắt xúc động, tự tay đề: “Lam Sơn Lê tiên sinh linh ứng”. Thi hài an táng dưới chân núi Hoành Sơn, nay vẫn còn nguyên chổ cũ. Để tưởng nhớ công lao to lớn của ông, nhân dân và con cháu trong làng Thần Đầu đã lập đền thờ.
Lê Quảng Ý (1453 – 1526)
Năm đó 46 tuổi đỗ đồng Tiến sĩ khoa Kỷ Vị năm Cảnh Thống thứ 2 đời Lê Hiến Tông (1499), làm quan đến Hàn lâm viện thị thế, đặc tiến kim tủ vinh loccj đại phu hiến sứ, kiêm Đệ lĩnh tú thành quân vụ, tước bảng quận công. Ông là người văn võ kiêm toàn, nhiều lần vâng lệnh triều đình cầm quân cùng với vua Lê Thánh Tông đi đánh giặc ngoại xâm, đưa nền thái bình về cho đất nước. Ông là người cương nghị, tinh thông cả văn lẫn võ, được triều Lê kiêng nể, trọng dụng.
Vào những ngày hội Tao đàn, hai anh em ông thường xuất hiện như ngôi sao sáng trong làng thơ văn. Sự nghiệp văn chương Lê Quảng Chí – Lê Quảng Ý đã để lại cho nền văn học đương thời nhiều tác phẩm văn học có giá trị, đặc biệt là 5 bài thơ nổi tiếng ở cung thành. Tài thi họa của hai ông đã được các danh sĩ đương thời mến mộ, ý thơ đẹp, trong sáng, lời lẽ trau chuốt, giàu tính nhân văn.
Để tỏ lòng biết ơn và ghi tạc sự đóng góp của hai vị tiền bối có công lớn với quê hương đất nước, nhân dân ở vùng cực nam Hà Tĩnh đã truyền tụng cho nhau rằng, hai hòn núi Đụn đứng song song ở làng Thần Đầu, một hòn cao, một hòn thấp chính là hòn anh, hòn em, hai hòn này giống ngòi bút đang viết. Vì lẽ đó dân gian ở vùng này đã gọi hai hòn núi ấy là: “Nguy nga song bút”. Đằng sau hai hòn núi đó là hòn Cụp Chiêng, Cụp Cờ đứng thẳng hàng như đón tiếp hai ông. Khi hai ông mất, dân làng lập đền thờ gọi là đền thờ hai ông thánh trạng; một thờ anh, một thờ em. Tương truyền, ngôi đền các ông rất thiêng.
Khoảng năm 1875, quân triều đình ra dẹp cuộc khởi nghĩa của quân Cờ Vàng do Trần Quang Cán lãnh đạo, đã đốt cháy mấy ngôi đền này. Đến năm Tự Đức thứ 36 (1883), nhân dân mới xây dựng lại. Năm Tân Tỵ đời Bảo Đại (1941) làng Thần Đầu lại tu sửa thêm.
Hiện nay ngôi đền do xa Hoằng Lệ dựng và ngôi đền thờ Bảng quận công Lê Quảng Ý do làng Thần Đầu dựng đều đã bị hư hỏng. Các tự khí đều mất sạch, chỉ còn lại vài tấm màn, cửa võng và 16 đạo sắc phong thần (của Lê Quảng Chí 13 đạo, của Lê Quảng Ý 3 đạo), đạo sớm nhất là vào năm Dương Hòa thứ 5 (1639), muộn nhất vào năm Khải Định thứ 9 (1924). Mộ hai ông vẫn còn, cạnh đường quốc lộ 1A. Đền thờ và mộ Lê Quảng Chí - Lê Quảng Ý được công nhận là Di tích Lịch sử - Văn hóa cấp Quốc gia vào năm 1996. Đó là niềm tự hào của mảnh đất nghèo Thần Đầu đã sinh ra hai tiến sĩ có công lớn với quê hương đất nước, là tấm gương cho con cháu muôn đời học tập.