Dòng họ Vi có gốc ở Nghệ An. Sau khi có công đánh đuổi giặc Minh xâm lược, họ được triều đình ban đất đai và giao cho trọng trách trấn giữ biên cương ở Lạng Sơn. Tại đây, họ kết hôn với người dân tộc Tày và sinh ra thế hệ con cháu họ Vi ở Lạng Sơn.
Ông Vi Văn Định (1878-1975) là đời thứ 13 kể từ khi cụ tổ lên đây lập ấp. Ông thay cha đảm trách việc quan, trấn ải một vùng rộng lớn khu vực biên giới phía Bắc. Năm 1928, triều đình nhà Nguyễn điều ông về nhậm chức ở Thái Bình, thăng làm Tổng đốc. Sau đó ông tiếp tục làm Tổng đốc Hà Đông và được tấn phong Hiệp tá Đại học sĩ, hàm Thái tử Thiếu Bảo, nghỉ hưu năm 1942.
Sau này ông đi theo cách mạng, là Ủy viên Trung ương Hội Liên Việt. Bức ảnh gia đình Tổng đốc Vi Văn Định ở Chiêm Hóa, Tuyên Quang năm 1948. Người chống ba-toong là ông Vi Văn Định, người đứng bên phải là GS Hồ Đắc Di; đứng hàng sau, bên trái là TS Nguyễn Văn Huyên; cùng ba tiểu thư nhà họ Vi: Vi Kim Ngọc, Vi Kim Phú, Vi Nguyệt Hồ. Kháng chiến thành công, ông về sống ở Hà Nội, làm Ủy viên Trung ương Mặt trận Tổ quốc Việt Nam.
Ông Vi Văn Đài (SN 1944) -Trưởng tộc họ Vi (cháu nội Tổng đốc Vi Văn Định), cho biết: "Dòng họ Vi đến Bản Chu, xã Khuất Xá, huyện Lộc Bình (Lạng Sơn) lập thái ấp. Bản Chu là một ngôi làng khá cổ kính, xung quanh có những rặng núi cao bao bọc, nằm men theo con sông Kỳ Cùng. Đầu thế kỷ 20, ông nội tôi cho khởi công xây dựng khu biệt phủ rộng 4.000 m2".
Một góc biệt phủ khi mới xây dựng.
Trải qua thăng trầm, hiện nay khu biệt phủ chỉ còn lại 3 cánh cổng. Đây là cổng chính dẫn vào phủ được xây bằng gạch nung, vôi, cát. Sau khi Tổng đốc Vi Văn Định rời khỏi Lạng Sơn theo cách mạng, nơi đây không ai chăm sóc, bảo quản. Năm 1979, căn biệt phủ rộng hàng nghìn m2 đã bị san lấp bởi đạn pháo trong cuộc chiến bảo vệ biên giới phía Bắc.
Xưa kia, khu dinh thự này được bắt đầu từ con đường dài dẫn vào biệt phủ với 2 hàng phượng vĩ và 3 cái ao lớn xếp hình vòng cung, tạo nên thế phòng thủ vững chắc cho cả khu vực với chỉ một đường ra, một đường vào.
Ông Hoàng Văn Báo (SN 1949) - người trông nom khu tưởng niệm, nhà thờ tổ họ Vi, đưa phóng viên đi thăm quan những dấu tích còn lại của khu biệt phủ.
Toàn bộ tường, cổng được xây bằng gạch, kết dính bằng hỗn hợp tro, đường phên và nhựa dây tơ hồng. Chất liệu này có độ bền chắc, khó bong tróc theo thời gian.
Trụ sắt - vết tích còn lại của cổng chính.
Một phần mái cổng còn lại.
Phía bên ngoài cổng chính đang xuống cấp nghiêm trọng.
Nhà thờ Tổ họ được gia tộc họ Vi khánh thành vào năm 2017 trên một phần diện tích nhỏ của khu biệt phủ cũ.