呂氏故居位于新安縣鐵門鎮薛村。建筑面積2114平方米，占地面積2250平方米。現存宅院兩處，分別為南宅和北宅。南宅為三進三院，房屋共計10座，39間，北宅為三進三院，房屋10座26間。呂氏故居基本上存在了原布局形式和建筑模式，建筑的主體結構基本保持原貌，梁架和墻體保存較好。該故居對研究清代的建筑藝術、社會發展、科學技術和傳統文化具有重要價值。