紫薇山明代后期古建筑群位于紫薇村，是以明代兵部尚书许弘纲府第为中心的建筑群体。拒《昭仁许氏宗谱》卷之二十四记载：“吾族之迁昭仁，始自宋祥符间(1008-1016年)，兆十二府君，讳吴，由邑西居此——长店山，称昭仁许氏……历迁上宅、林塘等地。”相传至29代时，于隆庆戊辰即1568年，紫池公(名许文清，字思直)迁紫薇山。紫薇公育有三子，长子许弘纲官至南京兵部尚书，次子许弘纪官朝鲜守备，三子许弘纶官盐运司，紫薇山古建筑就是许氏三兄弟的府第。整个建筑群有左、中、右三主干纵轴，居中为许弘纲的“尚书第”，前后六进；左为许弘纶的“大夫第”，右为许弘纪的“将军第”，各为前后五进。三府第各在左右配有附属建筑，形成一个既单独存在，又能互为贯串的结合体。
许弘纲是明万历庚辰进士，历任县令、刑科给侍中，后转吏科、左副都御史，万历46年起任两广总督，天启5年为兵部尚书。他生性机敏通达，善于谏诤且廉洁淡泊，后因与阉党魏忠贤不合便引疾还乡，隐逸闲居在紫薇山。谥赠太子少保。著有《群玉山房疏草》(二卷)、《文集》(七卷)、《三礼篡要》等书。“尚书第”坐北朝南，整座建筑由影壁甬道、大门厅、照厅、中堂、花厅、后厅、后堂和边门避弄等构成，其地基从北到南逐渐有一合理落差，身历其间有“拾级进，渐入佳境；信步出，豁然开朗”之感。门厅前有一卵石门堂，中原有石板甬道，上原有为许弘纲立的石坊一座，曰“三世尚书坊”(所谓“三世尚书”，就是许弘纲兵部尚书，而其父、祖因德高望重，圣赐“兵部尚书”)。坊前有两石狮，旁有旗杆石，通道入口处有两块上、下马石，可惜这些都毁于五十年代。在左右两条直通到底的避弄上，又向左、右各伸出十条小避弄，配以众多的附属建筑，加上尚书第主轴前方的刀形大塘，直径70厘米以上的东槐西樟，苍老葱翠，显得气势宏伟。村前二百米处有一似东西向游动的船形矮山，各有一条小溪同向流经其南北两“船”沿，“船”后尾有一棵据传是“船竹篙”的古樟。船形矮山宛如近屏，俨如远障。紧连村后有座龟形矮山，是一后座锦屏，据说此是雌龟，呈由南向北爬动态。百墩东南侧也有一状似龟的矮山，此乃雄龟，同样在往北向游动。两座龟山东面恰有一条北南流向的小溪。故人们美称为上水乌朱(龟)，并说“雌朱”在向“雄朱”求爱而尽力追赶。“雌朱赶雄朱，代代出尚书。”因此，紫薇出了“三代尚书”。
