明憲宗十四年(1478),新(xin)都才子楊廷(ting)和(he)(狀元楊升(sheng)庵之父)赴京應考路經(jing)閬中(zhong),應僧(seng)人之請為該庵題寫“云(yun)林”大匾,此匾保(bao)存(cun)到民國時期。后,庵毀(hui)于大火。
孔(kong)家在庵側(ce)修建了(le)這座孔(kong)家大(da)院。明、清時,孔(kong)氏為(wei)大(da)戶人家,以教書為(wei)生,兼營其它產業(ye),后家道衰落。1912年(nian)、1939年(nian),時任川北宣慰使和(he)川康建設(she)期成會閬中(zhong)辦事(shi)處(chu)主任的張瀾先(xian)生在此(ci)設(she)署衙(ya)。國民黨29軍(jun)(jun)軍(jun)(jun)長羅廼群也看中(zhong)此(ci)院,長期居住。