绣谷在阊门内后板厂,国初朔州刺史蒋深筑。初刺史之祖垓,成进士后,隐居读书,偶课园丁剃草,土中得一石,有“绣谷”二字,作八分书,遂以名其园。
园中亭榭无多,而位置颇有法,相传为王石谷手笔也。康熙三十八年己卯,刺史尝集郡中诸名宿作送春会,坐中年最长者为尤西堂、朱竹两太史,张匠门、惠天牧、徐澄斋诸先生尚为诸生,画师则王石谷、杨子鹤,方外则目存上人。是时沈归愚尚书年才二十七,居末座,赋诗作画,为一时之盛。刺史之子仙根亦好风雅,乾隆二十四年又作后己卯送春会,则以尚书为首座矣。世传《张忆娘簪花图》,即于是园作也。嘉庆中,为叶河帅观潮所得,道光初,又归南康谢椒石观察,作板舆之奉,今又为婺源王氏所有矣。先是蒋氏欲将是宅出售他姓,犹豫未决,为问于乩仙,仙判一联云“无可奈何花落去,似曾相识燕归来”,是宋人晏殊句也,而不解其义。迨归叶氏,则上句应矣;后叶氏转售于谢,谢又售于王,则下句应矣,异哉。