渔山与石谷同邑，相友善，而画亦相埒，惟渔山老年，好用西洋法作画，云气绵渺凌虚，迥异平日。相传其后竟从西教，故有浮海不归之说，然无确证也。故友王润甫汝玉，昔尝语人云：“昭文张约轩通守元龄，曾得杨西亭所写渔山小像，出以索题，上有上海徐紫山跋云：余尝于邑之大南门外，所谓天主坟者，见卧碑，有渔山字，因剔丛莽视之，乃知即道人埋处。命工扶植之，碑中间大字云：天学修士渔山吴公之墓。两边小书云：公讳历圣，名西满，常熟县人，康熙二十一年入耶稣会，二十七登铎德，行教上海嘉定，五十七年在上海，疾卒于圣玛第亚瞻礼日，寿八十有七。康熙戊戌季夏，同会修士孟由义立碑。盖道人入彼教久，尝再至欧罗巴，故晚年作画，好用洋法。西亭此像作于辛酉，其时犹未入教也，余忆张浦山《画征录》，称石谷因渔山借其所抚大痴画幅不还，遂与绝交。今观此事，知石谷之绝交，盖因渔山入彼教，而非为借画不还。石谷事亲至孝，人品本高，旧交割席，不忍显言，故特假细事为藉口耳。”
