距离杭州市中心30多公里处的边郊地区，名叫富阳。富阳过境有富春江。1347年，78岁的占卜佬黄公望开始在这里泼墨绘制《富春山居图》。据说画了将近7年，完成此画后不久便驾鹤西去。

《富春山居图》以长卷的形式，描绘了富春江两岸初秋的秀丽景色，峰峦叠翠、松石挺秀、云山烟树、沙汀村舍，布局疏密有致，变幻无穷，以清润的笔墨、简远的意境，把浩渺连绵的江南山水表现得淋漓尽致，达到了“山川浑厚，草木华滋”的境界。

黄公望与同时代的王蒙、倪瓒、吴镇交往密切，诗画互赠，常以合作山水画为乐。他们创造了自己的独特绘画风格，并致力于意境章法及诗文与绘画的有机结合，共同把中国文人画推进到崭新境地，因此被誉作“元四家”。而黄公望尤以卓越的成就最受推崇，对后世画坛产生巨大影响，被称为“元四家之首”，《富春山居图》作为其代表作，被视作文人画的典范。

黄公望本姓陆，6岁时被过继给一90岁黄姓老翁，因“黄公望子久矣”而得名黄公望，字子久，晚年取号一峰，“大痴道人”。其前半生为吏却被牵连入狱，出狱后寄情山水，50多岁才开始习画，凭借人生况味冷暖感受良多和天生悟性，黄公望书画才情在晚年时流露出耀人光彩。与之形成鲜明对照的是其清苦的生活，靠卜卦维生。据载，周遭农人、渔民看到他经常住在山洞、泉水边，经常用瓦盆喝酒，经常没有由来地狂笑。他的大笑在旁人听来如仙人的声音，八十多岁还是一副“童子脸”。

其人痴癫，其画淡雅，谓画者传奇。而被称作“画中兰亭”的《富春山居图》也如《兰亭序》一般，命运多舛。

《富春山居图》画成后便赠与同门师友郑樗(无用师)。明成化年间沈周藏此图，请人在此图上题字，却被儿子将画藏匿。后来此图在市上高价出售，沈周无力购买，凭借记忆遂背临一卷以慰情思。之后又经樊舜、谈志伊、董其昌、吴正志之手。明末收藏此画的吴洪裕深爱此画，临死前嘱家人焚其陪葬。在画卷被投入火中后，吴老爷闭眼，全家妇孺扑上痛哭之际，一旁的侄子吴子文箭步上前迅疾将画卷拣出，拍灭燃火，并抄起一替代品投入火盆。

被烧后的画卷断成两段。短的约占原画的八分之一弱，上有一山一水一丘一壑，构图亦独立完整，自成一画，称“剩山图”。长的约占八分之七弱，保留了原画的大部分内容，从中可见原画之风雅玄妙，称《富春山居图·无用师卷》。在无用师卷和剩山图的边缘各有一半印章，合在一起是“吴之矩”，就是烧化之人吴洪裕的父亲。研究者猜测，吴家将烧断的两幅画合在一起，盖了吴之矩的骑缝章，这一枚印章，成为日后两画相认的凭据。

其后两段画作命运迥异。《剩山图》流落民间，长年无踪。而《无用师卷》在乾隆年间登堂入室，但因乾隆皇帝早先拿到仿本而认赝为真，《无用师卷》被埋没在乾清宫西暖阁中。

20世纪40年代中国内战爆发，国民党政府派遣专家鉴别筛选，将《无用师卷》与其他50多万件(包括档案)故宫文物一起带往台湾。《剩山图》则在民间流转数载后，被集绘画、鉴赏、收藏于一身的显赫人物吴湖帆识得。据说吴湖帆当时正在南京路剃头，头剃了一半，听说此画，便抓着卖画人之手，倾家荡产十万大洋买下。1956年，在浙江省文物管理委员会兼职的沙孟海先生经过反复劝说，花了三五千元，从吴湖帆处征集到了《富春山居图》(剩山图)，后转为浙江省博物馆收藏。