以亲老家贫，起为州祭酒，不堪吏职，少日自解归。州召主簿，不就，躬耕自资，遂抱羸疾。复为镇军、建威参军，谓亲朋曰：“聊欲弦歌，以为三径之资可乎？”执事者闻之，以为彭泽令。在县，公田悉令种秫谷，曰：“令吾常醉于酒足矣。”妻子固请种粳。乃使一顷五十亩种秫，五十亩种粳。素简贵，不私事上官。郡遣督邮至县，吏白应束带见之，潜叹曰：“吾不能为五斗米折腰，拳拳事乡里小人邪！”义熙二年，解印去县，乃赋《归去来兮辞》。其辞曰：
归去来兮，田园将芜胡不归？既自以心为形役，奚惆怅而独悲？悟已往之不谏，知来者之可追。实迷途其未远，觉今是而昨非。舟遥遥以轻飏，风飘飘而吹衣，问征夫以前路，恨晨光之希微。乃瞻衡宇，载欣载奔。僮仆来迎，稚子侯门。三径就荒，松菊犹存。携幼入室，有酒盈樽。引壶觚以自酌，眄庭柯以怡颜，倚南窗以寄傲，审容膝之易安。园日涉而成趣，门虽设而常关；策扶老而流憩，时翘首而遐观。云无心而出岫，鸟倦飞而知还；景翳翳其将入，抚孤松而盘桓。
归去来兮，请息交以绝游，世与我而相遗，复驾言兮焉求！悦亲戚之情话，乐琴书以消忧。农人告余以春暮，将有事乎西畴。或命巾车，或棹孤舟，既窈窕以寻壑，亦崎岖而经丘。木欣欣以向荣，泉涓涓而始流，善万物之得时，感吾生之行休。
已矣乎！寓形宇内复几时，曷不委心任去留，胡为乎遑遑欲何之？富贵非吾愿，帝乡不可期。怀良晨以孤往，或植杖而芸秄，登东皋以舒啸，临清流而赋诗；聊乘化而归尽，乐夫天命复奚疑！
顷之，征著作郎，不就。既绝州郡觐谒，其乡亲张野及周旋人羊松龄、宠遵等或有酒要之，或要之共至酒坐，虽不识主人，亦欣然无忤，酣醉便反。未尝有所造诣，所之唯至田舍及庐山游观而已。
刺史王弘以元熙中临州，甚钦迟之，后自造焉。潜称疾不见，既而语人云：“我性不狎世，因疾守闲，幸非洁志慕声，岂敢以王公纡轸为荣邪！夫谬以不贤，此刘公干所以招谤君子，其罪不细也。”弘每令人候之，密知当往庐山，乃遣其故人庞通之等赍酒，先于半道要之。潜既遇酒，便引酌野亭，欣然忘进。弘乃出与相见，遂欢宴穷日。潜无履，弘顾左右为之造履。左右请履度，潜便于坐申脚令度焉。弘要之还州，问其所乘，答云：“素有脚疾，向乘蓝舆，亦足自反。”乃令一门生二儿共轝之至州，而言笑赏适，不觉其有羡于华轩也。弘后欲见，辄于林泽间候之。至于酒米乏绝，亦时相赡。
其亲朋好事，或载酒肴而往，潜亦无所辞焉。每一醉，则大适融然。又不营生业，家务悉委之儿仆。未尝有喜愠之色，惟遇酒则饮，时或无酒，亦雅咏不辍。尝言夏月虚闲，高卧北窗之下，清风飒至，自谓羲皇上人。性不解音，而畜素琴一张，弦徽不具，每朋酒之会，则抚而和之，曰：“但识琴中趣，何劳弦上声！”以宋元嘉中卒，时年六十三，所有文集并行于世。
史臣曰：君子之行殊途，显晦之谓也。出则允厘庶政，以道济时；处则振拔嚣埃，以卑自牧。详求厥义，其来夐矣。公和之居窟室，裳唯编草，诫叔夜而凝神鉴；威辇之处丛祠，衣无全帛，对子荆而陈贞则：并灭景而弗追，柳禽、尚平之流亚。夏统远迩称其孝友，宗党高其谅直，歌《小海》之曲。则伍胥犹存；固贞石之心，则公闾尤愧，时幸洛滨之观，信乎兹言。宋纤幼怀远操，清规映拔，杨宣颂其画象，马岌叹其人龙，玄虚之号，实期为美。余之数子，或移病而去官，或著论而矫俗，或箕踞而对时人，或弋钓而栖衡泌，含和隐璞，乘道匿辉，不屈其志，激清风于来叶者矣。
赞曰：厚秩招累，修名顺欲。确乎群士，超然绝俗。养粹岩阿，销声林曲。激贪止竞，永垂高躅。