王僧虔，琅邪临沂人也。祖珣，晋司徒。伯父太保弘，宋元嘉世为宰辅。宾客疑所讳，弘曰：「身家讳与苏子高同。」父昙首，右光禄大夫。昙首兄弟集会诸子孙，弘子僧达下地跳戏，僧虔年数岁，独正坐采蜡烛珠为凤凰。弘曰：「此儿终当为长者。」
兄僧绰，为太初所害，亲宾咸劝僧虔逃。僧虔涕泣曰：「吾兄奉国以忠贞，抚我以慈爱，今日之事，苦不见及耳。若同归九泉，犹羽化也。」孝武初，出为武陵太守。兄子俭于中途得病，僧虔为废寝食。同行客慰喻之。僧虔曰：「昔马援处儿姪之闲一情不异，邓攸于弟子更逾所生，吾实怀其心，诚未异古。亡兄之胤，不宜忽诸。若此儿不救，便当回舟谢职，无复游宦之兴矣。」还为中书郎，转黄门郎，太子中庶子。
寻迁豫章内史。入为侍中，迁御史中丞，领骁骑将军。甲族向来多不居宪台，王氏以分枝居乌衣者，位官微减，僧虔为此官，乃曰：「此是乌衣诸郎坐处，我亦可试为耳。」复为侍中，领屯骑校尉。泰始中，出为辅国将军、吴兴太守，秩中二千石。王献之善书，为吴兴郡，及僧虔工书，又为郡，论者称之。
徙为会稽太守，秩中二千石，将军如故。中书舍人阮佃夫家在会稽，请假东归。客劝僧虔以佃夫要幸，宜加礼接。僧虔曰：「我立身有素，岂能曲意此辈。彼若见恶，当拂衣去耳。」佃夫言于宋明帝，使御史中丞孙敻奏：「僧虔前莅吴兴，多有谬命，检到郡至迁，凡用功曹五官主簿至二礼吏署三传及度与弟子，合四百四十八人。又听民何系先等一百十家为旧门。委州检削。」坐免官。
元徽中，迁吏部尚书。高平檀珪罢沅南令，僧虔以为征北板行参军。诉僧虔求禄不得，与僧虔书曰：「五常之始，文武为先，文则经纬天地，武则拨乱定国。仆一门虽谢文通，乃忝武达。群从姑叔，三媾帝室，祖兄二世，糜躯奉国，而致子姪饿死草壤。去冬今春，频荷二敕，既无中人，屡见蹉夺。经涉五朔，逾历四晦，书牍十二，接觐六七，遂不荷润，反更曝鳃。九流绳平，自不宜独苦一物，蝉腹龟肠，为日已久。饥虎能吓，人遽与肉；饿麟不噬，谁为落毛。去冬乞豫章丞，为马超所争；今春蒙敕南昌县，为史偃所夺。二子勋荫人才，有何见胜。若以贫富相夺，则分受不如。身虽孤微，百世国士，姻媾位宦，亦不后物。尚书同堂姊为江夏王妃，檀珪同堂姑为南谯王妃；尚书妇是江夏王女，檀珪祖姑嫔长沙景王；尚书伯为江州，檀珪祖亦为江州；尚书从兄出身为后军参军，檀珪父释褐亦为中军参军。仆于尚书，人地本悬，至于婚宦，不肯殊绝。今通塞虽异，犹忝气类，尚书何事乃尔见苦？泰始之初，八表同逆，一门二世，粉骨卫主，殊勋异绩，已不能甄，常阶旧途，复见侵抑。」僧虔报书曰：「征北板比岁处遇小优，殷主簿从此府入崇礼，何仪曹即代殷，亦不见诉为苦。足下积屈，一朝超升，政自小难。泰始初勤苦十年，自未见其赏，而顿就求称，亦何可遂。吾与足下素无怨憾，何以相侵苦，直是意有佐佑耳。」珪又书曰：「昔荀公达汉之功臣，晋武帝方爵其玄孙。夏侯惇魏氏勋佐，金德初融，亦始就甄显，方赏其孙，封树近族。羊叔子以晋泰始中建策伐吴，至咸宁末，方加褒宠，封其兄子。卞望之以咸和初殒身国难，至兴宁末，方崇礼秩，官其子孙。蜀郡主簿田混，黄初末死故君之难，咸康中方擢其子孙。似不以世代远而被弃，年世疏而见遗。檀珪百罹六极，造化罕比，五丧停露，百口转命，存亡披迫，本希小禄，无意阶荣。自古以来有沐食侯，近代有王官。府佐非沐食之职，参军非王官之谓。质非匏瓜，实羞空悬。殷、何二生，或是府主情味，或是朝廷意旨，岂与悠悠之人同口而语。使仆就此职，尚书能以郎见转不？若使日得五升禄，则不耻执鞭。」僧虔乃用为安城郡丞。珪，宋安南将军韶孙也。
僧虔寻加散骑常侍，转右仆射。升明元年，迁尚书仆射，寻转中书令，左仆射，二年，为尚书令。僧虔好文史，解音律，以朝廷礼乐多违正典，民闲竞造新声杂曲，时太祖辅政，僧虔上表曰：「夫悬钟之器，以雅为用；凯容之礼，八佾为仪。今总章羽佾，音服舛异。又歌钟一肆，克谐女乐，以歌为务，非雅器也。大明中，即以宫悬合和鞞、拂，节数虽会，虑乖雅体，将来知音，或讥圣世。若谓钟舞已谐，重违成宪，更立歌钟，不参旧例。四县所奏，谨依雅条，即义沿理。如或可附。又今之清商，实由铜爵，三祖风流，遗音盈耳，京、洛相高，江左弥贵。谅以金石干羽，事绝私室，桑、濮、郑、卫，训隔绅冕，中庸和雅，莫复于斯。而情变听移，稍复销落，十数年闲，亡者将半。自顷家竞新哇，人尚谣俗，务在噍杀，不顾音纪，流宕无崖，未知所极，排斥正曲，崇长烦淫。士有等差，无故不可去乐；礼有攸序，长幼不可共闻。故喧丑之制，日盛于㕓里；风味之响，独尽于衣冠。宜命有司，务懃功课，缉理遗逸，迭相开晓，所经漏忘，悉加补缀。曲全者禄厚，艺妙者位优。利以动之，则人思刻厉。反本还源，庶可跂踵。」事见纳。
建元元年，转侍中，抚军将军，丹阳尹。二年，进号左卫将军，固让不拜。改授左光禄大夫，侍中、尹如故。郡县狱相承有上汤杀囚，僧虔上疏言之曰：「汤本以救疾，而实行冤暴，或以肆忿。若罪必入重，自有正刑；若去恶宜疾，则应先启。岂有死生大命，而潜制下邑。愚谓治下囚病，必先刺郡，求职司与医对共诊验；远县，家人省视，然后处理。可使死者不恨，生者无怨。」上纳其言。
僧虔留意雅乐，升明中所奏，虽微有厘改，尚多遗失。是时上始欲通使，僧虔与兄子俭书曰：「古语云『中国失礼，问之四夷』。计乐亦如。苻坚败后，东晋始备金石乐，故知不可全诬也。北国或有遗乐，诚未可便以补中夏之阙，且得知其存亡，亦一理也。但鼓吹旧有二十一曲，今所能者十一而已，意谓北使会有散役，得今乐署一人粗别同异者，充此使限。虽复延州难追，其得知所知，亦当不同。若谓有此理者，可得申吾意上闻否？试为思之。」事竟不行。
太祖善书，及即位，笃好不已。与僧虔赌书毕，谓僧虔曰：「谁为第一？」僧虔曰：「臣书第一，陛下亦第一。」上笑曰：「卿可谓善自为谋矣。」示僧虔古迹十一袠，就求能书人名。僧虔得民闲所有，袠中所无者，吴大皇帝、景帝、归命侯书，桓玄书，及王丞相导、领军洽、中书令珉、张芝、索靖、卫伯儒、张翼十二卷奏之。又上羊欣所撰能书人名一卷。
其年冬，迁持节、都督湘州诸军事、征南将军、湘州刺史，侍中如故。清简无所欲，不营财产，百姓安之。世祖即位，僧虔以风疾欲陈解，会迁侍中、左光禄大夫、开府仪同三司。僧虔少时群从宗族并会，客有相之者云：「僧虔年位最高，仕当至公，余人莫及也。」及授，僧虔谓兄子俭曰：「汝任重于朝，行当有八命之礼，我若复此授，则一门有二台司，实可畏惧。」乃固辞不拜，上优而许之。改授侍中、特进、左光禄大夫。客问僧虔固让之意，僧虔曰：「君子所忧无德，不忧无宠。吾衣食周身，荣位已过，所惭庸薄无以报国，岂容更受高爵，方贻官谤邪！」兄子俭为朝宰，起长梁斋，制度小过，僧虔视之不悦，竟不入户，俭即毁之。
其论书曰：「宋文帝书，自云可比王子敬，时议者云『天然胜羊欣，功夫少于欣』。王平南廙、右军叔，过江之前以为最。亡曾祖领军书，右军云『弟书遂不减吾』。变古制，今唯右军。领军不尔，至今犹法钟、张。亡从祖中书令书，子敬云『弟书如骑骡，骎骎恒欲度骅骝前』。庾征西翼书，少时与右军齐名，右军后进，庾犹不分，在荆州与都下人书云：『小儿辈贱家鸡，皆学逸少书，须吾下，当比之。』张翼，王右军自书表，晋穆帝令翼写题后答，右军当时不别，久后方悟，云『小人几欲乱真』。张芝、索靖、韦诞、钟会、二卫并得名前代，无以辨其优劣，唯见其笔力惊异耳。张澄当时亦呼有意。郗愔章草亚于右军。郗嘉宾草亚于二王，紧媚过其父。桓玄自谓右军之流，论者以比孔琳之。谢安亦入能书录，亦自重，为子敬书嵇康诗。羊欣书见重一时，亲受子敬，行书尤善，正乃不称名。孔琳之书天然放纵，极有笔力，规矩恐在羊欣后。丘道护与羊欣俱面受子敬，故当在欣后。范厨与萧思话同师羊欣，后小叛，既失故步，为复小有意耳。萧思话书，羊欣之影，风流趣好，殆当不减，笔力恨弱。谢综书，其舅云『紧生起，是得赏也，恨少媚好』。谢灵运乃不伦，遇其合时，亦得入流。贺道力书亚丘道护。庾昕学右军，亦欲乱真矣。」又著书赋，传于世。
知汝恨吾不许汝学，欲自悔厉，或以阖棺自欺，或更择美业，且得有慨，亦慰穷生。但亟闻斯唱，未睹其实。请从先师听言观行，冀此不复虚身。吾未信汝，非徒然也。往年有意于史，取三国志聚置床头，百日许，复徙业就玄，自当小差于史，犹未近彷佛。曼倩有云：「谈何容易。」见诸玄，志为之逸，肠为之抽，专一书，转诵数十家注，自少至老，手不释卷，尚未敢轻言。汝开老子卷头五尺许，未知辅嗣何所道，平叔何所说，马、郑何所异，指例何所明，而便盛于麈尾，自呼谈士，此最险事。设令袁令命汝言易，谢中书挑汝言庄，张吴兴叩汝言老，端可复言未尝看邪？谈故如射，前人得破，后人应解，不解即输赌矣。且论注百氏，荆州八袠，又才性四本，声无哀乐，皆言家口实，如客至之有设也。汝皆未经拂耳瞥目。岂有庖厨不修，而欲延大宾者哉？就如张衡思侔造化，郭象言类悬河，不自劳苦，何由至此？汝曾未窥其题目，未辨其指归；六十四卦，未知何名；庄子众篇，何者内外；八袠所载，凡有几家；四本之称，以何为长。而终日欺人，人亦不受汝欺也。由吾不学，无以为训。然重华无严父，放勋无令子，亦各由己耳。汝辈窃议亦当云：「何日不学？在天地闲可嬉戏，何忽自课谪？幸及盛时逐岁暮，何必有所减？」汝见其一耳，不全尔也。设令吾学如马、郑，亦必甚胜；复倍不如，今亦必大减。致之有由，从身上来也。汝今壮年，自懃数倍许胜，劣及吾耳。世中比例举眼是，汝足知此，不复具言。
吾在世，虽乏德素，要复推排人闲数十许年，故是一旧物，人或以比数汝等耳。即化之后，若自无调度，谁复知汝事者？舍中亦有少负令誉弱冠越超清级者，于时王家门中，优者则龙凤，劣者犹虎豹，失荫之后，岂龙虎之议？况吾不能为汝荫，政应各自努力耳。或有身经三公，蔑尔无闻；布衣寒素，卿相屈体。或父子贵贱殊，兄弟声名异。何也？体尽读数百卷书耳。吾今悔无所及，欲以前车诫尔后乘也。汝年入立境，方应从官，兼有室累，牵役情性，何处复得下帷如王郎时邪？为可作世中学，取过一生耳。试复三思，勿讳吾言。犹捶挞志辈，冀脱万一，未死之闲，望有成就者，不知当有益否？各在尔身己切，岂复关吾邪？鬼唯知爱深松茂柏，宁知子弟毁誉事！因汝有感，故略叙胸怀矣。
州辟议曹从事，举秀才。建平王护军主簿，右军法曹行参军，司空主簿，抚军、南中郎二府功曹，尚书仓部郎。都令史咨郡县米事，绪萧然直视，不以经怀。除巴陵王文学，太子洗马，北中郎参军，太子中舍人，本郡中正，车骑从事中郎，中书郎，州治中，黄门郎。
宋明帝每见绪，辄叹其清淡。转太子中庶子，本州大中正，迁司徒左长史。吏部尚书袁粲言于帝曰：「臣观张绪有正始遗风，宜为宫职。」复转中庶子，领翊军校尉，转散骑常侍，领长水校尉，寻兼侍中，迁吏部郎，参掌大选。元徽初，东宫罢，选曹拟舍人王俭格外记室，绪以俭人地兼美，宜转秘书丞，从之。绪又迁侍中，郎如故。
绪忘情荣禄，朝野皆贵其风，尝与客闲言，一生不解作诺。时袁粲、褚渊秉政，有人以绪言告粲、渊者，即出绪为吴郡太守，绪初不知也。迁为祠部尚书，复领中正，迁太常，加散骑常侍，寻领始安王师。升明二年，迁太祖太傅长史，加征虏将军。
齐台建，转散骑常侍，世子詹事。建元元年，转中书令，常侍如故。绪善言，素望甚重。太祖深加敬异。仆射王俭谓人曰：「北士中觅张绪，过江未有人，不知陈仲弓、黄叔度能过之不耳？」车驾幸庄严寺听僧达道人讲，座远，不闻绪言，上难移绪，乃迁僧达以近之。
寻加骁骑将军。欲用绪为右仆射，以问王俭，俭曰：「南士由来少居此职。」褚渊在座，启上曰：「俭年少，或不尽忆。江左用陆玩、顾和，皆南人也。」俭曰：「晋氏衰政，不可以为准则。」上乃止。四年，初立国学，以绪为太常卿，领国子祭酒，常侍、中正如故。绪既迁官，上以王延之代绪为中书令，时人以此选为得人，比晋朝之用王子敬、王季琰也。
世祖即位，转吏部尚书，祭酒如故。永明元年，迁金紫光禄大夫，领太常。明年，领南郡王师，加给事中，太常如故。三年，转太子詹事，师、给事如故。绪每朝见，世祖目送之。谓王俭曰：「绪以位尊我，我以德贵绪也。」迁散骑常侍，金紫光禄大夫、师如故。给亲信二十人。复领中正。长沙王晃属选用吴兴闻人邕为州议曹，绪以资藉不当，执不许。晃遣书佐固请之，绪正色谓晃信曰：「此是身家州乡，殿下何得见逼！」七年，竟陵王子良领国子祭酒，世祖敕王晏曰：「吾欲令司徒辞祭酒以授张绪，物议以为云何？」子良竟不拜。以绪领国子祭酒，光禄、师、中正如故。
绪口不言利，有财辄散之。清言端坐，或竟日无食，门生见绪饥，为之辨餐，然未尝求也。卒时年六十八。遗命作芦葭轜车，灵上置杯水香火，不设祭。从弟融敬重绪，事之如亲兄，赍酒于绪灵前酌饮，恸哭曰：「阿兄风流顿尽！」追赠散骑常侍、特进、金紫光禄大夫。谥简子。
