王僧虔，琅邪臨沂人也。祖珣，晉司徒。伯父太保弘，宋元嘉世為宰輔。賓客疑所諱，弘曰：「身家諱與蘇子高同。」父曇首，右光祿大夫。曇首兄弟集會諸子孫，弘子僧達下地跳戲，僧虔年數歲，獨正坐採蠟燭珠為鳳凰。弘曰：「此兒終當為長者。」
兄僧綽，為太初所害，親賓咸勸僧虔逃。僧虔涕泣曰：「吾兄奉國以忠貞，撫我以慈愛，今日之事，苦不見及耳。若同歸九泉，猶羽化也。」孝武初，出為武陵太守。兄子儉於中途得病，僧虔為廢寢食。同行客慰喻之。僧虔曰：「昔馬援處兒姪之閒一情不異，鄧攸於弟子更逾所生，吾實懷其心，誠未異古。亡兄之胤，不宜忽諸。若此兒不救，便當回舟謝職，無復遊宦之興矣。」還為中書郎，轉黃門郎，太子中庶子。
尋遷豫章內史。入為侍中，遷御史中丞，領驍騎將軍。甲族向來多不居憲臺，王氏以分枝居烏衣者，位官微減，僧虔為此官，乃曰：「此是烏衣諸郎坐處，我亦可試為耳。」復為侍中，領屯騎校尉。泰始中，出為輔國將軍、吳興太守，秩中二千石。王獻之善書，為吳興郡，及僧虔工書，又為郡，論者稱之。
徙為會稽太守，秩中二千石，將軍如故。中書舍人阮佃夫家在會稽，請假東歸。客勸僧虔以佃夫要倖，宜加禮接。僧虔曰：「我立身有素，豈能曲意此輩。彼若見惡，當拂衣去耳。」佃夫言於宋明帝，使御史中丞孫敻奏：「僧虔前蒞吳興，多有謬命，檢到郡至遷，凡用功曹五官主簿至二禮吏署三傳及度與弟子，合四百四十八人。又聽民何係先等一百十家為舊門。委州檢削。」坐免官。
元徽中，遷吏部尚書。高平檀珪罷沅南令，僧虔以為征北板行參軍。訴僧虔求祿不得，與僧虔書曰：「五常之始，文武為先，文則經緯天地，武則撥亂定國。僕一門雖謝文通，乃忝武達。群從姑叔，三媾帝室，祖兄二世，糜軀奉國，而致子姪餓死草壤。去冬今春，頻荷二敕，既無中人，屢見蹉奪。經涉五朔，踰歷四晦，書牘十二，接覲六七，遂不荷潤，反更曝鰓。九流繩平，自不宜獨苦一物，蟬腹龜腸，為日已久。飢虎能嚇，人遽與肉；餓麟不噬，誰為落毛。去冬乞豫章丞，為馬超所爭；今春蒙敕南昌縣，為史偃所奪。二子勳蔭人才，有何見勝。若以貧富相奪，則分受不如。身雖孤微，百世國士，姻媾位宦，亦不後物。尚書同堂姊為江夏王妃，檀珪同堂姑為南譙王妃；尚書婦是江夏王女，檀珪祖姑嬪長沙景王；尚書伯為江州，檀珪祖亦為江州；尚書從兄出身為後軍參軍，檀珪父釋褐亦為中軍參軍。僕於尚書，人地本懸，至於婚宦，不肯殊絕。今通塞雖異，猶忝氣類，尚書何事乃爾見苦？泰始之初，八表同逆，一門二世，粉骨衛主，殊勳異績，已不能甄，常階舊途，復見侵抑。」僧虔報書曰：「征北板比歲處遇小優，殷主簿從此府入崇禮，何儀曹即代殷，亦不見訴為苦。足下積屈，一朝超升，政自小難。泰始初勤苦十年，自未見其賞，而頓就求稱，亦何可遂。吾與足下素無怨憾，何以相侵苦，直是意有佐佑耳。」珪又書曰：「昔荀公達漢之功臣，晉武帝方爵其玄孫。夏侯惇魏氏勳佐，金德初融，亦始就甄顯，方賞其孫，封樹近族。羊叔子以晉泰始中建策伐吳，至咸寧末，方加褒寵，封其兄子。卞望之以咸和初殞身國難，至興寧末，方崇禮秩，官其子孫。蜀郡主簿田混，黃初末死故君之難，咸康中方擢其子孫。似不以世代遠而被棄，年世疏而見遺。檀珪百罹六極，造化罕比，五喪停露，百口轉命，存亡披迫，本希小祿，無意階榮。自古以來有沐食侯，近代有王官。府佐非沐食之職，參軍非王官之謂。質非匏瓜，實羞空懸。殷、何二生，或是府主情味，或是朝廷意旨，豈與悠悠之人同口而語。使僕就此職，尚書能以郎見轉不？若使日得五升祿，則不恥執鞭。」僧虔乃用為安城郡丞。珪，宋安南將軍韶孫也。
僧虔尋加散騎常侍，轉右僕射。昇明元年，遷尚書僕射，尋轉中書令，左僕射，二年，為尚書令。僧虔好文史，解音律，以朝廷禮樂多違正典，民閒競造新聲雜曲，時太祖輔政，僧虔上表曰：「夫懸鍾之器，以雅為用；凱容之禮，八佾為儀。今總章羽佾，音服舛異。又歌鍾一肆，克諧女樂，以歌為務，非雅器也。大明中，即以宮懸合和鞞、拂，節數雖會，慮乖雅體，將來知音，或譏聖世。若謂鍾舞已諧，重違成憲，更立歌鍾，不參舊例。四縣所奏，謹依雅條，即義沿理。如或可附。又今之清商，實由銅爵，三祖風流，遺音盈耳，京、洛相高，江左彌貴。諒以金石干羽，事絕私室，桑、濮、鄭、衛，訓隔紳冕，中庸和雅，莫復於斯。而情變聽移，稍復銷落，十數年閒，亡者將半。自頃家競新哇，人尚謠俗，務在噍殺，不顧音紀，流宕無崖，未知所極，排斥正曲，崇長煩淫。士有等差，無故不可去樂；禮有攸序，長幼不可共聞。故喧醜之制，日盛於㕓里；風味之響，獨盡於衣冠。宜命有司，務懃功課，緝理遺逸，迭相開曉，所經漏忘，悉加補綴。曲全者祿厚，藝妙者位優。利以動之，則人思刻厲。反本還源，庶可跂踵。」事見納。
建元元年，轉侍中，撫軍將軍，丹陽尹。二年，進號左衛將軍，固讓不拜。改授左光祿大夫，侍中、尹如故。郡縣獄相承有上湯殺囚，僧虔上疏言之曰：「湯本以救疾，而實行冤暴，或以肆忿。若罪必入重，自有正刑；若去惡宜疾，則應先啟。豈有死生大命，而潛制下邑。愚謂治下囚病，必先刺郡，求職司與醫對共診驗；遠縣，家人省視，然後處理。可使死者不恨，生者無怨。」上納其言。
僧虔留意雅樂，昇明中所奏，雖微有釐改，尚多遺失。是時上始欲通使，僧虔與兄子儉書曰：「古語云『中國失禮，問之四夷』。計樂亦如。苻堅敗後，東晉始備金石樂，故知不可全誣也。北國或有遺樂，誠未可便以補中夏之闕，且得知其存亡，亦一理也。但鼓吹舊有二十一曲，今所能者十一而已，意謂北使會有散役，得今樂署一人粗別同異者，充此使限。雖復延州難追，其得知所知，亦當不同。若謂有此理者，可得申吾意上聞否？試為思之。」事竟不行。
太祖善書，及即位，篤好不已。與僧虔賭書畢，謂僧虔曰：「誰為第一？」僧虔曰：「臣書第一，陛下亦第一。」上笑曰：「卿可謂善自為謀矣。」示僧虔古跡十一袠，就求能書人名。僧虔得民閒所有，袠中所無者，吳大皇帝、景帝、歸命侯書，桓玄書，及王丞相導、領軍洽、中書令珉、張芝、索靖、衛伯儒、張翼十二卷奏之。又上羊欣所撰能書人名一卷。
其年冬，遷持節、都督湘州諸軍事、征南將軍、湘州刺史，侍中如故。清簡無所欲，不營財產，百姓安之。世祖即位，僧虔以風疾欲陳解，會遷侍中、左光祿大夫、開府儀同三司。僧虔少時群從宗族並會，客有相之者云：「僧虔年位最高，仕當至公，餘人莫及也。」及授，僧虔謂兄子儉曰：「汝任重於朝，行當有八命之禮，我若復此授，則一門有二台司，實可畏懼。」乃固辭不拜，上優而許之。改授侍中、特進、左光祿大夫。客問僧虔固讓之意，僧虔曰：「君子所憂無德，不憂無寵。吾衣食周身，榮位已過，所慚庸薄無以報國，豈容更受高爵，方貽官謗邪！」兄子儉為朝宰，起長梁齋，制度小過，僧虔視之不悅，竟不入戶，儉即毀之。
其論書曰：「宋文帝書，自云可比王子敬，時議者云『天然勝羊欣，功夫少於欣』。王平南廙、右軍叔，過江之前以為最。亡曾祖領軍書，右軍云『弟書遂不減吾』。變古制，今唯右軍。領軍不爾，至今猶法鍾、張。亡從祖中書令書，子敬云『弟書如騎騾，駸駸恆欲度驊騮前』。庾征西翼書，少時與右軍齊名，右軍後進，庾猶不分，在荊州與都下人書云：『小兒輩賤家雞，皆學逸少書，須吾下，當比之。』張翼，王右軍自書表，晉穆帝令翼寫題後答，右軍當時不別，久後方悟，云『小人幾欲亂真』。張芝、索靖、韋誕、鍾會、二衛並得名前代，無以辨其優劣，唯見其筆力驚異耳。張澄當時亦呼有意。郗愔章草亞於右軍。郗嘉賓草亞於二王，緊媚過其父。桓玄自謂右軍之流，論者以比孔琳之。謝安亦入能書錄，亦自重，為子敬書嵇康詩。羊欣書見重一時，親受子敬，行書尤善，正乃不稱名。孔琳之書天然放縱，極有筆力，規矩恐在羊欣後。丘道護與羊欣俱面受子敬，故當在欣後。范廚與蕭思話同師羊欣，後小叛，既失故步，為復小有意耳。蕭思話書，羊欣之影，風流趣好，殆當不減，筆力恨弱。謝綜書，其舅云『緊生起，是得賞也，恨少媚好』。謝靈運乃不倫，遇其合時，亦得入流。賀道力書亞丘道護。庾昕學右軍，亦欲亂真矣。」又著書賦，傳於世。
知汝恨吾不許汝學，欲自悔厲，或以闔棺自欺，或更擇美業，且得有慨，亦慰窮生。但亟聞斯唱，未睹其實。請從先師聽言觀行，冀此不復虛身。吾未信汝，非徒然也。往年有意於史，取三國志聚置床頭，百日許，復徙業就玄，自當小差於史，猶未近彷佛。曼倩有云：「談何容易。」見諸玄，志為之逸，腸為之抽，專一書，轉誦數十家注，自少至老，手不釋卷，尚未敢輕言。汝開老子卷頭五尺許，未知輔嗣何所道，平叔何所說，馬、鄭何所異，指例何所明，而便盛於麈尾，自呼談士，此最險事。設令袁令命汝言易，謝中書挑汝言莊，張吳興叩汝言老，端可復言未嘗看邪？談故如射，前人得破，後人應解，不解即輸賭矣。且論注百氏，荊州八袠，又才性四本，聲無哀樂，皆言家口實，如客至之有設也。汝皆未經拂耳瞥目。豈有庖廚不脩，而欲延大賓者哉？就如張衡思侔造化，郭象言類懸河，不自勞苦，何由至此？汝曾未窺其題目，未辨其指歸；六十四卦，未知何名；莊子眾篇，何者內外；八袠所載，凡有幾家；四本之稱，以何為長。而終日欺人，人亦不受汝欺也。由吾不學，無以為訓。然重華無嚴父，放勳無令子，亦各由己耳。汝輩竊議亦當云：「何日不學？在天地閒可嬉戲，何忽自課謫？幸及盛時逐歲暮，何必有所減？」汝見其一耳，不全爾也。設令吾學如馬、鄭，亦必甚勝；復倍不如，今亦必大減。致之有由，從身上來也。汝今壯年，自懃數倍許勝，劣及吾耳。世中比例舉眼是，汝足知此，不復具言。
吾在世，雖乏德素，要復推排人閒數十許年，故是一舊物，人或以比數汝等耳。即化之後，若自無調度，誰復知汝事者？舍中亦有少負令譽弱冠越超清級者，于時王家門中，優者則龍鳳，劣者猶虎豹，失蔭之後，豈龍虎之議？況吾不能為汝蔭，政應各自努力耳。或有身經三公，蔑爾無聞；布衣寒素，卿相屈體。或父子貴賤殊，兄弟聲名異。何也？體盡讀數百卷書耳。吾今悔無所及，欲以前車誡爾後乘也。汝年入立境，方應從官，兼有室累，牽役情性，何處復得下帷如王郎時邪？為可作世中學，取過一生耳。試復三思，勿諱吾言。猶捶撻志輩，冀脫万一，未死之閒，望有成就者，不知當有益否？各在爾身己切，豈復關吾邪？鬼唯知愛深松茂柏，寧知子弟毀譽事！因汝有感，故略敘胸懷矣。
州辟議曹從事，舉秀才。建平王護軍主簿，右軍法曹行參軍，司空主簿，撫軍、南中郎二府功曹，尚書倉部郎。都令史諮郡縣米事，緒蕭然直視，不以經懷。除巴陵王文學，太子洗馬，北中郎參軍，太子中舍人，本郡中正，車騎從事中郎，中書郎，州治中，黃門郎。
宋明帝每見緒，輒歎其清淡。轉太子中庶子，本州大中正，遷司徒左長史。吏部尚書袁粲言於帝曰：「臣觀張緒有正始遺風，宜為宮職。」復轉中庶子，領翊軍校尉，轉散騎常侍，領長水校尉，尋兼侍中，遷吏部郎，參掌大選。元徽初，東宮罷，選曹擬舍人王儉格外記室，緒以儉人地兼美，宜轉祕書丞，從之。緒又遷侍中，郎如故。
緒忘情榮祿，朝野皆貴其風，嘗與客閑言，一生不解作諾。時袁粲、褚淵秉政，有人以緒言告粲、淵者，即出緒為吳郡太守，緒初不知也。遷為祠部尚書，復領中正，遷太常，加散騎常侍，尋領始安王師。昇明二年，遷太祖太傅長史，加征虜將軍。
齊臺建，轉散騎常侍，世子詹事。建元元年，轉中書令，常侍如故。緒善言，素望甚重。太祖深加敬異。僕射王儉謂人曰：「北士中覓張緒，過江未有人，不知陳仲弓、黃叔度能過之不耳？」車駕幸莊嚴寺聽僧達道人講，座遠，不聞緒言，上難移緒，乃遷僧達以近之。
尋加驍騎將軍。欲用緒為右僕射，以問王儉，儉曰：「南士由來少居此職。」褚淵在座，啟上曰：「儉年少，或不盡憶。江左用陸玩、顧和，皆南人也。」儉曰：「晉氏衰政，不可以為准則。」上乃止。四年，初立國學，以緒為太常卿，領國子祭酒，常侍、中正如故。緒既遷官，上以王延之代緒為中書令，時人以此選為得人，比晉朝之用王子敬、王季琰也。
世祖即位，轉吏部尚書，祭酒如故。永明元年，遷金紫光祿大夫，領太常。明年，領南郡王師，加給事中，太常如故。三年，轉太子詹事，師、給事如故。緒每朝見，世祖目送之。謂王儉曰：「緒以位尊我，我以德貴緒也。」遷散騎常侍，金紫光祿大夫、師如故。給親信二十人。復領中正。長沙王晃屬選用吳興聞人邕為州議曹，緒以資藉不當，執不許。晃遣書佐固請之，緒正色謂晃信曰：「此是身家州鄉，殿下何得見逼！」七年，竟陵王子良領國子祭酒，世祖敕王晏曰：「吾欲令司徒辭祭酒以授張緒，物議以為云何？」子良竟不拜。以緒領國子祭酒，光祿、師、中正如故。
緒口不言利，有財輒散之。清言端坐，或竟日無食，門生見緒飢，為之辨餐，然未嘗求也。卒時年六十八。遺命作蘆葭轜車，靈上置杯水香火，不設祭。從弟融敬重緒，事之如親兄，齎酒於緒靈前酌飲，慟哭曰：「阿兄風流頓盡！」追贈散騎常侍、特進、金紫光祿大夫。諡簡子。
