武安侯爲丞相，徵湯爲史，薦補侍御史。治陳皇后巫蠱獄，深竟黨與，上以爲能，遷太史大夫。與趙禹共定諸律令，務在深文，拘守職之吏。已而禹至少府，湯爲廷尉，兩人交歡，兄事禹。禹志在奉公孤立，而湯舞知以御人。始爲小吏，乾沒，與長安富賈田甲、魚翁叔之屬交私。及列九卿，收接天下名士大夫，己內心雖不合，然陽浮道與之。
是時，上方鄉文學，湯決大獄，欲傅古義，乃請博士弟子治《尚書》、《春秋》，補廷尉史，平亭疑法。奏讞疑，必奏先爲上分別其原，上所是，受而著讞法廷尉挈令，揚主之明。奏事即譴，湯摧謝，鄉上意所便，必引正監掾史賢者，曰：“固爲臣議，如上責臣，臣弗用，愚抵此。”罪常釋。間即奏事，上善之，曰：“臣非知爲此奏，乃監、掾、史某所爲。”其欲薦吏，揚人之善、解人之過如此。所治即上意所欲罪，予監吏深刻者；即上意所欲釋，予監吏輕平者。所治即豪，必舞文巧詆；即下戶羸弱，時口言“雖文致法，上裁察。”於是往往釋湯所言。湯至於大吏，內行修，交通賓客飲食，於故人子弟爲吏及貧昆弟，調護之尤厚，其造請諸公，不避寒暑。是以湯雖文深意忌不專平，然得此聲譽。而深刻吏多爲爪牙用者，依於文學之士。丞相弘數稱其美。
及治淮南、衡山、江都反獄，皆窮根本。嚴助、伍被，上欲釋之，湯爭曰：“伍被本造反謀，而助親倖出入禁闥，腹心之臣，乃交私諸侯如此，弗誅，後不可治。”上可論之。其治獄所巧排大臣自以爲功，多此類。繇是益尊任，遷御史大夫。
會渾邪等降，漢大興兵伐匈奴，山東水旱，貧民流徙，皆卬給縣官，縣官空虛。湯承上指，請造白金及五銖錢，籠天下鹽鐵，排富商大賈，出告緡令，鋤豪強併兼之家，舞文巧詆以輔法。湯每朝奏事，語國家用，日旰，天子忘食。丞相取充位，天子事皆決湯。百姓不安其生，騷動，縣官所興未獲其利，奸吏並侵漁，於是痛繩以罪。自公卿以下至於庶人鹹指湯。湯嘗病，上自至舍視，其隆貴如此。
匈奴求和親，羣臣議前，博士狄山曰：“和親便。”上問其便，山曰：“兵，兇器，未易數動。高帝欲伐匈奴，大困平城，乃遂結和親。孝惠、高後時，天下安樂，及文帝欲事匈奴，北邊蕭然苦兵。孝景時，吳、楚七國反，景帝往來東宮間，天下寒心數月。吳、楚已破，竟景帝不言兵，天下富實。今自陛下興兵擊匈奴，中國以空虛，邊大困貧。由是觀之，不如和親。”上問湯，湯曰：“此愚儒無知。”狄山曰：“臣固愚忠，若御史大夫湯，乃詐忠。湯之治淮南、江都，以深文痛詆諸侯，別疏骨肉，使籓臣不自安，臣固知湯之詐忠。”於是上作色曰：“吾使生居一郡，能無使虜入盜乎？”山曰：“不能。”曰：“居一縣？”曰：“不能。”復曰：“居一鄣間？”山自度辯窮且下吏，曰：“能。”乃譴山乘鄣。至月餘，匈奴斬山頭而去。是後羣臣震讋。
河東人李文，故嘗與湯有隙，已而爲御史中丞，薦數從中文事有可以傷湯者，不能爲地。湯有所愛史魯謁居，知湯弗平，使人上飛變告文奸事，事下湯，湯治論殺文，而湯心知謁居爲之。上問：“變事從跡安起？”湯陽驚曰：“此殆文故人怨之。”謁居病臥閭里主人，湯自往視病，爲謁居摩足，趙國以冶鑄爲業，王數訟鐵官事，湯常排趙王。趙王求湯陰事。謁居嘗案趙王，趙王怨之，並上書告：“湯大臣也，史謁居有病，湯至爲摩足，疑與爲大奸。”事下延尉。謁居病死，事連其弟，弟系導官。湯亦治它囚導官，見謁居弟，欲陰爲之，而陽不省。謁居弟不知而怨湯，使人上書，告湯與謁居謀，共變李文。事下減宣。宣嘗與湯有隙，及得此事，窮竟其事，未奏也。會人有盜發孝文園瘞錢，丞相青翟朝，與湯約俱謝，至前，湯念獨丞相以四時行園，當謝，湯無與也，不謝。丞相謝，上使御史案其事。湯欲致其文丞相見知，丞相患之。三長史皆害湯，欲陷之。
始，長史硃買臣素怨湯，語在其傳。王朝，齊人，以術至右內史。邊通學短長，剛暴人也。官至濟南相。故皆居湯右，已而失官，守長史，詘體於湯。湯數行丞相事，知此三長史素貴，常陵折之。故三長史合謀曰：“始湯約與君謝，已而賣君；今欲劾君以宗廟事，此欲代君耳。吾知湯陰事。”使吏捕案湯左田信等，曰湯且欲爲請奏，信輒先知之，居物致富，與湯分之。及它奸事。事辭頗聞。上問湯曰：“吾所爲，賈人輒知，益居其物，是類有以吾謀告之者。”湯不謝，又陽驚曰：“固宜有。”減宜亦奏謁居事。上以湯懷詐面欺，使使八輩簿責湯。湯具自道無此，不服。於是上使趙禹責湯。禹至，讓湯曰：“君何不知分也！君所治，夷滅者幾何人矣！今人言君皆有狀，天子重致君獄，欲令君自爲計，何多以對爲？”湯乃爲書謝曰：“湯無尺寸之功，起刀筆吏，陛下幸致位三公，無以塞責。然謀陷湯者，三長史也。”遂自殺。
湯死，家產直不過五百金，皆所得奉賜，無它贏。昆弟諸子欲厚葬湯，湯母曰：“湯爲天子大臣，被惡言而死，何厚葬爲！”載以牛車，有棺而無槨。上聞之，曰：“非此母不生此子。”乃盡按誅三長史。丞相青翟自殺。出田信。上惜湯，復稍進其子安世。
昭帝即位，大將軍霍光秉政，以安世篤行，光親重之。會左將軍上官桀父子及御史大夫桑弘羊皆與燕王、蓋主謀反誅，光以朝無舊臣，白用安世爲右將軍光祿勳，以自副焉。久之，天子下詔曰：“右將軍光祿勳安世輔政宿衛，肅敬不怠，十有三年，鹹以康寧。夫親親任賢，唐、虞之道也，其封安世爲富平侯。”
明年，昭帝崩，未葬，大將軍光白太后，徙安世爲車騎將軍，與共徵立昌邑王。王行淫亂，光復與安世謀，廢王、尊立宣帝。帝初即位，褒賞大臣，下詔曰：“夫褒有德，賞有功，古今之通義也。車騎將軍光祿勳富平侯安世，宿衛忠正，宣德明恩，勤勞國家，守職秉義，以安宗廟，其益封萬六百戶，功次大將軍光。”安世子千秋、延壽、彭祖，皆中郎將侍中。
大將軍光薨後數月，御史大夫魏相上封事曰：“聖王褒有德以懷萬方，顯有功以勸百寮，是以朝廷尊榮，天下鄉風。國家承祖宗之業，制諸侯之重，新失大將軍，宜宣章盛德以示天下，顯明功臣以填籓國。毋空大位，以塞爭權，所以安社稷絕未萌也。車騎將軍安世事孝武皇帝三十餘年，忠信謹厚，勤勞政事，夙夜不怠，與大將軍定策，天下受其福，國家重臣也，宜尊其位，以爲大將軍，毋令領光祿勳事，使專精神，憂念天下，思惟得失。安世子延壽重厚，可以爲光祿勳，領宿衛臣。”上亦欲用之。安世聞指，懼不敢當。請聞求見，免冠頓首曰：“老臣耳妄聞，言之爲先事，不言情不達，誠自量不足以居大位，繼大將軍後，唯天子財哀，以全老臣之命。”上笑曰：“君言泰謙。君而不可，尚誰可者！”安世深辭弗能得。後數日，竟拜爲大司馬車騎將軍，領尚書事。數月，罷車騎將軍屯兵，更爲衛將軍，兩宮衛尉，城門、北軍兵屬焉。
時，霍光子禹爲右將軍，上亦以禹爲大司馬，罷其右將軍屯兵，以虛尊加之，而實奪其衆。後歲餘，禹謀反，夷宗族，安世素小心畏忌，已內憂矣。其女孫敬爲霍氏外屬婦，當相坐，安世瘦懼，形於顏色，上怪而憐之，以問左右，乃赦敬，以尉其意。安世浸恐。職典樞機，以謹慎周密自著，外內無間。每定大政，已決，輒移病出；聞有詔令，乃驚，使吏之丞相府問焉。自朝廷大臣莫知其與議也。
嘗有所薦，其人來謝，安世大恨，以爲舉賢達能，豈有私謝邪？絕井復爲通。有郎功高不調，自言，安世應曰：“君之功高，明主所知。人臣執事，何長短而自言乎！”絕不許。已而郎果遷。莫府長史遷，辭去之官，安世問以過失。長史曰：“將軍爲明主股肱，而士無所進，論者以爲譏。”安世曰“明主在上，賢不肖較然，臣下自修而已，何知士而薦之？”其欲匿名跡遠權勢如此。
初，安世兄賀幸於衛太子，太子敗，賓客皆誅，安世爲賀上書，得下蠶室。後爲掖庭令，而宣帝以皇曾孫收養掖庭。賀內傷太子無辜，而曾孫孤幼，所以視養拊循，恩甚密焉。及曾孫壯大，賀教書，令受《詩》，爲取許妃，以家財聘之。曾孫數有徵怪，語在《宣紀》。賀聞知，爲安世道之，稱其材美。安世輒絕止，以爲少主在上，不宜稱述曾孫。及宣帝即位，而賀已死。上謂安世曰：“掖廷令平生稱我，將軍止之，是也。”上追思賀恩，欲封其冢爲恩德侯，置家冢二百家。賀有一子蚤死，無子，子安世小男彭祖。彭祖又小與上同席研書，指欲封之，先賜爵關內侯。故安世深辭賀封，又求損守冢戶數，稍減至三十戶。上曰：“吾自爲掖廷令，非爲將軍也。”安世乃止，不敢復言。遂下詔曰：“其爲故掖廷令張賀置守冢三十家。”上自處置其裏，居冢西鬥雞翁舍南，上少時所嘗遊處也。明年，復下詔曰：“朕微眇時，故掖廷令張賀輔道朕躬，修文學經術，恩惠卓異，厥功茂焉。《詩》雲：‘無言不仇，無德不報。’其封賀弟子侍中關內侯彭祖爲陽都侯，賜賀諡曰陽都哀侯。”時，賀有孤孫霸，年七歲，拜爲散騎、中郎將，賜爵關內侯，食邑三百戶。安世以父子封侯，在位大盛，乃辭祿。詔都內別臧張氏無名錢以百萬數。
元康四年春，安世病，上疏歸侯，乞骸骨。天子報曰：“將軍年老被病，朕甚閔之。雖不能視事，折衝萬里，君先帝大臣，明於治亂，朕所不及，得數問焉，何感而上書歸衛將軍富平侯印？薄朕忘故，非所望也！願將軍強餐食，近醫藥，專精神，以輔天年。”安世復強起視事，至秋薨。天子贈印綬，送以輕車介士，諡曰敬侯。賜塋杜東，將作穿復土，起冢祠堂。子延壽嗣。
延壽已歷位九卿，既嗣侯，國在陳留，別邑在魏郡，租入歲千餘萬。延壽自以身無功德，何以能久堪先人大國，數上書讓減戶邑，又因弟陽都侯彭祖口陳至誠，天子以爲有讓，乃徙封平原，並一國，戶口如故，而租稅減半。薨，諡曰愛侯。子勃嗣。爲散騎、諫大夫。
鴻嘉中，上欲遵武帝故事，與近臣遊宴，放以公主子開敏得幸。放取皇后弟平恩侯許嘉女，上爲放供張，賜甲第，充以乘輿服飾，號爲天子取婦，皇后嫁女。大官私官並供其弟，兩宮使者冠蓋不絕，賞賜以千萬數。放爲侍中、中郎將，監平樂屯兵，置莫府，儀比將軍。與上臥起，寵愛殊絕，常從爲微行出遊，北至甘泉，南至長楊、五莋，鬥雞走馬長安中，積數年。
是時，上諸舅皆害其寵，白太后。太后以上春秋富，動作不節，甚以過放。時數有災異，議者歸咎放等。於是丞相宣、御史大夫方進奏：“放驕蹇縱恣，奢淫不制。前侍御史修等四人奉使至放家逐名捕賊，時放見在，奴從者閉門設兵弩射吏，距使者不肯內。知男子李遊君欲獻女，使樂府音監景武強求不得，使如康等之其家，賊傷三人。又以縣官事怨樂府遊徼莽，而使大奴駿等四十餘人羣黨盛兵弩，白晝入樂府攻射官寺，縛束長吏子弟，斫破器物，宮中皆奔走伏匿。奔自髡鉗，衣赭衣，及守令史調等皆徒跣叩頭謝放，放乃止。奴從者支屬並乘權勢爲暴虐，至求吏妻不得，殺其夫，或恚一人，妄殺其親屬，輒亡人放弟，不得，幸得勿治。放行輕薄，連犯大惡，有感動陰陽之咎，爲臣不忠首，罪名雖顯，前蒙恩。驕逸悖理，與背畔無異，臣子之惡，莫大於是，不宜宿衛在位。臣請免放歸國，以銷衆邪之萌，厭海內之心。”
上不得已，左遷放爲北地都尉。數月，復徵入侍中。太后以放爲言，出放爲天水屬國都尉。永始、元延間，比年日蝕，故久不還放，璽書勞問不絕。居歲餘，徵放歸第視母公主疾。數月，主有瘳，出放爲何東都尉。上雖愛放，然上迫太后，下用大臣，故常涕泣而遣之。後復徵放爲侍中光祿大夫，秩中二千石。歲餘，丞相方進復奏放，上不得已，免放，賜錢五百萬，遣就國。數月，成帝崩，放思慕哭泣而死。
初，安世長子千秋與霍光子禹俱爲中郎將，將兵隨度遼將軍範明友擊烏桓。還，謁大將軍光，問千秋戰鬥方略，山川形勢，千秋口對兵事，畫地成圖，無所忘失。光復問禹，禹不能記，曰：“皆有文書。”光由是賢千秋，以禹爲不材，嘆曰：“霍氏世衰，張氏興矣！”及禹誅滅，而安世子孫相繼，自宣、元以來爲侍中、中常侍、諸曹散騎、列校尉者凡十餘人。功臣之世，唯有金氏、張氏，親近寵貴，比於外戚。
