江謐字令和，濟陽考城人也。祖秉之，臨海太守，宋世清吏。父徽，尚書都官郎，吳令，為太初所殺。謐繫尚方，孝武平京邑，乃得出。解褐奉朝請，輔國行參軍，于湖令，強濟稱職。宋明帝為南豫州，謐傾身奉之，為帝所親待。即位，以為驃騎參軍。弟蒙貌醜，帝常召見狎侮之。
謐轉尚書度支郎，俄遷右丞，兼比部郎。泰始四年，江夏王義恭第十五女卒，年十九，未笄。禮官議從成人服，諸王服大功。左丞孫敻重奏：「禮記女子十五而笄，鄭云應年許嫁者也。其未許嫁者，則二十而笄。射慈云十九猶為殤。禮官違越經典，於禮無據。」博士太常以下結免贖論；謐坐杖督五十，奪勞百日。謐又奏：「敻先不研辨，混同謬議。准以事例，亦宜及咎。」敻又結免贖論。詔「可」。
太祖領南兗州，謐為鎮軍長史、廣陵太守，入為游擊將軍。性流俗，善趨勢利。元徽末，朝野咸屬意建平王景素，謐深自委結，景素事敗，僅得免禍。蒼梧王廢後，物情尚懷疑惑，謐獨竭誠歸事太祖，以本官領尚書左丞。昇明元年，遷黃門侍郎，左丞如故。沈攸之事起，議加太祖黃鉞，謐所建也。事平，遷吏部郎，稍被親待。遷太尉諮議，領錄事參軍。齊臺建，為右衛將軍。建元元年，遷侍中，出為臨川王平西長史、冠軍將軍、長沙內史、行湘州留事，先遣之鎮，既而驃騎豫章王嶷領湘州，以謐為長史，將軍、內史、知州留事如故。封永新縣伯，四百戶。三年，為左民尚書。諸皇子出閤用文武主帥，皆以委謐。尋敕曰：「江謐寒士，誠當不得競等華儕。然甚有才幹，堪為委遇，可遷掌吏部。」
謐才長刀筆，所在事辦。太祖崩，謐稱疾不入，眾頗疑其怨不豫顧命也。世祖即位，謐又不遷官，以此怨望。時世祖不豫，謐詣豫章王嶷請閒曰：「至尊非起疾，東宮又非才，公今欲作何計？」世祖知之，出謐為征虜將軍、鎮北長史、南東海太守。未發，上使御史中丞沈沖奏謐前後罪曰：「謐少懷輕躁，長習諂薄，交無義合，行必利動。特以奕世更局，見擢宋朝，而阿諛內外，貨賂公行，咎盈憲簡，戾彰朝聽，輿金輦寶，取容近習。以沈攸之地勝兵強，終當得志，委心託身，歲暮相結。以劉景素親屬望重，物應樂推，獻誠薦子，窺窬非望。時艱網漏，得全首領。太祖匡飭天地，方弘遠圖，薄其難洗之瑕，許其革音之效，加以非分之寵，推以不次之榮，列跡勳良，比肩朝德。以往者微勤，刀筆小用，賞廁河山，任忝出入。輕險之性，在貴彌彰；貪昧之情，雖富無滿。重蒞湘部，顯行斷盜；及居銓衡，肆意受納。連席同乘，皆詖黷舊侶；密筵閑讌，必貨賄常客。理合升進者，以為己惠；事宜貶退者，並稱中旨。謂販鬻威權，姦自不露，欺主罔上，謗議可掩。先帝寢疾彌留，人神憂震。謐託病私舍，曾無變容。國諱經旬，甫蹔入殿，參訪遺詔，覘忖時旨。以身列朝流，宜蒙兼帶，先顧不逮，舊位無加，遂崇飾惡言，肆醜縱悖，譏誹朝政，訕毀皇猷，遍蚩忠賢，歷詆台相。至於蕃岳入授，列代恆規，勳戚出撫，前王彝則。而謐妄發樞機，坐構囂論。復敢貶謗儲后，不顧辭端，毀折宗王，每窮舌杪。皆云誥誓乖禮，崇樹失宜，仰指天，俯畫地，希幸災故，以申積憤。犯上之跡既彰，反噬之情已著。請免官削爵土，收送廷尉獄治罪。」詔賜死，時年五十二。
太祖鎮淮陰，伯玉歸身結事，為太祖冠軍刑獄參軍。太祖為明帝所疑，及徵為黃門郎，深懷憂慮。伯玉勸太祖遣數十騎入虜界，安置標榜，於是虜游騎數百履行界上，太祖以聞，猶懼不得留，令伯玉卜，伯玉斷卦不成行，而明帝詔果復太祖本任，由是見親待。從太祖還都，除奉朝請。令伯玉看宅，知家事。世祖罷廣興還，立別宅，遣人於大宅掘樹數株，伯玉不與，馳以聞。太祖曰：「卿執之是也。」轉太祖平南府，晉熙王府參軍。太祖為南兗州，伯玉轉為上鎮軍中兵參軍，帶廣陵令。除羽林監，不拜。
初，太祖在淮南，伯玉假還廣陵，夢上廣陵城南樓上，有二青衣小兒語伯玉云：「草中肅，九五相追逐。」伯玉視城下人頭上皆有草。泰始七年，伯玉又夢太祖乘船在廣陵北渚，見上兩掖下有翅不舒。伯玉問何當舒，上曰：「卻後三年。」伯玉夢中自謂是呪師，向上唾呪之，凡六呪，有六龍出，兩掖下翅皆舒，還而復斂。元徽二年，而太祖破桂陽，威名大震。五年而廢蒼梧。太祖謂伯玉曰：「卿時乘之夢，今且效矣。」
昇明初，仍為太祖驃騎中兵參軍，除步兵校尉，不拜。仍帶濟陽太守，中兵如故。霸業既建，伯玉忠勤盡心，常衛左右。加前軍將軍。隨太祖太尉府轉中兵，將軍、太守如故。建元元年，封南豐縣子，四百戶。轉輔國將軍，武陵王征虜司馬，太守如故。徙為安成王冠軍司馬，轉豫章王司空諮議，太守如故。
世祖在東宮，專斷用事，頗不如法。任左右張景真，使領東宮主衣食官穀帛，賞賜什物，皆御所服用。景真於南澗寺捨身齋，有元徽紫皮袴褶，餘物稱是。於樂遊設會，伎人皆著御衣。又度絲錦與崑崙舶營貨，輒使傳令防送過南州津。世祖拜陵還，景真白服乘畫舴艋，坐胡床，觀者咸疑是太子。內外祗畏，莫敢有言。伯玉謂親人曰：「太子所為，官終不知，豈得顧死蔽官耳目。我不啟聞，誰應啟者？」因世祖拜陵後密啟之。上大怒，檢校東宮。世祖還至方山，日暮將泊。豫章王於東府乘飛䴏東迎，具白上怒之意。世祖夜歸，上亦停門籥待之，二更盡，方入宮。上明日遣文惠太子、聞喜公子良宣敕，以景真罪狀示世祖。稱太子令，收景真殺之。世祖憂懼，稱疾月餘日。上怒不解。晝臥太陽殿，王敬則直入，叩頭啟上曰：「官有天下日淺，太子無事被責，人情恐懼，願官往東宮解釋之。」太祖乃幸宮，召諸王以下於玄圃園為家宴，致醉乃還。
上嘉伯玉盡心，愈見親信，軍國密事，多委使之。時人為之語曰：「十敕五令，不如荀伯玉命。」世祖深怨伯玉。上臨崩，指伯玉謂世祖曰：「此人事我忠，我身後，人必為其作口過，汝勿信也。可令往東宮長侍白澤，小卻以南兗州處之。」
伯玉遭父憂，除冠軍將軍、南濮陽太守，未拜，除黃門郎，本官如故。世祖轉為豫章王太尉諮議，太守如故。俄遷散騎常侍，太守如故。伯玉憂懼無計，上聞之，以其與垣崇祖善，慮相扇為亂，加意撫之，伯玉乃安。永明元年，垣崇祖誅，伯玉并伏法。
