江谧字令和，济阳考城人也。祖秉之，临海太守，宋世清吏。父徽，尚书都官郎，吴令，为太初所杀。谧系尚方，孝武平京邑，乃得出。解褐奉朝请，辅国行参军，于湖令，强济称职。宋明帝为南豫州，谧倾身奉之，为帝所亲待。即位，以为骠骑参军。弟蒙貌丑，帝常召见狎侮之。
谧转尚书度支郎，俄迁右丞，兼比部郎。泰始四年，江夏王义恭第十五女卒，年十九，未笄。礼官议从成人服，诸王服大功。左丞孙敻重奏：「礼记女子十五而笄，郑云应年许嫁者也。其未许嫁者，则二十而笄。射慈云十九犹为殇。礼官违越经典，于礼无据。」博士太常以下结免赎论；谧坐杖督五十，夺劳百日。谧又奏：「敻先不研辨，混同谬议。准以事例，亦宜及咎。」敻又结免赎论。诏「可」。
太祖领南兖州，谧为镇军长史、广陵太守，入为游击将军。性流俗，善趋势利。元徽末，朝野咸属意建平王景素，谧深自委结，景素事败，仅得免祸。苍梧王废后，物情尚怀疑惑，谧独竭诚归事太祖，以本官领尚书左丞。升明元年，迁黄门侍郎，左丞如故。沈攸之事起，议加太祖黄钺，谧所建也。事平，迁吏部郎，稍被亲待。迁太尉咨议，领录事参军。齐台建，为右卫将军。建元元年，迁侍中，出为临川王平西长史、冠军将军、长沙内史、行湘州留事，先遣之镇，既而骠骑豫章王嶷领湘州，以谧为长史，将军、内史、知州留事如故。封永新县伯，四百户。三年，为左民尚书。诸皇子出合用文武主帅，皆以委谧。寻敕曰：「江谧寒士，诚当不得竞等华侪。然甚有才干，堪为委遇，可迁掌吏部。」
谧才长刀笔，所在事办。太祖崩，谧称疾不入，众颇疑其怨不豫顾命也。世祖即位，谧又不迁官，以此怨望。时世祖不豫，谧诣豫章王嶷请闲曰：「至尊非起疾，东宫又非才，公今欲作何计？」世祖知之，出谧为征虏将军、镇北长史、南东海太守。未发，上使御史中丞沈冲奏谧前后罪曰：「谧少怀轻躁，长习谄薄，交无义合，行必利动。特以奕世更局，见擢宋朝，而阿谀内外，货赂公行，咎盈宪简，戾彰朝听，舆金辇宝，取容近习。以沈攸之地胜兵强，终当得志，委心托身，岁暮相结。以刘景素亲属望重，物应乐推，献诚荐子，窥窬非望。时艰网漏，得全首领。太祖匡饬天地，方弘远图，薄其难洗之瑕，许其革音之效，加以非分之宠，推以不次之荣，列迹勋良，比肩朝德。以往者微勤，刀笔小用，赏厕河山，任忝出入。轻险之性，在贵弥彰；贪昧之情，虽富无满。重莅湘部，显行断盗；及居铨衡，肆意受纳。连席同乘，皆诐黩旧侣；密筵闲䜩，必货贿常客。理合升进者，以为己惠；事宜贬退者，并称中旨。谓贩鬻威权，奸自不露，欺主罔上，谤议可掩。先帝寝疾弥留，人神忧震。谧托病私舍，曾无变容。国讳经旬，甫𫏐入殿，参访遗诏，觇忖时旨。以身列朝流，宜蒙兼带，先顾不逮，旧位无加，遂崇饰恶言，肆丑纵悖，讥诽朝政，讪毁皇猷，遍蚩忠贤，历诋台相。至于蕃岳入授，列代恒规，勋戚出抚，前王彝则。而谧妄发枢机，坐构嚣论。复敢贬谤储后，不顾辞端，毁折宗王，每穷舌杪。皆云诰誓乖礼，崇树失宜，仰指天，俯画地，希幸灾故，以申积愤。犯上之迹既彰，反噬之情已著。请免官削爵土，收送廷尉狱治罪。」诏赐死，时年五十二。
太祖镇淮阴，伯玉归身结事，为太祖冠军刑狱参军。太祖为明帝所疑，及征为黄门郎，深怀忧虑。伯玉劝太祖遣数十骑入虏界，安置标榜，于是虏游骑数百履行界上，太祖以闻，犹惧不得留，令伯玉卜，伯玉断卦不成行，而明帝诏果复太祖本任，由是见亲待。从太祖还都，除奉朝请。令伯玉看宅，知家事。世祖罢广兴还，立别宅，遣人于大宅掘树数株，伯玉不与，驰以闻。太祖曰：「卿执之是也。」转太祖平南府，晋熙王府参军。太祖为南兖州，伯玉转为上镇军中兵参军，带广陵令。除羽林监，不拜。
初，太祖在淮南，伯玉假还广陵，梦上广陵城南楼上，有二青衣小儿语伯玉云：「草中肃，九五相追逐。」伯玉视城下人头上皆有草。泰始七年，伯玉又梦太祖乘船在广陵北渚，见上两掖下有翅不舒。伯玉问何当舒，上曰：「却后三年。」伯玉梦中自谓是呪师，向上唾呪之，凡六呪，有六龙出，两掖下翅皆舒，还而复敛。元徽二年，而太祖破桂阳，威名大震。五年而废苍梧。太祖谓伯玉曰：「卿时乘之梦，今且效矣。」
升明初，仍为太祖骠骑中兵参军，除步兵校尉，不拜。仍带济阳太守，中兵如故。霸业既建，伯玉忠勤尽心，常卫左右。加前军将军。随太祖太尉府转中兵，将军、太守如故。建元元年，封南丰县子，四百户。转辅国将军，武陵王征虏司马，太守如故。徙为安成王冠军司马，转豫章王司空咨议，太守如故。
世祖在东宫，专断用事，颇不如法。任左右张景真，使领东宫主衣食官谷帛，赏赐什物，皆御所服用。景真于南涧寺舍身斋，有元徽紫皮袴褶，余物称是。于乐游设会，伎人皆著御衣。又度丝锦与昆仑舶营货，辄使传令防送过南州津。世祖拜陵还，景真白服乘画舴艋，坐胡床，观者咸疑是太子。内外祗畏，莫敢有言。伯玉谓亲人曰：「太子所为，官终不知，岂得顾死蔽官耳目。我不启闻，谁应启者？」因世祖拜陵后密启之。上大怒，检校东宫。世祖还至方山，日暮将泊。豫章王于东府乘飞䴏东迎，具白上怒之意。世祖夜归，上亦停门籥待之，二更尽，方入宫。上明日遣文惠太子、闻喜公子良宣敕，以景真罪状示世祖。称太子令，收景真杀之。世祖忧惧，称疾月余日。上怒不解。昼卧太阳殿，王敬则直入，叩头启上曰：「官有天下日浅，太子无事被责，人情恐惧，愿官往东宫解释之。」太祖乃幸宫，召诸王以下于玄圃园为家宴，致醉乃还。
上嘉伯玉尽心，愈见亲信，军国密事，多委使之。时人为之语曰：「十敕五令，不如荀伯玉命。」世祖深怨伯玉。上临崩，指伯玉谓世祖曰：「此人事我忠，我身后，人必为其作口过，汝勿信也。可令往东宫长侍白泽，小却以南兖州处之。」
伯玉遭父忧，除冠军将军、南濮阳太守，未拜，除黄门郎，本官如故。世祖转为豫章王太尉咨议，太守如故。俄迁散骑常侍，太守如故。伯玉忧惧无计，上闻之，以其与垣崇祖善，虑相扇为乱，加意抚之，伯玉乃安。永明元年，垣崇祖诛，伯玉并伏法。
