會伯父羅仇、麴粥從呂光征河南，光前軍大敗，麴粥言于兄羅仇曰：「主上荒耄驕縱，諸子朋黨相傾，讒人側目。今軍敗將死，正是智勇見猜之日，可不懼乎！吾兄弟素為所憚，與其經死溝瀆，豈若勒眾向西平，出苕藋，奮臂大呼，涼州不足定也。」羅仇曰：「理如汝言，但吾家累世忠孝，為一方所歸，寧人負我，無我負人。」俄而皆為光所殺。宗姻諸部會葬者萬餘人，蒙遜哭謂眾曰：「昔漢祚中微，吾之乃祖翼獎竇融，保寧河右。呂王昏耄，荒虐無道，豈可不上繼先祖安時之志，使二父有恨黃泉！」眾咸稱萬歲。遂斬光中田護軍馬邃、臨松令井祥以盟，一旬之間，眾至萬餘。屯據金山，與從兄男成推光建康太守段業為使持節、大都督、龍驤大將軍、涼州牧、建康公，改呂光龍飛二年為神璽元年。業以蒙遜為張掖太守，男成為輔國將軍，委以軍國之任。
業將使蒙遜攻西郡，眾咸疑之。蒙遜曰：「此郡據嶺之要，不可不取。」業曰：「卿言是也。」遂遣之。蒙遜引水灌城，城潰，執太守呂純以歸。于是王德以晉昌，孟敏以敦煌降業。業封蒙遜臨池侯。呂弘去張掖，將東走，業議欲擊之。蒙遜諫曰：「歸師勿遏，窮寇弗追，此兵家之戒也。不如縱之，以為後圖。」業曰：「一日縱敵，悔將無及。」遂率眾追之，為弘所敗。業賴蒙遜而免，歎曰：「孤不能用子房之言，以至于此！」業築西安城，以其將臧莫孩為太守。蒙遜曰：「莫孩勇而無謀，知進忘退，所謂為之築冢，非築城也。」業不從。俄而為呂纂所敗。蒙遜懼業不能容己，每匿智以避之。
呂光遣其二子紹、纂伐業，業請救于禿髮烏孤，烏孤遣其弟鹿孤及楊軌救業。紹以業等軍盛，欲從三門關挾山而東。纂曰：「挾山示弱，取敗之道，不如結陣衝之，彼必憚我而不戰也。」紹乃引軍而南。業將擊之，蒙遜諫曰：「楊軌恃虜騎之強，有窺覦之志。紹、纂兵在死地，必決戰求生。不戰則有太山之安，戰則有累卵之危。」業曰：「卿言是也。」乃按兵不戰。紹亦難之，各引兵歸。
業憚蒙遜雄武，微欲遠之，乃以蒙遜從叔益生為酒泉太守，蒙遜為臨池太守。業門下侍郎馬權雋爽有逸氣，武略過人。業以權代蒙遜為張掖太守，甚見親重，每輕陵蒙遜。蒙遜亦憚而怨之，乃譖之于業曰：「天下不足慮，惟當憂馬權耳。」業遂殺之。蒙遜謂男成曰：「段業愚闇，非濟亂之才，信讒愛佞，無鑒斷之明。所憚惟索嗣、馬權，今皆死矣，蒙遜欲除業以奉兄何如？」男成曰：「業羇旅孤飄，我所建立，有吾兄弟，猶魚之有水。人既親我，背之不祥。」乃止。蒙遜既為業所憚，內不自安，請為西安太守。業亦以蒙遜有大志，懼為朝夕之變，乃許焉。
蒙遜期與男成同祭蘭門山，密遣司馬許咸告業曰：「男成欲謀叛，許以取假日作逆。若求祭蘭門山，臣言驗矣。」至期日，果然。業收男成，令自殺。男成曰：「蒙遜欲謀叛，先已告臣，臣以兄弟之故，隱忍不言。以臣今在，恐部人不從，與臣剋期祭山，返相誣告。臣若朝死，蒙遜必夕發。乞詐言臣死，說臣罪惡，蒙遜必作逆，臣投袂討之，事無不捷。」業不從。蒙遜聞男成死，泣告眾曰：「男成忠于段公，枉見屠害，諸君能為報仇乎？且州土兵亂，似非業所能濟。吾所以初奉之者，以之為陳、吳耳，而信讒多忌，枉害忠良，豈可安枕臥觀，使百姓離于塗炭。」男成素有恩信，眾皆憤泣而從之。比至氐池，眾逾一萬。鎮軍臧莫孩率部眾附之，羌胡多起兵響應。蒙遜壁于侯塢。
業先疑其右將軍田昂，幽之于內，至是，謝而赦之，使與武衛梁中庸等攻蒙遜。業將王豐孫言于業曰：「西平諸田，世有反者，昂貌恭而心很，志大而情險，不可信也。」業曰：「吾疑之久矣，但非昂無可以討蒙遜。」豐孫言既不從，昂至侯塢，率騎五百歸于蒙遜。蒙遜至張掖，昂兄子承愛斬關內之，業左右皆散。蒙遜大呼曰：「鎮西何在？」軍人曰：「在此。」業曰：「孤單飄一己，為貴門所推，可見匄餘命，投身嶺南，庶得東還，與妻子相見。」蒙遜遂斬之。
隆安五年，梁中庸、房晷、田昂等推蒙遜為使持節、大都督、大將軍、涼州牧、張掖公，赦其境內，改元永安。署從兄伏奴為鎮軍將軍、張掖太守、和平侯，弟挐為建忠將軍、都谷侯，田昂為鎮南將軍、西郡太守，臧莫孩為輔國將軍，房晷、梁中庸為左右長史，張騭、謝正禮為左右司馬。擢任賢才，文武咸悅。
時姚興遣將姚碩德攻呂隆于姑臧，蒙遜遣從事中郎李典聘于興，以通和好。蒙遜以呂隆既降于興，酒泉、涼寧二郡叛降李玄盛，乃遣建忠挐、牧府長史張潛見碩德于姑臧，請軍迎接，率郡人東遷。碩德大悅，拜潛張掖太守，挐建康太守。潛勸蒙遜東遷。挐私于蒙遜曰：「呂氏猶存，姑臧未拔，碩德糧竭將還，不能久也。何故違離桑梓，受制于人！」輔國莫孩曰：「建忠之言是也。」蒙遜乃斬張潛，因下書曰：「孤以虛薄，猥忝時運，未能弘闡大猷，戡蕩群孽，使桃蟲鼓翼東京，封豕烝涉西裔，戎車屢動，干戈未戢，農失三時之業，百姓戶不粒食。可蠲省百徭，專功南畝，明設科條，務盡地利。」
姚興遣使人梁斐、張構等拜蒙遜鎮西大將軍、沙州刺史、西海侯。時興亦拜禿髮傉檀為車騎將軍，封廣武公。蒙遜聞之，不悅，謂斐等曰：「傉檀上公之位，而身為侯者何也？」構對曰：「傉檀輕狡不仁，款誠未著，聖朝所以加其重爵者，褒其歸善即敘之義耳。將軍忠貫白日，勳高一時，當入諧鼎味，匡贊帝室，安可以不信待也。聖朝爵必稱功，官不越德，如尹緯、姚晃佐命初基，齊難、徐洛元勳驍將，並位纔二品，爵止侯伯。將軍何以先之乎？竇融殷勤固讓，不欲居舊臣之右，未解將軍忽有此問！」蒙遜曰：「朝廷何不即以張掖見封，乃更遠封西海邪？」構曰：「張掖，規畫之內，將軍已自有之。所以遠授西海者，蓋欲廣大將軍之國耳。」蒙遜大悅，乃受拜。
時地震，山崩折木。太史令劉梁言于蒙遜曰：「辛酉，金也。地動于金，金動刻木，大軍東行無前之徵。」時張掖城每有光色，蒙遜曰：「王氣將成，百戰百勝之象也。」遂攻禿髮西郡太守楊統於日勒。統降，拜為右長史，寵踰功舊。
蒙遜率步騎三萬伐禿髮傉檀，次于西郡。大風從西北來，氣有五色，俄而晝昏。至顯美，徙數千戶而還。傉檀追及蒙遜于窮泉，蒙遜將擊之。諸將皆曰：「賊已安營，弗可犯也。」蒙遜曰：「傉檀謂吾遠來疲弊，必輕而無備，及其壘壁未成，可以一鼓而滅。」進擊，敗之，乘勝至于姑臧，夷夏降者萬數千戶。傉檀懼，請和，許之而歸。及傉檀南奔樂都，魏安人焦朗據姑臧自立，蒙遜率步騎三萬攻朗，克而宥之。饗文武將士于謙光殿，班賜金馬有差。以敦煌張穆博通經史，才藻清贍，擢拜中書侍郎，委以機密之任。以其弟挐為護羌校尉、秦州刺史，封安平侯，鎮姑臧。旬餘而挐死，又以從祖益子為鎮京將軍、護羌校尉、秦州刺史，鎮姑臧。
傉檀來伐，蒙遜敗之于若厚塢。傉檀湟河太守文支據湟川，護軍成宜侯率眾降之。署文支鎮東大將軍、廣武太守、振武侯，成宜侯為振威將軍、湟川太守，以殿中將軍王建為湟河太守。蒙遜下書曰：「古先哲王應期撥亂者，莫不經略八表，然後光闡純風。孤雖智非靖難，職在濟時，而狡虜傉檀鴟峙舊京，毒加夷夏。東苑之戮，酷甚長平，邊城之禍，害深獫狁。每念蒼生之無辜，是以不遑啟處，身疲甲冑，體倦風塵。雖傾其巢穴，傉檀猶未授首。傉檀弟文支追項伯歸漢之義，據彼重藩，請為臣妾。自西平已南，連城繼順。惟傉檀窮獸，守死樂都。四支既落，命豈久全！五緯之會已應，清一之期無賒，方散馬金山，黎元永逸。可露布遠近，咸使聞知。」
蒙遜母車氏疾篤，蒙遜升南景門，散錢以賜百姓。下書曰：「孤庶憑宗廟之靈，乾坤之祐，濟否剝之運會，拯遺黎之荼蓼，上望掃清氛穢，下冀保寧家福。而太后不豫，涉歲彌增，將刑獄枉濫，眾有怨乎？賦役繁重，時不堪乎？群望不絜，神所譴乎？內省諸身，未知罪之攸在。可大赦殊死已下。」俄而車氏死。
蒙遜遣其將運糧于湟河，自率眾攻克乞伏熾磐廣武郡。以運糧不繼，自廣武如湟河，度浩亹。熾磐遣將乞伏魋尼寅距蒙遜，蒙遜擊斬之。熾磐又遣將王衡、折斐、麴景等率騎一萬據勒姐嶺，蒙遜且戰且前，大破之，擒折斐等七百餘人，麴景奔還。蒙遜以弟漢平為折衝將軍、湟河太守，乃引還。
晉益州刺史朱齡石遣使來聘。蒙遜遣舍人黃迅報聘益州，因表曰：「上天降禍，四海分崩，靈耀擁于南裔，蒼生沒于醜虜。陛下累聖重光，道邁周漢，純風所被，八表宅心。臣雖被髮邊徼，才非時雋，謬為河右遺黎推為盟主。臣之先人，世荷恩寵，雖歷夷嶮，執義不回，傾首朝陽，乃心王室。去冬益州刺史朱齡石遣使詣臣，始具朝廷休問。承車騎將軍劉裕秣馬揮戈，以中原為事，可謂天贊大晉，篤生英輔。臣聞少康之興大夏，光武之復漢業，皆奮劍而起，眾無一旅，猶能成配天之功，著車攻之詠。陛下據全楚之地，擁荊揚之銳，而可垂拱晏然，棄二京以資戎虜！若六軍北軫，克復有期，臣請率河西戎為晉右翼前驅。」
熾磐率眾三萬襲湟河，漢平力戰固守，遣司馬隗仁夜出擊熾磐，斬級數百。熾磐將引退，先遣老弱。漢平長史焦昶、將軍段景密信招熾磐，熾磐復進攻漢平。漢平納昶、景之說，面縛出降。仁勒壯士百餘據南門樓上，三日不下，眾寡不敵，為熾磐所擒。熾磐怒，命斬之。段暉諫曰：「仁臨難履危，奮不顧命，忠也。宜宥之，以厲事君。」熾磐乃執之而歸。在熾磐所五年，暉又為之固請，乃得還姑臧。及至，蒙遜執其手曰：「卿，孤之蘇武也！」以為高昌太守。為政有威惠之稱，然頗以愛財為失。
蒙遜西祀金山，遣沮渠廣宗率騎一萬襲烏啼虜，大捷而還。蒙遜西至苕藋，遣前將軍沮渠成都將騎五千襲卑和虜，蒙遜率中軍三萬繼之，卑和虜率眾迎降。遂循海而西，至鹽池，祀西王母寺。寺中有玄石神圖，命其中書侍郎張穆賦焉，銘之于寺前，遂如金山而歸。
蒙遜聞劉裕滅姚泓，怒甚。門下校郎劉祥言事于蒙遜，蒙遜曰：「汝聞劉裕入關，敢研研然也！」遂殺之。其峻暴如是。顧謂左右曰：「古之行師，不犯歲鎮所在。姚氏舜後，軒轅之苗裔也。今鎮星在軒轅，而裕滅之，亦不能久守關中。」
其群下上書曰：「設官分職，所以經國濟時；恪勤官次，所以緝熙庶政。當官者以匪躬為務，受任者以忘身為效。自皇綱初震，戎馬生郊，公私草創，未遑舊式。而朝士多違憲制，不遵典章；或公文御案，在家臥署；或事無可否，望空而過。至令黜陟絕于皇朝，駁議寢于聖世，清濁共流，能否相雜，人無勸競之心，苟為度日之事。豈憂公忘私，奉上之道也！今皇化日隆，遐邇寧泰，宜肅振綱維，申修舊則。」蒙遜納之，命征南姚艾、尚書左丞房晷撰朝堂制。行之旬日，百僚振肅。
太史令張衍言于蒙遜曰：「今歲臨澤城西當有破兵。」蒙遜乃遣其世子政德屯兵若厚塢。蒙遜西至白岸，謂張衍曰：「吾今年當有所定，但太歲在申，月又建申，未可西行。且當南巡，要其歸會，主而勿客，以順天心。計在臨機，慎勿露也。」遂攻浩亹，而蛇盤于帳前。蒙遜笑曰：「前一為騰蛇，今盤在吾帳，天意欲吾迴師先定酒泉。」燒攻具而還，次于川巖。聞李士業徵兵欲攻張掖，蒙遜曰：「入吾計矣。但恐聞吾迴軍，不敢前也。兵事尚權。」乃露布西境，稱得浩亹，將進軍黃谷。士業聞而大悅，進入都瀆澗。蒙遜潛軍逆之，敗士業于壞城，遂進克酒泉。百姓安堵如故，軍無私焉。以子茂虔為酒泉太守，士業舊臣皆隨才擢敘。
