三年後，自備馬匹和武器，當上了一名騎兵。吳酷愛軍旅生活，處事圓滑，1887年由什長而哨長。
因受當過馬販的父親影響，以習馬性、識馬行、善相馬聞名營內外。
1897年升為哨官，成了丁春華的得力助手。
清朝末年，遼西人民困苦異常，土匪猖獗，拉杆子立山頭，四處搶掠。
吳俊升在討伐胡匪（馬賊）、蒙匪戰鬥中，常為軍中先鋒，屢立奇功，於1906年升任奉天後路巡防營統領，調駐鄭家屯。
1907年6月，張作霖移駐鄭家屯，兩人皆行伍出身，一見如故。
辛亥武昌首義後，吳俊升奉總督趙爾巽之命，率部赴奉天（今沈陽）拱衛省垣，曾與張作霖聯名致電袁世凱，請率兵勤王。
1913年2月，吳被任命為奉天第二騎兵旅旅長，5月加陸軍中將銜，11月到林西駐防。
1914年2月，吳俊升晉升陸軍中將，3月兼洮遼鎮守使。
1915年袁世凱大搞帝製自為，吳曾遞請願書勸進，12月被授二等男爵。
1916年日軍悍然挑起中日軍事衝突，製造“鄭家屯事件”，日方提出種種無理要求，北京政府接受駐華日本公使的“警告”，吳俊升被迫屈服承認，賠禮道歉。
1916年5月，二十七師師長張作霖與二十八師師長馮德麟為爭“奉天王”秣馬厲兵，吳俊升向張作霖表示：“若大帥想打（指打馮），俊升帶兵打前敵。”
馮因附張勳複辟被解職，由張作霖兼任二十八師師長。
1917年6月，張作霖將後路巡防營與騎兵第二旅合並，改編為陸軍第二十九師，任命吳俊升為師長，以報答吳助臂之功。
吳對張表示：“雖不能同生，但願同死。”同年10月，吳俊升受張作霖派遣進駐齊齊哈爾，解除黑龍江省駐軍旅長巴英額、英順的兵權。
1919年7月，吉林督軍孟恩遠被解職，以鮑貴卿繼任，孟不服，孟的外甥吉林師長高士儐請收回罷免孟的成命，並興師討伐張作霖。
張任命孫烈臣為東三省南路總司令，吳俊升為北路總司令，進行夾擊，高士儐被撤職查辦，孟隻好交出吉林政權。
1921年3月，孫烈臣調任吉林省督軍兼省長，由吳俊升署黑龍江省督軍兼省長，6月加陸軍上將銜。
從此，以江省為基地，發展地方勢力，實行軍閥統治。他統治黑龍江達七年之久，極力駕馭部下，培植爪牙，把江省變成吳家天下，百般弄權，簡直就是當地的土皇帝。
民間盛傳“石家兄弟，劉家外甥，靖家有旅長、縣長，董家有廳長、道尹”。
1922年4月至5月的第一次直奉戰爭以奉係失敗而告終，5月10日北京政府免去張作霖本兼各職，任命吳俊升為奉天督軍、馮德麟為黑龍江督軍。
直係吳佩孚想以山東同鄉同族關係拉攏吳俊升，離間分化張作霖舊部，吳俊升不為所動。
張作霖於5月12日宣布東三省獨立，自任奉軍總司令；吳俊升、馮德麟等通電否認北京政府命令。
6月8日，東三省議會聯合會推舉張作霖為東三省保安總司令，孫烈臣、吳俊升為副司令（孫、吳仍任吉林、黑龍江督軍），正式宣告聯省自治。
保安司令部於7月16日組成，下設七處。
旋又設立東三省陸軍整理處（後改陸軍訓練處），實行整軍經武，加強備戰。
同時奉係與皖係取得聯係，以采取一致行動，共同對付直係，此即所謂的反直“三角同盟”。
吳俊升作為張作霖的夥伴，一切遵照張的旨意。8月，黑龍江亦成立軍事訓練處，由吳兼任督辦。
由於曹錕賄選總統，吳佩孚堅持武力統一，遭到全國人民反對，直係內部因內閣等問題也起分化，奉張乘機倒直已成不可免之事。
1924年9月初，直係江蘇督軍齊燮元聯合福建的孫傳芳，向皖係的浙江督辦盧永祥發起進攻，江浙戰爭爆發。
段祺瑞等通電支持盧永祥，張作霖借口援盧，迅速調集十七萬人馬，編成六個軍，於9月15日向山海關、熱河進發。
直係以吳佩孚為總司令迎敵，17日第二次直奉戰爭打響。
吳俊升任奉係第五軍軍長，率二十九師及兩個混成旅攻占開魯，進逼赤峰待命，並將留守部隊均配置江省各要衝，鞏固後方。
是役奉軍占明顯優勢，而直軍馮玉祥又於10月23日發動北京政變，使吳佩孚腹背受敵，全軍主力喪失殆儘，萬不得已，於11月2日率殘部二千餘人乘艦南下。
第二次直奉戰爭之後，奉張與馮玉祥的矛盾逐漸擴大，各方調和的結果是把段祺瑞重新推上政治舞台，任中華民國臨時執政。
1924年12月，令吳俊升督辦黑龍江省軍務善後事宜。1925年元月，吳將省防軍改為保衛團。2月，“善後會議”開幕，吳俊升為善後會議會員之一。
3月，東北軍再次整編，吳兼任第十八師師長。
1925年10月，吳俊升奉張作霖命令，指揮萬福麟、穆春、張九卿等部騎兵，向多倫、張家口進軍，襲擊馮玉祥西北軍後路。
11月下旬，接到張作霖關於郭鬆齡在灤縣倒戈反奉的告急電，吳俊升立即從熱河班師助張。
張作霖派吳為“討逆”軍總司令兼左翼軍司令。
12月，吳親至前線督陣，他所指揮部隊除一部增援張作相的右翼外，其餘均在左翼，形成夾擊郭軍態勢。23日，巨流河決戰，郭軍受挫，由勝轉敗。
24日，吳部騎兵更乘機襲擊郭設在白旗堡的指揮部，郭鬆齡夫婦潛逃，被穆春騎兵師王永清團追上俘獲，傍晚押在新民老達房（今老大房）一燒鍋（酒廠）院內。
25日，郭被害於老達房村外五裡許遼河沿地。
29日，張作霖在帥府召開討郭善後會議，吳俊升等一些老派人物認為附“逆”的這些東西都是“郭鬼子”（郭鬆齡外號）一手訓練出來的，將來恐怕靠不住，不如將他們一網打儘，堅持主張“刑亂用重，此輩叛徒，不（宜）輕恕”。
1926年1月，奉張與馮玉祥的國民軍再戰，7月吳俊升部先後占領榆樹溝、沙門口和多倫。
時北伐軍已從廣東出發，接連在兩湖、贛閩戰場取得勝利。
為了挽救北洋軍閥即將滅亡的命運，解決北方統一及對南用兵問題，張作霖屢次召開會議，吳俊升、張作相等老將希望保境安民，而張宗昌及少壯軍官則要求以援吳（佩孚）、援孫（傳芳）、“討赤”為名，奪取被援助者土地。
後孫傳芳因被北伐軍戰敗投奉。1926年11月，在天津蔡園會議上吳俊升與孫傳芳、張宗昌等十六名將領聯名通電，推舉張作霖為安國軍總司令。
張於12月就職，隨即出兵河南及蘇、皖，吳俊升、張作相負責鞏固後方。
1927年6月，吳俊升、孫傳芳等再次擁戴張作霖為中華民國陸海軍大元帥，組織安國軍政府，其軍隊統稱安國軍，吳俊升任第七軍團軍團長。
9月，齊齊哈爾人民示威遊行，反對日本在臨江設領事，吳派大批軍警進行彈壓。10月，吳被任命為東三省邊防司令兼保安總司令。
翌年1月，以通化為中心的東邊道大刀會暴動，反對封建軍閥和日本帝國主義侵略，吳親自率部配合憲兵司令齊恩銘督“剿”，殘酷屠殺大刀會員和無辜農民三千餘人，燒毀民房數千間。
清王朝被推翻後，帝國主義乘中國政局動蕩，唆使中國反動勢力策動“滿蒙獨立”。
為拚湊“勤王軍”，日本陸軍大尉鬆井清助於1912年6月護送50大車槍械彈藥至鄭家屯時，被吳俊升派出的探子獲知，隨後吳俊升半路截殺，彈械被全部炸毀，打死日本侵略分子13名，叛匪9人，鬆井受重傷。
此後日軍數次偷運軍火，都被吳俊升截擊擊遺。吳此舉沉重打擊了日本帝國主義策動的第一次“滿蒙獨立運動”。
與此同時，沙俄也支持內、外蒙古叛匪在東北竄擾：同時給予槍支彈藥等裝備及人員支持。
沙俄派人遊說吳俊升，以東蒙古王位、上將軍及5萬盧布誘使。
吳俊升對此嗤之以鼻，置之不理。
早在1912年4月28日，與沙俄就有勾結的內蒙古哲裡木盟紮薩克圖旗（今科右前旗）郡王烏泰，秘密派遣色楞旺保台、錫勒圖喇嘛等前往庫倫，向“大蒙古帝國日光皇帝哲布尊丹巴”表示“誠心歸順”，並願意做南下、東進的先鋒。
哲布尊丹巴任命烏泰為“進攻第一路總司令”。
烏泰得到這個任命後，暗地準備武器，組織、糾結反叛分子。
7月31日，為幫助與配合蒙古郡王烏泰舉兵叛亂，沙俄賣給紮瓦特、杜爾伯特等旗大批槍械彈藥。
8月20日，在沙俄與外蒙分裂分子的煽惑下，烏泰經過長期策劃，在歸流河南岸舉兵叛亂。
叛兵分三路向祧南、開通（今通榆）、突泉進發。同時發布《東蒙古獨立宣言》，聲稱“今庫侖皇帝派員勸導加盟，並由俄國供給武器彈藥，茲宣告獨立。
科右後旗鎮園公喜敏珠爾追隨烏泰同時叛亂，並采用裡應外合的辦法占領鎮東縣（今鎮賚縣之一部）城。後該縣知事曾收複縣城。
8月下旬，烏泰叛軍所到之處，踐踏農田，沒收漢民田園財產，肆行燒殺，殘酷暴虐，慘不忍聞。
9月7日，吳俊升所部巡防營830餘人，自鄭家屯開赴洮南，與烏泰叛軍展開激戰，叛軍傷亡慘重，四處逃散，烏泰本人逃跑。
8日，吳俊升部克複嘎喜喇嘛廟。烏泰所部叛軍遭到重創後，遷怒於當地漢族居民，殺害鎮東縣商民300餘人，焚毀房屋，掠奪財物，奸淫婦女，慘烈異常。
9月13日，吳俊升所部奉軍攻克烏泰叛亂據點葛根廟，並克複烏泰王府。
烏泰攜全家老小敗逃索倫山，叛亂基本平息。10月16日，吳俊升因剿滅烏泰叛匪有功，晉升為陸軍少將，授勳五位，獲四等嘉禾章。
12月獲三等文虎章。吳俊升平烏泰叛亂之勝利，粉碎了沙俄分裂的陰謀，維護了國家的統一和民族團結。
吳俊升也因此以驍勇善戰，剿匪嚴厲果敢揚名，威震塞外。
1913年5月，吳俊升被授予陸軍中將銜。8月，外蒙叛軍4000餘人在沙俄唆使下進犯遼源（今吉林省雙遼縣），被吳擊敗。