1867年(同治六年)進士，授編修。出為陜甘學政。1877年(光緒三年)赴山、陜襄辦賑務，不辭勞苦，親赴災區(qū)察勘，得左宗棠、曾國荃等保薦，次年，授河北道。1880年(光緒六年)，詔給三品卿銜，隨吉林將軍銘安辦理寧古塔、三姓、琿春等東陲邊務。次年，授太仆寺卿。是年4月，吳大澂為三品卿銜，赴吉林隨同銘安幫辦一切事宜，旋即改為“督辦”。于6月行抵吉林，即與吉林將軍銘安商酌防務事宜，于整軍吏、守邊強邊等方面多有建樹。

吳大澂與吉林將軍銘安于吉林建立邊防軍隊。改原有八旗兵，廢除世襲制，改為招募制，共建防軍馬步13營，5000人。次年防軍增至9000人，后統(tǒng)稱靖邊軍，經(jīng)過嚴格訓練，己“悉成勁旅”。于琿春開始修筑東、西炮臺。為防御沙俄從水上入侵，還創(chuàng)建圖們江、松花江水師營。同時設立招墾局，移民墾荒，推行實邊政策。他經(jīng)過實地勘查，確定以琿春和三岔口所屬邊地為招墾中心，設立琿春招墾局，下設五道溝和南崗分局。招墾范圍廣泛，且規(guī)定許多優(yōu)惠政策。為給墾民、商旅和軍隊提供方便，1880年底，修筑從寧古塔至吉林省城長達600里的大道及北、東線大道，建有百余座木橋，同時還增加許多驛站，加強了邊疆的防務力量。

1883年(光緒九年)，法國從越南向中國擴張，奉命會辦北洋軍務。1884年遷左副都御使。詔令赴朝鮮處理甲申事變，抵制日本對朝鮮的侵略活動。

勘界談判，據(jù)理力爭

1885年(光緒十一年)，吳大澂會同寧古塔副都統(tǒng)容山、琿春副都統(tǒng)依克唐阿重勘東部邊界。經(jīng)吳大澂、依克唐阿再三辯駁，據(jù)理力爭，終于達成協(xié)議。于1886年10月12日正式簽訂《中俄琿春東界約》及《中俄查勘兩國交界道路記》。含補立“土”字牌，添立“啦”、“薩”、“瑪”字界牌和一至十八記號;收回黑頂子;爭得圖們江口通航權等，從而捍衛(wèi)了祖國的神圣領土。矗立在琿春市區(qū)的龍虎石刻及具清代建筑風格的五角碑亭，就是琿春人民為紀念愛國大臣吳大澂談判勝利而建立的。石刻正面篆書陰刻“龍虎”二字，左下豎刻“吳大澂書”，字體流暢，氣勢磅礴。吳大澂于談判期間曾多次書寫“龍”、“虎”二字，抒發(fā)其“龍驤虎視”的大無畏的愛國精神。1886年，任中國首席代表在巖杵河-琿春同俄國進行勘界會談。與沙俄代表據(jù)理力爭，收回了被沙俄非法霸占的黑頂子百余里的領土，糾正了“土”字界牌。又爭得了中國船只在圖們江口的航行權。

1887年(光緒十三年)，調任廣東巡撫，又同葡萄牙強占澳門和香山七村的侵略活動作斗爭。

微服視察，貪吏束手

1887年(光緒十三年)八月，鄭州十堡黃河決口南泛，為害嚴重。先是署河南山東河道總督李鶴年、河南巡撫倪文蔚主持堵口，朝廷復派禮部尚書李鴻藻到工督修，1888年(光緒十四年)五月，口門埽占失事，功敗垂成。李鶴年等均革職。七月，皇帝命吳大澂署河南山東河道總督，接辦堵口大工，于當年八月到任視事。他認為河工堵口收發(fā)料物弊端甚多，乃只身微服，混雜在送料民工中，背運秸料，進行私訪。發(fā)現(xiàn)發(fā)料短缺，克扣工錢，吳大澂有意率眾與管料官員爭吵，該官員正擬將大澄推下鞭杖時，他的隨從立即站出高呼：他是河帥，誰敢動手?這時吳大澂喝令對管料的官員予以杖責，并帶枷在工地示眾，以儆效尤。

治理黃河，籌劃有方

吳大澂對堵口工程籌劃有方，措施得當。對在工的官吏，分工明確，嚴限完成。他誓言：如依限不能完成者斬，自己也將以身殉職。在工人員無不凜然，于是日夜趕堵，于當年(1888年)十二月合龍。該工程較撥發(fā)款銀節(jié)約60余萬兩。吳大澂任河督時，對鄭州、中牟、開封一帶險工甚為重視。他說：中河廳頭堡大王廟頂沖之石堤，……八堡之人字壩、托頭壩(中牟境)，下南廳七堡之順二壩，十九堡之蓋壩(開封境)均甚緊要，是防御省城之門戶。他提倡用水泥砌筑磚石壩，加固工程，這是黃河上使用水泥修工程之始。

1885年(光緒十一年)時，他曾奏請用新法測繪黃河圖，自河南省閿鄉(xiāng)縣(今靈寶境)金斗關到山東利津鐵門關?？?，測量河道長1021公里。次年圖成，呈光緒帝瀏覽，命名《御覽三省黃河全圖》。

鄭州十堡大工完成后，因河勢南趨，行將塌至堤身。吳大澂審時度勢，在滎澤八堡(今鄭州李西河一帶)老灘前，筑石壩一座，工竣立一石碑，碑文是：“老灘土堅，遇溜而日塌，塌之不已，堤亦漸圮，今我筑壩，保此老灘，灘不去則堤不單，守堤不如守灘?！标U明了他的固灘保堤的治河思想。

吳大澂治河成功后，實授河道總督，賞頭品頂戴。

暮年兵敗，抱恨辭世

1894年(光緒二十年)，甲午戰(zhàn)爭爆發(fā)，吳大澂時任湖南巡撫，奏請從軍。8月15日、17日連電“奏請統(tǒng)率湘軍赴朝督戰(zhàn)”。不久，獲清廷允準，“帶勇北上”。旋被任為幫辦東征軍務。

1895年(光緒二十一年)1月，吳大澂率新老湘軍二十余營出關，2月11日到達田莊臺。從2月21日開始，吳大澂與黑龍江將軍依克唐阿、吉林將軍長順及宋慶等部合軍，進行第四次反攻海城。當時集中在海城附近的清軍共一百余營，三萬余人。兵力雖多，但因系統(tǒng)復雜，有湘軍、楚軍、淮軍和東北軍隊，互不統(tǒng)屬，缺乏統(tǒng)一指揮。吳大澂名義上為幫辦軍務，但無法指揮全軍。諸將多“擁兵據(jù)要害，徘徊觀望，乍卻乍前，不能出死力以決一勝”。歸吳大澂節(jié)制的軍隊只有二十營，而他所率領出關的湘軍將領又多系庸劣無能、貪生怕死之徒。被調遣時，“遲不赴命”。親軍統(tǒng)領劉樹元臨敵“誆怯不前”，炮隊統(tǒng)領吳元愷聞戰(zhàn)“相率而退”。加以吳大澂低估了敵人，對戰(zhàn)爭全局缺乏認真部署。正當吳大澂等集中兵力會攻海城之際，日軍利用清軍的弱點，采取“佯攻遼陽，實取牛莊”的聲東擊西戰(zhàn)術，3月3日派第3、5兩個師團進犯牛莊。吳大澂等未能識破日軍陰謀，置牛莊于不顧，全力圍攻海城。由于牛莊防務空虛，致使一日之內就被日軍攻陷。牛莊失守當天，吳大澂匆匆由田莊臺奔往石山站，“沿途潰勇絡繹，其勢已成瓦解”，吳大澂退走石山站后，宋慶也把守營口的主力撤往田莊臺，致使營口兵力空虛，3月7日日軍又輕易的攻取營口，田莊臺隨后也被攻陷。田莊臺即失，“湘軍力戰(zhàn)而敗，死傷過多，人心不振”。吳大澂憤湘軍盡覆，欲拔劍自裁，被左右格阻之。乃自嘆曰：“余實不能軍，當請嚴議”。清廷以吳大澂“徒托空言，疏于調度”，3月17日下令撤去其幫辦軍務職，交部議處。旋革職留任，尋命開缺。1898年(光緒二十四年)，復降旨革職，永不敘用。

此后，他為生計所迫，曾任上海龍門書院山長，授徒自給，又變賣個人所藏字畫、碑帖、古銅器以補日用。

1902年(光緒二十八年)，吳大澂辭世，時年68歲。蟄居虞山的翁同龢得知吳大澂去世的消息后，特遣人送去挽聯(lián)：

文武兼資，南海北海;

漢宋一貫，經(jīng)師人師。

橫批：一臥滄江