蒋济年轻时与胡质及朱绩在江淮一带名闻遐迩，曾任楚国计吏，后转任扬州别驾。
建安十三年(208年)，曹操大军于赤壁之战中受挫，兵力大耗。孙权围合肥，曹操无力派大军前去救援。只派张喜带千骑，领汝南部队来解围。等候个多月后仍不见援军至，蒋济秘密告诉扬州刺史，诈称得到张喜的书信，步骑四万已经到达雩娄，应派遣主簿迎接张喜援军。即写书信遣三部使让他们把这消息告诉城中守将，一部入城，另外两部被敌军捉去，孙权信以为真，急忙放火退走，合肥得以保全。
建安十四年(209年)，蒋济出使谯县面见曹操，曹操为了防范孙权攻击，打算将淮南的民众内迁，便问蒋济：“昔日我于袁绍对峙于官渡，迁徙燕、白马的百姓，大家都没有逃跑，敌军也未敢掳掠。现在，我想迁徙淮南百姓，你觉得怎么样?”蒋济不同意徙民，说道：“当时我弱敌强，不迁徙必失。自从击败袁绍，北达柳城，南对江、汉，荆州臣服，威震天下，人民别无他志。但百姓怀念旧土，不乐于迁徙，若闻此事必惧怕不安。”曹操不听，仍然决定强制迁移江淮民众，结果江淮十余万百姓因为受惊吓逃到东吴境内。曹操乃因蒋济对徙民的见解而对其才能甚为欣赏，后来蒋济被使臣传到邺城，曹操见到蒋济后大笑自嘲道：“本来想让百姓们避难，结果反倒把他们全都赶跑了。”于是拜蒋济为丹阳太守。
后曹操以温恢为扬州刺史，再次任命蒋济扬州别驾，更下令：“虽然贤良的季子宁愿舍弃国君之位而甘心为臣，但吴国总是必须要有君主来负责治理啊。现今你再次以别驾治理扬州，我还有什么不放心的呢?”当时有人诬告蒋济为叛变的主谋，曹操知道了指着以前的命令对左将军于禁、沛国相封仁等说：“蒋济怎么可能会做此事!如果真有此事，那么就是我看错人了。这一定是愚民作乱，希望引发争议罢了。”后任命蒋济为丞相主簿兼西曹属，与时任丞相主簿兼东曹属的司马懿共为丞相府的属官。
联吴制羽
建安二十四年(219年)，关羽击败前往援救曹仁的庞德和于禁，并围困襄阳和樊城，一时锐不可挡。曹操见许昌与近荆州，有意让汉献帝从许昌迁都。蒋济和丞相军司马司马懿却劝阻：“于禁等为水所淹没，并非战败，这点小损失并没有对国家伤筋动骨。刘备、孙权，看似很亲近，其实内心并非如此，关羽得志，这必不是孙权希望看到的。可以派人游说孙权偷袭关羽后方，再把江南割让给孙权，樊城之围自解。”曹操最后接纳，派人联络孙权。而孙权此时却主动请战，并命吕蒙袭取荆州，成功解襄樊之围。
善审军事
建安二十五年(220年)，曹操去世，曹丕继任魏王，蒋济任相国长史。同年曹丕称帝，蒋济出任东中郎将。蒋济请求留于朝中，上表《万机论》，曹丕称善，改任蒋济为散骑常侍。
当时征南将军夏侯尚作为皇室近亲，深得魏文帝曹丕信任，曹丕曾下诏曰：“卿腹心重将，特当任使。恩施足死，慧爱可怀。作威作福，杀人活人。”夏侯尚得到诏命有生杀予夺之权，十分得意，就把诏书给蒋济看。后来蒋济入宫觐见，曹丕问：“卿所见天下的风俗教化如何?”蒋济答：“没有什么好的风俗，只是听到亡国之语罢了。”曹丕听了很生气，问蒋济原因。蒋济说：“‘作威作福’是《尚书》中明确告诫身为臣子不应该做的，‘天子无戏言’，古时的天子下诏都十分谨慎，希望陛下明察!”于是曹丕怒意全消，急忙遣人到夏侯尚那里取回之前的诏书。
黄初三年(222年)，曹丕兵分三路大举攻吴，蒋济与大将军曹仁率步骑数万负责向东线濡须口发起进攻，蒋济受命领兵向东攻取羡溪用以分散吴军，驻守濡须口的吴将朱桓中计，于是分兵驰援羡溪。曹仁随即率大军直扑濡须口。朱桓以城中仅余的五千人坚守不战。当时曹仁派其子曹泰督军攻城，另一面打算攻取朱桓的兵士妻儿所在的江中的沙州岛，蒋济知道后表示反对，认为吴军占据西岸，将战船列于上游，如果魏军进攻位于下游的沙州岛，无异于自取败亡危险。但曹仁不听，仍然命令部下进攻沙州岛，最终果然被击败，魏军临阵被溺及被斩者多达千余人。及后因有疫病而撤军。曹仁战后旋即逝世，蒋济授命为东中郎将，代领曹仁的军队。后来又被征召回朝，任为尚书。
黄初六年(225年)冬季，曹丕亲自领水陆军队到广陵，临江阅兵，向东吴炫耀武力。身为扬州人的蒋济认为水道会有阻塞，不利行军，更作《三州论》劝谏。但曹丕不听，最终战船数千都因河道结冰而停滞不能前进。有人建议将军队留在当地屯田驻守，蒋济又以当地东近大湖、北近淮河，当雨季水涨时容易被东吴军队掠夺屯田物资而反对。曹丕听从了蒋济的建议，因而撤离。这时，湖水有点枯竭，曹丕把所有的船都托付给了蒋济。战船本来排列在数百里中，蒋济让人凿了四五条河道，把船聚在了一起，预先做好土墩截断湖水，让船前后相接，湖水冲刷，将船只导入淮河中。
勤劳王室
黄初七年(226年)，曹丕驾崩，魏明帝曹叡继位，蒋济被赐爵关内侯。
太和二年(228年)，东吴鄱阳太守周鲂派人送亲笔信给曹休，谎称受到吴王孙权责难，打算弃吴降魏，大司马、扬州牧曹休被其所诱，率兵进攻皖城。蒋济认为曹休这次深入东吴，与东吴精兵对抗，而且驻守上游的吴将朱然会从后袭击，建议不要出兵;但曹休还是继续前进。及后吴军在安陆一带频繁出没，蒋济见吴军虽然示形于西，实际上却有东进围歼曹休之势，又建议快派援兵援救曹休。曹叡遂令豫州刺史贾逵率所部东进与曹休合军一处。不久曹休在石亭被东吴大都督陆逊率九万余人伏击，魏军战败，丢弃大量军需品后撤，并被吴军追至夹石，在夹石遇到贾逵的援军才阻住了吴军的追击，不至于全军覆没。事后，蒋济被升迁为中护军。
中护军一职虽位不比上卿，但职权颇重，除了在军中总统诸将，执掌禁卫外，另有负责选任武官的权力。据《魏略》记载，蒋济为护军时，难以止住人们争先恐后地行赂，于是利用此职权之便大肆谋取私利，故当时民间有歌谣说：“欲求牙门，当得千匹;五百人督，得五百匹。”意为军官想要担任牙门将这样的军职，必须送护军蒋济一千匹帛;就算是百人督的这种低级军官，也需要五百匹帛。司马懿素来与蒋济关系融洽，有一次他与蒋济闲谈时便以此事相问，蒋济一时之间不知该如何解释，于是开玩笑说：“洛阳京城中的商品价格贵，少一钱也买不到啊。”遂相对欢笑。
当时，魏朝皇帝为了不大权旁落于朝臣，因此集权独揽，设立中书省掌管机要，担任中书监、中书令职位的中书省官员作为皇帝近臣，因为受到信任而大权在握，被称为“专任”。蒋济上疏魏明帝，大意为：古往今来大臣权力太重则国家就要危亡，帝王和身边侍臣太过亲近则容易受蒙蔽。前朝大臣专权，引发内外动乱。如今陛下亲理朝政，大权不轻易授予朝臣，而让中书近臣掌握国家机要。但左右近侍之臣未必贤于朝中大臣，而便辟逢迎却是他们所长。陛下要光大武帝、文帝的基业，事事亲为，然而即使身为人君也难以独揽天下所有事务，始终还要贤臣的辅佐，所以应该挑选品行优秀的贤良为官，不应使圣明之朝有专权的近臣官吏挟制内外。”魏明帝下诏嘉奖，诏曰：“刚直的大臣，是君王所倚仗的。蒋济文武全才，做事勤勉，尽心尽力，每有军国大事，总有奏议，忠诚奋发，我十分看重他。”蒋济迁为护军将军，加散骑常侍。
太和六年(232年)，曹叡遣殇夷将军田豫循海路、幽州刺史王雄循陆路，一起进攻盘踞辽东的公孙渊，蒋济却认为：“但凡不是意欲吞并本朝的敌国，不是反叛本朝的臣子，都不宜随便征伐。如果攻而不克，是逼其为反贼。所以说‘虎狼当路，不治狐狸。先除大害，小害自已’。(虎狼挡住道路，不要急着去消灭狐狸。先除掉大害，小害自然就会停止)就算攻克其地，他的百姓不足以强国，他的财产不足以富国，若一旦失败，却又徒招公孙渊的怨恨。”曹叡不听，还是派田豫等进攻，最后确实没有太大的收获。
景初元年(237年)，外战频繁，内修宫室，百姓抱怨的甚多，且粮食连年歉收。蒋济上疏：“陛下应该光大基业，还没到高枕无忧之时。现在虽然有十二州，但百姓的数量，也就是汉朝时的一个州郡而已。现今吴、蜀未除，士兵在边疆，且耕且战，积怨多年。今应停止空耗民力，让他们不必那么疲惫。想要成为大有作为的君主，必体恤下边的百姓。勾践鼓励妇女多生胎儿以备国用，燕昭王体恤百姓的疾病才得以复仇，所以能以弱燕让强齐臣服，羸弱的越国最终灭到强大的吴国。今二敌不灭，他们却总来侵略我们，若不陛下不能除去吴、蜀，日后定会受到后人所指责。不过以陛下的雄略，放下其他的事，专心讨贼，臣以为这必不是什么难事。”又说：“沉浸于房事，对陛下的身体有害，那些还没有册封身份的宫女还是都分给大臣吧。”曹叡降诏：“若不是护军，我听不到这么好的意见。”
景初二年(238年)，曹叡命太尉司马懿率军四万征讨辽东，公孙渊听说魏军来袭，又对孙权称臣，求兵救援。曹叡问蒋济：“孙权会出兵救辽东么?”蒋济说：“孙权知道此战他得不到什么好处，且深入救援是他力所不及的，只是在表面上进行援助则无济于事。就算孙权的子侄在危急时刻，他都犹然不动，更何况是往日给过他耻辱的异域之人了!现在他往外声张此事，乃其诡计。杳渚之间，距离公孙渊还远，若前方大军相持，不能迅速解决，以孙权程度不深的谋略，或许会以轻兵掩袭也说不定。”
惭恨去世
景初三年(239年)，曹叡驾崩，齐王曹芳即位，蒋济转为领军将军，进封昌陵亭侯。太尉司马懿晋升太傅后，蒋济又升迁为太尉。当时，曹爽专权，曹爽党羽丁谧、邓飏等人经常轻易更改法度，蒋济上疏：“今吴、蜀未灭，将士征战在外已数十年，男女皆怨，百姓贫苦。国家的法度，唯有济世之才编改纲法流于后世，岂是平庸之辈可改之?最终不仅无益于治理国家，还损害百姓。希望文臣武将各尽其职，那样国家才可以太平祥瑞。”但曹爽集团专行乱政如故，蒋济于是与韬光养晦的司马懿等暗中谋划准备推翻曹爽。
正始十年(249年)，太傅司马懿乘曹爽兄弟与曹芳到高平陵拜祭魏明帝，发动高平陵政变，以太后下诏的名义宣布罢免大将军曹爽等人的职务，蒋济亦跟随司马懿驻屯洛水浮桥。其间大司农桓范出城投奔曹爽，蒋济说:“智囊往矣。”司马懿则认为曹爽必不会用桓范之计。
蒋济又写信给曹爽，称司马懿只是想将他们免官，劝告他尽早交出权力投降，可以保他们爵位富贵。最终曹爽自愿交出权力，被软禁于府邸，但随后即被司马懿指控谋反，曹爽被诛灭三族，司马懿开始掌控朝中大权。蒋济因功进封都乡侯，食邑700户。蒋济上书拒绝封赏(《世说新语》认为蒋济本来只是想罢免曹爽，且向曹爽保证过“惟免官而已”，但不料司马懿却趁机大开杀戒。因为觉得对曹爽失信，颇为自责，不愿接受封赏)，但不被准许。同年四月丙子(十九)日(5月18日)发病去世，谥景侯。
