高柔的父亲高靖，曾任蜀郡都尉，高柔却留在陈留。当时曹操为兖州刺史，高柔对城中的人说陈留乃四战之地，曹操又有进图四方的愿望，未会安守兖州，而且张邈起兵时是陈留太守，现跟随曹操恐怕会叛变。劝人们尽快离开，以避开将会出现的战争，只是当时人人都认为张邈与曹操关系密切，而高柔又年少，都没有重视。高柔的堂兄高干是袁绍的外甥，当时高干呼唤高柔到河北，高柔于是与宗族一起去依附高干。适逢父亲死去，高柔不畏兵劫路远，冒险到蜀地治丧，尝尽辛苦，三年后回到北方。
辅佐曹氏
建安九年(204年)，高干与高柔归降曹操，曹操任命高柔为菅县县长。县中的人都对他有所听闻，有数名奸吏因而自动辞官，但高柔却挽留他们，包容他们过往的事，令他们都成为好官吏。高干次年就以并州叛曹，高柔虽没有参与，但曹操却想因事而诛杀他，命他为刺奸令史，但高柔做得十分好，处法允当，狱中无滞留未判的犯人，每晚都看文书到深夜，抱着文书睡着了，曹操见此才对他改观，辟他为丞相仓曹属。
审事献谋
建安十六年(211年)，曹操要派钟繇等领兵讨伐张鲁，但高柔认为领兵入关必会惊动关中的马超和韩遂，以为是要攻打自己，逼他们叛变，认为可先安定三辅，三辅安定后就可和平地招降张鲁。但曹操不听，钟繇等入关后，马超等果然叛变。
建安十八年(213年)，曹操称魏公，建魏国，高柔任尚书郎，转拜丞相理曹掾。当时军人宋金等在合肥逃亡，有人建议尽杀他的母亲、妻儿和弟弟，但高柔认为重刑不单无助于遏止士卒逃亡，更加因为自己无路可走而引发更多人逃亡，怀柔反更能触起他们归附之心。曹操听从，很多无辜的逃兵家属都得以幸存。
后来，高柔转为颍川太守，任法曹掾。当时朝廷置校事，用以监察群下，高柔认为校事又不是在百官之上又非听命于百官，而且校事赵达等人又多次以自己喜恶去处事，应作检讨;但曹操则信任赵达，认为他们才能做到检百官的效能。后来赵达等人的奸恶之事被揭发，曹操杀了他们作为对当日不听高柔劝谏的道歉。
秉公执法
曹丕即位为帝后，任命高柔为治书侍御史，赐爵关内侯，转加治书执法。当时因为诽谤言词多，曹丕于是下令要处死说者而赏赐告发者，但令到很多人互相诬告，高柔于是建议联消这项法令以免无辜人受害，但曹丕不立刻听从，而下令要以诽谤之罪惩处诬告的人，而高柔则审查每一个告发案件，查明虚实，稍稍犯法也是轻判罚金了事。
公元223年(黄初四年)，迁任廷尉。魏朝初期，三公没有什么事务，又很少处理朝政。高柔上疏说：“天地因为四季而有收获，国家元首因为有大臣辅助而振兴政治;成汤倚仗伊尹的辅佐，周文王、周武王依靠周公、姜子牙的力量，到了汉初，萧何、曹参两人一起以国家元勋的身份相继成为高祖、惠帝倚重的相国，这都是明王圣主在上任用贤臣，在下尽力辅助的事例。如今三公都是国家的栋梁，为民众所仰慕，而今却被置之一边，不让他们执掌国政，各自安闲地保养高尚的志节，很少有进言献策的，这实在不是朝廷崇奉任用大臣的思想，也不是大臣辅佐人君，尽职尽责的办法。古时候国家有疑难问题，官员们总是按一定秩序，在一处讨论解决。今后，朝廷中有什么疑难问题以及刑罚大事，应该经常咨询探问三公。三公在每月的初一、十五上朝日子之外，还可以适时请进朝中，议论国家政事的得失，广泛地讲清事实，也许能够有益于启发帝王，弘扬国家的教化。”曹丕赞许并采纳了他的建议。
黄初七年(226年)，曹丕因对御史中丞鲍勋有宿怨，借有小过失而要枉法诛杀他，高柔坚决不从，曹丕干脆调离高柔，直接指令廷尉执行诏令，不顾群臣反对而处死鲍勋。
劝谏辅主
曹叡继位后，封高柔为延寿亭侯。此时博士都从师受业，高柔上疏说：“我听说遵循先王之道、重视学术，是圣人宏大的训诲;褒扬礼乐典章、崇奉儒学，是帝王明晓的道理。汉末国家倾颓，礼乐典章被破坏，雄争虎斗，战争频繁，致使文人学士不受重视。太祖刚兴起时，忧患的就是这些事情，在治理乱世方面，让各郡县一起设立教学之官。高祖即位后，就进一步发展这一事业，恢复兴建学校，每州都设有考核制度。于是天下学士，再次受到正规的学校教育，重新实行祭祀的各种礼仪。现在陛下执掌国政，能够发挥您的聪明才智，推行伟大的计划，将先帝的法度发扬光大，即使是夏启、周成王的继承前业，也实在是无法超过您。然而现在博士都通晓经术、修整品行，可国内精选人才、升迁官员又限定不超过县长一级，恐怕这不是用来崇奉显扬儒术，鞭策激励懈怠懒惰的方法。孔子说：‘提拔好的有才能的来教诲，没有才能的就加以勉励。’所以楚国礼待申公，文人学士锐意进取;汉代尊重卓茂，士大夫竞相仰慕。我认为所谓博士，是将道义集于自身，以儒家的六经为宗旨。应该根据他们学业和品行的优劣，分别对待，不拘常规来安排官职。尊崇伦理道德的教化，用以勉励学者，使教化弘扬光大。”曹叡采纳了他的建议。
后来，曹叡大建宫殿，百姓劳役繁重;又大选美女，填塞后宫;而后宫的皇子连连夭折，还没有继承人。高柔上疏说：“吴、蜀这两个敌人奸诈狡猾，暗中偷偷地练兵习武，谋划挑动战事，毫无停止之意。我们应招集训练将士，修缮整治兵器铠甲，作好一切迎战准备。而近来修造宫殿，上上下下不胜劳役之苦，如果让吴、蜀了解了虚实，就会合谋，再次一同来拼死，实在不能忽视啊。过去汉文帝悯惜资财，不营造小小的台榭供自己娱乐;霍去病忧虑匈奴的祸害，没有闲暇来考虑修建府第。何况如今所损失的并不只是百两黄金这样的小费用，所忧患的也并不只是北狄这样的小祸害呀!可以简单装修好已建的宫殿，用来举行朝会和宴会。让修造者回去务农。等吴、蜀平定了，再逐渐地修缮。过去轩辕因为有二十五个儿子，帝位才能传之久远，周王室因为有四十个姬姓诸侯国，所以周朝的年代很长。陛下聪慧贤达，深究事物的义理和人的本性，而近来皇子接连夭折，又没有感应生儿子的祥兆。百官们无不抑郁悲伤。按照《周礼》上所说，作为天子，后妃以下有一百二十人，嫔嫱已经很多了。我听说如今后宫后妃嫔嫱的数目，或许还超过这个数，皇上后嗣不昌盛，恐怕就是这个原因。我认为可以好好地选择美女，以满足妃嫔的数目，把其余全部送回家。育精养神，专心静气地生养皇子。这样的话，子孙众多的征兆就会来临。”曹叡答复说：“我知道你忠诚老实，内心牵挂着王室，常常能够直言无隐，其他事也已知道了。”
当时禁止去天子苑囿中狩猎的法令非常严厉。宜阳县典农刘龟私下在禁区内射兔，功曹张京将此事告诉了校事。曹叡隐匿了张京的名字，把刘龟抓来投在狱中。高柔上表请求曹叡说出告发者的名字，曹叡大怒说：“刘龟应该处死!他竟敢在我的禁区狩猎。将刘龟送到廷尉处，廷尉就应该拷问他，为什么还要打听告发者的名字，难道我是胡乱抓他的吗?”高柔说：“廷尉，是天下最讲求公平的官吏，怎么能够以陛下的喜怒来毁坏法律呢?”再一次上奏表，言辞深明恳切。曹叡醒悟了，告诉高柔张京的名字。高柔立即回去审讯，刘龟、张京两人各当其罪。
当时的制度规定，官吏遇上丧事的，一百天后都要开始工作。有个司徒吏叫解弘的父亲去世，遇上军队有行动，命令他前去，他却以生病为由推辞不去。曹叡下诏书恼怒地说：“你又不是曾参和闵损，为何辩称因过度哀痛而身体有病呢?”催促赶紧抓获解弘，要将他拷打至死。高柔见解弘身体非常虚弱，确实有病，就上奏表陈述这件事，认为应该宽恕解弘。曹叡于是下诏说：“解弘果真是孝子，宽恕他吧。”
当初，公孙渊的哥哥公孙晃，为他的叔父公孙恭到京城做人质。起初公孙渊还没反叛，公孙晃几次向曹叡陈述了他想反叛的情况。等到公孙渊阴谋叛逆时，曹叡不忍心在街市斩杀公孙晃，想把他投在狱中杀死。高柔上疏说：“《尚书》中说：‘用惩处来讨伐他的罪行，用德行来表彰他的善举。’这是帝王制度清明公正的法则。公孙晃及妻儿与叛逆者是手足亲情，实在是应该斩首示众，不让遗下后患。而我私下听说公孙晃先前几次主动陈述公孙渊准备叛逆的情况，虽然是叛逆者的同族，而究其实质，还是可以宽恕的。说到孔子解脱司马牛的忧愁，祁奚解脱叔向的过失，在过去是优美高尚的义节。我认为公孙晃如确实陈述过公孙渊的情况，就应该宽恕他的死罪;如没有陈述过，应该在街市当众斩首。现在进不发布赦免他的命令，退又不公布他的罪行，关押在监狱中，让他自杀，周围观察此事的国家，有的就对这种举动产生疑惑。”曹叡不听，最终还是派人送给公孙晃以及妻儿黄金的粉末，让他们吞饮自杀，赐给棺木、衣服，在自己家中入殓殡葬。
当时，在禁地宰杀鹿的人都要被处死，财产没收充公，有能够发觉并且告发的人，给予丰厚的赏赐。高柔上疏说：“圣明的帝王治理国家，无不发展农业，节俭用度，积蓄资财。农业发展了，则粮食屯积，用度节俭则资财蓄存，蓄存资财屯积粮食而依然忧患，这是从没有的事情。在古代，一个农夫不耕作，就有人因此受饥;一个妇女不织布，就有人因为她而挨冻。最近以来，百姓要服众多的徭役，种田的人已经减少，加上近来又有了狩猎的禁令，群鹿侵害作恶，残食秧苗，处处为害，损失已无法估量。百姓虽然设障防备，但力量有限，无法抵挡。以至于荥阳周围几百里，年成不好颗粒无收，百姓的命运，实在令人同情。如今天下生财之道很少，而因为麋鹿受损失的又很多。一旦发生战争，或遇上凶年灾祸，将无计可施。陛下应该察览先代圣明君主所想、所惦记的是什么，体恤耕种劳作的艰难，放宽百姓们耕种的范围，让他们得以抓捕麋鹿，这样就消除了禁地，那么百姓们得到长久的利益，也无不欢欣鼓舞。”
正始六年(245年)，升任司空。
正始九年(248年)，又迁任司徒。在曹爽与司马懿的权力角力下，高柔支持司马懿。次年(249年)，司马懿发动高平陵之变，上奏请求免曹爽的大将军职务，郭太后诏令征召高柔假节行大将军事，占据曹爽的军营。司马懿对高柔说：“你成为周勃了。”曹爽被杀后，高柔晋封为万岁乡侯。
甘露元年(256年)，曹髦即位，进封安国侯，任太尉。曹奂即位后，增邑又封二子为亭侯。
景元四年(263年)，高柔去世，享年九十岁，谥元侯。由其孙高浑世袭侯爵。咸熙(264年—265年)年间，建立五等制，改封其为昌陆子。
历史评价
曹叡：知卿忠允，乃心王室，辄克昌言;他复以闻。
司马懿：君为周勃矣。
陈寿：高柔明于法理柔保官二十年，元老终位;比之徐邈、常林，於兹为疚矣。
王夫之：孟德智有所穷，则荀彧、郭嘉、荀攸、高柔之徒左右之，以算无遗策。
赵构：高柔不以明帝喜怒而毁法，游肇不以宣武敕命而曲笔，况可观望臣庶而容心者乎?
