胡宗宪早年考中进士后，被安排在刑部观政，学习政务。从此，胡宗宪开始了仕途生涯。嘉靖十九年（1540年），胡宗宪被授官为山东青州府益都县的县令。上任后，胡宗宪就显示出他的政治才干。他先组织广大人民扑灭多年不遇的旱蝗之灾，后又对益都当地的强盗进行招降。盗贼在益都为害多年，胡宗宪用安抚劝降之策，即使群盗解散，还将其中可用的千人左右编为义军。胡宗宪日后抗击倭寇的文韬武略，在治理益都时就已初步展现。
嘉靖二十一年（1542年）四月，胡宗宪母亲去世，他奔丧回绩溪故里。两年后，其父胡尚仁也因病去世。胡宗宪前后在家乡为父母守孝长达五年。在这五年中，他刻苦攻读《大学衍义》、《武经七书》等书，学识大为长进，也为日后大展宏图打下了坚实的基础。
胡宗宪自进士出身，先任益都知县、余姚知县，后以御史巡按宣府、大同等边防重镇，整军纪，固边防，为明王朝的边疆稳定作出了贡献。嘉靖三十年（1551年），胡宗宪又巡按湖广，参与平定苗民起义。在胡宗宪踏入仕途这十多年里，他一步一个脚印地走来，政绩显著。他的从政经验和能力都毋庸置疑。嘉靖三十三年（1554年）四月，世宗钦点胡宗宪出任浙江巡按监察御史。
自明开国以来，一直存在倭患，嘉靖时期，倭患已经愈演愈烈。
嘉靖二年（1523年），日本两批使臣先后来华朝贡贸易，因市舶司的太监对待不公，互争贡使资格，引发大规模的仇杀，史称“争贡之役”。此后不久，明朝罢市舶司，并严申海禁。正常的贸易渠道被堵死，在暴利的诱惑下，更多的亡命之徒铤而走险，攻城略地，烧杀抢掠，无恶不作。嘉靖年间，东南沿海地区的倭患骤然加剧，浙江和南直隶为甚，沿海百姓生活在水深火热之中。
在此背景下，胡宗宪出任浙江巡按监察御史，可见朝廷对他寄予厚望。胡宗宪也感到责任重大，临行前立下誓言：“我这次任职，不擒获汪直、徐海，安定东南，誓不回京。”上任伊始，胡宗宪针对辖区内明朝官兵纪律松弛、软弱涣散的积弊，以严明赏罚为手段，大力进行整顿。通过胡宗宪的努力，明朝官兵的军容、军纪有了改观，士气也逐渐有所恢复。
不久，工部右侍郎赵文华受内阁首辅严嵩的推荐，以祭海神的名义，被派往江南督察沿海军务。赵文华是严嵩的义子，为人奸诈骄横。他排挤、陷害忠良，浙江总督张经、浙江巡抚李天宠都先后因其陷害而被杀。如何和这种人搞好关系而不致于误了正事，胡宗宪对此非常清楚。因此在与赵文华共事的过程中，胡宗宪谨慎小心，有时甚至行事圆滑，最后不仅没有受到赵文华的阻挠，还得到了后者的赞赏。在赵文华的大力推荐下，世宗很快就擢升胡宗宪为兵部左侍郎兼都察院左佥都御史，又加直浙总督，总督浙江、南直隶和福建等处的兵务。此时，胡宗宪可以调遣江南、江北、浙江等省重兵，所掌握的权力要比一般总督大得多，他儿子和他因此也较贪。
胡宗宪知道自己大展宏图的机会来了。他一方面招揽、重用各种杰出的人才，如重用俞大猷、戚继光等名将，把颇负盛名的文人徐渭招到自己的幕府中来；另一方面，有骁勇善战的将领，还得有训练有素的士兵，胡宗宪支持部下练兵，其中成就最大者当属戚继光训练的戚家军，后来发展为抗倭主力军。在胡宗宪的抗倭斗争中，胡宗宪擒汪直、杀徐海，两浙倭患暂告平息。
至嘉靖四十一年（1562年），胡宗宪主持的抗倭斗争取得了前所未有的胜利，渐次平息浙江的倭患，并开始剿灭福建的倭寇。
嘉靖四十一年（公元1562年）五月，内阁首辅严嵩被罢官，其子严世蕃被逮。胡宗宪是由严嵩义子赵文华的举荐而屡屡升迁的，很多大臣的眼里，他属于严党。赵文华已死，严嵩失宠，胡宗宪的处境也就岌岌可危。
新任内阁首辅徐阶上台后，授意南京给事中陆凤仪，弹劾他贪污军饷、滥征赋税、党庇严嵩等十大罪名。这些罪名中的随便哪一条，都能要了胡宗宪的命。好在嘉靖念其抗倭有功，怕杀了大功臣太寒人心，以后没人再为朝廷效命，最终让他致仕回归故里。
原以为胡宗宪就这样逃过一劫，不想在嘉靖四十四年（1565年）三月，他又被政敌惦念起来，找个假拟圣旨的罪名，押赴京城。
胡宗宪在狱中含泪写下万言的《辩诬疏》，为自己辩解。可《辩诬疏》交上去后，迟迟没有回音，胡宗宪自感无望，心灰意冷，写下“宝剑埋冤狱，忠魂绕白云”的诗句后自杀，时年五十四岁。
隆庆六年（1572年），胡宗宪被平反，追谥襄懋。
胡宗宪是平定东南倭乱的大功臣，一大批抗倭名将在他的任用提拔下成长起来；因为攀附过严党，后被政敌弹劾罢官，最终辩解无门自杀而亡。这其实是古代封建政治之殇，有才干不见得就能为国家出力，攀附了一方的势力待失势后，不管做出了多大贡献，别方势力可能也会让你不得好活。
