司法部一直以来就有权调查联邦内的犯罪行为，但它并不一直想这么做。在19世纪，政府机构经常雇用平克顿等私家侦探公司破案。1908年，美国西部的非法土地销售激怒了总统西奥多·罗斯福，他授权司法部长Charles J. Bonaparte成立一个小型侦探机构，来调查这些罪行。到1909年，该机构拥有了正式名称：调查局。
最初，只有很少罪行在该调查局的管辖范围之内。土地诈骗、全国性银行诈骗、反垄断犯罪以及跨州界犯罪属于该调查局的调查范围。在接下来的10年中，新颁布的法律扩大了联邦政府调查全国性犯罪的范围，特工人数也不断增加。
在第一次世界大战期间，特工们主要致力于阻止间谍和特务搞破坏活动，并负责查找逃避兵役的男性。到20世纪20年代，调查局拥有了300多名特工和300名支持人员，而且下属地区办公室的数量也在不断增加。
在20世纪20年代之前，一直是没受过多少培训且不具备正式资格的业余特工影响着调查局的工作。政治因素的影响很大，例如可以轻易买通特工放过罪犯。特工有时会收集犯罪证据以败坏政治对手的名誉。1924年，司法部长Harlan Fiske Stone将29岁的主管助理埃德加·胡佛提升为调查局主管后，这种局面开始发生变化。胡佛立即开始审查工作流程和特工记录。
在亲自审查每个特工的文件后，他吃惊地发现许多特工之所以能够得到这份工作，完全是因为政治关系或特权。他在几个月内解雇了100多名这样的特工。之后，胡佛提高了雇用新特工的标准，要求受过大学教育并具备执法经验。他制定了有关特工行为和调查程序的规则和规定，确保调查局在全国范围内实施统一行动。正如胡佛所说：“我们都应该只关心一个目标——彻底杜绝犯罪行为。”
胡佛还负责进行多项犯罪调查领域的改革。他在1932年成立了FBI犯罪实验室，并在1935年开办培训学院。同年，调查局更名为联邦调查局。这所学院对FBI特工以及地区和州的警官进行培训。胡佛的另一项革新是于1950年创建十大通缉犯名单。
此名单被张贴在邮局等公共场所，包含了FBI最希望抓获的十名逃犯（没有特定顺序）的照片和信息。到2002年为止，共有458名逃犯出现在这份名单上，实际已抓获429名。现在仍然可以在网上搜到十大通缉犯名单。
FBI在二战战争期间调查德国和日本的间谍，并在战后找出共产主义者。冷战时期，FBI在胡佛的领导下承担起了新的职责。“9·11”袭击事件之后，FBI的首要任务又发生变化，打击恐怖主义已经成为头等大事。FBI追踪已知的恐怖分子，并与CIA等机构以及其他国家（地区）的情报和执法机构合作以收集信息。与其他政府机构不同的是，FBI没有并入国土安全部，仍然在司法部的领导下运作。
