人类祖先早有漱口、刷牙的习惯，在公元前3000年苏美人乌尔城邦的国王墓穴中就曾发现过清理口腔用的最早工具——牙棒。在古希腊和罗马时代，人们用动物骨灰做牙粉，清理口腔，现在还有些原始部落用木炭、盐水、细砂、树枝来清理牙齿。阿拉伯人现在还从一种叫Arak的树上取下树枝，将一端捣碎，做成刷状，用来清理牙缝及刷牙，称之为Miswak，是一种天然牙刷，据科学家分析，这种树枝含氟及皂素，可预防蛀牙，并有止痛作用。
中国人在2000多年前就懂得保护牙齿的重要。《史记·仓公传》中就批出引起龋齿的原因是 “食而不漱”。据张果《医说》记载，南梁刘峻所著《类苑》中有首歌谣，题作《西岳华山峰碑载口齿乌髭歌》，歌谓：“猪牙皂角及生姜，西国开麻蜀地黄。木律早莲槐角子，细辛荷叶要相当。青盐等分同烧煅，研熬将来使更良。揩齿牢牙髭鬓黑，谁知世上有仙方。”早在公元六世纪的南梁就刊刻于石碑的“口齿乌髭”，用皂角、荷叶、青盐等各种药物研熬而成，对牙齿口腔有增白留香、消炎镇痛作用，还兼可乌发美容，效果比如今的药物牙膏还要神奇。“口齿乌髭”实在可说是我国乃至世界最早的药物牙膏。
牙膏是在牙粉的基础上改进形成的，早期的牙粉主要用碳酸钙作为磨擦剂、以肥皂为表面活性剂。上世纪四十年代起，由于科技的迅速发展，牙膏工业也得到很大的改进，一方面是新的磨擦剂、保湿剂、增稠剂和表面活性剂的开发和应用，使牙膏产品质量不断升级换代;另一方面，牙膏还从普通的洁齿功能发展为添加药物成为防治牙病的口腔卫生用品，最突出的是加氟牙膏，使龋齿病发病率大大减少。1945年，美国在以焦磷酸钙为磨擦剂、焦磷酸锡为稳定剂的牙膏中添加氟化亚锡，研制出了世界上第一支加氟牙膏。
我国从十九世纪末开始生产牙粉，1926年在上海生产第一支牙膏(三星牌)。
随着科学技术的不断发展，工艺装备的不断改进和完善，各种类型的牙膏相继问世，产品的质量和档次不断提高，现在牙膏品种已由单一的清洁型牙膏，发展成为品种齐全，功能多样，上百个品牌的多功能型牙膏，满足了不同层次消费水平的需要。
