我国古代的劳动人民很早就认识了煤，并且进行开发和利用。早在汉字被创造和发明之前，煤炭就被中国人民发现和利用了。
在古代，人们将煤称为石涅、石炭、石墨、乌金石、黑丹等。确凿的考古资料证明，我国早在新石器时代晚期，即距今六七千年前，中国人民就已发现煤炭，并巧妙地加以利用。
我国古代最早是将煤用于雕刻。据考古发现，１９７３年，辽宁的考古工作者在发掘沈阳新乐遗址时，在生活遗址里发现大量的朴拙而小巧的精雕刻制品、煤块、半成品。经测定，这批煤精制品是生活在距今六七千年前的人们所采集、成批加工制作的。因此，中国用煤的历史至少有六七千年了。
此外，在陕西西安的西周墓葬里出土了用煤雕刻的装饰品及各种动物。战国时成书的地理著作《山海经》中，就有关于在当时的陕西、四川等地“多石涅”的记载。时至今日，仍然存在这种煤雕工艺。
当然，中国古人对煤炭的发现也有可能是从用火开始的。要知道，煤是可燃的，零散而露头的煤一旦接触火源就会燃烧。在一定条件下，煤炭也可以发生自燃……人们从中得到启发，时间一长，就会发现煤炭的可燃性。
实际上，自汉代起，我国很多地方已将煤当作燃料。新疆、甘肃、辽宁、河南、河北、陕西、四川、江西等省份,都有此时使用煤炭的证据。在辽宁抚顺汉代居住遗址的火坑里，发现有煤炭烧过的痕迹。
煤炭开采技术水平成熟。魏晋时已有深达八丈的煤井，以及可容纳一百多人的煤洞。汉文帝的内弟在穷困潦倒时也曾挖过煤。
煤炭成为冶铁业的燃料。在河南巩县铁生沟、郑州古荣镇和山东平陵的汉代冶铁遗址中，都发现有煤块或煤饼。据《水经注?河水篇》载：在龟兹（新疆库车）北二百里有山，人们取山上的石炭来冶炼山上的铁，供周围地区使用。龟兹属西域地区，在张塞出使西域前，那里还处于铜石并用时代，张赛出使西域后，汉朝的冶铁技术开始传播到那里。
此外，我国著名的抚顺煤田也是那时发现的，据说当时居民在打井、挖莱窖时都能挖到煤。
可见，当时中国已经开始大规模开采并使用煤炭。据《史记?外戚世家》中载：汉文帝时，宜阳附近的煤矿有一次发生“岸崩”，致使“岸下百余人尽压杀”。可见，当时采煤的规模是相当大的。另据郦道元《水经注》载：东汉建安十五年（公元２１０年）曹操在业县（河南临漳县西）建造了规模很大的铜雀台、金虎台、冰井台，有屋数百间，其中冰井台内储藏着燃之难尽的石炭。
至宋代，我国陆续发现了很多大煤矿，已经开始建立起一套科学的采煤方法。在河南的鹤壁宋代煤窑遗址中，可以发现当时已使用两个井筒和两条主要大巷道进行开采，还有较好的通风、照明、支撑和分段提升、排水等措施。
尤其在通风方面，井巷布置合理，保证井下空气通畅，防止火灾，这采矿技术，在当时世界中是先进的，比欧洲早数百年。
宋代用煤炼铁已经非常普遍了，制瓷业也用煤作为燃料。一些地方的人们，还用煤代替柴草，成为生活的主要燃料，如当时的汴京城内“数百万家，尽仰石炭，无一燃薪者”。
到元代，民间用煤更为普遍了。意大利著名旅行家马可波罗到中国来，看到人们用煤炭做燃料，非常惊讶，他在游记中描述：“中国全境之中，有一种黄石头，采自山中，如同脉络。燃烧和薪无异，火候且较薪更好。如果夜间燃火，次晨不熄。”从汉到元，中国用煤做燃料已有一千多年的历史，而在这位周游列国、见多识广的旅行家眼中，竞成闻所未闻的新鲜事。
明代的炼铁几乎全部使用煤炭。据《天工开物》载：明朝时期冶铁煤炭居十七，木炭居十三。另据明末方以智的《物理小识》载，明代有些地方在密闭条件下将煤烧成焦炭，用来炼铁，效果甚好。可见，我国当时已采用焦炭炼铁，比欧洲早几个世纪，他们直到十八世纪才开始用煤炼焦冶铁。
除用作雕刻、燃料外，我国古代人民还将煤作为药物来医治疮疾，明朝药物学家李时珍在《本草纲目》中就就对煤作药物进行了记载。
