1953年，为支持新中国的经济建设和石油工业发展，以清华大学石油系、化工系为基础，汇聚北京大学、天津大学等高校的石油石化等系科，新中国第一所石油高等院校——北京石油学院正式创立，这就是中国石油大学的前身。
1960年，跻身国务院确立的64所“全国重点大学”行列。由于文化大革命的冲击，1969年学校迁至山东东营，更名华东石油学院。迁校造成了学校人财物的巨大损失，当时所有校舍仅是只有40000平方米的“干打垒”土房，没有实验室、图书馆和运动场。面对困难，师生们自力更生、艰苦创业，在盐碱滩地上把学校再建了起来。1981年6月，在北京石油学院原校址内成立研究生部。1988年，更名“石油大学”，校本部设在北京，由石油大学（北京）和石油大学（华东）两部分组成；石油大学（北京）在1989年面向全国恢复招收本科生。1997年，学校正式进入国家“211工程”首批重点建设的高等院校行列。
2000年，学校由中国石油天然气集团公司划归教育部直属管辖，同年6月，学校成立研究生院。
2001年，矿产普查与勘探、油气井工程、油气田开发工程、油气储运工程、化学工艺等5个二级学科被评定为国家重点学科。
2003年，教育部与中国石油天然气股份有限公司、中国石油化工集团公司、中国海洋石油总公司签署共建石油大学的协议。
2005年1月，石油大学更名“中国石油大学”，石油大学（北京）也相应更名为“中国石油大学（北京）”。
2006年，学校以优秀的成绩通过教育部本科教学工作水平评估；同年，“油气资源勘探开发与转化创新平台项目”进入“国家985工程优势学科创新平台”。
2007年，“工业催化”学科和“地球探测与信息技术”学科被批准为国家重点（培育）学科，在石油石化领域优势突出。
2014年，学校的科研成果“复合离子液体碳四烷基化生产高品质清洁汽油新技术”入选“中国高等学校十大科技进展”。
