学校创建于1971年11月，原名为李家庄公社高级中学。1972年8月开始招生，二年制，3个班，152名学生，共有17名教师。1978年招收了2个初中班，共100名学生。1980年，学校由区政府接管，面向全区招收高中生，共4个班。1982年改为3年制高中。

1985年全区高中并点，大部分教师学生并往荫营中学，只留下一个班。同时区政府将学校定为全区重点初中校，当年开始招收初中4个重点班。1987年学校被评为省实验示范初中。次年恢复为完全中学。1986年2月，李家庄中学改名为“阳泉市郊区第二中学校”。1988年停招初中生，成为单办高级中学。

这一时期（1984年------1995年），学校共考入大专以上学生113名，中专生121名，其中有16名考入全国重点院校。

学校曾于1989年投资89万元建起一幢四层学生宿舍楼。1994年，投资171万元建成六层教师住宅楼。近年来，区政府不断加大对教育的投入。2001年8月投资315万新建了一幢总面积为3566平方米的教学大楼；2004年投资391万元新建一幢综合办公大楼，面积为3194平方米。同年，投资86万元新建一个师生餐厅，面积971平方米。2003年春投资80万元完成了校园网建设。此外，硬化了操场，改建了公厕，购置了教师接送车，硬件建设上初具规模。

2001年8月，学校更名为“阳泉市玉泉中学”。1998年8月和2001年8月，学校两次调整了领导班子，先后由弓月挺和樊振平担任校长。这一时期，学校以“博爱、诚信、笃学、求索”为校训，坚持“让学生都有进步，让家长都能满意，让老师都能成功，让社会获得人才”的办学宗旨，发扬“自强不息、拼搏进取、追求卓越”的精神，实行年级组的管理体制，一方面努力改善办学条件，一方面加强内部管理，教育教学质量逐年稳步提高，由一所办学条件落后、教育质量低下的薄弱高中校，跃升为阳泉市先进校行列。先后荣获阳泉市“文明单位”、“文明学校”、“科技示范学校”、“三育人先进集体”“教育教学管理先进学校”；郊区“先进单位”、“育人杯先进集体”、“教育科研先进学校”等称号。高考达线人数、达线率逐年攀升。尤其是2004年高考，以达线总人数124人，达线率32.97%,应届生达线是市定指标的145%的优势，位居全市同类学校之首，受到社会的广泛赞誉。

建校以来，学校共毕业学生5556人，升入大专以上高校1734人。