据宋史记载，李公麟字伯时，号龙眠居士，庐江舒州（今安徽铜陵）人。他出身名门望族，自幼为家学所染，长于诗文，能书法，更好古鉴。据说他对古代异体字、生僻字颇为精通，又能考订夏商以来的钟鼎尊彝的世次。宋神宗熙宁三年（1070年），李公麟考中进士，从而踏上仕途，先为中书门下省删定官，又为检法御史（宋代尚书省负责检查执法之事的官员），后官至朝奉郎（宋代无实权的散官名，正六品以上）。李公麟为官时交友广泛，其中不乏当时响当当的大人物，如宰相王安石（1021年—1086年）、驸马王诜（1048年—1101年），以及苏轼（1037年—1101年）、米芾（1051年—1107年）、黄庭坚（1045年—1105年）等等。他曾与王安石同游金陵（今南京），又曾与苏轼、黄庭坚、米芾等于王诜家聚会，并作《西园雅集图》记录盛况。宋代，随着文官政治的发展，文人的艺术诉求和艺术话语权在画史中日渐成为主流。李公麟作为文官团体和文人阶层的一员，其深厚的文化修养、过人的艺术才情，使得他的绘画在团体和阶层中颇得推崇。宋哲宗元符三年（1100年），李公麟因不堪风湿病引起的关节疼痛，而辞官归隐修养，居住在龙眠山庄。

《西岳降灵图》正是他归隐龙眠山庄后所作，准确的创作时间应是宋徽宗崇宁三年（1104年），他晚年55岁时。与宋代一般文人画家，执著于在山水画、花鸟画上信笔墨戏不同，李公麟是极为少有的能画佛道、人物、鞍马的文人画家。除了这幅《西岳降灵图》外，他的传世名作还有《五马图》、《免胄图》、《维摩演教图》（该卷作者存疑，学者金维诺先生认为非李公麟所画）等等。从这些传世名作上看，他的人物画，绝少设色，多以墨笔白描为主要表现手法，线条流畅而严谨，注重人物特征和个性的表现，对人物之表情、气质更特别着意，从而自成一派。