关于本书的作者，《隋书·经济志》未曾著录，而新旧唐书均著录为东晋葛洪著。这是因为六卷本末有葛洪跋文一篇。跋文言“洪家世有刘子骏《汉书》一百卷，无首尾题目，但以甲乙丙丁纪其卷数。先父传之。歆欲撰《汉书》编录汉事，未得缔构而亡，故书无宗本，止杂记而已，失前后之次， 无事类之辨。后好事者以意次第之，始甲终癸为十帙，帙十卷，合为百卷。洪家具有其书，试以此记考校班固所作，殆是全取刘书，小有异同耳。并固所不取，不过二万许言。今抄出为二卷，名曰《西京杂记》，以裨《汉书》之阙。”按照葛洪的说法，这部书的作者是刘歆，他不过将班固写《汉书》不用的二万余言抄录出来，给它起个名字而已。后人对葛洪的跋语并不相信，以为这是他“依托古人以取自重耳”。其实《西京杂记》就是出自葛洪之手。但书中故事也并非全是葛洪杜撰，有些条目可能是他从当时所存典籍中 摘取来的。? 　　葛洪(284—364)，字稚川，号抱朴子，东晋丹阳句容人，道教理论家， 其著作还有《抱朴子》、《神仙传》等。

谁是该书的真正作者？这一疑案至今悬而未决。 　　我国著名的历史学家顾颉刚在《中国史学入门》书中曾明确指出:《西京杂记》这本书，"讲了汉朝的许多故事。书的作者是谁？没有定论。有的说是刘歆，有的说是晋朝的葛洪"，甚至还有吴均撰书之说。为研究工作带来极大困难。

隋唐之际，特别是唐太宗继位后，为了以史辅国，以古鉴今，非常重视编修历史。当时的史官们尽博采史籍"朝廷也"命天下计书"、"搜访异本"，"尽收其图书古籍"，但由魏征等人穷搜苦索而编纂的《隋书·经籍志》却对《西京杂记》的真正作者未能考究出来，所以只好不著撰写人。400余年后，宋人黄伯思在《东观余论》中采取折衷说法，谓《西京杂记》书中事皆刘歆所说，葛洪采之。后晋刘胞等人编纂的《唐书·经籍志》则题名葛洪撰。清朝末年，一批考证类的著作问世。但考证者对"西京杂记"一书真正作者并没有考证出名堂，作补的也未补出个头绪来。

在近代学者专家的一些著作中，对谁是谁非也各执一说，甚至避而不谈。如李宗邺在《中国历史要籍介绍》中说："《西京杂记》二卷集是刘歆所撰，《唐书·经籍志》误题为葛洪"；但金少英《中国历史要籍选读》中却肯定为葛洪撰。

鲁迅在《中国小说史略》里，对《西京杂记》一书曾有较为详细的考证。他说，至于杂载人间琐事者，有《西京杂记》本二卷，今六卷者宋人所分也。末有葛洪跋，言"其家有刘歆《汉书》一百卷，考校班固所作，殆是全取刘氏，小有异同，固所不取，不过二万许言。"

鲁迅既然把《西京杂记》列入《今所见汉人小说篇》，在"目次"中列了"刘歆，这就否定了葛洪。有些考证文章也说，《西京杂记》属笔记类杂史，《汉书》不记，晋却语曰："旧题西汉刘歆撰，经考证作者实为晋葛洪"。有何根据？辞书未引，故不得而知。可能由于上述原由，所以张舜徽主编的《中国历史学名著题解》，尽管在书中列举历代杂史，笔记类书名达数十种之多，却偏偏没有《西京杂记》。柴德赓编写的《史籍举要》等就更不便列举。其它的一些文著，乃至工具书多相不一。谁是谁非，没有定论。