1948 年 3 月 4 日生於美國加州洛杉磯，父親是會計師，母親是護士。雙親離異後，六歲的艾洛伊跟隨母親搬到艾爾蒙特市，十歲那年（1958）母親遭謀殺致死，艾洛伊搬回與父親同住；同年，父親給了他一本傑克．偉柏所寫的《The Badge: a history of the LAPD》，艾洛伊登時栽入此書著迷不已，此二事件成為艾洛伊日後走上犯罪小說作家之路的重要因素，後者更影響艾洛伊寫下「洛城四部曲」系列，確立他在美國犯罪文學界不可搖撼的地位。

艾洛伊就讀中學時常做出惹人注意的事，例如寄納粹小冊給喜愛的女孩、批評當時的總統甘迺迪、倡言美國應恢復奴隸制度等，並醉心於影集、電影與犯罪小說閱讀。惹事生非的艾洛伊最終因在課堂上大肆宣揚納粹主義遭學校開除，不久，他加入美國陸軍，但很快發現自己並不適合待在部隊，於是裝作有說話結巴的問題，三個月後便結束了軍旅生活。

返回老家沒多久，父親便因病去世，留給艾洛伊的最後一句遺言竟是：「想辦法搭上每一個招呼你的女侍。」之後他帶著離開軍隊時一筆微薄的薪餉過活，偷餐館的牛排果腹，一位父親的朋友看不下去，自願擔任艾洛伊的監護人，這樣荒唐的生活才獲得些許改善，此時他還未滿十八歲。

艾洛伊成年後，再度回到街頭，他選擇了酗酒、嗑藥、露宿公園、進入喜愛女孩的屋內偷竊內衣，以及嗜讀犯罪小說的生活，一次因天冷躲入無人公寓取暖時遭警方逮捕，出獄後進入一間成人書店當起負責雜誌上下貨的店員。

此時艾洛伊嗑藥、飲酒的劣習不改，嚴重影響他的健康，直到他兩次患肺炎重症入院、醫生診斷出他患了將會影響腦部的酒精中毒症狀，他才決定加入匿名戒酒協會改變生活。三十歲那年，詹姆士．艾洛伊交出他第一部小說，自此踏上作家一途，並參與多部電影編劇及演出。《黑色大理花》是他的第七部作品，「洛城四部曲」（L.A. Quartet）第一部。

艾洛伊現住在堪薩斯市。