困苦的生活经历几乎与松本清张相仿。他1919年生于日本福井县木工家庭，一家七口，常常穷得揭不开锅。九岁那年当了小和尚，这段艰难的生活后来让他写入《雁寺》与《一休》中。他先后在相国寺、天龙寺当和尚。十六岁逃出来后半工半读，念完了中学。白天打工，晚上读夜大学。二十岁那年，水上勉参加义勇军，因吐血被送回日本。第二次世界大战后，他当了《新文艺》杂志社的编辑，并不断投稿。他三十岁时出版了一本小册子《油炸锅之歌》。但这部纯文学小说既无影响，又不能解决他的生计问题。为了生活和刚出生的孩子，水上勉先后干过新闻记者、广告代理人、时装推销员。麻将店店员……有30个工作之多，他尝尽了生活的艰难。1957年，38岁的水上勉读了松本清张的《点与线》后，决定不写纯文学作品，转而写推理小说。1959年，他写了《雾与影》，这部以揭露竞选内幕的作品发表后引起轰动，水上勉一夜成名。

1960年他又发表了《海的牙齿》，获第十四届日本侦探作家俱乐部大奖。这部小说以日本某工厂将工业废料排入海中，造成严重公害为题材，揭发了社会黑幕。成名后的水上勉，每月为七家报纸写连载，被称为“写作机器”。他于1962年又写了《饥饿海峡》，这部长篇推理小说奠定了水上勉的文学地位。水上勉后来又写了《五号街夕雾楼》。《一休》 、《越前竹偶》、《湖底琴音》、《湖笛》、《寺泊》、《宇野浩二传》等纯文学名著。《一休》获谷榻保某傻缬昂蠓缑沂澜绺鞴端虏础坊翊ǘ私保队钜昂贫坊窬粘乜斫薄Ｋ厦愫罄吹毖∥毡疚囊占倚岣崩硎鲁ぃ晌桓龃课难Т笞骷摇?

于2004年因肺炎病逝，享年85岁。