故事以德国移民乔达虚一家的经历展开。乔达虚夫妇侨居美国之后，在小镇上开个面包房，生活清苦。他们有三个孩子：女儿格瑞卿，从穷姑娘上升为中等阶级的妇女；大儿子鲁道夫，从穷人变为富人；小儿子托马斯，始终是一个穷光蛋。作者同情的是托马斯。他从小得不到家庭的温暖，老在街头殴斗闹事，但他的调皮捣蛋含有朴素自发的反叛意味，如火烧富人博伊兰庄园里的暖房。长大以后他做过各种工作，总是遭人暗算和陷害，但是他刚毅、正直的品质始终不变。欧文·肖自称《富人，穷人》写的是“一个人怎样消除自己灵魂中病态的激狂劲儿”。这个人就是托马斯·乔达虚。但悲哀的是，托马斯同哥哥姐姐和解，消除了“激狂劲儿”之后，反倒成了他们的牺牲品。

小说还写了其他的穷人，如托马斯的父亲，一个没有阶级觉悟、性情乖戾的移民，以自杀结束自己的生命；托马斯的母亲，一个一辈子没有见过好日子、被生活压得喘不过气来的妇女；他叔叔家里的女佣克洛西德，为了躲避丈夫的毒打而忍受主人的污辱……这些穷人的命运，以托马斯·乔达虚为代表，总是跳不出富人们有意无意设下的陷阱。