吴与弼出生在江西一个士大夫家庭中，其先祖吴兢是唐朝名臣，高祖吴景南以诗闻名于世，曾祖吴审才学出众，父亲吴溥，官到国子监司业。尽管家世显赫，吴与弼长期生活在乡下，用儒家礼仪规范约束自己。他生活简朴，自己劳作，丰衣足食。中年后，家境急转直下，身体也开始衰败，更是因为家境贫困无药可医。虽然贫苦，有时还会向街坊借米，但他严格坚守自己的德行，令人赞叹。吴与弼曾多次受邀入仕，但是他多次婉拒，专心著述和教学。他曾经被权臣石亨所邀请，后来拒绝其举荐。吴与弼表现了一种儒家独身其身的气概。吴与弼是明朝重要的儒学家，被《明儒学案》列在首位。