岁月无情地流逝，死亡成了亚当斯常见的现象。一个尚在襁褓中的孙女在亚当斯诞生的屋中死去，他悲痛地呼喊着：“为什么我倒活了75岁，而那朵玫瑰花却在蓓蕾期夭折?”女儿纳比因患乳腺癌，回家养病。而住在纳比隔壁的是查尔斯的遗孀萨莉·亚当斯，已经身染肺结核。纳比回到家才三个星期便死了，亚当斯写信给杰斐逊说：“这封信我是再也写不下去了，你的朋友——我唯一的女儿，昨天以49岁之年去世……她一直是我们大家中间最健康、最结实的人。”
1818年，在亚当斯夫妇庆祝结婚54周年后不久，艾比盖尔突然中风，既不能动弹，又不能说话。到11月10日，她终于在丈夫的守候下过世了。
至于亚当斯自己，健康问题也日益令人担忧。头痛、心口灼热及虚弱的体质使他行动迟缓，连写字也得忍着巨大的痛苦，后来不得不口述信件。而且，他无法从失去艾比盖尔的悲痛中振作起来，常常深感沮丧。他给一位朋友写信说：“我的房子是一个悲区……在整个一生中，我从未像此时此刻那么茫然不知所措，那么痛苦而不能抑止。”