索恩顿来，哈沃斯较为繁华，牧师居所有五个卧室，远比之前宽敞。
但哈沃斯缺少排水系统，饮用水被严重污染，当地平均寿命只有25岁，牧师居所的窗子望出去就是葬了很多早夭儿童的教堂墓地。
勃朗特家搬到哈沃斯时，玛丽亚已经被诊断为癌症，为了帮助忙碌於教区事务的勃朗特牧师照看玛丽亚，玛丽亚的妹妹伊莉莎白勃兰威尔来到了哈沃斯。
1821年9月15日，玛丽亚去世。不久，从悲痛中恢复过来的勃朗特牧师继续担负起教区事务来。
年底他到朋友家作客，玛丽亚的朋友伊莉莎白佛斯对他表示了同情和安慰，牧师随后向其求婚，希望给六个孩子寻找一位继母，但被拒绝。
来照顾玛丽亚的伊莉莎白姨妈一直留在住所抚养六个孩子长大。随着六个孩子的成长，已经能自理的玛丽亚和伊莉莎白会尽力帮助姨妈干些家务，而最小的安妮则成为伊莉莎白姨妈的宠儿，两人一直同住一个房间。
安妮自幼体弱多病，后来她在自传体长诗中回忆说，童年最深刻的印象就是觉得自己「无助、瘦弱、充满无来由的恐惧感；单纯、易骗，相信所有听到的话」。
安妮四岁时，勃朗特牧师曾问她「作为一个孩子最想要什麽