1916年，徐特立在此开设五美高级小学后，房舍除上屋东侧及东厢房计九间留用外，其余均归学校管理。故居原从东厢外院侧门出入，院内有水井一眼，檐下形成回廊，小青瓦屋面，方格窗向内支撑。前临田野，后靠小山，周围松柏、香樟、翠竹环绕，十分幽雅。西侧新建五美中学校舍和操坪，与之连成一体。1980年，故居修缮一新，并复原陈设有徐特立夫妇和徐乾以及教员陈昌、毛达恂等人的住房。徐特立曾为毛泽东的老师，1927年加入共产党，为中共第七届、八届中央委员。1968年逝世，1983年故居重新公布为湖南省重点文物保护单位。