Клюксы впервые упоминаются в XVII веке как село, которым владел знатный род Чичериных. Через село проходил значимый тракт с переправой через реку Жиздру, что делало его важным пунктом Козельского уезда.
В XVIII веке часть деревни Клюксы переходит к Ергольским. На высоком берегу Жиздры они выстроили усадьбу в стиле классицизма и заложили сад. Дом сочетал каменный цоколь и деревянный верх, типичный для того времени «смешанный» стиль. От регулярного сада до наших дней дошли отдельные фрагменты. Семья владела усадьбой в Клюксах несколько поколений. В XIX веке здесь жили генерал-майор Владимир Николаевич Ергольский, герой войны 1812 года, и его потомки. Последним хозяином стал Андрей Николаевич Ергольский — морской офицер, участвовавший в кругосветном плавании на «Дмитрии Донском». Вернувшись, он занялся хозяйством и службой уездного предводителя дворянства. С его именем связана последняя яркая глава истории усадьбы до революции.
После 1917 года усадьба утратила частное владение и была отдана под деревенскую школу. Школа просуществовала почти до конца XX века.