В статистическом списке населённых мест 1859 года Каменные выселки упоминается как владельческая деревня. Местонахождение указано как "при реке Воже" и "На большой дороге от г. Михайлова до г. Зарайска". Тогда там числилось 37 дворов, где проживало мужчин - 201, женщин - 168. Уездный центр располагался в 34 км.
Каменные выселки
деревня