Вернуть заставит только при переоформлении дома в случае купли/продажи, а так не имеет особого влияния. Моя квартира, что хочу, то и делаю. Естественно, если при этом мое архитектурное творение не будет угрожать жителям дама. То, что они могут вас заставить на словах, это еще не повод паниковать.