а что у вас за формула??? Там же всё просто должно быть. Сечение дымохода выбирают исходя из мощности вашей печки или камина, а на все остальное уже подставляете готовые цифры, которые будут постоянными и будут зависеть от свойств очага. Так что не надо ничего вам мудрить и придумывать что касаемо формы сечения, то лучше пусть она будет круглой, потому что так дыму будет удобнее всего выходить наружу. Также неплохо будет сделать трубу квадратной, дым тоже сможет выходить наружу без особых затруднений. Только не забудьте, что изгибов трубы должно быть минимальное количество (это улучшит работу трубы)