Да, конечно, обязательно утеплять. Во всяком случае те стены (а также пол и потолок!), которые наружные. Нам пришлось утеплять всего одну стену и пол, а на другом балконе еще и потолок придется. Я рассказывать не буду, потому что все сфотографировано, и скоро, вероятно, будет показано.
Но ещё я поменял радиаторы(в прошлом году), а теперь их переставил под окно. Это тоже будет.