В 1794 году, имея склонность к уединению, стал жить в лесу в келии в пяти километрах от монастыря. В качестве аскетических подвигов и упражнений носил одну и ту же одежду зимой и летом, сам добывал себе пропитание в лесу, мало спал, строго постился, перечитывал священные книги , ежедневно подолгу молился. Около келии Серафим развёл огород и устроил пчельник.
Однажды на протяжении трех с половиной лет аскет питался только травой снытью.
Позднее тысячу дней и тысячу ночей о. Серафим провел в подвиге столпничества на каменном валуне
Некоторые из приходивших к нему за духовным советом видели огромного медведя, которого преподобный кормил хлебом с рук (по словам самого о. Серафима этот медведь постоянно приходил к нему, но известно что кормил Старец и других животных)
В 1807 году преподобный принял на себя иноческий подвиг молчания, старался ни с кем не встречаться и не общаться. В 1810 году он возвратился в монастырь, но ушёл в затвор до 1825 года. После окончания затвора принимал многих посетителей из монашествующих и мирян, имея, как сказано в житии, дар прозорливости и исцеления от болезней. Его посещали также знатные люди, в том числе царь Александр I.