Мне вот кажется, что такое отношение к тебе таких людей основано на разнице восприятия той самой действительности. И дело здесь в том, что те, кто утверждает, что оптимисты=наивные идеалисты, просто склонны реагировать на проявление действительности на уровне "улитки". Так, да. В жизни "зла" больше получается, если видеть только верхушку айсберга. Но если копнуть немного глубже, то можно практически в любом "зле" (это я образно для упрощения использую это слово) можно узреть положительные моменты.
А пессимисты склонны "копать" плохим инструментом, тем самым делая неправильные выводы о самой сущности "копаемого" объекта :)
Что-то типа того.

upd: да, и немалую роль здесь играют стереотипы, которые запечатывают многих в оболочке привычных ощущений, эмоций, суждений и т.д. и не дают взглянуть на действительность под другим углом.