На йух QT!
http://mplayerosx.sourceforge.net/
Если VLC не помогает, то mplayer поможет. И наоборот. :)
Ну на крайняк QT. Но только в крайнем случае.

А конвертить кино с помощью http://homepage.mac.com/major4/ -- ffmpeg

iSquint помогает там, где ffmpeg не справляется -- http://www.isquint.org/

И вообще, не стесняйтесь конвертить фильмы.
От 40 минут до 6 часов, в зависимости от крутости компьютера. В любом случае, ночью комп бездействует. Любой из конвертеров iSquint или ffmpeg никому мешать не будут, если из инета тянется какая-то хрень, читается почта или играет iTunes.

Не, ну QTаймом конвертить тоже можно, кстати, конвертация ним совершенно не заметна для юзера. :)