А с чего вдруг ему думать,что изменяешь?
Не хочу говорить ничего плохого, но обычно мужчины просто так этого не говорят ( ведь это может обидеть). Тут только 2 варианта, либо ты даешь поводы для ревности, либо он накосячил и теперь таким образом пытается себя оправдать ( типичная ситуация обоснованная исследованиями психологов, что когда мужчина косячит он пытается себя мысленно оправдать и когда не выходит, он начинает срываться на женщине)