Дело-то не только в термине "любовница" или "любовник".
Но, если по этому пункту, то моё мнение - любовник(ца) - слово интимное, отражающее глубину чувства ("любовь во всем своем высоком понимании"), а потому развесив его на всех заборах и штампуя ярлыки, люди только убили красоту.
Теперь имеется в виду только "человек, с которым занимаются любовью". Только вот чаще всего не любовью, а именно сексом или еще банальней - траханьем.
Фи, как Никта грубо сказала...