Коллега, это предостережение, а не знаки прошлого. Судя по тому, что Вы написали об этом мужчине, у него проблемы в отношениях с женщинами. Он называет Вас королевой? Просит, чтобы дочь не отдавали бабушке и заговаривает зубы тем, что любит Вашего ребенка? Где Вы видели такую идиллию? Он нежен как бы? И, с другой стороны, бросает Вас на пол? Видите, противоречия в нем есть? Я бы на Вашем месте хорошо к нему присмотрелась. Не исключено, что он станет проявлять впоследствии (если останется с Вами) интересе к Вашей девочке. Из известных ситуаций - вспомните Гумберта в "Лолите". Поотиворечивые в поведении мужчины постоянно нуждаются в том, чтобы рядом была "королева" (желательно с ребенком) и "девочка".
Простите за пугающую запись. Просто так слишком часто быват (не только в учебниках по психоанализу, но и в жизни). Пусть лучше это окажется бредом, но Вы будете знать, что это возможно.

Например: случай - мужчина матери моей подруги, после того, как поимел, извините, мать, сделал то же с ее младшей дочерью. Теперь она не может смотреть на мужчин, лесби.
Другой пример. В достаточно благополучной семье старшая дочь - от другого брака матери. Отчим (тоже хрестоматийно) по ночам приходил к ней и .. ее спящую. Девочка бежала в веру. Только потом муж смог это выправить.. Но нескоро.

Хотя бывает и по-другому. Дай бог, чтобы по-другому. Просто присмотритесь к тому, как он с ней общается. Чего там больше - отцовского? Или есть что-то как бы Вас задевающее?