Это из-за шанса, мучительно больно, да понятно.
А "никогда" - это как будто и не было, и не о чем жалеть, тоже понятно. Значит, мучает сомнение, сожаление - а вдруг бы получилось, вышло бы то, что хотелось? или упущена возможность изменения, исправления чего-либо или ещё вариант - поздно просить прощение (хотя может - лучше поздно, чем никогда?)... поэтому - поздно сильнее