А почему не изменился? Разве number не входит в ту же строку?
Ещё раз. Объект number ты определяешь в момент добавления строки. Т.е. это, грубо говоря, ссылка на номер в самой последней строке. Соответственно в момент удаления ты обращаешься к этому объекту - номеру в самой последней строке
Добавлено
Мне не жалко, вот тебе ведро с рыбой. Пользуйся. Только придёшь в следующий раз, и попросишь сделать за тебя, а не указать направление - помощи не жди.
public void onClick(DialogInterface dialog, int which) {
