В начале 1943 года Грабарь выдвинул идею компенсации потерь советских музеев за счет конфискации произведений из музеев Германии и ее союзников. Он возглавил Бюро экспертов, которое составляло списки лучших произведений из музеев Европы, готовил «трофейные бригады», отправлявшиеся на фронт, и принимал эшелоны с произведениями искусства.