Старейший из немецких замков впервые упомянут в летописях еще в 1157 году. О периоде строительства сохранилось очень мало информации. Известно лишь, что первоначально его планировали использовать в качестве оборонительного сооружения. Не удивительно, что с первого взгляда неприступные стены замка напоминают крепость. В нем размещались войска, которые охраняли торговый путь между соседними регионами – Мозелем и Айфелем.

К середине XIII века крепость находилась в собственности трех братьев: Элиаса, Теодориха и Вильгельма. Они поделили замок и стали родоначальниками отдельных ветвей династии Эльц. Каждая ветвь имела собственный герб: серебряный и золотой львы, а также рога буйвола. Семейство со своей свитой проживало в отведенных покоях, а специальные грамоты строго разграничивали их права между собой.

В 1331 году началось первое крупное противостояние между несколькими замками и архиепископом Трирским. Последний возвел собственное укрепление выше Эльца и начал обстреливать его окрестности. Два года жители замка отчаянно сопротивлялись осаде, но в конце концов сдались. Спустя некоторое время стороны подписали Эльцкий мир, и война завершилась. В результате поражения свободные Эльцкие рыцари по решению Карла IV перешли в подчинение архиепископа Трирского.

С начала XV в. и до середины XVI в. представители всех трех династий Эльц активно достраивали новые помещения к замку. Именно в 1540 году сооружение приобрело свой нынешний облик. В результате нескольких соглашений вся площадь стала единоличной собственностью рода Кемпених, правившего под эмблемой золотого льва. Глава рода (Хуго Филипп) занялся реставрацией интерьеров. Он постарался полностью сохранить облик замка, но устранил обветшавшие элементы. Все работы потребовали значительных капиталовложений. Сегодня эта сумма составила бы 8 млн. евро. Многие знатные особы считали честью посетить замок Эльц. Последний король Германии Вильгельм II также гостил в нем.