Группа была сформирована весной 2004 года при участии Ryohei (Рёхеи – ex-Hinawana) – гитара, Takehito (Такехито - ex-Hinawana) – гитара, Intetsu (Интетсу - ex-Hinawana) – бас, и Aoi (Аой – ex-MASK) - вокал. 8 мая 2004 года Ayabie дали первый сольный концерт в Takadanobaba AREA. На этом концерте распростронялся их первый сингл "Heien No Ato, Ame". Затем в продажу поступил их следующий сингл "Romancer", который вышел тиражом всего 1000 копий. Летом 2004 года ребята отправились в короткий тур вместе с группой Alice Nine. Их следующий макси-сингл, «Chousoi sou yori san rin», занял десятое место в чарте Oricon. 21 декабря вышло первое DVD «Daikei/Misery in the dusk». Дебютный альбом "Ayabie Sokukan Ongenshū" вышел 21 марта 2005 года. У нему прилагался бонусный DVD с их лучшими PV-записями. В том же году к ним присоединился барабанщик Kenzo (Кензо). В июне 2006 года Ayabie впервые отправились в тур по Европе. В августе того же года Ryohei навсегда покинул Ayabie из-за разногласий относительно будущего группы. После ухода из Ayabie, он основал новую группу Megamasso. Yumehito (Юмехито – ex-Soroban) стал новым членом группы три месяца спустя. Ребята постепенно привыкали к изменениям, которые внес в группу Yumehito, который стал также автором текстов большинства последующих песен. В 2007 Ayabie снова вернулись в Европу и выпустили мини-альбом "Ecumenical" наряду с многочисленными синглами.
