حدود ۳۰۰ سال پیش ۵ خانواده‌ی مختلف راهی جزیره الیدای شدند که از طریق ماهی گیری، پرورش گاو و شکار طوطی دریایی روزگار می‌گذراندند.
به دلیل چراگاه‌های سرسبزی که در جزیره است گاو‌ها هیچ مشکلی بابت غذا نداشتند و خانواده‌ها می‌توانستند بدون هیچ مشکلی از آن‌ها تغذیه کنند.
اما این خانواده‌ها در این خانه‌ای که امروز در این جزیره است زندگی نمی‌کردند و محل زندگی شان تعدادی پناهگاه موقتی بود. چند سالی گذشت تا اینکه در حوالی دهه ۱۹۳۰ همه‌ی کسانی که در این جزیره بودند بعد از اینکه فهمیدند فرصت‌های این جزیره‌ی دورافتاده در جا‌های دیگر هم پیدا می‌شود اسباب و اثاثیه شان را جمع و جزیره را ترک کردند.
