Kemudian, setelah bangsa Belanda menguasai pulau Ambon pada tahun 1605 mereka mengambil alih bangunan Loji tersebut dan mengubahnya menjadi kubu pertahanan.
Belanda mengubah Loji menjadi kubu pertahanan disebabkan oleh pertempuran antara bangsa Belanda dengan Kerajaan Hitu yang dipimpin oleh Kapitan Kakialy dkk pada tahun 1633-1654.
Baca Juga:
Berikut Sejarah Pilkada Serentak di Indonesia
Maka dari itu, Gubernur Jenderal Belanda Jaan Ottens tahun 1637 mengubahnya menjadi kubu pertahanan, kemudian diperbesar oleh Gerrad Demmer pada tahun 1642, dilanjutkan kembali pembangunannya oleh Gubernur Jenderal Anthony Caan tahun 1649, dan akhirnya diselesaikan pembangunannya oleh tokoh antagonis dimata orang Ambon dan Lease yaitu Arnold De Vlaming Van Ouds Hoorn pada tahun 1649-1656 dan menamakannya Benteng Amsterdam.
Benteng ini ditinggalkan oleh bangsa Belanda pada awal 1900 dalam keadaan rusak dan telah ditumbuhi sebatang pohon beringin besar sebelum dipugar kembali oleh departemen Pendidikan dan Kebudayaan Republik Indonesia Kantor Wilayah Propinsi Maluku, mulai bulan Juli Tahun 1991 hingga bulan Maret tahun 1994.[mga]