Akan tetapi, hal itu tidak berlangsung lama saat Charles Hector Comte kembali ke negeri asalnya dan benteng tersebut menjadi milik Inggris lagi.
Di tahun yang sama juga terjadi peristiwa di mana masyarakat Bengkulu membakar Benteng Marlborough, pembakaran tersebut juga dilakukan di tahun 1793 dan 1807.
Kejadian tersebut membuat negara Inggris menyerahkan Bengkulu kepada pemerintah Belandan dan sebagai gantinya pemerintah Belanda menyerahkan Malaka dan Singapura.
Bukan hanya itu, konon tentara Jepang juga sempat menguasai Benteng Marlborough ketika sedang menjajah Indonesia.
Dan setelah Indonesia melakukan revolusi Benteng Marlborough ini berhasil dikuasai salah satu polisi nasional hingga akhirnya Belanda kembali merebut benteng tersebut.
Lalu di tahun 1950, Belanda akhirnya meninggalkan Indonesia dan Benteng Marlborough dipermanenkan sebagai situs peninggalan bersejarah. *