Het Kasteel van Batavia was van oudsher een herberg. De historie van de herberg aan de dijk gaat terug tot de 17e eeuw en mogelijk nog eerder. Uit geschiedschrijving blijkt dat het pand al in 1633 in gebruik was als herberg met de naam Kasteel van Batavia. Het huidige Kasteel van Batavia is na het bombardement van 1944, tijdens de Tweede Wereldoorlog, in 1950 herbouwd.
Nu is uit de voormalige herberg ’t Kasteel van Batavia een café, restaurant, ijssalon, takeaway/selfsservice restaurant en cateringbedrijf ontstaan.