Udenrigsministeriet, Havnen og Knippelsbro