開港当時現在の県庁所在地に有った運上所がその前身。現在の建物は昭和９年作られた ものが基本と成っている。モスクに似た庁舎の塔は”みなと三塔”の１つで“クイーンの塔”と呼ばれ親しまれている。建物の正面は海側に面している。