ペリーの黒船の乗組員が事故で亡くなったため、増徳院の墓地の一角に埋葬したことに始まったと言う説もあるが、開港前後に次々と起った、外国人殺傷事件の犠牲者を葬るため、政府が増徳院の墓地の傍らに、外国人墓地を設けたことに始まる。
被葬者は、現在4,300人に及ぶが、生麦事件のリチャードソン、鉄道開設のエドモンド・モレル、ゲーテ座創立者のヘフト等、近代日本の建設につくした外国人が、やすらかに眠っている。