神楽坂の矢来公園辺りには江戸時代、若狭小浜藩邸がありました。１６２８年（寛永５）藩主酒井忠勝が、三代将軍家光公からこの地を拝領したのが「ご縁」の始まりです。家光公の治世下、小浜藩主酒井忠勝は老中・大老職を務め、家光公はこの藩邸を頻繁に訪れています。
１６３９年（寛永１６年）に起きた大火で、三代将軍家光は江戸城からこの屋敷に避難してきたそうです。警備の御家人たちは、抜き身の槍で警護の任にあたり、屋敷の表門の石垣から東側４２間と西側２６３間に竹矢来（竹や丸太を粗く組んで作った臨時の囲い）を巡らせていました。いつしかこの竹矢来が評判となって、屋敷周辺は「竹矢来下」と呼ばれるようになりました。現在、酒井家の屋敷跡の大部分が新宿区矢来町となりました。
右地図「分間江戸大絵図」では、「若狭酒井」と書かれており、当時4万坪の広大な敷地を有していた小浜藩邸の広さがうかがえます。
「解体新書」を著した蘭学者で、小浜藩に仕える医者でもあった、あの杉田玄白は１７３３年（享保１８）にこの屋敷内で生まれました。同公園内には現在「小浜藩邸跡」と「杉田玄白生誕地」を併記した記念碑が設置されています。