白金館は白金長者屋敷とも呼ばれ､室町時代に柳下上総介という人物が築いた城郭と言われる。

江戸時代に入ると、高松藩松平家の下屋敷として利用され、明治以降は陸海軍が火薬庫として使用した。

大正時代に入ると、白金御料地として一般の立ち入りが禁止されるが、戦後になりその自然を活かしたまま国立科学博物館付属自然教育園として一般公開されるようになった。

そのような歴史から、都心の城郭跡としては珍しく土塁や館跡が残されており、自然教育園の該当の場所には説明板も置かれている。