烏山城は、北条氏の家臣であった高橋氏が築城したものとされている。

城址とされる場所は、世田谷区南烏山2丁目21の烏山神社が推定地に挙げられていることが多く、『日本城郭大系』でも烏山神社の並びの台地上としている。

また、『東京都遺跡地図』では、中世城館の「烏山城（砦）跡」の遺跡範囲として、芦花公園団地から世田谷文学館にかけての一帯を指し示している。

現在、城郭の遺構は消滅しているため、その正確な場所を特定することは困難である。