室町時代初期、木付氏によって八坂川の河口にある台山の上に築かれたこの城は、北は高山川、東は守江湾と いった天然の要害に囲まれた城であった。その後、場所や形を変えながら、主もまた前田、杉原、細川氏と入れ替わり、 その後の小笠原氏、そして松平氏を最後に廃藩となり、現存するのは一部石垣など。