Grodzisko najprawdopodobniej powstało wcześniej, jeszcze w XII wieku. Wówczas w rozlewiskach rzeki Korzeniówki wybudowano niewielki gród. Tam osiedlali się ludzie z niejakiego Szydłowa i to oni dali osadzie nazwę Szydłowiec. Przydomek „szydłowieccy” przyjmowali późniejsi właściciele miasta i jego dóbr, wśród nich Odrowążowie i Radziwiłłowie.