Kamenica se prvi puta spominje 1334. godine u statutu Zagrebačkog kaptola. Ruševine srednjovjekovne tvrđave nalaze se stotinjak metara od središta Kamenice, s lijeve strane ceste prema Ravnoj gori. Pretpostavlja se da je sagrađena u drugoj polovici 13. stoljeća, a prvi puta se spominje u darovnici kralja Žigmunda Hermanu Celjskom. Tvrđava je razorena 1463. godine, ali nije poznato tko ju je razorio.
Nakon izumiranja loze Celjskih, kada je u Beogradu Ladislav Hunjadi ubio Urlika Celjskog, Kamenica dolazi u posjed Jana Vitovca. Kako su se Vitovci u ratu između Matijaša Korvina i njemačkog cara Friedricha prešli na Fredrichovu stranu, posjed im je oduzet. Matijaš Korvin daruje zagorsku grofoviju u sklopu koje se nalazila i Kamenica svojem nezakonitom sinu Ivanošu Korvinu koji Kamenicu daruje Ivanu Gyulayu pa Kamenica pripada ovaj obitelji sve do 1568. godine kada obitelj izumire. Nakon smrti Ivaniša Korvina njegova udovica Beatrica Frankopan darovala je Kamenicu lepoglavskim pavlinima. Pavlini nisu mogli preuzeti Kamenicu jer darovnicu nije potpisao kralj. Po dodjeljivanju Trakošćana i Kamenice Juraju II Draškoviću, pavlini su pokrenuli sudski spor koji je trajao oko 130 godina, a 1730. godine Banski stol dosudio je Kamenicu Draškovićima kao nedjeljivi dio vlastelinstva Trakošćan.
