Anticamente Collis Petre; si erge sulla sinistra del fiume Fiastrone e rappresentava l'ultimo baluardo a difesa del vasto sistema di rocche e castelli del ducato di Camerino.
La rocca di Col di Pietra che si erge a picco sul fiume Fiastrone, segue le vicende del territorio al quale appartiene; di proprietà Casauriense prima e dei Varano poi (fin dalla seconda metà del sec XII), ha scopo prettamente militare e difensivo.
Oggi restano solo alcuni ruderi, che testimoniano la presenza della torre di guardia e di alcuni saloni voltati. Poco più in basso sorge il "Borgo di Col di Pietra" con la chiesa dedicata a "San Giovanni" (Sancti lohannis supe Flussorium: cioè sopra il Fiastrone) già citata in documenti del 995.
Il borgo, nel corso dei secoli ha perso la struttura originaria; l'attuale configurazione, molto probabilmente, risale ai primi dell'ottocento.
All’epoca dei Comuni il castello apparteneva a Filippo di Morico, il quale lo vendette al Comune di Camerino; successivamente passò ai Varano che lo utilizzarono a scopo offensivo durante le lotte fra Signorie.
