Situato su uno sperone roccioso, quasi ai margini del nucleo storico di Iseo, il Castello degli Oldofredi ha pianta quadrata e torri angolari in pietra viva. È l'unica rocca urbana sopravvissuta di tutto il lago d'Iseo. Costruito nel XI secolo e incendiato dal Barbarossa, nel 1161 venne restaurato da Giacomo Oldofredi. Fu perduto e riconquistato più volte finché Venezia, dopo il 1454, lo adibì a sede di guarnigione militare. Nel 1580 divenne proprietà del comune, che lo affidò ai Cappuccini affinché un convento potesse svolgere opera di assistenza su un territorio non risparmiato da carestie ed epidemie. I frati rimasero nel castello fino al 1798, poi l'edificio fu abbandonato e si avviò al degrado . Sulla facciata della chiesa si intravedono resti di decorazioni affrescate. Il vigneto adiacente fu occupato nel secondo dopoguerra da un ingombrante condominio. La costruzione militare, finalmente restaurata, è ora tornata ad impieghi di pubblica utilità ed ospita la biblioteca comunale.