L'abitato di Ponti si affaccia sulla valle del fiume Mincio, qui appena uscito dal lago di Garda, e si estende ai piedi di una collina dominata dall'imponente castello di origine medioevale, quasi integralmente conservato. L'impianto, ad andamento irregolare e allungato, è quello del castello-recinto con pianta poligonale adattata all'orografia del terreno con cinque torri poste a intervallo lungo la cortina muraria. Di queste, tre sono scudate, ovvero semplici ripiegamenti verso l'esterno delle cortine, così da ottenere una pianta quadrilatera priva di muratura verso l'interno del recinto, in modo da poter essere controllate e, se necessario, battute dalle rimanenti due torri. Una è ubicata in corrispondenza dell'estremità settentrionale, altre due lungo i fianchi e rivolte rispettivamente a settentrione e a meridione.
Le rimanenti due torri, probabilmente non contemporanee, sono invece poste negli angoli sud-ovest e sud-est, quindi verso l'abitato e verso il fiume. La prima, più bassa, profondante rimaneggiata con tetto a quattro falde e dotata di un grande orologio e di cella campanaria, era probabilmente destinata all'avvistamento, alla segnalazione, a ospitare il comando e per fungere da estrema resistenza. La seconda invece, più alta, coronata da merli e posta a difesa di un edificio d'ingresso a camera, con doppia chiusura e tracce di ponte levatoio, era destinata al controllo del fiume. Le cortine, realizzate in ciottoli, presentano una merlatura priva degli elementi del coronamento superiore e tratti del camminamento di ronda ricavato nello spessore della muratura.
Sorto su un'altura e difeso dal Mincio che scorre poco lontano, questo fortilizio è attribuibile alla signoria scaligera e con ipotesi differenti gli studiosi ne collocano la costruzione tra il XII e il XIII secolo. Negli anni del dominio scaligero e nel primo secolo della dominazione veneziana il luogo ove sorge il castello risultava in posizione strategica alla salvaguardia e al presidio dei confini verso il lago e il territorio mantovano. Il castello rivestì quindi una rilevante importanza militare quale punta avanzata del sistema difensivo del territorio scaligero lungo l'asse del Mincio e fu spesso coinvolto nelle numerose guerre tra veronesi e mantovani, in perenne attrito per la tutela e l'ampliamento dei propri confini. Probabilmente la prima opera costruita fu la torre a sud-est, destinata al controllo del Mincio, cui, in seguito, furono presumibilmente aggiunte le tre torri scudate e il mastio a sud-ovest, verso l'abitato.