El Palazzetto Baviera da a la Piazza del Duca y fue construido por voluntad de Giovanni Giacomo Baviera, tío materno y lugarteniente de Giovanni della Rovere, al mismo tiempo que la Rocca, quizás sobre un proyecto de Baccio Pontelli, como sugiere la armoniosa proporción de el pequeño patio. Giovanni Baviera llegó a Senigallia a fines de 1474 para tomar posesión del estado en nombre de Giovanni della Rovere. La familia Baviera asumió de inmediato un papel destacado en la nobleza de Senegal. El edificio pasó a ser propiedad de la familia en 1512 y permaneció así hasta 1956, cuando la familia Baviera lo donó junto con el mobiliario al municipio de Senigallia.

Construido y luego adaptado entre finales del siglo XV y la primera década del siglo XVI, el Palazzetto Baviera reproduce, en el pequeño claustro y en el ambiente sobrio y elegante, los motivos y proporciones del claustro del Convento de Gracia. De hecho, es posible admirar una elegante columnata que sostiene el pórtico y en el centro un pozo decorado por todos lados con los escudos de armas de la casa bávara.

Pero ciertamente es en el piso superior donde se revela uno de los tesoros más bellos de la ciudad de Senigallia. Una escalera conduce al piso principal donde se pueden admirar los techos completamente decorados con estuco por Federico Brandani de Urbino (alrededor de 1525 - 1575). Brandani, encargado de la obra de Giuseppe Baviera, dedicó muchos años de su vida a su realización y al final relegó a la historia una joya del arte. En la obra se alternan las representaciones de cruentas batallas, relatos bíblicos, gestas heroicas y hechos históricos sin perder nunca la armonía del conjunto. Los techos de las cinco salas (de la Roma imperial, de la Roma republicana, de la Ilíada, de Hércules, del Antiguo Testamento) son sin duda la máxima expresión de la obra de Federico Brandani.