Nel periodo a cavallo tra fine 1600 e inizio 1700, quando la Rocca perse la sua primaria funzione difensiva a seguito della pace dopo la definizione dei confini di Milano e Venezia, il castello divenne la casa di villeggiatura degli Albani.
Qui i componenti della famiglia venivano a trascorrere le vacanze, ed erano soliti ospitare le autorità civili e religiose cui erano legati, ed essendo stati insigniti del ruolo di ambasciatori dalla Repubblica di Venezia, venivano ospitate qui anche le autorità venete e straniere di passaggio. Il castello era divenuto, quindi, il luogo ideale per accogliere gli importanti ospiti ed ecco l’importanza di dare sfarzo ed eleganza al vecchio maniero urgnanese fornendolo anche di scuderie dove ospitare i cavalli a disposizione dei nobili signori che ivi soggiornavano per il loro divertimento e svago.
Un’antica leggenda narra che, la notte tra il 31 ottobre e il primo novembre del 1700, lo stalliere del castello, non riuscendo a prendere sonno, decise di fare una cavalcata notturna. Vestitosi di tutto punto, scelse il cavallo meno docile tra i tanti e lo bardò con tutto l’occorrente; questo cavallo in particolare, giorni prima, lo aveva colpito con un tremendo calcio e lui, pieno d’ira per quel ricordo spiacevole e per l’insonnia che lo tormentava, voleva vendicarsi proprio sul povero animale.
Uscì nel cortile del castello e, a spron battuto e senza preoccuparsi del rumore, iniziò a mettere in atto la sua volontà: sfogarsi e vendicarsi.
Manco a dirlo, in una così altrimenti tranquilla notte invernale, tutto quel fracasso svegliò i castellani, che sentirono galoppare furiosamente qualcuno nel cortile, senza tregua.
Lo stalliere si agitava e il cavallo, sentendo i violenti colpi degli speroni nella propria pancia, si agitava ancor di più, urlando e alzando un polverone dal terreno.
A un tratto si sentì un urlo agghiacciante, seguito da un poderoso nitrito.
Poi un silenzio totale.
Il mattino seguente i castellani, che conoscevano il temperamento dello stalliere e sapevano bene che non era nuovo a trattare male gli animali e sfogarsi così crudelmente sulle bestie quando i padroni non vedevano, lo andarono a cercare nella sua stanza; contemporaneamente controllarono pure le scuderie e si accorsero che erano spariti entrambi, l’uomo e il cavallo.
Li cercarono dappertutto e, recatisi nel cortile della tenuta, si accorsero che le uniche tracce della loro presenza, le impronte degli zoccoli, lentamente sparivano dal terreno.
Di entrambi non si seppe più nulla.
La leggenda narra che siano stati rapiti dal Diavolo e, ogni anno in quella data, nel vecchio maniero si odono ancora rumori di una cavalcatura unitamente a passi agitati e cigolii di porte: è lo stalliere che vaga per le stanze del castello alla ricerca di cibo per lui e per il suo cavallo, perché solo così potrà espiare la sue colpe e la sua crudeltà.