Sul castello si tramanda una misteriosa leggenda. Molto tempo fa, un ambulante giunse a Gemona in una notte d’estate e non avendo soldi si fermò a dormire sotto il Palazzo del Comune. A mezzanotte, però, venne svegliato da strani rumori. Una strana voce gli sussurrò: “Se hai coraggio domani sera a quest’ora fatti trovare nuovamente qua”.
La notte seguente l’ambulante si recò nuovamente lì e udì ancora la misteriosa voce: “Vieni con me alla torre del Castello: li dovrai gettare un sasso e poco dopo vedrai una tremenda bestia a cavallo di una cassa con una chiave in bocca; non dovrai spaventarti, il tuo compito sarà quello di strappare la chiave al mostro prima che scocchi l’una di notte”.
​
​
L’ambulante, leggermente timoroso, non si tirò indietro e fece quanto richiesto ma proprio quando sembrava avercela fatta scoccò l’una. La missione era fallita e la bestia e la cassa scomparvero tra le fiamme. La povera anima disse così all’ambulante:
“Avevo la speranza di essere liberata da te; purtroppo ora dovrà nascere un nuovo albero da cui ricavare la culla per un altro uomo che possa avere maggior fortuna”.
L’anima ancora oggi non è stata liberata: chi sarà il prossimo uomo al quale chiederà di essere liberata?