L'imponente ed elegante Castello di Alviano domina strategicamente dall'alto tutta la media Valle del Tevere, e con la sua maestosità richiama la grandezza della dinastia dei Liviani, dal sec. XII signori di queste terre. Si sviluppa su tre piani, più attico, ed è circondato da una cinta muraria con quattro torri d’angolo. All'ingresso del castello il leone della gogna e una testa di medusa, posti sulla facciata, stanno a simboleggiare il feudo degli Alviano. La fortezza nacque infatti come dimora difensiva intorno al 995, con l'arrivo del Conte Offredo di Germania, che secondo la tradizione è stato il capostipite della famiglia Alviano, ma di quel castello originario ci resta ben poco a causa della distruzione subita nel 1495 ad opera di Amelia. Il maniero ritornò in possesso della famiglia grazie a Francesco d’Alviano che ne fece la propria residenza, ma venne distrutto dai Chiaravalle e la sua ricostruzione, all’inizio del 1500, si deve al figlio Bartolomeo. La nuova struttura venne edificata come una sontuosa residenza baronale, con alcune sale decorate da Giovanni Antonio de’ Sacchis detto il Pordenone. Essendo Bartolomeo un architetto militare, si premunì di equipaggiare la struttura di corpi di difesa nei punti strategici, seguendo le regole dell’architettura militare ideata da Leon Battista Alberti. Nel 1500 il figlio Bernardino, esperto fonditore, trasformò la fortezza in una fonderia di cannoni tra le più importanti dell’Umbria. Per mancanza di eredi maschi, nel 1543, gli Alviano persero il feudo e cambiarono il loro nome in Liviani. Da quel momento il castello ha perso la sua importanza militare e da allora ha avuto diversi proprietari, partendo dal marchese Raimondy di Genova per diventare, nel Seicento, di proprietà di donna Olimpia Maidalchini, sposa di Panfilio Pamphilj, ed infine, per discendenza, nel 1816 fu ereditata dal principe don Andrea II Doria Pamphilj Landi.
La fortezza è in puro stile rinascimentale caratterizzata dal bel cortile interno con doppio loggiato su cui affacciano numerosi ambienti di pregio. Tra questi la cappella di San Francesco con una serie di affreschi del Seicento, di buona fattura, che possono essere considerati come una sorta di memoria visiva della storia di Alviano.
Oggi il Castello, sapientemente restaurato, è il fulcro della vita cittadina: il piano nobile ospita il Municipio; al piano terra si trova il Centro di documentazione audiovisiva sull'Oasi di Alviano, oltre a un centro convegni moderno e attrezzato; il seminterrato attualmente ospita il Museo della civiltà contadina "La terra e lo strumento", dove sono esposti i più significativi strumenti ed utensili utilizzati dalle famiglie alvianesi tra la fine del 1800 e il dopoguerra. Sempre nei seminterrati si trova il Museo multimediale Bartolomeo d'Alviano: è stato inaugurato il 1 luglio del 2000, sede del Centro studi sui capitani di ventura.