La prima notizia del "Castrum de Alto" risale al 1272, quando alcuni uomini dichiarano il loro status servile nei confronti del signore del castello Guglielmo de Telvo, così come in passato i loro antenati erano stati servi dei suoi predecessori. Questa notizia suggerisce una certa antichità della fortificazione, che sarebbe esistita perciò almeno da qualche generazione.
L’atto di infeudazione più antico a noi rimasto risale al 1299, anno in cui il principe vescovo di Feltre, proprietario di Castellalto, lo concede nuovamente ai da Telve, già da tempo feudatari della fortificazione. Questa famiglia, le cui origini vengono ricollegate a due personaggi vissuti attorno alla metà del XII secolo, Wala e Adelpreto, si suddivide presto nei due rami di Castellalto e Arnana-San Pietro. Il controllo feudale di quest’ultima linea famigliare dura fino al 1331, quando vengono sostituiti dai Caldonazzo-Castelnuovo. Intorno alla metà del XIV secolo, quando Valsugana e Feltrino divengono domini dei da Carrara signori di Padova, i Castellalto, così come i loro vicini Caldonazzo, si schierano al fianco dei nuovi signori. Francesco il Vecchio da Carrara viene addirittura ospitato presso Castellalto da Francesco II, e i figli del signore di Telve, Guglielmo e Marcabruno, partono al seguito dei padovani nelle spedizioni contro i Visconti di Milano. All’inizio del Quattrocento le truppe della Serenissima si affacciano in Valsugana, ma nel 1412 vengono scacciate dall´Arciduca d´Austria Federico IV Tascavuota, che impone il suo controllo sui castelli del territorio. Il Castello di Castellalto diventa un bene diretto dell’arciducato ma i Castellalto, a differenza dei Caldonazzo che si eclissano proprio in quest’epoca, continuano ad amministrare la fortificazione per conto di Federico IV. Il Castello di Castellalto diviene baluardo difensivo di straordinaria importanza per impedire l’avanzata della Serenissima, e nell'agosto del 1487 i Veneziani, respinti dai difensori, danno alle fiamme il vicino abitato di Telve. Tra la fine del XV e l’inizio del XVI secolo Francesco IV il Grande, l´esponente più celebre della famiglia, diviene signore di Castellalto, cavaliere di grande fama, amico, consigliere e capitano dell’imperatore Massimiliano I e, durante il Concilio di Trento, ambasciatore dell’imperatore Carlo V. Alla morte di Francesco nel 1555 il feudo passa ai nipoti e da questi, per via matrimoniale, ai Lodron e in seguito ai Trautmanndorf. Tra il XVII e il XVIII secolo il maniero viene controllato da varie altre famiglie finché, dalla metà del Settecento, comincia il declino che nei due secoli successivi lo porta alla definitiva rovina.
Sulle pendici del monte Musiera, in posizione dominante rispetto al sottostante abitato di Telve, oggi è ridotto allo stato di rudere. Si conserva qualche tratto di muro e parte del mastio, un tempo alto una quindicina di metri e coronato da una cuspide piramidale, simile a quella che caratterizza il non distante Castel Ivano.
E. POSSENTI, G. GENTILINI, W. LANDI, M. CUNACCIA (a cura di), Castra, castelli e domus murate. Corpus dei siti fortificati trentini tra tardoantico e basso medioevo. Apsat 4, pp. 59-64. Mantova 2013.
R. CARLI, T. PASQUALI, (a cura di) Nel Trentino orientale tre realtà castellane: Castel Belvedere, Castellalto, Castel Ivano. Caldonazzo 2003.
A. GORFER, I Castelli del Trentino, vol. II. Trento 1987.