Allo sguardo del visitatore, Anzi si impone con tutta la sua ciclopica mole di roccia nuda. Un nido coeso di case, qualcuna annerita dal tempo, addossate fra loro quasi a sorreggersi reciprocamente in uno snodo di vie tutte in forte pendenza, sul crinale di roccia che fa da sfondo, base e cornice al paesaggio .

Osservando dalla sommita' del paese i pendii punteggiati di sporgenza si ha l'impressione di annotare fantastici campi di battaglia sui quali dei titani fuoribondi abbiano combattuto scegliendosi enormi macigni. Sulla sommita' del paese troneggiano i resti di un castello, simbolo e testimonianza di una Anzi, che in tempi andati deve aver vissuto momenti di splendore, come ricorda Francesco Rossi storico del luogo, in una sua monografia del 1877.In base a tale fonte, i Pelasgi, abitanti la citta'enotria di Laraia, in epoca remota, quindi molto prima della fondazione di Roma, avrebbero abbandonato le loro terre in seguito ad un violento terremoto e si sarebbero trasferiti nella zona montuosa di Anzi, fondando qui la loro nuova città.

Ancora oggi, nel territorio di Anzi esiste una contrada denominata "Laraia", ove si rinviene numeroso ed interessante materiale dell'eta'pre-romana: cenotafi, idoli, armi, vasi siculi istorati, terrecotte e bronzi con chiari accenni alla loro origine osca, nonchè la presenza di rovine e di antichissime mura. ll Bozza, in un suo studio sulla lucania attesta, che in agro di Anzi venne scoperta intorno al 1797,tra altre preziose "anticaglie", una importantissima iscrizione in lingua osca con caratteri greci, ove si legge una disposizione pubblica sul seppellimento per "casta" nel sepolcreto degli Anziati, chiamati Einca, dall'osco Eincia, dove poi derivo' Einsia, Anxia, ed Ansi.

Ma la cittadella di Anca, si trova per la prima volta mensionata da Tito Livio in un passo delle sue "Istorie", ove è detto che fu espugnata da Fabio Massimo al tempo della II guerra Punica.

Questo, infatti, fa ritenere che tale roccaforte sorgesse nella medesima giacitura dell'attuale Anzi. Dalla caduta dell'impero romano Anzi conosce un periodo di grave crisi. I Goti la fortificano nel 408 e nel 585 i Longobardi la occuparono.

I Normanni ne fanno un centro importante e anche Federico II pone il Castello al centro di attenzioni particolari.Nella guerra tra Carlo d'Angio' e Corradino di Svevia, Anzi abbraccia le ragioni di quest'ultimo che viene sconfitto .In epoca Normanna, divenne feudo dei Loffredo, mutando poi spesso signoria.

Il conte d'Andria vi stabili' la sua dimora asserragliandosi in un ben munito fortilizio, che non resistette pero', nel 1133, al impeto incontenibile della conquista del re Ruggiero, capitolando poi una seconda volta nel 1191 quando apri' le porte all'imperatore Enrico VI.

Nel 1269 il tenimento di Anzi venne donato a Pietro de Ugot da Carlo I d' Angio'e successivamente ne ebbero l'investitura i Guevara, finche'nel 1568 l'intero paese e contrade passarono in possesso dei marchesi Carafa di Belevedere.
Soppressa la feudalita'il 20 gennaio 1810, per ordine della Commissione feudale, Anzi ebbe il territorio scorporato in varie proprieta'. I Carafa allora, rimasero Marchesi di Anzi solo nominalmente.
E' questo un primo momento tragico della storia del paese.