L'Accademia Olimpica fu costituita nel 1555 da un gruppo di cittadini che vollero creare una istituzione culturale che, oltre ai nobili, fosse aperta anche a dotti ed esperti nelle lettere e nelle arti, senza preclusione di disciplina alcuna. Inizialmente essa non aveva una sede propria, ma si riuniva nelle abitazioni di casa Porto e di Elio Belli in città. Come impresa-simbolo adottò la corsa dei carri di Olimpia e come motto "Hoc opus hic labor est". Una delle attività maggiormente praticate nei primi anni di esistenza era la rappresentazione di testi teatrali, che necessitavano di un adeguato spazio per la messa in scena. Iniziarono così gli studi e la costruzione di un teatro, l'odierno Teatro Olimpico, nel luogo della città in cui sorgevano le vecchie prigioni. Nell'Ottocento all'Accademia furono affiancati un osservatorio meteorologico e una scuola di disegno popolare. La ricca biblioteca costituitasi nel corso del tempo e l'archivio istituzionale andarono parzialmente perduti a seguito dei crolli che interessarono la sede, duramente colpita da bombardamenti durante il secondo conflitto mondiale. Nel dopoguerra la biblioteca è stata ricostituita con nuovi volumi, e ha beneficiato delle donazioni di singoli libri e di intere raccolte da parte di accademici illustri.