Com base em uma pesquisa desenvolvida a partir de entrevistas com funcionários e internos das antigas prisões que foram instaladas na Ilha Grande, este artigo procura mostrar que a construção do passado por meio de narrativas envolve sempre o esquecimento, que é parte da forma seletiva da lembrança, mas que também se impõe em experiências traumáticas. Embora a dificuldade de se manter um vínculo com o passado torne-se mais nítida quando os seus vestígios estão presentes apenas em ruínas e testemunhos, defende-se o argumento de que estes devem ser considerados importantes fontes de conhecimento.