Teve sua origem no século 18, quando o local foi escolhido para a instalação do Forte Augusto, que atuava na defesa de Santos e São Vicente.
No começo não passava de uma muralha de pedra com peças de artilharia. Em 1894 foi destruído com a Revolta Armada. Em 1905, é derrubado o que restou da muralha e construído um prédio, que foi inaugurado em 1908 como a Escola de Aprendizes Marinheiros. Em 1931, o prédio passa a ser da Escola da pesca, e mais tarde, o prédio se tornou o Instituto da Pesca.


O prédio hoje expõe diversos tipos de peixes, crustáceos, moluscos, aves e mamíferos marinhos, além de maquetes de embarcações.
Também conta com o esqueleto de uma baleia da espécie Fin, de 23m de comprimento, que chegou em 1942 para incrementar as atrações. Tiveram que ser derrubadas as paredes de 3 salas do prédio para sua exposição. O Museu recebe cerca de 100 mil visitantes por ano atualmente.