O edifício foi mandado edificar a 25 de Setembro de 1859, na praia de Miragaia, segundo projecto do arquiteto francês Jean F. G. Colson, tendo o seu primeiro núcleo sido inaugurado em 1869 e terminada a construção dez anos mais tarde. A sua edificação implicou a construção da enorme plataforma do cais onde assenta a Alfândega e que substituiu a antiga praia de Miragaia. Complementarmente, de forma a facilitar o transporte de mercadorias, a Alfândega e a Estação de Campanhã foram ligadas por um ramal de caminho de ferro (Ramal da Alfândega) em 1888, tendo ainda sido aberta a rua Nova da Alfândega. Este conjunto de modificações é por muitos considerada como uma das mais profundas alterações urbanísticas e paisagísticas da cidade do Porto no século XIX. O conceito do edifício compreendia não apenas as infra-estruturas para a entrada e saída de mercadorias, mas também diversas estruturas de apoio tais como armazéns, vias-férreas, plataformas giratórias que facilitassem o movimento dos vagões e guindastes. A partir da década de 1990, conheceu intervenção de restauro e requalificação com projeto do arquiteto Eduardo Souto de Moura, passando a abrigar um Centro de Congressos, o Museu de Transportes e Comunicações e a sede da Associação Museu de Transportes e Comunicações (AMTC), instituição privada sem fins lucrativos criada em Fevereiro de 1992, com a missão de preservar o edifício da antiga Alfândega do Porto, assim como todo o património na área dos transportes e comunicações.