Nằm ở vị thế đắc địa ven sông Tam Bạc, tuyến đường thủy thông thương từ Hải Phòng đi các tỉnh khác, thuộc quận Hồng Bàng, trung tâm thành phố Hải Phòng, chợ Sắt nhanh chóng trở thành khu chợ sầm uất, nhộn nhịp bậc nhất miền Bắc từ thời Pháp thuộc. Chợ được Pháp cho xây dựng ở khu phố nhượng địa từ cuối thế kỉ XIX. Ban đầu nó được gọi là chợ Lớn (Grande Merché). Tên gọi chợ Sắt được hình thành bởi vật liệu xây dựng nên chợ chủ yếu là sắt thép. Những năm cuối thế kỉ XIX, hoạt động buôn bán, giao thương của chợ Sắt Hải Phòng nhộn nhịp, đông đúc, các mặt hàng đa dạng từ những cỗ máy tàu thủy, ô tô tới cái đĩa ca nhạc mới nhất trên thế giới, nếu chợ Sắt không có thì không ở đâu có. Chợ Sắt của Hải Phòng có thể sánh ngang với chợ Đồng Xuân ở Hà Nội, chợ Rồng ở Nam Định, chợ Đông Ba ở Huế và chợ Bến Thành ở Sài Gòn. Tuy các chợ này có thể khác nhau về quy mô nhưng xét về bản chất, chúng có lịch sử lâu đời và những hoạt động buôn bán rất phát triển.
Tiếng tăm của chợ Sắt được duy trì và phát triển hơn, đặc biệt sau giải phóng, khi đất nước bước vào thời bao cấp đến giai đoạn đầu mở cửa đổi mới. Trong thời bao cấp, nước ta gần như đóng cửa, không giao lưu buôn bán với nước ngoài nên cảng Hải Phòng là con đường duy nhất để hàng hóa các nước Đông Âu, Châu Âu theo chân những người thủy thủ về nước ta và tất nhiên hàng hóa sẽ đều tập trung về chợ Sắt. Thời kì đó, những tiểu thương có gian hàng buôn bán trong chợ Sắt được coi là lớp người giàu có và thành đạt về kinh tế không chỉ của Hải Phòng và của cả nước.
Thế nhưng, thời huy hoàng ấy của chợ Sắt nhanh chóng đi qua. Năm 1985, sự cố chợ cháy cùng với sự thay đổi cơ chế phát triển đất nước, thời kì hội nhập và mở cửa, chợ Sắt mất đi vị thế của mình. Năm 1992, công ty Liên danh hữu hạn Hải Thành đã đầu tư 15 triệu đô để xây dựng và mở rộng diện tích sử dụng cho chợ Sắt với kế hoạch sau 3 năm sẽ thu lại được vốn và trả lại một phần chợ cho Nhà nước chỉ giữ lại một phần để kinh doanh. Sau khi xây lại, chợ có 2000 gian hàng với tổng diện tích sử dụng lên tới gần 40.000 mét vuong trên diện tích khuôn viên 13.000 mét vuông. Giới tiểu thương ở Hải Phòng thời điểm ấy phải bỏ ra tới 40 cây vàng cho 15 năm để thuê một gian hàng. Có những người đã phải cầm cố nhà cửa, đất đai để có tiền đặt cọc. Cơ chế cho phép các cá nhân được kinh doanh tự do nên sự độc quyền của chợ Sắt đã bị mất đi. Tiểu thương ra ngoài tìm mặt bằng rẻ hơn còn người tiêu dùng thì có thể mua được bất cứ thứ gì, ở bất cứ đâu một cách dễ dàng.
Hiện chỉ còn các gian hàng ở tầng 1 của chợ vẫn còn hoạt động, chủ yếu là bán các linh kiện điện tử, loa đài đã qua sử dụng của nước ngoài, Nhật Bản, Hàn Quốc. Còn trên tầng 2,3,4,5 đổi chủ liên tục, từ siêu thị, quán ăn, phòng game, quán bar vũ trường nhưng đều nhanh chóng đóng cửa. Chợ Sắt huy hoàng chỉ còn là hình ảnh trong kí ức của người dân xứ Cảng còn hiện tại chợ Sắt giống như một chiếc hộp bê tông khổng lồ bị bỏ hoang như một phế tích.