ในอดีตเป็นเมืองใหญ่ที่มีความเจริญรุ่งเรืองจากชาวต่างชาติที่เข้ามาติดต่อค้าขาย รวมถึงชาวจีนที่เข้ามาทำเหมืองแร่ดีบุกและสร้างบ้านเรือนอยู่กันเป็นจำนวนมาก ทำให้เมืองตะกั่วป่าในสมัยนั้นกลายเป็นเมืองท่าที่สำคัญของภาคใต้ในการค้าขายและแลกเปลี่ยนวัฒนธรรม ทั้งจากจีน อินเดีย และอาหรับ กลิ่นอายเมืองเก่าตะกั่วป่าที่ยังคงสัมผัสได้ในปัจจุบันคือ อาคารบ้านเรือนที่มีสถาปัตยกรรมแบบชิโน-โปรตุกีส ส่วนใหญ่ตั้งอยู่บนถนนสายสำคัญ 5 สาย ได้แก่ ถนนศรีตะกั่วป่า ถนนอุดมธารา ถนนกลั่นแก้ว ถนนมนตรี 2 และถนนหน้าเมือง โดยนอกจากใช้เป็นที่อยู่อาศัย บางอาคารได้ปรับเปลี่ยนแปลงโฉมให้เป็นคาเฟ่ และร้านรวงต่าง ๆ สลับกับสตรีทอาร์ทที่บอกเล่าประวัติความเป็นมาอันยาวนานของเมือง ในทุกเย็นวันอาทิตย์บริเวณบนถนนศรีตะกั่วป่า จะมีถนนคนเดินเมืองตะกั่วป่า จำหน่ายอาหารและขนมพื้นบ้านให้เลือกอุดหนุนกันมากมาย