วัดนี้เดิมเป็นวัดโบราณ ชื่อวัดชีปะขาว หรือวัดชีผ้าขาว บางทีเรียกวัดปะขาวก็มี สันนิษฐานว่าสร้างมาแต่ครั้งสมัยกรุงศรีอยุธยา ต่อมาในรัชกาลที่ 1 แห่งกรุงรัตนโกสินทร์ สมเด็จเจ้าฟ้ากรมพระศรีสุดารักษ์ (แก้ว) ซึ่งเป็นพระพี่นางเธอของพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช ได้ทรงบูรณะปฏิสังขรณ์มาแต่ในรัชกาลนั้น ครั้นล่วงมาน้ำได้เซาะตลิ่งพังเข้ามาจนถึงหน้าพระอุโบสถ พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวรัชกาลที่ 4 จึงทรงพระกรุณาโปรดเกล้าฯ ให้เจ้าพระยาขุนมนตรีเป็นแม่กองสร้างพระอุโบสถขึ้นใหม่โดยเลื่อนขึ้นจากที่เดิม ทรงโปรดให้เจ้าพนักงานปักกำหนดเขตรอบโรงพระอุโบสถลงใหม่ใช้แทนวิสุงคามสีมาเดิม โดยให้มีความยาว 15 วา กว้าง 7 วา แล้วโปรดให้ลงเขื่อนหน้าวัด เพื่อป้องกันน้ำเซาะตลิ่งจนเป็นผลสำเร็จ ครั้นการทุกอย่างเสร็จเรียบร้อยแล้ว ได้พระราชทานนามวัดใหม่ว่า วัดศรีสุดาราม ยกขึ้นเป็นพระอารามหลวงชั้นตรี ชนิดวรวิหาร ทั้งนี้เพื่อเป็นอนุสรณ์ในสมเด็จเจ้าฟ้ากรมพระศรีสุดารักษ์ ซึ่งเป็นสมเด็จพระราชอัยยิกาเจ้าของพระองค์ ทรงสถาปนาพระราชทานไว้ตั้งแต่วันจันทร์ขึ้น 1ค่ำ เดือน 12 ปีเถาะ นพศกพุทธศักราช 2410 เป็นปีที่ 15 ในรัชกาล (ปลายรัชกาล) ตามพระราชโองการพระราชทานวิสุงคามสีมา ซึ่งมีหลักฐานอยู่ในพระอุโบสถ (พระอุโบสถหลังเก่าปรากฏเป็นวิหาร อยู่หน้าพระอุโบสถปัจจุบัน)