พิพิธภัณฑ์อยู่สุขสุวรรณ์ ได้ตั้งตามชื่อ-สกุลของ คุณณรงค์ อยู่สุขสุวรรณ์ หรือที่ชาวปราจีนบุรี เรียกว่า “เฮียพันธ์” ซึ่งแต่เดิมนั้นประกอบอาชีพรับซื้อขายของเก่าจำพวกเศษเหล็กและโลหะ ในช่วงแรกๆ จะมีตะเกียงเจ้าพายุติดมากับพวกเศษโลหะจำนวนมาก แต่ก็ยังไม่ได้ให้ความสนใจมากนักและยังขายไปในราคาเดียวกับเศษเหล็กด้วยซ้ำ แต่เมื่อมีคนมาซื้อได้ให้ราคาเป็นดวงซึ่งสูงกว่าการขายเป็นกิโลกรัมเหมือนเศษโลหะโดยให้ราคาดวงละ 50 บาท จึงได้คัดแยกไว้ขายให้คนที่ต้องการเพราะเริ่มมีคนสนใจมากขึ้นเพื่อที่จะนำไปตกแต่งให้สวยงามและขายต่อให้ชาวต่างประเทศในราคาสูง ราคาจึงพุ่งขึ้นถึงดวงละ 100 บาท นับเป็นราคาที่สูงมาก ในขณะนั้น จึงเป็นที่มาของพิพิธภัณฑ์ที่สะสมตะเกียงหลากหลาย