พระยาไชยา (กลับ) เป็นเจ้าเมืองไชยาอยู่ระหว่างประมาณปี พ.ศ. ๒๓๘๖-๒๓๙๑ เป็นเวลา ๕ ปี มีผลงานปรากฏทางด้านดีและเสียหลายประการ พฤติกรรมของมนุษย์นั้นเมื่อมีแรงผลักดันก็ย่อมเป็นธรรมดาที่จะต้องตอบโต้ออกไป เพียงแต่พฤติกรรมการตอบโต้ของพระยาไชยา (กลับ) ไม่เหมาะสมด้วยกาลเทศะและจารีตประเพณี พระยาไชยา (กลับ) จึงได้รับเคราะห์กรรมเพราะความผิดที่พระยา ไชยา (กลับ) ก่อขึ้นเป็นอาญาแผ่นดิน มีโทษถึงประหารชีวิต แต่ด้วยพระเมตตาของพระบาทสมเด็จฯ พระจอมเกล้าเจ้าอยู่หัว จึงเพียงให้ลงพระอาญาเฆี่ยนพระยาไชยา (กลับ) และริบทรัพย์สมบัติ ข้าทาสบริวารเท่านั้น
ประวัติของพระยาไชยา (กลับ) สามารถสืบค้นมาได้น้อยมาก ทราบแต่เพียงว่าหลังจากพระยาถลาง (เจิม-พ.ศ. ๒๓๔๕-๒๓๘๐) อพยพชาวเมืองถลางกลับไปตั้งเมืองถลางในเกาะภูเก็ต ราว ๆ ปี พ.ศ. ๒๓๖๘ แล้ว ก็โปรดเกล้าฯ ให้พระยาไชยา (กลับ) เป็นที่พระยาบริรักษ์ภูธร (กลับ) เจ้าเมืองพังงาแทน พระยาบริรักษ์ภูธร (กลับ) มีความสนิทสนมกับกรมหลวงรักษ์รณเรศ (หม่อมไกรสร) เป็นอย่างมาก ซึ่งเคยได้กล่าววาจาหยาบช้าต่อพระบาทสมเด็จฯ พระจอมเกล้าเจ้าอยู่หัวในระยะที่ทรงผนวชอยู่ แต่พระองค์ไม่ทรงเอาโทษ เพราะทรงเพศบรรพชิตอยู่
ในระยะที่เป็นเจ้าเมืองพังงาอยู่ประมาณ ๑๕ ปี พระยาบริรักษ์ภูธร (กลับ) มีความผิดต้องโทษ แต่ไม่ปรากฏหลักฐานว่ามีความผิดอะไร เพียงแต่โปรดเกล้าฯ ให้มีท้องตราหาตัวเข้าไปจำขังไว้ในกรุงเทพฯ เป็นเวลา ๓ ปี ซึ่งเข้าใจว่าระหว่างปี พ.ศ. ๒๓๘๓-๒๓๘๖ แต่คงจะเป็นความผิดที่ไม่ร้ายแรงมากนัก และเนื่องจากเป็นขุนนางที่มีเส้นสายและพรรคพวกมาก กล่าวคือเป็นทั้งคนใกล้ชิดของ กรมหลวงรักษ์รณเรศ ผู้กำกับราชการกรมสมุหพระกลาโหมและน้องภรรยาน้อยเจ้าพระยานคร (น้อย-พ.ศ.๒๓๕๔-๒๓๘๑) เจ้าเมืองนครศรีธรรมราช จึงให้กลับออกมาเป็นเจ้าเมืองไชยาซึ่งเข้าใจว่าระหว่างปี พ.ศ. ๒๓๘๖-๒๓๙๑
พระยาไชยา (กลับ) เป็นเจ้าเมืองไชยาอยู่เป็นเวลา ๕ ปี พระเทพรัตนกวี (เกตุ ธมฺมวโร) อดีตเจ้าคณะจังหวัดสุราษฎร์ธานี ผู้ประพันธ์ประวัติศาสตร์เมืองไชยาเป็นกาพย์ยานี ๑๑ ได้กล่าวถึงพระยาไชยา (กลับ) ไว้ว่า
วิชิตภักดี (กลับ) พระยารับเป็นเจ้าไช-
ยา เมืองที่เขื่องใน หลังว่าการเมืองพังงา
ผู้พักราชการ อยู่สถานเทพมหา-
นครให้จรมา เป็นเจ้าไชยานี้
อยู่บ้านดอกประดู่ ท่านเชิดชูศาสนีย์
ตั้งวัดหน้าเมืองที่ ใกล้วัดปากน้ำไชยานั้น
สร้างถนนจากดอก ประดู่ตอนที่สำคัญ
ถึงวัดพระธาตุอัน ที่เคารพนพพุทธองค์
อยู่ประมาณห้าปี จึงพระศรีราชสง-
ครามรามภักดีลง ชื่อพร้อมข้าราชการ
ราษฎร์หกสิบสามชื่อ เป็นโจทย์รื้อความชั่วท่าน
ว่าพระยา (กลับ) พาล โกงริบเอาทรัพย์สมบัติ
ผู้โทษอาชญานั้น อุกฉกรรจ์อันเป็นสัตย์
เป็นของส่วนตัวชัด โปรดพระยาสุระเสนา
ข้าหลวงมาชำระ ได้สัจจะตามข้อหา
ประกาศลงอาญา ถอดจากยศบรรดาศักดิ์
ข้อความข้างบน ตรงกับประกาศในรัชกาลที่ ๔ ปี พ.ศ. ๒๔๐๑ ว่าพระยาไชยา (กลับ) ว่าราชการอยู่ ๕ ปี ก็ได้ก่อเรื่องอีก พระปลัดและราษฎรเมืองไชยาได้ทำฎีกาฟ้องร้องกล่าวโทษถึง ๖๐-๗๐ เรื่อง ทางกรุงเทพฯ ได้ส่งพระยาสุรเสนาเป็นข้าหลวงออกมาชำระคดี ปรากฏว่าแพ้ความโจทก์ทุกเรื่อง ตัวพระยาไชยา (กลับ) เองก็ถือตัวว่ามีเจ้านายคุ้มครองและมีญาติพี่น้องมาก จึงกระด้างกระเดื่องต่อคณะตุลาการจนต้องมีใบบอกกล่าวโทษเข้าไปยังกรุงเทพฯ
ทางฝ่ายกรุงเทพฯ หลังจากชำระคดีกล่าวหากรมหมื่นรักษ์รณเรศ ว่าทรงพิพากษาคดีไม่ยุติธรรมและทรงขัดขืนพระราชอำนาจบ่อย ๆ จนปรากฏความผิดแจ้งชัดและโปรดเกล้าฯ ให้สำเร็จโทษกรมหมื่นรักษ์รณเรศด้วยท่อนจันทน์ในวันที่ ๑๓ ธันวาคม พ.ศ. ๒๓๙๑ แล้วพระยาไชยา (กลับ) ก็เริ่มขาดเจ้านายที่จะคุ้มครอง แต่โชคดีที่หลังจากนั้นไม่นานพระบาทสมเด็จฯ พระนั่งเกล้าเจ้าอยู่หัวเริ่มประชวรและเสด็จสวรรคตในเดือนเมษายน ปี พ.ศ. ๒๓๙๔ คดีความผิดของพระยาไชยา (กลับ) จึงต้องมาพิจารณาโทษกันใหม่ในสมัยรัชกาลที่ ๔ ซึ่งก็ต้องเสียเวลาต่อมาอีกหลายปี เพราะต้องปลงพระบรมศพรัชกาลที่ ๓ และเตรียมต้อนรับคณะทูตของอังกฤษ
ในปี พ.ศ. ๒๔๐๑ คณะเสนาบดีประชุมปรึกษาโทษพระยาไชยา (กลับ) มีมติออกมาว่า พระยาไชยา (กลับ) ทำความผิดไว้มากมีโทษหนักให้ประหารชีวิตเสีย แต่พระบาทสมเด็จฯ พระจอมเกล้าเจ้าอยู่หัว กลับมีกระแสพระราชดำริต่อคณะเสนาบดี ๒ ประการ คือ
ประการแรก ถ้าให้ประหารชีวิตพระยาไชยา (กลับ) ญาติพี่น้องซึ่งมีอยู่เป็นจำนวนมาก จะอ้อนวอนพระสงฆ์ให้มาถวายพระพรขอพระราชทานอภัยโทษ ถ้าพระเจ้าแผ่นดินอ้างว่า เสนาบดีตัดสิน พวกนั้นจะไปขอจากเสนาบดี เสนาบดีก็อ้างพระเจ้าแผ่นดิน ซัดกันไปซัดกันมา ไม่มีที่สิ้นสุด
ประการที่ ๒ สมัยที่พระยาไชยา (กลับ) ยังว่าราชการอยู่ ก็เคยมีความชอบเป็นคนซื่อและรักษาคำสั่งเคร่งครัด ใครจะสั่งราชการนอกเหนือจากท้องตราพระคชสีห์ใหญ่ของกรมพระกลาโหมซึ่ง เมืองไชยาสังกัดอยู่แล้ว พระยาไชยา (กลับ) จะไม่ฟังเสียเลย
พระบาทสมเด็จฯ พระจอมเกล้าเจ้าอยู่หัวจึงมีพระบรมราชโองการสั่งให้เจ้าพระยาบรม มหาศรีสุริยวงศ์ (ช่วง) เสนาบดีกรมสมุหพระกลาโหมในขณะนั้น ไปดำเนินการกับพระยาไชยา (กลับ) ๔ ประการ คือ ประการแรกให้ลงพระอาญาเฆี่ยนพระยาไชยา (กลับ) ถอดยศเป็นอ้ายกลับ ประการที่ ๒ จับพระยาไชยา (กลับ) ตระเวนบกตระเวนเรืออย่างละ ๓ วัน แล้วเอาขึ้นขาหยั่งประจานว่า มีโทษฐานทำให้ราษฎรเดือดร้อน ประการที่ ๓ ให้ริบราชบาทของพระยาไชยา (กลับ) แล้วรวบรวมทรัพย์สินบรรดามีทั้งหมด ที่ขายได้ก็ให้ขายเอาเงินคืนแก่ราษฎรที่ถูกเบียดเบียน ประการที่ ๔ บุตร ภรรยา ทาสหญิงชายของพระยาไชยา (กลับ) ให้โอนเป็นคนหลวง ผู้ที่มีค่าตัวให้พระราชทานเงินให้ตามค่าตัว ผู้ที่ไม่มีค่าตัวจะพระราชทานตามเกษียณอายุ เพื่อเอาเงินไปแจกจ่ายแก่ราษฎรที่ถูกเบียดเบียน
อย่างไรก็ตาม ถ้าพิจารณาตามหลักฐานเท่าที่ปรากฏก็จะพบว่าส่วนหนึ่งของความผิด ที่พระยาไชยา (กลับ) ก่อขึ้นครั้งนั้นคงจะเกิดจากความสนิทสนมเป็นการส่วนตัวกับกรมหมื่น รักษ์รณเรศพระยาไชยา (กลับ) เปรียบเสมือนขุนนางหัวเมืองที่สังกัดอยู่ในเส้นสายดังกล่าว ดังนั้น เมื่อผู้ใหญ่หัวหน้าสายมีความผิดต้องโทษให้ประหารชีวิต ลูกน้องในสายก็ยากที่จะเอาตัวรอดได้ และถ้าพิจารณาด้วยใจเป็นกลางแล้ว พระยาไชยา (กลับ) มิได้เป็นคนชั่วที่ไม่มีศีลธรรม แต่กลับตรงกันข้ามเป็นคนที่มีความศรัทธาเชื่อมั่นในพระรัตนตรัยบำรุงพระศาสนาด้วยการสร้างวัด สร้างถนนไปยังวัดพระบรมธาตุไชยาฯ และยังเป็นคนตรงคนจริง ความผิดที่ถูกกล่าวหาของพระยาไชยา (กลับ) จึง ไม่น่าจะเกี่ยวกับปัญหาศีลธรรม
ไม่มีหลักฐานปรากฏว่าพระยาไชยา (กลับ) มีบุตรภรรยากี่คนและเป็นใครบ้าง แต่วิถีชีวิตของพระยาไชยา (กลับ) ได้กลายเป็นชีวิตตัวอย่างของนักการเมืองที่มีวิธีการเช่นนี้ ซึ่งต้องรับผิดชอบต่อผลกรรมที่ตนได้กระทำไปทุกประการ (สงบ ส่งเมือง)