ตระกูล ณ สงขลา เป็นตระกูลนักปกครองเก่าแก่ตระกูลหนึ่งของภาคใต้ เคยมีอำนาจในฐานะผู้สำเร็จราชการเมืองสงขลา และผู้ช่วยราชการเมืองเดียวกัน ผู้ว่าราชการเมืองหนองจิก และผู้กำกับหัวเมืองมลายูทางด้านอ่าวไทย โดยเฉพาะบริเวณ ๗ หัวเมือง หรือ ๓ จังหวัดชายแดนภาคใต้ปัจจุบันมาเป็นเวลากว่า ๑ ศตวรรษ หลังจากหมดอำนาจหน้าที่ในการปกครองเมืองสงขลาแล้ว บทบาทของตระกูลนี้ทางภาคใต้ลดลงเหลือน้อยมาก และเป็นบทบาทส่วนบุคคลในฐานะเจ้าหน้าที่ของรัฐบาลกลางมากกว่าอิทธิพลในรูปของตระกูล ในที่นี้จึงกล่าวเน้นเฉพาะบทบาทของตระกูล ณ สงขลา ในระยะที่มีอำนาจอยู่ในเมืองสงขลาเท่านั้น
ความเป็นมาของตระกูล ณ สงขลา มีลักษณะคล้ายคลึงกับบรรดาตระกูลอิทธิพลทางภาคใต้ในอดีตตระกูลอื่น ๆ เช่น ตระกูล ณ นคร ณ พัทลุง และ ณ ระนอง เป็นต้น กล่าวคือต้นตระกูลเหล่านี้มักจะไม่ใช่ชาวพื้นเมืองเดิมแต่เป็นชาวต่างชาติ มีอำนาจอิทธิพลขึ้นมาจากการค้าทางเรือ (และบางคนเคยเป็นโจรสลัดมาก่อน) เป็นต้นว่า จีนเหยียง หรือพระยาสงขลา (เหยียง พ.ศ. ๒๓๑๘-๒๓๒๗) ต้น ตระกูล ณ สงขลา และคอซู้เจียง หรือพระยาดำรงสุจริตกุล (คอซู้เจียง พ.ศ. ๒๓๙๗-๒๔๒๕) ต้นตระกูล ณ ระนอง เป็นต้น สำหรับต้นตระกูล ณ สงขลา หรือพระยาสงขลา (เหยียง) เดิมแซ่เฮา เกิดที่หมู่บ้านซันท่อง อำเภอไฮเต่ง จังหวัดเจียง เป็นหมู่บ้านเล็ก ๆ ประมาณ ๒๐-๓๐ ครัวเรือน ทางเหนือของเมืองแอมุ่ย เมืองท่าสำคัญทางตอนใต้ของจีนคู่กับเมืองกวางตุ้ง เกิดในรัชกาลพระเจ้าค่วงฮี้ (คังสี) เมื่อเดือน ๑๒ แรม ๑๑ ค่ำ ปี พ.ศ. ๒๒๓๐ หรือตรงกับรัชสมัยพระนารายณ์มหาราช และถึงแก่อสัญกรรมในรัชกาลพระเจ้าเคี่ยนหลง (เฉียนหลุง) เมื่อเดือน ๙ ขึ้น ๒ ค่ำ ปี พ.ศ. ๒๓๒๗ ตรงกับรัชสมัยพระบาทสมเด็จฯ พระพุทธยอดฟ้าจุฬาโลกมหาราช รวมอายุ ๙๗ ปี
พระยาสงขลา (เหยียง) เคยเป็นพ่อค้าสำเภามาก่อนที่จะนำสมัครพรรคพวกเข้ามาตั้งหลักแหล่งในเมืองสงขลา โดยระยะแรก ๆ ประกอบอาชีพปลูกผัก หาปลา ก่อนที่จะได้รับโปรดเกล้าฯ จากสมเด็จพระเจ้าตากสินมหาราชให้ผูกขาดทำอากรรังนกในทะเลสาบสงขลาในปี พ.ศ. ๒๓๑๒ ในระยะที่เสด็จลงมาปราบชุมนุมเจ้านครศรีธรรมราชในตำแหน่งหลวงสุวรรณคิรี (เหยียง) ทำอากรรังนกด้วยความซื่อสัตย์และจงรักภักดีเป็นที่ปรากฏอย่างชัดแจ้ง ในขณะที่พระสงขลา (โยม) เจ้าเมืองสงขลาชาวพื้นเมืองเดิมไม่เป็นที่โปรดปรานเพราะเป็นคนไม่ได้ราชการ ในปี พ.ศ. ๒๓๑๘ จึงโปรดเกล้าฯ ให้หลวงสุวรรณคิรี (เหยียง) เป็นผู้ว่าราชการเมืองสงขลาแทนพระสงขลา (โยม) ซึ่งนำตัวไปกักบริเวณในเมืองหลวง พระยาสงขลา (เหยียง) เป็นเจ้าเมืองสงขลาผู้ใหญ่เป็นที่นับถือเกรงกลัวของชาวเมืองสงขลาเป็นอย่างมาก ชาวเมืองเรียกว่า “จอมแหลมสน” บ้าง “ขรัวแป๊ะ” บ้าง เป็นเจ้าเมืองสงขลาอยู่ประมาณ ๙ ปี จากปี พ.ศ. ๒๓๑๘-๒๓๒๗ ในปี พ.ศ. ๒๓๑๙ โปรดเกล้าฯ ให้แยกเมืองสงขลาจากนครศรีธรรมราชไปขึ้นกรุงธนบุรีโดยตรง เพราะเจ้าเมืองทั้ง ๒ เริ่มเป็นอริกันเกี่ยวกับพระเจ้านครศรีธรรมราช (หนู) แต่กรมการไปเก็บเอาผู้หญิงช่างทอผูกและบุตรสาวกรมการจนเป็นที่เดือดร้อนแก่บุคคลเหล่านั้นและครอบครัว
พระยาสงขลา (เหยียง) ตั้งจวนเจ้าเมืองที่บ้านแหลมสน ตำบลหัวเขา อำเภอเมืองสงขลา มีซากกำแพงเมือง ป้อม บ่อน้ำ และเสาหลักเมืองปรากฏอยู่จนกระทั่งปัจจุบัน
พระยาสงขลา (เหยียง) มีภรรยาชาวพัทลุง ๒ คนพี่น้อง ภรรยาที่ ๑ มีบุตร ๒ คน คือ เจ้าพระยาพิไชยคิรี (บุญฮุย พ.ศ. ๒๓๒๗-๒๓๕๕) เจ้าเมืองสงขลาคนต่อมาและพระอนันตสมบัติ (บุญเฮี้ยว) ผู้ช่วยราชการและเจ้าเมืองจะนะ (พ.ศ. ๒๓๒๙-๒๓๓๑) ภรรยาคนที่ ๒ มีบุตร ๓ คน คือพระยาศรีสมบัติจางวาง (บุญซิ้น) พระสุนทรารักษ์ (เถี้ยนเส้ง) และนายยกเส้ง ๒ คนแรกเป็นผู้ช่วยราชการ และคนหลังเป็นมหาดเล็ก บุตรหลานของพระยาสงขลา (เหยียง) ทั้ง ๒ สาย คือ สายภรรยาที่ ๑ และสายภรรยาที่ ๒ จะรับราชการเป็นนักปกครองเมืองสงขลาในฐานะเจ้าเมืองและผู้ช่วยราชการตลอดมา จนกระทั่งถึงปี พ.ศ. ๒๔๔๔ จึงส่งข้าหลวงจากส่วนกลางมาเป็นผู้ว่าราชการเมืองสงขลาแทน อำนาจของตระกูล ณ สงขลา ในเมืองนี้จึงสิ้นสุดลง
บทบาทของตระกูล ณ สงขลา ที่เกี่ยวกับภาคใต้โดยตรงเป็นบทบาทในฐานะเจ้าเมือง และผู้ช่วยราชการเมืองสงขลา ซึ่งเป็นผู้ปกครองเมืองสงขลาลาโดยตรงระหว่างปี พ.ศ. ๒๓๑๘-๒๔๔๔ และเป็นผู้กำกับเมืองปัตตานีระหว่างปี พ.ศ. ๒๓๓๔-๒๔๓๙ ในฐานะเป็นเจ้าเมืองสงขลาในระบบ “กินเมือง” และผูกขาดภาษีบางอย่างในเมืองสงขลาเป็นต้นว่า อากรรังนก สุรา บ่อนเบี้ย และอื่น ๆ เจ้าเมืองในตระกูลนี้มั่งคั่งร่ำรวยขึ้น รายการผลประโยชน์ของเจ้าเมืองตามรายงานของข้าหลวงซึ่งไปตรวจราชการในเมืองสงขลาปี พ.ศ. ๒๔๓๗ มีตั้งแต่อาหารและสิ่งใช้สอยทั้งปวงที่มีในเมืองสงขลาไม่ต้องซื้อทั้งสิ้น เงินพินัยจากโรงศาล ส่วยแทนกระดานภาษีอากรต่าง ๆ ในพื้นบ้านพื้นเมือง การค้าระหว่างสงขลากับกรุงเทพฯ และอาณานิคมบริเวณช่องแคบมีที่นาที่สวนมากมายไม่ต้องเสียภาษีที่ดินเกณฑ์ไพร่ในเมืองสงขลาใช้งานส่วนตัวโดยไม่ต้องจ่ายค่าจ้าง เงินสิบสองค่านาในเมืองสงขลา สิ่งของที่ทำโดยแรงงานนักโทษ ค่าตลาดและค่าเช่าที่ดินในเมืองสงขลา ในฐานะผู้กำกับราชการบริเวณ ๗ หัวเมือง ยังมีรายได้จากเงินส่วยกระดานที่กระลาพอ จะแหน หนองจิกและยะหริ่ง อากรบ่อนเบี้ยเมืองปัตตานีและยะลา ภาษีฝิ่น ส่วยหวาย ส่วยยางไม้ ค่าขนอน และค่าเช่าเหมือง เมืองยะลาปีหนึ่ง ๆ มีรายได้จากทางราชการไม่ต่ำกว่า ๓๕,๙๐๙ บาท และเมื่อรวมรายได้ส่วนตัวด้วยแล้ว มีรายได้ประมาณปีละ ๕๐,๐๐๐ บาท
จากรายได้จำนวนมหาศาล เจ้าเมืองต้องนำไปใช้จ่ายเพื่อส่วนตัว ครอบครัว และแบ่งให้แก่กรมการเมืองข้าทาสบริวารตามสมควร ที่เหลือส่วนหนึ่งนำไปใช้จ่ายในการพัฒนาบ้านเมืองทางด้านสาธารณูปโภค เป็นต้นว่า บ่อน้ำ สะพาน กำแพงเมือง รวมทั้งให้การอุปถัมภ์แก่พระพุทธศาสนาและช่างฝีมือต่าง ๆ เป็นต้นว่า ช่างทอง ปั้น ทอผ้า เครื่องถม และทองเหลือง ผลจากการพัฒนาเมืองสงขลาของเจ้าเมืองในตระกูล ณ สงขลา ทั้งหมด ทำให้เมืองสงขลารุ่งเรืองจากท่าเรือเล็ก ๆ ซึ่งเป็นบริวารของเมืองนครศรีธรรมราชกลายเป็นเมืองโท เจ้าเมืองมีบรรดาศักดิ์สูงสุดถึงเจ้าพระยา ถือศักดินา ๑๐,๐๐๐ และขึ้นตรงต่อกรุงเทพฯ จากเมืองที่อ่อนแอไม่สามารถปกป้องตัวเองได้ กลายเป็นเมืองที่มีป้อมปราการและกำแพงเมืองมั่นคงแข็งแรงมาก จากเมืองท่าค้าขายในท้องถิ่นเป็นท่าเรือนานาชาติติดต่อค้าขายกับกรุงเทพฯ จีนภาคใต้ และอาณานิคมบริเวณช่องแคบของอังกฤษ จากเมืองเล็ก ๆ ที่รัฐบาลไม่เคยสนใจ เป็นเมืองใหญ่อันดับ ๒ ของภาคใต้รองจากนครศรีธรรมราช บ้านเมืองเป็นปึกแผ่นมั่นคงเต็มไปด้วยบ้านเรือนราษฎร วัดวาอาราม และสถานที่ราชการ เป็นเมืองศูนย์กลางทางการปกครอง การเมือง การคมนาคม เศรษฐกิจ และวัฒนธรรมที่สำคัญของภาคใต้มาตั้งแต่ก่อนรวมชาติ
บุคคลที่สำคัญ ๆ ในตระกูล ณ สงขลา มีทั้งที่เป็นเจ้าเมือง ผู้ช่วยราชการเมืองและมหาดเล็ก ที่เป็นเจ้าเมืองมี ๘ คน คือ พระยาสงขลา (เหยียง พ.ศ. ๒๓๑๘-๒๓๒๗) ต้นตระกูลเจ้าพระยาพิไชยคิรี (บุญฮุย พ.ศ. ๒๓๒๗-๒๓๕๕) พระยาวิเศษภักดี (เถี้ยนจ๋ง พ.ศ. ๒๓๕๕-๒๓๖๐) พระยาวิเชียรคิรี (เถี้ยนเส้ง พ.ศ. ๒๓๖๐-๒๓๙๐) เจ้าพระยาวิเชียรคิรี (บุญสังข์ พ.ศ. ๒๓๙๐-๒๔๐๗) เจ้าพระยาวิเชียรคิรี (เม่น พ.ศ. ๒๔๐๗-๒๔๒๔) พระยาวิเชียรคิรี (ชุ่ม พ.ศ. ๒๔๒๔-๒๔๓๑) และพระยาวิเชียรคิรี (ชม พ.ศ. ๒๔๓๑-๒๔๔๔) สำหรับผู้ช่วยราชการที่สำคัญมีอำนาจรองไปจากเจ้าเมืองส่วนใหญ่จะได้รับการสนับสนุนทางหนึ่งทางใดจากรัฐบาลกลางเพื่อคานอำนาจเจ้าเมือง โดยแต่งตั้งจากบุตรหลานของพระยาสงขลา (เหยียง) ต้นตระกูลอีกสายหนึ่งที่ไม่ได้เป็นเจ้าเมือง กล่าวคือถ้าแต่งตั้งบุตรหลานสายภรรยาที่ ๑ เป็นเจ้าเมืองก็จะตั้งบุตรหลานสายภรรยาที่ ๒ เป็นผู้ช่วยราชการที่มีอำนาจรองลงไปเป็นเช่นนี้ตลอดมา ผู้ช่วยราชการบางคนได้เป็นเจ้าเมืองคนต่อมาก็มี ดังจะได้แสดงในตารางต่อไปนี้
ตารางแสดงบุคคลสำคัญในตระกูล ณ สงขลา
เฉพาะที่เป็นเจ้าเมืองและผู้ช่วยราชการคนสำคัญ
พระยาสงขลา (เหยียง พ.ศ. ๒๓๑๘-๒๓๒๗)
(ต้นตระกูล)
สายภรรยาที่ ๑
๑. พระยาพิไชยคิรี (บุญฮุย พ.ศ. ๒๓๒๗)
เจ้าพระยาพิไชยคิรี (บุญฮุย พ.ศ. ๒๓๕๕)
ผู้สำเร็จราชการเมือง
๒. พระยาวิเศษภักดี (เถี้ยนจ๋ง พ.ศ. ๒๓๕๕-๒๓๖๐)
ผู้สำเร็จราชการเมือง
๓. พระยาวิเชียรคิรี (เถี้ยนเส้ง พ.ศ.๒๓๖๐-๒๓๙๐)
ผู้สำเร็จราชการเมือง
๔. นายจ่าเรศ (เม่น พ.ศ. ๒๓๗๖-๒๓๙๔)
พระสุนทรานุรักษ์ (เม่น พ.ศ. ๒๓๙๔-๒๔๐๒)
พระยาสุนทรานุรักษ์ (เม่น พ.ศ. ๒๔๐๒-๒๔๐๗)
ผู้ช่วยราชการ
๕. พระยาวิเชียรคิรี (เม่น พ.ศ. ๒๔๐๗-๒๔๑๕)
เจ้าพระยาวิเชียรคิรี (เม่น พ.ศ. ๒๔๑๕- ๒๔๒๔)
ผู้สำเร็จราชการเมือง
๖. หลวงวิเศษภักดี (ชม พ.ศ. ๒๔๑๓-๒๔๓๒)
ผู้ช่วยราชการ
๗. พระสุนทรานุรักษ์ (ชม พ.ศ. ๒๔๓๑-๒๔๓๓)
ผู้สำเร็จราชการ
พระยาวิเชียคิรี (ชม พ.ศ. ๒๔๓๓-๒๔๔๔)
ผู้สำเร็จราชการ
สายภรรยาที่ ๒
๑. พระพิเรนทรภักดี (บุญซี้น พ.ศ. ๒๓๒๗-๒๓๕๕)
ผู้ช่วยราชการ
๒. พระยาศรีสมบัติจางวาง (บุญเฮี้ยว พ.ศ.๒๓๕๕-๒๓๖๐)
ผู้ช่วยราชการ
๓. หลวงสุนทรานุรักษ์ (บุญสังข์ พ.ศ.๒๓๖๐-๒๓๗๖)
พระสุนทรานุรักษ์ (บุญสังข์ พ.ศ.๒๓๖๐-๒๓๙๐)
ผู้ช่วยราชการ
๔. พระยาวิเชียรคิรี (บุญสังข์ พ.ศ.๒๓๙๐-๒๔๐๒)
เจ้าพระยาวิเชียรคิรี (บุญสังข์ พ.ศ.๒๔๐๒-๒๔๐๗)
ผู้สำเร็จราชการเมือง
๕. หลวงสมบัติภิรมย์ (ชุ่ม พ.ศ.๒๓๙๙-๒๔๐๒)
พระสมบัติภิรมย์ (ชุ่ม พ.ศ.๒๔๐๒-๒๔๑๖)
พระยาสมบัติภิรมย์ (ชุ่ม พ.ศ.๒๔๑๖-๒๔๒๔)
ผู้ช่วยราชการ
๖. พระยาสมบัติภิรมย์ (ชุ่ม พ.ศ.๒๔๒๔-๒๔๓๑)
พระยาวิเชียรคิรี (ชุ่ม พ.ศ.๒๔๓๑)
ผู้สำเร็จราชการ
๗. หลวงอุดมภักดี (พัน)
ผู้ช่วยราชการ
บุตรหลานในตระกูล ณ สงขลา ส่วนใหญ่จะถวายตัวเป็นมหาดเล็กรับราชการฝ่ายหน้าในเมืองหลวงเป็นการฝีกหัดทำราชการก่อนที่จะกลับไปรับราชการเป็นผู้ช่วยราชการ หรือผู้สำเร็จราชการเมืองในเมืองสงขลาทำให้เจ้าเมืองและผู้ช่วยราชการส่วนใหญ่รู้จัก และสนิทสนมกับขุนนางผู้ใหญ่ในเมืองหลวง เป็นทางหนึ่งที่เกื้อกูลให้ตระกูลนี้มีอำนาจอย่างมั่นคงในเมืองสงขลาเป็นเวลานาน แต่น่าแปลกใจที่ไม่นิยมการถวายบุตรีรับราชการฝ่ายใน จึงมีธิดาของเจ้าเมืองสงขลาเพียง ๒ คนเท่านั้นที่เป็นสนม
บทบาทของเจ้าเมืองในตระกูล ณ สงขลา ที่สำคัญควรนำมากล่าวไว้ ณ ที่นี้ พอจะแยกกล่าวสรุปได้ดังนี้คือ
พระยาสงขลา (เหยียง) ฟื้นฟูเมืองสงขลาขึ้นมาใหม่จากการทำภาษี ส่งเสริมการค้าและอุตสาหกรรมในครัวเรือน จำพวกกุ้งแห้ง ปลาแห้ง และเครื่องปั้นดินเผา แต่เมืองสงขลาจะเจริญมั่นคงเป็นปึกแผ่นในสมัยต่อมา คือสมัยเจ้าพระยาพิไชยคิรี (บุญฮุย) สมัยนี้เมืองสงขลาเข้มแข็งพอที่จะต่อสู้จากการคุกคามจากภายนอกได้โดยลำพังตนเอง และเริ่มเป็นคู่แข่งกับเมืองนครศรีธรรมราชทั้งทางด้านการเมืองและเศรษฐกิจ ถึงแม้เมืองสงขลาจะมีพื้นที่และประชากรน้อยกว่าก็ตาม แต่ก็ได้รับความไว้วางพระราชหฤทัยให้เป็นผู้กำกับบริเวณ ๗ หัวเมือง และเมืองตรังกานู เจ้าเมืองสงขลาได้รับบำเหน็จความชอบสูงถึงกับได้เลื่อนตำแหน่งเป็นเจ้าพระยาคนแรก แต่ความรุ่งเรืองของตระกูล ณ สงขลา ต้องหยุดชะงักลงในระหว่างปี พ.ศ. ๒๓๕๕-๒๓๙๐ เมื่อเจ้าเมืองสงขลาในระยะนี้ คือ พระยาวิเศษภักดี (เถี้ยนจ๋ง) และพระยาวิเชียรคิรี (เถี้ยนเส้ง) ไม่สามารถตอบสนองนโยบายขยายอำนาจลงสู่หัวเมืองมลายูได้ดีเท่าเจ้าพระยานครศรีธรรมราช (น้อย) เจ้าเมืองนครศรีธรรมราช ประกอบกับพระยาวิเชียรคิรี (เถี้ยนเส้ง) มีพฤติกรรมส่วนตัวส่อไปทางไม่ซื่อสัตย์สุจริตพัวพันการค้าฝิ่นและหาประโยชน์ส่วนตน แต่อย่างไรก็ตามในช่วงนี้เมืองสงขลาเข้มแข็งและเจริญพอที่จะเป็นศูนย์การปกครองและเศรษฐกิจแห่งใหม่แทนเมืองปัตตานีได้แล้ว รัฐบาลจึงถือโอกาสแยกสลายเมืองปัตตานีซึ่งเป็นหัวเมืองขนาดใหญ่กว่า เมืองสงขลาออกเป็นเมืองเล็ก ๆ ๗ หัวเมือง คือ ปัตตานี หนองจิก ยะหริ่ง รามัน ยะลา ระแงะ และสายบุรี มีการแต่งตั้งทั้งไทยพุทธและมุสลิมไปเป็นเจ้าเมืองเหล่านั้นตามความเหมาะสม เปิดโอกาสให้ตระกูล ณ สงขลา เริ่มขยายอำนาจอิทธิพลและเข้าไปแสวงหาประโยชน์ส่วนตัวในหัวเมืองเหล่านี้ได้ อย่างกว้างขวาง เจ้าเมืองหนองจิกกลายเป็นคนในตระกูลนี้ไปโดยปริยาย
นอกจากนี้ในขณะที่หัวเมืองภาคใต้อื่น ๆ กำลังระส่ำระสายจากกบฏมุสลิมในเมืองไทรบุรีและบริเวณ ๗ หัวเมือง ระหว่าง พ.ศ. ๒๓๖๔-๒๓๘๒ ตระกูล ณ สงขลา ได้ฉวยโอกาสขยายฐานเศรษฐกิจของตนออกไป จากการส่งเสริมชาวจีนอพยพให้ตั้งหลักแหล่งในเมืองสงขลาและส่งเสริมอุตสาหกรรมครัวเรือนที่ตนได้เรียนรู้มาจากบ้านเกิดเป็นต้นว่า กระเบื้องดินเผา ช่างทอง ช่างถม ช่างโลหะ ต่อเรือ ทำกุ้งแห้ง ปลาแห้ง กะปิ ค้าปลีก และค้าส่ง ขณะเดียวกันตระกูลนี้เริ่มส่งคนเข้าไปทำส่วยเก็บภาษีบางอย่าง และทำเหมืองแร่ดีบุก ในบริเวณ ๗ หัวเมือง การทำภาษีอากรในเมืองสงขลาเองก็ขยายตัวออกไปมากชนิดขึ้น จำนวนเงินสูงขึ้น ตั้งแต่อากรรังนก สุรา บ่อนเบี้ย ภาษีฝิ่น กุ้งแห้ง สุกร เขาสัตว์ หนังสัตว์ ข้าวเหนียว อากรดีบุก และค่าน้ำ
ตระกูล ณ สงขลา ได้ประสบความสำเร็จสูงสุดในสมัยเจ้าพระยาวิเชียรคิรี (บุญสังข์ พ.ศ.๒๓๙๐-๒๔๐๗) และเจ้าพระยาวิเชียรคิรี (เม่น พ.ศ. ๒๔๐๗-๒๔๒๔) ซึ่งเป็นยุคที่ขุนนางศักดินาตระกูลต่าง ๆ เรืองอำนาจสูงสุดในสมัยรัตนโกสินทร์ กล่าวคือมีทั้งอำนาจอิทธิพลและความมั่งคั่ง ได้รับความไว้วางพระราชหฤทัยมากถึงกับพระราชทานอำนาจสิทธิ์ขาดในเมืองสงขลาให้แก่เจ้าเมืองทั้งสอง ความรุ่งเรืองของตระกูล ณ สงขลาในระยะดังกล่าวเกิดจากปัจจัยหลายประการด้วยกันคือ ประการแรก การย้ายที่ตั้งเมืองสงขลาจากบ้านแหลมสนไปอยู่ที่ตำบลบ่อยางในปี พ.ศ. ๒๓๘๕ ทำให้เมืองสงขลาใหม่มีความมั่นคงแข็งแรง กิจการค้าขยายตัวทั้งทางเรือและทางบกติดต่อกับไทรบุรีและปีนัง ประการที่ ๒ การขยายตัวของอุตสาหกรรมครัวเรือนต่าง ๆ ซึ่งเริ่มมีการส่งเสริมในยุคก่อนหน้านี้ สินค้าเหล่านี้ขายดีเป็นที่ต้องการทั้งในและต่างประเทศ โดยเฉพาะกระเบื้อง โอ่ง ไห หม้อ เครื่องถม ทองรูปพรรณ ผ้ายก ผ้าธรรมดา ปลาแห้ง กุ้งแห้ง กะปิ เรือมาด และเรือกำปั่น เป็นต้น ประการที่ ๓ การขยายตัวทางด้านการค้า เนื่องจากมีการนำเอาเรือกลไฟมาใช้ระหว่างเมืองสงขลากับกรุงเทพฯ จีนภาคใต้ และเมืองอาณานิคมบริเวณช่องแคบในปี พ.ศ. ๒๔๐๔ มีการสร้างถนนเชื่อมต่อระหว่างสงขลากับไทรบุรีเป็นถนนข้ามคาบสมุทรสายแรกที่ทำให้การค้าโค กระบือ และสัตว์อื่น ๆ ขยายตัวอย่างมาก ประการที่ ๔ การปรับความสัมพันธ์ระหว่างเมืองสงขลากับเมืองใกล้เคียง โดยเฉพาะนครศรีธรรมราชและพัทลุง ทำให้หัวเมืองเหล่านี้มีความเกื้อกูลต่อกันมากขึ้น สำหรับความสัมพันธ์ระหว่างเจ้าเมืองในตระกูล ณ สงขลา กับกลุ่มคณาธิปไตยในเมืองหลวงก็นับว่าดีเยี่ยม เจ้าพระยาวิเชียรคิรี (บุญสังข์) เคยเป็นมหาดเล็กและสนิทสนมกับราชสำนักมาตั้งแต่ปี พ.ศ. ๒๓๕๕ มีความสัมพันธ์ส่วนตัวอย่างลึกซึ้งกับพระบาทสมเด็จฯ พระจอมเกล้าเจ้าอยู่หัว รัชกาลที่ ๔ พระมหากษัตริย์ราชวงศ์จักรีองค์แรกที่เสด็จประพาสเมืองสงขลาถึง ๒ ครั้ง ส่วนเจ้าพระยาวิเชียรคิรี (เม่น) เคยรับราชการเป็นมหาดเล็กเวร ตำแหน่งนายจ่าเรศ (เม่น) ในกรุงเทพ ฯ นานถึง ๑๐ ปี
ความสัมพันธ์อันดีระหว่างตระกูล ณ สงขลา กับราชสำนักเกิดขึ้นในระยะหัวเลี้ยวหัวต่อที่มีการต่อรองอำนาจทางการเมืองระหว่างขุนนางศักดินาเก่ากับกลุ่มคณาธิปไตยใหม่ ที่ต้องการจะปรับปรุงประเทศตามแบบตะวันตก ในการต่อสู้ทางการเมืองครั้งนั้นตระกูล ณ สงขลา ถูกจัดอยู่ในตระกูลขุนนางศักดินาเก่าที่ทางฝ่ายรัฐบาลกลางมีเป้าหมายที่จะลดทอนอำนาจลงไปเรื่อย ๆ เพื่อโอนอำนาจเข้าสู่ส่วนกลาง ในสมัยพระยาวิเชียรคิรี (ชุ่ม พ.ศ. ๒๔๒๔-๒๔๓๑) และพระยาวิเชียรคิรี (ชม พ.ศ. ๒๔๓๑-๒๔๔๔) จึงกลายเป็นระยะที่ตระกูล ณ สงขลา เริ่มเสื่อมอำนาจในการปกครองเมืองสงขลา ปัจจัยที่ผลักดันให้ตระกูลนี้เสื่อมอำนาจหมดสิ้นไปจากเมืองสงขลามีหลายประการด้วยกันคือ
ประการแรก ความแตกแยกภายในตระกูลระหว่างบุตรหลานสายภรรยาที่ ๑ กับสายภรรยาที่ ๒ เกี่ยวกับผลประโยชน์จากตำแหน่งเจ้าเมืองและภาษีอากร ถึงกับมีการฟ้องร้องเข้าไปยังรัฐบาลกลาง เปิดโอกาสให้รัฐบาลกลางสามารถบั่นทอนอำนาจอิทธิพลของตระกูลลงไปเรื่อย ๆ จนสำเร็จ
ประการที่ ๒ ความเสื่อมอำนาจบารมีของเจ้าขุนนางศักดินาเก่าจากการเปลี่ยนแปลงทางด้านการเมือง เศรษฐกิจ และสังคมของรัฐบาลกลาง เนื่องจากการปฏิรูปประเทศครั้งใหญ่ตั้งแต่ปี พ.ศ. ๒๔๓๙ เป็นต้นมา
ประการที่ ๓ การขยายตัวของเมืองสงขลา ซึ่งเป็นผลมาจากการพัฒนาของตระกูล ณ สงขลา เมืองสงขลาใหญ่โตขึ้นเกินกว่าที่จะให้อยู่ในอำนาจของคนเพียงตระกูลเดียวปกครองดูแลอีกต่อไป
หลังจากเสื่อมอำนาจบารมีในเมืองสงขลา ตระกูล ณ สงขลา ก็แตกกระจัดกระจาย สมาชิกของตระกูลส่วนหนึ่งมุ่งหน้าเข้าเมืองหลวงเพื่อแสวงหาความก้าวหน้าทางราชการต่อไป และสามารถสืบทอดศักดิ์ศรีของวงศ์ตระกูลต่อมาอย่างไม่ขาดสายจนถึงปัจจุบัน แต่บทบาทของคนในตระกูล ณ สงขลา มิได้จำกัดแต่เฉพาะเมืองสงขลาและภาคใต้อีกต่อไป มีหลายคนที่มีบทบาทระดับชาติและนานาชาติเสียด้วยซ้ำไป เช่น เจ้าพระยาศรีธรรมาธิเบศร์ (จิตร ณ สงขลา) พระยามานวราชเสวี (ปลอด ณ สงขลา) และพันเอกจินดา ณ สงขลา เป็นต้น (สงบ ส่งเมือง)
