在上海读研究生时有个来自粤北南雄的老兄，老实人，普通话比我还菜。别人问他是哪里人，他总是非常认真地回答：“我是港督（广东）人”。上海人听到后偷偷发笑。因为此兄用普通话说的“广东”，发音就象上海话里的“憨大”，即傻瓜。知道这个后，上海瘪三常常拿他取乐，明明知道他是哪里人，还是常常故意问他。问得多了他也不耐烦了，回答也因此简单化。谁再问起，只答两个字：“港督！”问者被骂，自讨没趣，以后也不再问了。
那时我还不知道南雄其实是个有相当的历史积淀的地方。
南雄珠玑巷离古县城15公里，离大庾岭2.5公里。话说秦皇两次派兵入粤平定南越，就有不少秦兵留在岭南。秦皇为了解决这些将士的老大难问题，还有意从北方发派了解一万五千名妙龄女子。这些人里面不少就落户在珠玑巷附近繁衍生息。珠玑巷后来的兴盛却得益于张九龄奉唐玄宗之命开拓的大庾岭梅关古道。梅关道沟通了长江与珠江两大水系，成了中原至岭南最重要的通道。古道旁边的珠玑巷因而逐渐成为南北往来旅客的重要歇息地。这些人里面，有的喜欢上了这里的风土人情，便定居下来；有的只是过客，歇脚以后继续南行。据载从盛唐到明清的一千多年间，路过珠玑巷的商旅“日有数千”，这种盛况一直持续到清末粤汉铁路修成之前。正因为如此，小小珠玑巷逐渐成了中华民族不同姓氏聚居的大熔炉，曾经盛极一时。鼎盛时期，这里的居民涵括152个姓。
珠玑巷人口达到高潮正是南宋时期。宋金之间的中原大战，造成大量难民流离失所，纷纷南迁以避战乱。珠玑巷正是安居乐业的理想场所。
珠玑巷人口的大量迁出也发生在宋末。当时元军大举入侵，很快就把战线南推到岭南。元军从大庾岭梅关入粤，一下子把南雄置于战区中心。珠玑巷居民几乎倾巢南下，走避一空。
南迁经历的艰难苦楚，不亚于犹太人之出埃及。
那段时期，近十万珠玑巷及附近居民砍木扎筏顺江南下。其中一万难民在连州码头歇息时，夜晚狂风大作，木筏被刮得四分五裂，呼号遍野，惨不忍闻， 淹死的难民不计其数， 浮尸堵塞河道数日之久。
这些人经历千辛万苦，最终一部分到达珠江三角洲并在那里安居乐业。当今珠三角大部分居民的祖先都是从珠玑巷南迁而来，不少人还常常回珠玑巷认祖归宗。现在沿着珠玑巷中心湖周围建了许多宗族祠堂，都是此地原住民后代募捐的成果。
根据民间传说，南宋末年珠玑巷人的大举南迁还与一个女人有关。这就是所谓的“胡妃之祸”。
相传南宋度宗有一爱妃子胡妃。胡妃父兄主张抗金，被奸臣贾似道忌恨，祸及胡妃。胡妃父兄被杀后，胡妃被迫出逃以躲避贾似道的追杀。逃到钱塘江边，走投无路，投江自尽时，被正好路过此地的南雄商人黄贮万冒死相救，带回南雄珠玑巷为妾。
好景不长，此事被一家奴告密，官兵追杀到珠玑巷。珠玑巷居民为了避免牵连自身，纷纷南迁躲避。而胡妃不忍祸及无辜，毅然投井自尽。珠玑巷居民深为感动，于其投井处建“贵妃塔”彰显其德行。
