古徽州山高路险，交通十分不便，成了中原名门望族躲避战乱的理想之地。但这些名门望族，避难并不避世，他们不甘心彻底退出社会政治舞台，总想伺机而出，即便自己没有机会，也寄希望于后代，总想通过“儒”而“仕”。因此，他们十分注重族中后辈的教育，“十户之村，不废诵读”，“茅屋书声琅”真实反映了徽人重视教育的情况。
古代徽州教育，官民结合，机构众多，形式多样。主要有以下几类：
（１）府（州）学、县学，这是官办教育机构。其特点是教官由朝廷委派，它以培养科举人才为宗旨，教学内容主要是服务于科举的四书五经，它是读书人进身的必经之阶，在徽州极受人们重视。如歙州州学始建于唐代，是徽州最早的地方官学。
（２）书院，又称书屋、精舍。其特点在于它是既独立于官学之外的学校制度，又是与教育密切结合的学术研究机构。
（３）社学，这也是一种官办的教育机构在元代，除设州、县学外，还以乡中每50户为一社，每社设社学一所。明洪武八年，徽州六邑有社学462所，清康熙时，徽州社学发展到562所。其特点是以地域为单位，官办民助。因为社学经费除官方出资以外，更主要的还是靠各乡族捐助。所以社学从形式上看起来是官办，实际上却是官民结合的办学形式。
（4）义学，这是捐资助学的教育形式。主要以氏族祠堂、庙宇地租收入或私人捐资等方式办学，其特点是不收学费，家境贫寒子弟亦可入学。
（5）村塾，这是村民共同出资的教育形式。其特点是村民自愿组合，共同聘请和供奉塾师。
（6）家塾，这是民间独资的办学形式。其特点是某户独资聘奉塾师在家中教育子弟，受教育者可足不出户。
（7）学馆，这是民间私立学校。其特点是塾师在家设塾招生。
徽州教育中最值得一提的是古徽州书院。书院是我国古代特有的教育组织形式，既有官办，又有私办。绩溪人胡忠于北宋景德四年（1007年）创办在绩溪县龙井村东之山阜的桂枝书院是徽州最早的书院，也是安徽省最早的书院。
徽州最著名的书院是建于南宋淳祐六年（1246年）的歙县紫阳书院。这是全国著名书院之一。此书院始建于徽州府城南门外，南宋理宗皇帝御笔亲题院名匾额，元代三易院址，时兴时毁.明代正统年间迁于县学右之射圃。明正德十四年，郡守张芹在紫阳山中又建一紫阳书院，于清代日渐兴隆。康熙、乾隆先后亲题“学达性天”、“道脉薪传”两额。清乾隆五十五年（1790年），歙人曹文埴、鲍志道等在县学后朱文化祠遗址创建古紫阳书院，光绪三十二年（1906年）改为紫阳师范学堂。该书院以《白鹿洞书院学规》为纲，以讲学与道德修养为主旨，崇奉正宗的朱学。自创办至改办学堂长达660年间，紫阳书院一直是新安理学的中心。
徽州另一所著名的书院是建于明万历二十年（1592年）的休宁县还古书院。此书院院位二休宁万安古城岩，它是陆王心学在徽州的中心。
另外，歙县的师山书院、斗山书院，休宁的东山书院、天泉书院，婺源的明经书院、福山书院，祁门、绩溪的东山书院等都是当时远近闻名的书院。
徽州之所以教育发达，究其原因主要有三。其一，以儒入仕，以儒入贾。徽州山穷水浅，土地贫瘠，人们只有眼睛向外求发展。首选之路便是通过读书而入仕，仕途不畅则入贾。能入仕入贾，全是教育之功。其二,有较稳固的经济支撑。首先，学田为府、县两级官费师生的生活和学习提供了有力保障。因为学田是古徽州为府、县学所置的田产，按官府规定，学田收入全部入官，以供给府学、县学师生之廪禄，它是府学、县学经费的主要来源。第二，徽商的慷慨捐助促进了徽州教育的发展。明、清时徽商猛然崛起，并称雄我国商界几百年。经商致富的徽州人更是看重读书入仕，也就更加重视对后代的教育。明歙县盐商鲍柏庭就说过：“富而教不可缓，徒积资产何益乎？”祁门商贾胡天禄“输田三百为义田，使烝尝无缺，塾教有赖，学者有资。”这都为徽州教育的发展从经济上提供了大力的支持。其三，有一支淡泊名利，倾心教育的教育工作者队伍。在朱熹教育思想的影响和诲人不倦精神的感召下，古徽州出现了许多矢志不渝“正义明道”，心甘情愿献身教育的大儒者。婺源大儒汪炎昶，隐居深山十年，专心致力于讲学授徒；元末明初歙县大儒郑玉，一生绝意仕进，而勤于讲学授徒因门下受业者众，室小难容而筑“师山书院”行教。清代婺源大儒江永，一生不以利达富贵为事，唯以教育英才为乐。歙县经学家程瑶田，一生淡泊名利，投身教育工作，并“以身率教，廉洁自持”。徽人这种淡泊名利，心甘情愿献身教育的精神一直影响至今，近现代徽州出了不少知名的教育家，陶行知先生就是其中的杰出代表。
总之，由于自然、社会、政治、经济、文化、家族家庭等多种因素的综合作用，促成了古徽州发达的教育，形成了文风昌盛，人才辈出局面，也正因为如此，所以徽州自古就被誉为“东南邹鲁”。
