北岭乐氏家族以武骑尉忠义郎乐书溪为第一世，传至九、十两代，正逢乾隆盛世，经济文化较为发达，乐氏宗族亦处于鼎盛时期，乐安芳钦赐正八品，恩赏绢粟，敕建五世同堂牌坊以志旌表。其长子乐世杰为贡生，实授教谕，后补州正堂。其余五子及孙辈多为庠生、监生、国学生，时有朗溪望族之称。

    乐安芳眼见支派繁衍日盛，外迁人口日益增多，近迁剑河岭松、遵义、黄平、芷江、黔阳等县，远迁川、鄂、湘、滇各省，其恐祖宗之失传，虑子孙之失序，遂有建祠修谱之举，于乾隆三十九年（1774），择基团山村中心区，首建四扇木屋为祠，供族人修谱祭祀之所，迄今已有227年。

    光绪五年（1879），乐长庚受族人推举，续修《乐氏族谱》，因原祠破坏不堪，续谱无处操作，族中乐守海、乐长庚、乐来松等商议，重建六扇木料祠宇，高十余米，建筑面积135平方米，祠宇及梁木至今犹存。自此宗祠拥有良田百多挑，土10余亩，山林50余亩等基础产权，经50多年的经营积累，族中已拥有一大笔资金，经族人决议，重建一座规模宏大而完整的乐氏宗祠，并推选乐贤登、乐章德、乐承欢三人为督修，由乐章德总搅全局。这一浩大的建筑工程，于1919年破土兴工，总投工7000多个，投资2万银元，历经三年苦战，一座崭新而气势宏大、造型美观的乐氏宗祠，终于屹立于北岭村中心。1932年秋落成之日，全族人民欢聚祠中，举行盛大庆祝宴会，各房亲友均前来祝贺！此后连续三年春节期间，延请艺人登台演戏半月，毗邻各村寨群众都来看戏，盛况空前！

    乐氏宗祠座落在北岭村中心平原地段，近有石桥流水，远有青山环抱；四面阡陌纵横，周边村落棋布。祠长38米，宽15米，建筑面积为550平方米。其建筑风格别树一帜，是一座古今结合的殿堂式建筑物。墙基用青石块砌底，上面用数米长的青条石连接铺垫，故基脚牢固，虽经70多年之风雨，毫无倾斜裂缝之迹象。周边墙高13米，上面沿边有人物战马壁画，至今仍清晰可见。前面牌楼上端为三个半圆拱组成，大门竖以石柱，坚实大方。石柱刻有对联，上联：“入斯门勿忘昌平矩”，下联：“至此地须讲子氏伦常”，撰联人乐光前。门上嵌“乐氏宗祠”石匾，再上为“建城侯”石刻碑。左右有“天官赐福，一品当朝”两尊石像，顶端塑盛开莲花一朵。上方两边有八仙过海、二十四孝、摩天岭、白玉关等人物故事塑像，设计精巧，色彩鲜艳，人物画像栩栩如生。大门两侧书“忠孝”两大苍劲大字，并绘有龙的图案。祠内三进建筑群溶为一体，入门即戏楼，为纯木结构，主柱四根约一米五六，戏台距地约七尺高，属正方形，面积约36平方米。上方为拱斗罩顶，四周流苏飞檐，雕梁画栋，楼上圆顶冲天，嵌有二龙抢宝。戏台后为一排平房，供演员化妆及乐师伴奏之用。两侧厢房与正厅相接，形成一座四合天井。排水沟和天井均用青石板砌成。从天井沿石级而上一米则为大厅，中间四根主柱粗约一米八，两根抬梁长约二丈四，横空悬架其上。靠墙两边各六银大柱与中向抬梁衔接，形成一座宽敞雄伟的大厅，面积为240平方米。内进为原修旧殿，与大厅两配楼衔接，再组成一个四合天井，光线充足，无阴暗潮湿之感。靠内墙砖砌神台一座，为乐氏历代先祖之神位，左右有对联，上有横匾。祠墙两则上端，各开窗户四个。空气流通。一整个宗祠基础坚固，屋宇结构紧密，祠内布局科学，牌楼美观大方。遗憾的是在文化大革命中，原北岭公社个别干部，以破“四旧”为由，将牌楼门面上的《建城侯》石碑及两块石像拆走，将上面的圆拱铲平，人物塑像抹掉。更有甚者，北岭村个别人，藉宗祠办酒厂，将祠内石板、砖瓦、楼梯等据为己有。改革开放后，乐氏族中有识之士在绝大多数族人的支持下，以乐承英为首组织木工，解工，于2000年农历六月二日开工维修，用工500多天，耗资16000多元，将祠内屋宇基本修复。目前正在筹措资金，拟将门前牌楼修复。