潘家村行政区划上隶属于宁远县，宁远县隶属于永州市，潘家村的下属街道自然村居委会及其地理管辖范围内的企业事业单位也属于永州市。