渣江镇五四村行政区划上隶属于湖南省衡阳市衡阳县，渣江镇五四村的下属街道自然村居委会及其地理管辖范围内的企业事业单位也属于湖南省衡阳市衡阳县。