相传在南北朝时，有个叫潘子良的人，在今桃江县城西南二十八公里处的一个山崖下炼丹修道，成仙后，他炼丹用过的水格外明净。
有一天，桃花仙子驾云漫游到此，被其吸引。便情不自禁地降落云头嬉戏于井旁，并将发髻上的一朵桃花丢在井水里，谁知桃花落在沾满仙气的井水里翻滚，一变十、十变百。随溢出的井水顺流而下，使整个溪流长年浮满桃花。
另外，王母娘娘一侍女看上溪边一石匠，便私自下界与其结为夫妻。临产时被王母娘娘发现，生产后不得不被迫返回天庭，分别时，侍女送丈夫一对玉簪，嘱其插到溪流两岸。玉簪便变成了桃树万棵，这条溪流也就成了桃花江。侍女生下一男一女也像其母亲一样面似桃花，美若天仙。两岸女子经溪水洗浴，亦百般娇美。
桃花江是美人窝，桃花千万朵，比不上美人多……”三十年代，着名作曲家黎锦辉先生一曲《桃花江是美人窝》，使桃花江名扬天下。的确，桃花江是一个山美水美人亦美的地方，这里山水如画，风景优美，气候宜人，是湖南省十大旅游区之一。从此，桃花江有人间仙境之美称。
美丽如画桃花江桃花江发源于宁乡县的龙塘，进入桃江县境内的子良岩后，才称桃花江，长27。8公里，有83道弯，穿山走谷，在桃江县城桃花江港处，坎坎流入资江。
桃花江上游奇峰怪石，急涧瀑布相连，每当春季桃花盛开之时，中下流两岸山水相映，一片火红，大有“烂漫芳菲，其色甚媚”的万千气象，令人留连忘返。