在衡阳市南有一座山峰名回雁峰，因为每年秋季，成群的大雁就会飞到这里等待来年春天飞回北方。
唐德宗年间，回雁峰下有一女子名叫王幼玉，她本是名门之后，因黄巢起义，随家人避难来到衡阳。父母双亡后，凭着婉转明亮的歌喉和高雅艳丽的容貌，做起了歌妓。
有一天当地郡守在雁峰寺中设筵款待御史大夫夏公，召来王幼玉助兴。王幼玉唱出一曲的“雁归来”，举座皆惊，王幼玉顿时名声大振。洛阳商人柳富，是世家子弟，读书出身，有钱有学问有修养，他因性情刚烈在家乡惹了乱子，避乱而来衡阳。
他被她高雅的气质和动人的歌声深深吸引，而王幼玉也很欣赏他，和他相处了一段时间后，就向他表明心态，肯与他相伴一生。柳富沉吟道：“我南来湘潭时，因与人格斗，误伤两命，被旅店的侍女见到，她强要与我成亲，否则就到官府举发，我无计可施，只好带她同走。”王幼玉拿出自己的私蓄二百万钱，终于用金钱和晓以利害，把柳富的女侍妻子打发回了湘潭。
两人正准备共结百年之好时，柳富的父亲去世，柳富只要回家奔丧。临行之时，二人共同起誓，定要等着对方。但柳富回去料理完丧事，就被族中父老留住，以免他再与歌妓相伴。柳富情急之下打伤了一位年长的族人，被关在狱中。王幼玉等了好久，不见他回来，就派人前来打听。
来人回去后带回了柳富被押狱中的消息和他的思念之情，王幼玉决心要等到海枯石烂。等到唐德宗驾崩之时，唐昭宗继位，大赦天下，柳富获得了自由。就在他准备南下与心上人团聚之时，藩镇之间的混战阻隔了交通，只好先设法辗转托人给王幼玉捎去一封信，信中附有一阕词：人间最苦，最苦是分离，伊爱我，我怜伊，青草岸头人独立，画船东去橹声迟。楚天低，回望处，两依依。后回也知俱有愿，未知何日是佳期，心下事，乱如丝。好天良夜还虚过，辜负我，两心知，愿伊家，衷肠在，一双飞。王幼玉收到信后，把阕词变成歌到酒楼演唱。
然而时光飞逝，岁月空添，南北道路终究受阻。王幼玉越来越绝望，疾病缠身，当她知道来日无多时，她每天都到回雁峰上，一遍一遍地唱着那首阕词。用尽最后一丝力气，她倒下了悬崖。只有行行大雁把她的歌声传送给南来路上的柳郎。
