李谷一的父亲李世康老人是湖南师大教授，早年毕业于湖南大学，打网球、演话剧、跳舞都很在行。
湖南师范大学食堂每周举行舞会，李世康都是常客，经常在幼年的李谷一面前载歌载舞。父亲还是京剧票友，家中备有一台留声机，梅兰芳的京剧、罗马尼亚的《云雀》、日本流行歌曲，陪伴李谷一度过了快乐的童年。李谷一的直率、活泼、热情、开朗、爱好文艺完全是得了父亲真传。李谷一的妈妈是著名运动员、教授向大威，1908年生于湖南省衡山县(现为衡东县)，从小聪颖智慧，开朗活泼。她有四个哥哥，家中就她一个女孩，排行又最小，深得父母和哥哥们的喜爱。“对她影响最深、帮助最大的人是她二哥——向大光。”生在习武之家，耳濡目染从小喜欢体育，并有这方面的天赋。想从体育方面发展，得到她二哥的鼎力支持。向大威曾说，她二哥对她讲过:“体育可以健身，国民身体强壮了，国家才能富强起来。”当时湖南体育事业十分落后，省内没有体育学校。向大威在二哥的支持下，到上海进入由进步女士陆礼华开办的“两江妇女体育专科学校”学习，并被选入篮球队。这支球队先后在天津、北平、广州、杭州等地打过比赛，并与多支华侨强队比赛过，屡得冠军。两江”女子篮球队在短短的两个星期里，转战日本大阪、京都、奈良等地，连续进行了10场比赛，在和日本女子国家主力队的比赛中，她们也把日本主力队打得垂头丧气，一筹莫展。这10场比赛，“九胜一平”的赫赫战绩，使日本人大为震惊，不得不对这支来自“东亚病夫”之国的女子篮球队刮目相看。说起李谷一老公肖卓能，他是我国开国元勋海军司令肖劲光的儿子，原山东政协副主席，担任中国海洋技术总公司总经理，女儿是肖一。李谷一的婚姻十分幸福，与老公恩爱几十年从未发生争吵。夫妇两人都已年近七旬的老人了，但仍然坚持在各自的岗位上辛勤耕耘。夫妇两做人一直都很低调，有关女儿肖一的信息知道甚微。肖卓能对于李谷一的喜爱，最早源自于他是李谷一的歌迷，而且谁也不认识谁。随着李谷一的《边疆的泉水清又纯》、《洁白的羽毛寄生情》、《难忘今霄》等一支支脍炙人口的歌曲不断在全国唱红，老肖对李谷一的喜爱也渐渐升华为一种情爱和痴迷。
