源于子姓，出自西周末年宋国国君宋戴公的儿子公子衎，属于以先祖名字为氏。
据史籍《姓纂》上的记载：“宋微子之后，戴公生公子衎，字乐父，子孙以王父字为氏。”另外，在史籍《姓氏急就篇》中也有同样的记载：“乐氏之先，与戴同姓；戴公生乐父衎，是称乐氏。”
乐姓的来历，来自于中国古代的子姓。
据《唐书·宰相世系表》记载，在春秋时期有一个宋国，宋国的宋戴公，他的儿子叫公子衎(kan)，字乐父。
后来他的孙子叫夷父须，以他祖父的“乐”字为姓氏，这就是后来乐氏的来历。