現年43歲的余文樂在2017年與台灣「皮帶大王」千金王棠云結婚，兩人育有一子一女余初見同余初心，一家四口幸福美滿。余文樂2017年婚前發現患上恐慌症，為免在工作時發病，所以減少公開露面，將重心放在幕後工作，並兼顧潮牌生意。日前他分享打網球片段，喘氣不斷，自嘲變老了。

余文樂打網球喘氣不斷，動作仍然靈活，但余文樂自認為動作變慢了，他發文：「新陳代謝慢了 只是停止了幾天就很快打回原形 只能盡力保持，有空就動起來」。有網民讚余文樂進步大，余文樂回覆：「哪進步了 動作還是很僵硬」。