廖威凱靠著「靈芝草人」這個角色，兩歲就嚐到走紅滋味，到了國二卻因為升學因素，慢慢淡出演藝圈，長大後也並未回到演藝圈，他過去登上談話節目時，就曾大方分享自己的工作經歷，曾經當過停車開單員，也做過便利商店、量販店，還曾賣過鹽酥雞、開過飲料店，工作經歷相當豐富。
然而，廖威凱在節目上透露，家人們對他選擇的工作不是很滿意，擔任銀行員的爸爸就曾面色凝重問他「你做這個工作，我要怎麼跟我的朋友、我的同事說你在做這個工作？」，讓他當下聽了心裡很不舒服，認為自己也是不偷不搶，「做這個跟你的面子有什麼關係？」，坦言自己當下的感覺很差。
據了解，廖威凱除了爸爸是銀行員外，媽媽更是大有來頭，是資深電台主持人陳麗秋，有著「廣播之花」的封號，兩個姐姐林秀芳、林薇也都是明星。被問到會不會想向父母證明自己的能耐時，廖威凱坦言比較像是為自己而活的人，知道自己的能耐在哪裡就好，再加上和父母年齡有著一段差距，溝通、價值觀上難免會有代溝，所以他不會特別想證明什麼。
