黃永玉這個“浪蕩漢子”生于書香門第。黃家祖屋叫“古椿書屋”，是鳳凰有名的私塾館。當地文廟建起后，黃家還兼守文廟。
黃永玉的爺爺常年在外做事，曾幫熊希齡經營香山慈幼院。爺爺很有威望，偶爾回家一趟，吃飯時兒子們都在旁伺候，即使挨罵也要儀態恭敬。家里有這樣一位老人，兒孫從不敢輕浮，都懂得掂量自己。黃永玉說：“爺爺的嚴峻像明礬，讓一屋人的頭腦都清澈起來。”
爺爺難得回家一趟，請人吃飯時卻不請熟人。爺爺只想跟那些不相干的、有意思的人喝喝酒、看看花，說：“人情中間，不留痕跡最好。”
黃永玉后來成了爺爺的“忘年交”，發現爺爺其實很有趣。關于讀書，爺爺給他的教育與學校的不一樣：“學堂里那些書讀下去是有用的，像砌墻腳，但砌墻腳不等于蓋房子，蓋房子要靠以后不停地讀課外書。然而有些讀書人蠢，一輩子都在砌墻腳。”爺爺勸他多交朋友、多長學問，學堂考試過得去就行，不必爭做第一。爺爺還準許他隨便翻自己的書柜，說：“多懂些稀奇古怪的知識還是占便宜的，起碼是個快活人。”
爺爺不在時，家里的氣氛最寬松。太婆心懷寬廣、通達人情，常安撫在爺爺面前戰戰兢兢的孫輩。她很愛讀書，鼓勵兒孫精進學業，曾說：“我家不買田，買田造孽！一塊硯田足夠了。”女傭不慎打破了家里的魚缸，太婆一句責備的話也沒有，只說：“以后走路慢些，小心傷到自己。”其實那個魚缸是太婆的陪嫁之物，用了幾十年，她很是珍惜。
黃永玉的父親少時隨其父在外漂泊，走南闖北，見了很多世面，又得風氣之先受過西式教育。他后來回鄉做音樂老師，任文昌閣小學校長。黃永玉的母親是先進女性，在鳳凰擔任新創辦的女子小學的校長。黃父與黃母經自由戀愛結婚，之前家里為黃父定的親事就吹了。那女子轉嫁他人，后來成了拖兒帶女的寡婦，黃父與黃母心地寬厚，時常幫襯她。
黃父溫和開通，很有修養，做每件事都會拿出藝術家的派頭。他從不打罵孩子，認為真正的教育是浸潤。黃永玉少時曾逃學八天，回家路上心驚膽戰，準備一有動靜轉身就跑。結果父親只是站在門口，微笑著向他輕輕招手。
黃母則個性鮮明，親自帶領學生上街游行，自己抹個花臉扮成“帝國主義”。事后臉上花花綠綠洗不干凈，她大大方方地說：“這有什么好笑的？戴上面紗就好。跟學生講清楚，也算對她們的教育！”
除了讀書，黃父還讓黃永玉拜師學拳，說：“打拳既能強身也能練精氣神，好做個正派人。”后來家里經濟條件差了，如果碰上有人租院子教拳，黃父提出的條件是：“不要租金，但要讓我的兒子跟著學。”黃母也有俠氣。街上來了一對逃荒的母女，黃母先把她們帶回家里吃飽飯，然后去找縣長。結果縣長不管，黃母就讓她們在家里做些雜事。在黃母的言傳身教下，黃永玉對廣大女性尊重并同情，還為那些被封建禮教束縛的女性發聲：“那些賢惠，都該叫苦！”
后來時局動蕩，黃家敗落，產業被一場火燒得干干凈凈。爺爺過世了，家里七八口人等著吃飯，朋友勸黃父出去做事。黃父放心不下家里，有些猶豫，黃母爽快地說：“太平年月倒無所謂，如今這光景實在不能粘在一起，你要端出男子漢的派頭來！”于是黃父遠走他鄉。
黃母卻被學校辭退了，因為領導覺得她家事太多，無法兼顧工作。一家人吃穿都要等黃父每月托人帶錢回來，但后來那些錢竟被人吞了，黃永玉只好帶著弟弟坐到那人的家門口討賬。別人嘲笑他們穿得破爛，黃永玉心里委屈，黃母說：“你要有頭腦，想到自己是讀書人，再窮再苦也就不在乎了。”
無論過得多難，黃母總是樂呵呵地說：“娘這前半輩子沒吃過苦，如今帶著你們‘步步頂上’，也算是件有意思的事。”
黃永玉所受的家教還有：不說空話，吃飯時不出聲音，不拿別人的閃失開玩笑……這些對于日常小事的要求就像佛教里的“戒行”，看似簡單卻自有厲害之處，能讓人在苦難歲月里堅守心性。所以黃永玉的奇崛個性里多了幾分正氣，使“奇崛”不只是一種表演性的姿態，而是一種底色踏實的真性情。
