江南水鄉有個富甲一方的絲綢商人姓柳，家中妻妾成群，卻隻有一個獨女，取名秋娘。秋娘出生時便不會啼哭，接生婆當時就覺蹊蹺，隻是不敢多言。柳老爺中年得女，雖有些失望不是男丁，卻也疼愛有加。
誰知秋娘長到三歲，竟從未開口說過一個字。柳老爺請遍了城裡城外的大夫，都說秋娘喉嚨無礙，舌頭靈活，卻不知為何不能言語。柳夫人日日以淚洗麵，柳老爺也逐漸對這個啞巴女兒失去了耐心。
"老爺，我請了城東的算命先生來看過了。"一日，柳老爺的二房李氏神秘兮兮地湊過來，"先生說秋娘命格奇特，是天上掃把星轉世，專克父母兄弟。若不送走，恐怕..."
柳老爺眉頭緊鎖："胡說八道！我柳家世代積德，怎會生出克星？"
李氏抹著眼淚道："老爺若不信，可還記得去年您那船絲綢無緣無故沉了？算命先生說，這是因為..."
柳老爺臉色越來越難看。當晚，他獨自喝了一壺悶酒，第二天一早，便命人備了馬車準備帶秋娘出門。
"老爺要帶秋娘去哪兒？"柳夫人驚慌地問。
"去城外寺廟祈福。"柳老爺冷冷地說，卻不敢看妻子的眼睛。
馬車出了城，卻不是往寺廟方向，而是駛向了荒無人煙的西山。到了半山腰，柳老爺命車夫停車，親自抱著秋娘下了車。
"秋娘，爹對不起你。"柳老爺聲音哽咽，卻還是狠心將女兒放在一棵老槐樹下，轉身離去。
秋娘睜著黑白分明的大眼睛，不明白父親為何丟下自己。她想哭喊，卻發不出聲音；想追趕，卻邁不開步子。隻能眼睜睜看著馬車漸行漸遠，消失在塵土飛揚的山路上。
夜幕降臨，山風呼嘯。五歲的秋娘蜷縮在槐樹下，又冷又餓。忽然，一陣腳步聲傳來，秋娘驚恐地抬頭，看見一個衣衫襤褸的老乞丐站在麵前。
"哎喲，這是誰家的小姐，怎麼一個人在這兒？"老乞丐蹲下身，借著月光看清了秋娘精致的小臉和綢緞衣裳，"乖乖，不會是柳老爺家的千金吧？"
秋娘不能回答，隻是眼淚汪汪地看著他。老乞丐歎了口氣："我馬三雖然是個要飯的，也知道柳老爺家有個啞巴小姐。沒想到啊沒想到..."他搖搖頭，脫下自己的破棉襖裹住秋娘，"跟我走吧，好歹有條活路。"
馬三把秋娘帶回了自己在城郊破廟的"家"——其實不過是幾塊木板搭成的窩棚。他用討來的半碗稀粥喂秋娘，秋娘狼吞虎咽地吃完，終於在馬三懷裡沉沉睡去。
第二天一早，馬三就發現秋娘發起了高燒。他翻出全部積蓄——七個銅板，請了赤腳醫生來看。
"老馬，你瘋了？為一個撿來的丫頭花這麼多錢？"同住的乞丐不解地問。
馬三摸著秋娘滾燙的額頭："這孩子命苦啊，我不能見死不救。"
三天三夜，馬三寸步不離地守著秋娘。第四天清晨，秋娘終於退了燒，睜開了眼睛。她看見馬三憔悴的臉，伸出小手摸了摸他花白的胡子。
馬三笑了："好孩子，以後你就跟著馬爺爺吧。雖然窮，但不會餓著你。"
從此，破廟裡多了一個小乞丐。馬三給秋娘換上粗布衣裳，教她用手勢表達意思。秋娘聰明絕頂，很快就能用簡單的手勢和馬三交流。馬三還發現，秋娘特彆喜歡用木炭在地上畫畫，花鳥蟲魚，畫得活靈活現。
"秋娘啊，你這畫可比城裡那些畫師強多了！"馬三驚歎道。
秋娘十二歲那年，馬三想了個主意。他在城門口擺了個小攤，讓秋娘當場作畫，路人若覺得好，便賞幾個銅板。秋娘的畫栩栩如生，很快"啞畫女"的名聲就傳開了，每天都有不少人專程來看她作畫。
這天，一個衣著華貴的中年男子在攤前駐足良久。秋娘正用木炭畫一隻展翅欲飛的仙鶴，那仙鶴神態靈動，仿佛下一刻就要從紙上飛走。
"妙！妙啊！"男子拍手稱讚，"小姑娘，這畫是你自己想出來的？"
秋娘點點頭，用手比劃著解釋仙鶴的姿態。