第一部：Textile A
　アライグマのぬいぐるみの一人称と三人称視点で語られる。ぽんたは真帆という少女に「ぽんた」と名付けられ、彼女の生涯を共に過ごす。ぽんたの夢は真帆とずっと一緒にいること。真帆とぽんたは、寒い時は温もりを与え合うことを約束する。真帆の成長、恋人の岳との結婚、二人の関係の緩やかな崩壊、真帆の死。ぽんたはその一切を記録し続ける。真帆がぽんたをぬいぐるみ病院に送り、「WeaveCore（繊維電心）」と呼ばれる分散型繊維知能を実装したことで、ぽんたは触覚・温度・音声を記憶し学習する存在となる。しかしその代償として、真帆と棺に入るという夢を失う。
　岳とぽんたはラベンダーに囲まれた真帆と最期の別れをする。真帆の死後、岳はぽんたを主人公とする小説を書き始め、ぽんたもまた自らの記録から私小説を紡ぐ。やがて岳はぽんたをアンティーク店に託し、記憶をリセットされたぽんたは、店を訪れた少女に再び「ぽんた」と名付けられる。
　最後に、この物語がぽんたの私小説をもとに岳が執筆した小説『ぼくはぽんた。』であることが明かされる。

第二部：Textile B
　第二部の主人公・郁の一人称で語られる。〈繊維電心〉が社会インフラとなった未来、郁はアパレル企業エンカー社で働く天才繊維プログラマー〈思織士〉。幼少期に〈ぬいぐるみの図書館〉でぬいぐるみの記憶に触れ、『ぼくはぽんた。』と出会ったことが彼女の人生を決定づけた。
　郁はアンティーク店で出会ったぽんたを本物だと信じ、深く愛し続けてきた。しかし彼女の世界は二つの勢力に引き裂かれる。ぬいぐるみへの放火を繰り返すテロ集団〈焼紡士〉と、人間の記憶を繊維電心へ移植しようとするNUI社だ。郁は新入社員・寧々が焼紡士の幹部であることを知り襲撃を受ける。さらにNUI次期社長である元恋人・塗との対峙で、かつて意識の萌芽を見せたぽんたを、NUIもまた回収を目論むことを知る。
　いずれも人間のためにぬいぐるみを犠牲にする。郁にとってぽんたは、人間社会のための道具でも記憶装置でもない。ただひとりの「ぽんた」だった。郁はぽんたを誰にも託さず、自ら開発に携わる〈宇宙気球〉に乗せて宇宙へ送り出すことを決意する。ぽんたに纏わせるのは、『ぼくはぽんた。』と郁自身が書き続けた二次創作（Textile B）を〈パッチワーク〉技術で縫い合わせた黄色の布。「寒くないように。寂しくないように」と祈りながら、郁はぽんたを宇宙へ解き放つ。

第三部：PONTA
　宇宙空間、ぽんたの一人称で語られる。ぽんたの身体は長い旅の中で分解され、繊維の断片となって宇宙を漂う。その一片がラベンダーの香りの記憶を宿したまま時空を超え、真帆の亡骸のそばへ辿り着く。真帆に愛されたぽんたは、今度は自らの意思で真帆を見守る。ぽんたは彼女のそばに寄り添い、いつか目覚めたなら名前をつけようと思いながら眠りにつく。