マイホームの購入について意見の食い違いがあります

頭金なしでマイホームが欲しいと急ぐ主人（32歳）、私（２8歳）はいらない、夫婦で意見が食い違っています。

現在の状況は、私の実家の近くの町営住宅に住んでいます。家賃は5万5千円の３DKです。
0歳の子供がいます。主人は会社員で、私は国家公務員です。只今育児休暇中のため給与は15万です。
主人の月収現金支給21万～23万、ボーナス年2回各３０万
私は（復帰すると）２４万でボーナス４５万くらいです。
計画では子供3人を考えています。だから私は3３歳くらいまでは安定した収入ではないと思っています。
年収は二人合わせて８００万少々です。
貯金は100万です。
毎日家計簿をつけて節約してるつもりです。8万貯金しています。
家計に興味ない主人が簡単にマイホームが欲しいと言っています。私の希望は私の実家でマスオサンのようになってほしいのです。理由はいくつかあります。両親2人暮らしで建坪８０の家が築15年と築４５年が２つつながっていてもったいない。少しリフォームすれば2世帯住宅にできる。あとは共働きなので子供をみてくれる環境になる。主人はマスオサンになることで俺の立場がなくなるし、一人になってしまうといいます。そうならないように私が主人の味方になるからといっても実家に入ることを拒否します。増税になるしマイホームを買うなら今しかないといっています。私はどうすればよいのでしょうか。家の話になると言い合いが絶えません。私の思いは40歳前までは今の町営住宅に住んでしっかり貯金をしておく。（目標１５００万くらい）頭金なしのマイホームはそれからの生活が貧しいくなると思うから嫌です。しっかり話し合っていかなければならないので私たち夫婦によきアドバイスをお願い致します。