如果雙方達成協議的話，女方貧困家庭兩個孩子能全部給男方。離婚家庭的子女隨父方生活還是隨母方生活，可以由雙方在離婚的時候協商決定。如果雙方是協議離婚，應在離婚協議書上寫明關於子女隨哪方生活。
在離婚之訴中，如果雙方就子女撫養問題達成協議，一般法院會尊重其協議，但是雙方協議由父方或母方撫養子女對子女正常生活有嚴重不利的除外。雙方協議輪流撫養子女的，應該尊重雙方協議。
《民法典》第一千零八十四條，父母與子女間的關係，不因父母離婚而消除。離婚後，子女無論由父或者母直接撫養，仍是父母雙方的子女。離婚後，父母對於子女仍有撫養、教育、保護的權利和義務。離婚後，不滿兩週歲的子女，以由母親直接撫養為原則。已滿兩週歲的子女，父母雙方對撫養問題協議不成的，由人民法院根據雙方的具體情況，按照最有利於未成年子女的原則判決。子女已滿八週歲的，應當尊重其真實意願。
