Про бывшую дед все верно сказал.
К детям это не относится.
Дети, выросшие в полноценной семье и дети выросшие с одним родителем и, в лучшем случае, с периодически появляющимся вторым родителем, а часто - вообще пропавшим с горизонта, это разные люди в последствии. На всю оставшуюся жизнь.
Принимая кардинальные решения, нужно отдавать отчет, что сломаешь дальнейшую судьбу детям.