Med številnimi negativnimi stvarmi, s katerimi se je spopadal, pa se mu zdi najhujša ločitev od 47-letne Jennifer Garner. S hollywoodsko zvezdnico, s katero ima tri otroke, 14-letno Violet, 11-letno Seraphino in sedemletnega Samuela, je bil poročen med letoma 2005 in 2015. V intervjuju za časnik The New York Times je zvezdnik priznal, da svoje prve in za zdaj zadnje ločitve še vedno ni prebolel. »V svojem življenju najbolj obžalujem to, da sem se ločil,« je dejal in dodal: »Sram je strupen občutek. V njem ni mogoče najti ničesar pozitivnega. Človek se počuti preprosto ničvrednega in se sovraži.« Dotaknil se je tudi svojih težav z odvisnostjo od alkohola. Pojasnil je, da je dolgo pil povsem »normalno«: »Ko so se začele težave v mojem zakonu, pa sem začel piti več. To je bilo leta 2015, 2016. Moje popivanje pa je zakonske težave le še poslabšalo.« Ben je leta 2018 na Instagramu razkril, da je odvisen od alkohola, in se šel zdravit. Nekaj časa se je zdelo, da je ozdravljen, oktobra lani pa so ga paparaci zasačili, ko je za noč čarovnic močno vinjen zapuščal neki hotel v Hollywoodu. V zadnjem času se Ben seveda trudi, da bi ostal trezen. Med drugim zato, ker bi bil rad čim boljši oče svojim trem otrokom.