Værterne var bagud 2-0 og i opløsning efter fem minutter, hvor Taiwo Awoniyi scorede efter en solotur, og Willy Boly headede gæsternes andet mål ind.
Men Christian Eriksen fik reduceret, og mål af Casemiroog et straffespark af Bruno Fernandes sikrede point, selv om indsatsen igen ikke var overbevisende på Old Trafford.
"Det er en skrækkelig start at give dem to mål og lave fejl, men jeg er meget tilfreds med comebacket," sagde hollandske Ten Hag til journalisterne. "Lederskabet, hvordan vi forblev rolige og fattede os, holdt os til planen og troen på at kunne vende kampen.
"Vi spillede meget god fodbold, ud fra planen og principperne og reglerne scorede vi gode mål."
United begyndte Premier League-sæsonen med et ikke så overbevisende 1-0 nederlag til gæsterne Wolverhampton Wanderers, men blev udspillet af Tottenham Hotspur i sidste uge med et 2-0 nederlag.
Så lørdagens sejr var velkommen, selvom Ten Hag sagde, at det var naturligt, at hold har børnesygdomme tidligt i sæsonen.
"Alle hold har områder, de skal forbedre i starten, og vi har nogle, hvor vi skal gøre fremskridt, hvis man vil have succes, men man ser dette hold som store karakterer, store personligheder," sagde han.
"Der er en stor ånd på dette hold, og de fandt en måde at vinde på."
Anfører Fernandes var inspirerende, og Ten Hag var overstrømmende i sin ros til den portugisiske midtbanespiller.
"I alle aspekter spillede han en rigtig god kamp på højeste niveau, bevarede roen, brugte sine følelser på det rigtige tidspunkt, han var strålende i angrebet og gjorde en forskel, jeg er meget tilfreds med hans præstation," sagde han.
Der var et tab i sejren, da forsvarsspilleren Raphael Varane måtte udgå med en skade.
"Han havde problemer, vi ville ikke risikere ham, vi har Harry Maguire, Victor Lindelöf som kan erstatte ham, så vi tager ingen chancer," sagde Ten Hag.