Den chokerende beslutning kommer efter 10 sejre og seks uafgjorte i Premier League, hvilket var nok til at fastholde klubbens position i den bedste række og sikre overlevelse med fire kampe tilbage efter en mindeværdig række af resultater i april.
O'Neill tog over som midlertidig træner efter fyringen af Scott Parker i august efter en række dårlige resultater, der inkluderede en 9-0 afklapsning mod Liverpool.
Den tidligere spiller fik en 18-måneders aftale i november, og på trods af en langsom start kom der gang i resultaterne, og en række imponerende præstationer gjorde, at The Cherries komfortabelt bevarede deres Premier League-status.
Præstationen var så stor, at mange så O'Neil som en kandidat til prisen som sæsonens manager.
I en udtalelse fra klubben forklarede AFC Bournemouths ejer og bestyrelsesformand Bill Foley: "Garys præstation i sidste sæson er en, jeg altid vil være taknemmelig for. Det har været en svær beslutning, men den er blevet taget med stor omtanke for at positionere os bedst muligt forud for den kommende sæson.
"Som klub har vi lagt planer for langsigtet succes med forbedringer af infrastrukturen, især udviklingen af et nyt topmoderne træningsanlæg og de igangværende diskussioner om opgraderinger af vores stadion.
"Vi har også identificeret en række vigtige mål på transfermarkedet denne sommer og mener, at denne ændring i retning vil give os den bedste platform at bygge videre fra.
"Gary vil få en lang karriere som cheftræner eller manager, men vi føler, at en ændring på nuværende tidspunkt er i denne fodboldklubs bedste interesse. Jeg vil gerne sige tak til Gary og ønske ham alt det bedste i fremtiden."
Bournemouth afslørede, at udnævnelsen af en ny cheftræner vil blive annonceret i god tid.