Snart 50-årige Johansson började sin tränarkarriär redan under 1980-talet och Edsbergs damlag i Sollentuna var första riktiga tränarjobbet.
Hans första riktiga herrlag som huvudtränare var Väsby IK i division 2 på 1990-talet.
Känd på högre nivå blev Anders Johansson då han blev huvudtränare för Malmö FF:s damer i Allsvenskan under tre säsonger 2003–2005.
MFF:s herrtränare Sören "Snuffe" Åkeby såg till att Anders blev assisterande tränare under två säsonger i herrallsvenskan 2006–2007.
Johansson var även huvudtränare för Djurgårdens damer blev säsongerna 2008–2009.
Sedan dess har han, oavsett huvudtränare, varit assisterande hos Djurgårdens herrar. Han jobbade således ett par år tillsammans med Pelle Olsson och nu ska paret leda Sveriges färskaste allsvenska klubb på Tunavallen i Eskilstuna.