Orkestret blev startet i 1924 af Hans Skovgaard under navnet FDF Århus 2. kreds.
Indtil da havde der eksisteret et fælles orkester i FDF Århus Distrikt, som dengang bestod af tre kredse. Idet alle tre kredse ønskede hvert sit kredsorkester, besluttede man at dele instrumenterne mellem sig. 2. kreds fik tildelt tre blæseinstrumenter og lidt slagtøj og med dette gik Hans Skovgaard i gang med at opbygge det orkester, der i dag betegnes Århus Brass Band. Han startede et elevarbejde, og der blev ligeledes indkøbt 3-4 brugte instrumenter.
Øvelokaler fik man i Oliemøllens frokoststue, og efter blot én vinter var orkestret klar til debut på kredsens pinsetur i 1925. Her blev desuden udvidet med en basun og to cornetter - og i 1926 fik man en længe savnet tuba. Efterhånden var besætningen således kommet op på 14 mand plus dirigent.
Orkestret blev flittigt brugt. Der blev spillet agitationsmarch gennem gaderne, fastelavn osv. D. 10. april afholdtes den første koncert,
I de følgende år havde orkesteret travlt, idet der på den tid ikke fandtes andre amatørorkesterforeninger end FDF.
Efter Hans Skovgaard havde været orkesterets dirigent og leder i 35 år - i øvrigt samtidig med jobbet som kredsleder det meste af tiden - overtog Ole Joachimsen og Poul Willer Rasmussen ledelsen af orkesteret omkring år 1959 - og for en periode på fem år.
I den periode bestod orkesteret af omkring 24 mand, hvoraf godt halvdelen havde spillet længe, og det var således en virkelig god periode. Det skulle dog desværre ikke vare ved og efter nogle uoverensstemmelser forlod de gamle drenge orkestret. Tilbage blev en lille flok drenge (5-6 stykker) samt nogle elever - og det blev således grundstammen i det orkester, der skulle videreføres.
Heldigvis var orkestret stadig spilledygtig, men det rigtig først rigtigt fremad, da det lykkedes at "importere" fire store drenge fra Aalborg. Torkild Laursen blev orkesterets dirigent i en kort periode, hvorefter Poul Andreassen overtog pinden. Stadig var det dog et lille orkester, og det var derfor en stor hjælp, da der blev indledt et samarbejde med FDF 11. kreds' orkester, som også havde lidt under generationsskifteudfordringer.
Nu var der pludselig næsten 30 mand og under ledelse af Finn Bengtsen begyndte det atter at gå stærkt. For første gang deltog orkestret i DAO's Jubilæumsstævne i 1968 (3. division), og i 1970 blev det til en flot placering som nr. 4 i 2. division ved DAO's Danmarksmesterskab.
I 1971 overtog Peter Gulstad Andersen posten som dirigent, og under hans ledelse blev et længeventet ønske opfyldt - nemlig indspilning af en grammofonplade. I perioden herefter sled orkestret mange dirigenter op - her kan nævnes bl.a. Erik Bjørn Lund og Barry King, hvorefter Peter Gulstad Andersen vendte tilbage.
I 1985 trådte Bent Graversen til som dirigent og førte orkesteret trygt frem til solide placeringer ved DAO's Danmarksmesterskaber. Han blev i 1993 afløst af Henrik Svenning, som videreførte det målrettede arbejde. Som noget nyt blev store konkurrencer indledt med samarbejde med forskellige udenlandske dirigenter.
Om end de placeringsmæssige resultater var middelmådige, var kendemærket stabilitet og engagement - her skabtes således den organisatoriske og musikalske grundsten, som orkestret også beror på i dag.
I 1997 blev Casper Schreiber ansat som dirigent, og under hans dynamiske og ambitiøse ledelse stormede orkestret mod den absolutte top i dansk brass band. Det sås helt suverænt med sejre til både Silkeblæs og DAO's Danmarksmesterskaber i 1998.
Som en foreløbig kulmination på orkestret aktuelle topform deltog de ved europamesterskaberne for brass bands i 1999 i München, og i foråret 2000 skulle de så forsvare 1998-sejren ved Silkeblæs. Til trods for en fremragende koncert blev det imidlertid dog kun til en 3. plads.
Den 4. november 2000 forsvarede ÅBB sin titel som Danmarksmester i egen hjemstavn med Preben Nørgaard Christensen som dirigent. Sejren var så overbevisende, at der var hele 5,8 point ned til nærmeste konkurrent - Lyngby-Taarbæk Brass Band.
I 2001 deltog Århus Brass Band dermed i Europamesterskaberne for brass bands i Montreux i Schweiz. Mesterskabet havde fået skrevet test piecet "Montreux Wind Dances" (Carl Rüetti) til brug ved lejligheden. Århus Brass Band spillede som selvvalgt stykke "Dove Descending", og bandet opnåede med dette en meget fornem 6. plads. Det er til dato den 2. bedste placering et dansk brass band nogensinde havde opnået ved et EM.
Udover forberedelse til EM, gik en stor del af år 2001 med fusionsprojektet med den kendte, danske saxofonist Benjamin Koppel og partyorkestret Sax'n'Drawbars. Det skete under ledelse af Henrik Svenning, og det blev bl.a. til en udsolgt koncert på natklubben "Train" i Aarhus samt til CD'en "Koppel & Brass" indeholdende kompositioner og arrangementer af både Anders Koppel og Benjamin Koppel i skæve moderne og klassiske stilarter.
Tiden efter 2001 var præget af stor medlemsudsving, og fra 2002 var det Gert Skovlod Hattensen, der førte orkestret videre med blot 13 faste medlemmer. Med sin gode entusiasme forsøgte han at genrejse orkestret, men som følge af et stadigt meget ustabilt medlemstal, måtte bandet sige farvel til Gert Skovlod Hattesen i 2005 - i samme status som ved udgangspunktet, og tiden 2002-2004 var således præget af kortvarige succeser og tilsvarende nedture - det gav sig til udtryk ved en 1. plads til Nyborgs Internationale Musikkonkurrence og to 4. pladser til danmarksmesterskaberne.
Efter Gert overtog Jacob Vilhelm Larsen i 2005 dirigentpodiet og året efter begyndte den negative spiral for alvor at vende. Den positive forandring manifesterede sig ved endnu en sejr ved Nyborgs Internationale Musikkonkurrence. Bandet bød flere og flere faste medlemmer velkomne og viste publikum ved danmarksmesterskaberne i 2006 et orkester i rivende udvikling. Her spillede bandet "Journey to the Centre of the Earth" (Peter Graham) og "Eden" (John Pickard).
Til Silkeblæs i 2007 havde bandet hyret norske Arvid Anthun, som tidligere havde ledt Århus Brass Band til sejr. Derudover formåede bandet at levere en overbevisende hattrick-sejr ved Nyborgs Internationalt Musikkonkurrence i 2007 med en pointsum på 288 ud af 300 mulige.
Århus Brass Band var alvor tilbage i storform ved danmarksmesterskaberne i 2007, hvor "Vienna Nights" (Philip Wilby) var valgt som pligtnummer. Sammen med "Paganini Variations" (Philip Wilby) som selvvalgt blev det til en flot 2. plads lige efter de forsvarende danske mestre, Lyngby-Taarbæk Brass Band.
Ved DM i 2009 blev det til en flot tredjeplads, hvor Århus Brass Band har (med undtagelse af 2014) ligget solidt siden. I dag kan bandet kalde sig Jyllands bedste brass band, og arbejder stødt fremad mod et mål om at kravle endnu længere op på podiet.
I 2014 kunne vi fejre 90 års jubilæum og gjorde det i stor stil med en flot koncert og udstilling på Aarhus Rådhus. Her talte flere ved lejligheden og bl.a. Thorkild Simonsen, som var borgmester i Aarhus fra 1982-1997 og Indenrigsminister i årene 1997-2000.
Ved DM 2017 opnår Århus Brass Band det bedste resultat til DM i 10 år, idet de vinder en 2. plads foran Lyngby- Taarbæk Brass Band. Desuden får ÅBB højeste antal point af alle på selvvalgt (Journey to the Center of the Earth).