Orkesteret blev startet i 1924 af Hans Skovgaard. Indtil da havde der eksisteret et fælles orkester i FDF Århus Distrikt, som dengang bestod af tre kredse. Da alle tre kredse ønskede hver sit kredsorkester, besluttede man at dele instrumenterne mellem sig. 2. kreds fik derved hele tre blæseinstrumenter og noget slagtøj, og med dette materiale gik Hans Skovgaard så i gang med at opbygge orkesteret. Hans Skovgaard fik startet et elevarbejde, og der blev indkøbt 3- 4 brugte instrumenter. Øvelokaler fik man i Oliemøllens frokoststue, og efter en vinter var man i pinsen 1925 klar til debut på kredsens pinsetur. Orkesteret blev udvidet med en basun og to kornetter, og i 1926 fik man en længe savnet tuba. Efterhånden var besætningen kommet op på 14 mand plus dirigent. Der var flittigt brug for orkesteret. Der blev spillet til agitationsmarch gennem gaderne, fastelavn mm. Den 10. April afholdtes den første koncert. FDF’s general sekretær og cellisten Medici (senior) medvirkede.

I de følgende år havde orkesteret travlt, idet der på den tid ikke fandtes andre amatørorkestre end FDF.

Efter at Hans Skovgaard havde været orkesterets dirigent og leder i 35 år - i øvrigt samtidig med jobbet som kredsleder det meste af tiden - overtog Ole Joachimsen og Poul Willer Rasmussen ledelsen af orkesteret for en periode på fem år.

I denne periode bestod orkesteret af 23-24 mand, hvoraf godt halvdelen havde spillet længe. Derfor havde orkestret en virkelig god periode. Desværre kunne perioden ikke vare ved og efter nogle uoverensstemmelser forlod de gamle drenge orkesteret. Tilbage blev der en flok drenge (5-6 stykker) samt nogle elever, som blev grundstammen i det orkester, som blev videreført.  Orkesteret var stadig spilledygtigt, men rigtig fremad gik det, da det lykkedes at ”importere” fire store drenge fra Ålborg. Torkild Laursen blev orkesterets dirigent i en kort periode, hvorefter Poul Andreassen overtog pinden. Stadig var det dog et lille orkester og det hjalp derfor svært, da der blev indledt et samarbejde med FDF 11. kreds’ orkester, som også havde haft et generationsskifteproblem. Nu var der pludselig næsten 30 mand og under ledelse af Finn Bengtsen begyndte det atter at gå stærkt. For første gang deltog orkesteret i DAO’s jubilæumsstævne i 1968 i 3. division. I 1970 blev det til deltagelse i DAO’s danmarksmesterskab, nu i 2. Division med en flot placering som nr. 4.
   Peter Gulstad Andersen overtog posten som dirigent i 1971 og under hans ledelse opfyldtes et længe ventet ønske, nemlig at indspille en grammofonplade. I perioden herefter sled orkesteret mange dirigenter op - af vigtige navne skal nævnes Erik Bjørn Lund og Barry King, hvorefter Peter Guldstad Andersen vendte tilbage. 

Koncert i Møllevangskirken, efteråret 1977
I 1985 trådte Bent Graversen til som dirigent og førte orkesteret trygt frem til solide placeringer ved DAO's Danmarksmesterskaber. Han blev afløst i 1993 af Henrik Svenning, som videreførte det målrettede arbejde. Som en nyskabelse indledtes der op til de store konkurrencer en samarbejde med forskellige udenlandske dirigenter. Selvom de placeringsmæssige resultater nok var middelmådige, var kendemærket stabilitet og engagement. Herved skabtes den organisatoriske og musikalske basis orkesteret bygger på i dag.

Århus Brass Band anno 1994, dirigent: Henrik Svenning
 I 1997 blev Casper Schreiber ansat, og under hans dynamiske og ambitiøse ledelse har orkestret stormet mod den absolutte top i dansk brass band, helt suverænt ved i 1998 at vinde både SilkeBlæs og Danmarksmesterskaberne for brass band. Som en foreløbig kulmination på orkesterets aktuelle topform deltog orkesteret i EM for brass band, 1999, i München. I foråret 2000 skulle ÅBB forsvare sejren ved SilkeBlæs 1998. Til trods for en fremragende koncert blev det imidlertid kun til en 3. plads.

Nytårskoncert, dir: Preben Nørgaard Christensen
Den 4. november 2000 forsvarede ÅBB sin titel som Danmarksmester i egen hjemstavn. Sejren var så overbevisende, at der var hele 5,8 point ned til nærmeste konkurrent - Lyngby-Taarbæk Brass Band. I 2001 deltog Århus Brass Band således i Europamesterskaberne for brass bands i byen Montreux i Schweiz, der ved samme lejlighed havde fået skrevet test piecet ”Montreux Wind Dances” (C. Rüetti) til brug ved mesterskaberne. Preben Nørgaard Christensen, der havde ledt ÅBB til sejr i Århus, havde medbragt ”Dove Descending” som selvvalgt stykke og opnåede en fornem 6. plads – hvilket dengang var den bedste placering et dansk brass band nogensinde havde opnået.

En stor del af 2001 blev brugt på et fusionsprojekt med den kendte danske saxofonist Benjamin Koppel og partyorkesteret Sax’n’Drawbars. Det blev blandt andet til en udsolgt koncert på natklubben ”Train” i Århus og CD’en ”Koppel & Brass”, indeholdende kompositioner og arrangementer af både Anders og Benjamin Koppel i skæve moderne og klassiske stilarter.

   Tiden efter 2001 var præget af store medlemsmæssige udsving og fra 2002 var det Gert Skovlod Hattesen, der førte orkesteret videre med bare 13 faste medlemmer. Via sin entusiasme forsøgte han at genrejse orkesteret, men grundet det endnu meget ustabile medlemstal måtte bandet ved sin afsked med Gert Skovlod i 2005 se sig selv i selv samme status, som ved udgangspunktet. Tiden i 2002-2004 var således præget af kortvarige succeser og tilsvarende nedture, som det gav sig til udtryk med ved en 1. plads i Nyborgs Internationale Musikkonkurrence og to 4. pladser til danmarksmesterskaberne.

Århus Brass Band, Sommerkoncert på KaserneScenen, juni 2004, dirigent: Gert Hattesen   

I 2005 overtog Jacob Vilhelm Larsen dirigentpodiet og året efter begyndte den negative spiral for alvor at vende. Den positive forandring manifesterede sig ved endnu en sejr ved Nyborgs Internationale Musikkonkurrence. Vi bød flere og flere faste medlemmer velkomne og viste ved danmarksmesterskaberne samme år med stykkerne ”Journey to the Centre of the Earth” (Graham) og ”Eden” (Pickard) publikum et orkester i rivende udvikling. Til SilkeBlæs 2007 havde orkesteret hyret norske Arvid Anthun, der tidligere havde ledt Århus Brass Band til sejr. Endnu inden sommerferien formåede orkesteret at levere en overbevisende hattrick-sejr ved Nyborgs Internationale Musikkonkurrence med en pointsum på 288 af 300 mulige. 

Århus Brass Band, DM i Herning, november 2008, dirigent: Jacob Larsen             

Orkesteret var for alvor tilbage i storform ved danmarksmesterskaberne i 2007, hvor det ultimativt udfordrende stykke ”Vienna Nights” af Philip Wilby var valgt som pligtnummer. Sammen med ”Paganini Variations” – igen af Wilby – sikrede vi os en andenplads og pustede derved de forsvarende danske mestre, Lyngby-Taarbæk Brass Band, i nakken.

Ved DM 2009 blev det til en flot tredjeplads, og orkesteret er pt. stolte af status som Jyllands bedste brass band.