Det var Edvard Griegs testamentariske gave til Bergen Off. Bibliotek som inspirerte til å starte noteutlån. Om Griegs "efterladte Musikalier, Bøger, Manuskripter, Autografer og Kunstnerbreve" ikke kom til Bergen Off. Bibliotek før i 1919, var noteulånet startet i 1913 med basis i en beskjeden samling på vel 200 noter.

Det var komponist og musikkpedagog Borghild Holmsen som sto for noteutvalget og oppbyggingen av avdelingen.

I mars 1913 fikk biblioteket melding om at kantor Wilhelm Harloffs store notesamling var testamentert til biblioteket. Harloff hadde drevet Harloffs leiebibliotek, og det var denne samlingen, på ca. 10.0000 bind, som skulle overføres biblioteket når den nye bygningen var ferdig, og musikksamlingen skulle få sitt eget værelse.
På bibliotekets 50-årsdag i 1924 ble en egen musikkavdeling åpnet i hovedbibliotekets 2. etasje. Der fantes også Griegs personlige notesamling, og det originalmaterialet som komponisten for øvrig hadde gitt biblioteket.

Dette sies å være Nordens eldste offentlige musikksamling. Med de kjøp og gaver som etter hvert er kommet til, har Bergen nå den største notesamling av landets folkebibliotek.
Etter hver ble musikkavdelingen bygget ut med lydfestinger, og særlig den store, omhyggelig utvalgte LP-samlingen, som bare er til bruk på stedet ble et godt supplement til notesamlingen.

I januar 1994 startet musikkavdelingen utlån av CDer. Et meget attraktivt tilbud som stadig trekker nye låneregrupper til biblioteket.