音乐那千变万化般的音响使它获得了一种魔术般的魅力，而正是这种魔力使音乐赋予了一种异乎寻常的神秘感，当这种超越语言的音乐魔力作用于人的神经时，使人的精神得到愉悦、悲伤或诸多的细微心理感受，直至情感的升华与心智的感悟。
当音乐以最原始的形态进入人类社会时，就曾经充满了神秘的色彩。从那时起，人类确信只有音乐才是与神灵对话的语言，音乐具有平复人的心灵，陶冶人的性情，祈求福祉、祛除鬼祟的魔力。音乐与人类最初的对神与天地的顶礼膜拜紧密联系在一起，直到宗教的形成这种联系就变得愈加凸显与强化了。
原始人利用鸟兽的骨头做管，吹出尖锐的声音，鸣金击鼓发出令人震撼的音响，巫医伴随着肢体怪异的动作喃喃自语地唱出刺耳的音调；今人随处可以从清真寺里听到《古兰经》优雅而神秘的唱诵；从高耸的天主教堂内传出《圣经》庄严且宏伟的合唱，佛经的吟唱则具有典型的东方调式的色彩，在这里人类从音乐中获得勇气、心灵的净化与超脱。
我国《吕氏春秋·古乐》中记载，在大约六七千年前，“葛天氏之乐，三人执牛尾，投足以歌八阙”，是说跳舞时，三人一组手拿着牛尾，踏着舞步歌唱，今天汉字中的“舞”字就是从象形文字甲骨文演变而来的，字形就是有两个人手拿牛尾跳舞的形象。这里所说的“八阙”是指《载民》《玄鸟》《草木逐》《奋五谷》《敬天常》《达帝功》《依地德》《总禽兽之极》八首歌曲，可以想象远古的华夏先人在乐舞中，念念有词，祈祷上苍保佑，风调雨顺、五谷丰登的情景。
在古希腊的神话中，认为音乐起源于阿波罗神，安菲翁和奥菲欧等神是音乐的发明者。在愚昧的史前时期，原始人坚信音乐具有非凡的魔力，认为它可以治病、净化肉体和灵魂，能在自然界中创造奇迹。“旧约”中曾记述音乐具有这样的魔力，如大卫弹琴赶走扫罗身上的恶魔，吹羊角和大声呼喊使得耶利格的城墙倒塌。
当原始的音乐经过漫长的岁月直到幼发拉底河与尼罗河流域形成国家时期，原始人的巫术演变为神圣的宗教仪式。自古以来，音乐与这些宗教仪式息息相关。在古巴比伦和孟菲斯的神庙传出圣洁的赞美诗的合唱，并以笛、竖琴、里尔琴和响板伴奏。这一切都增进了虔诚的教徒的情感生活，使他们感到自己通过音乐脱离了尘世，更加接近天国与神灵。在欧洲，即使是在中世纪，绝大部分音乐仍然是宗教音乐，如“圣咏”作为天主教信徒在礼拜、祈祷时所歌唱的乐曲，又如在最为隆重的弥撒仪式中不仅有严格的礼拜仪式，同时也要由神父或众信徒用固定的赞美诗或经文歌曲，以表达对上帝的赞美与虔诚。教堂还配备有专门的“唱诗班”演唱这些歌曲，并有专门的键盘师或管风琴师作为伴奏。巴赫、莫扎特、柏辽兹等许多作曲家都为教堂谱写过大量的宗教歌曲，流传于世。
宗教音乐在音乐的发展，特别是早期的音乐发端时期，起到过巨大的推动作用。音乐的这种特有的艺术魅力，似乎赋予了它与神相通的特殊魔力。正如“音乐是天国的语言”这一说法曾得到了广泛的传播与认同，音乐以其特有的神秘与魔力铸成了自身无可替代的艺术魅力。
