音樂內容檢索系統

緣由與目的：

音樂資料過去是以書目資料的形式提供查詢、取得與利用。 圖書館或資料提供者將音樂資料組織、分析，依作曲者、 音樂形式等項目分門別類，進而建立音樂書目資料庫。 使用者依照這些項目雖可檢索到資料，然而此種檢索的彈性仍然有限。

例如，我們常常僅記得音樂的片段旋律，卻不記得曲名或作曲家， 此時便無法以這些書目資料查得音樂原件（即CD、錄音帶、錄影帶、樂譜、 文件等音樂載體）。又如音樂創作者一有靈感，腦海中響出一段旋律， 想要查詢過去是否有近似的音樂創作時， 也無法以書目性資料庫就音樂內容進行查詢。

音樂內容（content-based）查詢即在允許由記憶不全或表達不清的 音樂片段進行音樂查詢。

然而音樂內容查詢會面臨查詢不匹配、 查詢表達困難以及結果瀏覽檢視與篩選等問題。

首先，一首曲子可以用任何一個音高起唱，而還是同樣的曲子。 這情形就好像是在 KTV 裡唱歌唱不上去，就調整伴奏曲的 key 一樣。 因此，音樂檢索系統必須能允許使用者以任何音高查詢， 並能比對到正確的曲調，亦即達到「音調無關」（key-independent）的查詢。

其二，使用者查詢時可能無法正確記憶曲調而輸入不完整的片段， 甚至不完全正確的曲調。 此種情形，在傳統資訊檢索領域稱為「字彙不匹配問題」 （vocabulary mismatch problem）。 亦即，對同樣的概念，使用者所下的檢索詞與系統所記錄的索引詞不同， 而造成檢索失敗的情形。因此，「近似比對」在音樂檢索系統裡特別重要， 以便允許使用者走音、多個音或少個音等隨機錯誤的查詢狀況。 此外，傳統資訊檢索領域裡常用來解決字彙不匹配的方法， 如相關詞提示、相關回饋等也都會對音樂檢索有所幫助。

其三，音樂檢索還有其他特殊的字彙不匹配問題， 如震音、碎音、琶音等裝飾音或其他指法技巧。 這些音容易被使用者誤聽或記錯，而將數個短音輸入成一個長音， 或將一個長音輸入成數個短音。這些情況容易造成連續錯誤， 而比前一種隨機錯誤造成的字彙不匹配問題更嚴重

除此之外，音樂內容的查詢條件並不容易表達， 尤其對音樂訓練較少的使用者尤然。

因此音樂檢索系統需更為注重任何有助於輸入、瀏覽、篩選等功能的設計， 以及友善便利的使用環境。

針對上述問題，本研究旨在發展適當的查詢模式與使用介面、 開發音樂資料內容特徵的分析與擷取技術、發展快速有效的索引與檢索模式， 以解決音樂查詢不匹配問題， 進而建立同時允許書目性資料查詢以及內容查詢的音樂檢索系統。

系統特色：

1. 允許利用簡譜查詢
2. 同時允許書目及旋律查詢
3. 允許任意音高的旋律查詢
4. 允許輸入旋律的部分錯誤（多音、少音、音高不準的隨機錯誤）
5. 可讓使用者聆聽其輸入之旋律，以確認其輸入是否正確
6. 自動提示可能的候選查詢條件
7. 可上傳錄製好的 MIDI 檔案，以進行旋律的比對查詢
8. 自動擷取關鍵旋律，加快查詢速度、瀏覽速度，容許更大的輸入誤差， 以及讓使用者更快找到想要的音樂

系統架構圖：

相關著作：

1. Yuen-Hsien Tseng, " Content-Based Retrieval for Music Collections," Proceedings of the 22nd International ACM SIGIR Conference on Research and Development in Information Retrieval - SIGIR '99, Aug. 15-19, Berkeley, U.S.A., 1999, pp.176-182. (a research paper)

2. Yuen-Hsien Tseng, "Crystal: A Content-Based Music Retrieval System," Proceedings of the 22nd International ACM SIGIR Conference on Research and Development in Information Retrieval - SIGIR '99, Aug. 15-19, Berkeley, U.S.A., 1999, pp.325. (a demo paper)

3. 曾元顯, " 音樂內容查詢不匹配問題與檢索模式之研究", 資訊傳播與圖書館學, 第 6 卷, 第 4 期, 2000 年 6 月, 頁 35-48.

4. Yuen-Hsien Tseng, "Music Indexing and Retrieval for Digital Music Libraries," Proceedings of The First International Workshop on Intelligent Multimedia Computing and Networking (in The Fifth Joint Conference on Information Sciences), Feb. 27 to Mar. 3, 2000, Atlantic City, NJ USA, Vol. 2, pp.533-536.

相關計畫：

1. 曾元顯, 「多模態音樂檔案快速關鍵旋律自動擷取及其應用」, 國科會89學年度研究計畫報告, NSC 89-2413-H-030-016-