Google DeepMind 與 Google Research 聯合推出的 Perch 2.0，進一步將生物聲學研討面向新高度。相較于前代，Perch 2.0 以物種分類為中心練習使命，不只納入了更多非鳥類類群的練習數據，還選用了全新的數據增強戰略與練習方針，在 BirdSET 和 BEANS 兩項威望生物聲學基準測驗中均改寫當時 SOTA。

生物聲學作為銜接生物學與生態學的重要東西，在生物多樣性維護與監測中扮演著要害人物。前期研討多依靠模板匹配等傳統信號處理手法，在雜亂天然聲學環境與大規劃數據面前，逐步露出功率低下、準確性缺乏的限制。

近年來，人工智能技能的爆發式開展推進深度學習等辦法代替傳統手法，成為生物聲學事情檢測與分類的中心東西。例如，根據大規劃帶標簽鳥類聲學數據練習的 BirdNET 模型，在鳥類聲紋辨認中體現杰出：不只能精準區別不同物種的鳴叫，還能在必定程度上完成個別辨認。此外，Perch 1.0 等模型經過持續優化迭代，在生物聲學范疇堆集了豐厚作用，為生物多樣性監測與維護供給了堅實的技能支撐。

日前，Google DeepMind 與 Google Research 聯合推出的 Perch 2.0，進一步將生物聲學研討面向新高度。相較于前代，Perch 2.0 以物種分類為中心練習使命，不只納入了更多非鳥類類群的練習數據，還選用了全新的數據增強戰略與練習方針。該模型在 BirdSET 和 BEANS 兩項威望生物聲學基準測驗中均改寫當時 SOTA，彰顯出強壯的功能潛力與寬廣的運用遠景。

相關研討作用以「Perch 2.0: The Bittern Lesson for Bioacoustics」為題，宣布預印本于 arXiv。

論文地址：https://arxiv.org/abs/2508.04665

數據集：練習數據構建與評價基準

該研討為模型練習整合了 4 個帶標簽音頻數據集——Xeno-Canto、iNaturalist、Tierstimmenarchiv 和 FSD50K，一起構成模型學習的根底數據支撐。其間，如下表所示，Xeno-Canto 與 iNaturalist 是大型公民科學庫：前者經過揭露 API 獲取，后者源自 GBIF 渠道標記為研討級的音頻，二者均包括很多鳥類及其他生物的聲學錄音；Tierstimmenarchiv 作為柏林天然歷史博物館的動物聲響檔案，相同聚集生物聲學范疇；而 FSD50K 則彌補了多種非鳥類聲響。

這四類數據共包括 14,795 個類別，其間 14,597 個為物種，其他 198 個為非物種聲響事情。豐厚的類別掩蓋既保證了對生物聲學信號的深度學習，又經過非鳥類聲響數據拓寬了模型的適用規劃。不過，因為前三個數據集選用不同的物種分類體系，研討團隊人工映射一致了類別稱號，并除掉了無法用選定頻譜圖參數標明的蝙蝠錄音，以此保證數據的一致性與適用性。

數據集摘要

考慮到不同數據源的錄音時長差異極大（從缺乏 1 秒到超越 1 小時，大都在 5–150 秒），而模型固定以 5 秒片段為輸入，研討團隊規劃了兩種窗口選取戰略：隨機窗口戰略在選中某條錄音時隨機截取 5 秒，雖或許包括方針物種未發聲的片段，帶來必定標簽噪聲，但全體處于可接受規劃；能量峰值戰略則沿襲 Perch 1.0 的思路，經過小波改換選出錄音中能量最強的 6 秒區域，再從中隨機選取 5 秒，根據「高能量區域更或許包括方針物種聲響」的假定提高樣本有用性——這一辦法與 BirdNET 等模型的檢測器規劃邏輯相通，能更精準捕捉有用聲學信號。

為進一步提高模型對雜亂聲學環境的適應才能，研討團隊選用了 mixup 的數據增強變體，經過混合多條音頻窗口生成復合信號：先從 Beta-二項散布采樣確認混合的音頻條數，再經過對稱 Dirichlet 散布采樣權重，對選中的多條信號進行加權求和并標準化增益。

與原始 mixup 不同，該辦法選用多熱方針向量而非 one-hot 向量的加權均勻，保證窗口內一切發聲（不管響度凹凸）都能被高置信度辨認；相關參數作為超參數調優，可增強模型對堆疊聲響的分辯才能，提高分類準確性。

模型評價則依托 BirdSet 與 BEANS 兩大威望基準打開。亚洲做无码视频在线观看g>BirdSet 包括來自美國本鄉、夏威夷、秘魯、哥倫比亞的 6 個全標示聲景數據集，評價時不進行微調，直接選用原型學習分類器的輸出；BEANS 包括 12 項跨類群測驗使命（觸及鳥類、陸生與海洋哺乳動物、無尾目及昆蟲），僅用其練習集練習線性與原型探針，相同不調整嵌入網絡。

Perch 2.0：一種高功能的生物聲學預練習模型

Perch 2.0 的模型架構由前端（frontend）、嵌入網絡（embedding model）和一組輸出面（output heads）一起構成，各部分協同完成從音頻信號到物種辨認的完好流程。

其間，前端擔任將原始音頻轉換為模型可處理的特征方法，其接納 32kHz 采樣的單聲道音頻，針對 5 秒長的片段（含 160,000 個采樣點），經過 20ms 窗長、10ms 跳長的處理，生成包括 500 幀、每幀 128 個 mel 頻帶的 log-mel 頻譜圖，掩蓋 60Hz 到 16kHz 的頻率規劃，為后續剖析供給根底特征。

嵌入網絡選用 EfficientNet-B3 架構——這是一款包括 1.2 億參數的卷積殘差網絡，憑仗深度可別離卷積規劃最大化參數功率。相比上一版別 Perch 運用的 7,800 萬參數 EfficientNet-B1，它的規劃更大，以匹配練習數據量的添加。

經過嵌入網絡處理后，會得到形狀為（5, 3, 1536）的空間嵌入（維度別離對應時刻、頻率和特征通道），對空間維度取均值后，可獲得 1536 維的大局嵌入，作為后續分類的中心特征。

輸出面則承擔著詳細的猜測與學習使命，包括 3 個部分：線性分類器將大局嵌入投影到 14,795 維的類別空間，經過練習促進不同物種的嵌入線性可分，提高后續適配新使命時的線性勘探作用；原型學習分類器以空間嵌入為輸入，為每個類別學習 4 個原型，取原型最大激活進行猜測，這一規劃源自生物聲學范疇的 AudioProtoPNet；來歷猜測頭是一個線性分類器，根據大局嵌入猜測音頻片段的原始錄音來歷，因為練習集包括 150 余萬條來歷錄音，它經過秩為 512 的低秩投影完成高效核算，服務于自監督來歷猜測丟失的學習。

Perch 2.0 模型體系結構

模型練習經過 3 個獨立方針完成端到端優化：

* 物種分類穿插熵針對線性分類器，選用 softmax 激活和穿插熵丟失，對方針類別賦予均勻權重；

* 自蒸餾機制中，原型學習分類器作為「teacher」，其猜測成果輔導「student」線性分類器，一起經過正交丟失最大化原型差異，且梯度不回傳至嵌入網絡；

* 來歷猜測作為自監督方針，將原始錄音視為獨立類別練習，推進模型捕捉明顯特征。

練習分兩階段：第一階段專心練習原型學習分類器（不發動自蒸餾，最多 300,000 步）；第二階段發動自蒸餾（最多 400,000 步），均運用 Adam 優化器。

超參數挑選（Hyperparameter selection）依托 Vizier 算法，第一階段查找學習率、dropout 率等，經兩輪挑選確認最優模型；第二階段添加自蒸餾丟失權重持續查找，兩種窗口采樣方法貫穿一直。

成果顯現，第一階段偏好混合 2-5 條信號，來歷猜測丟失權重 0.1-0.9；自蒸餾階段傾向小學習率、少用 mixup，賦予自蒸餾丟失 1.5-4.5 的高權重，這些參數支撐了模型功能。

Perch 2.0 的泛化才能評價：基準體現與實用價值

Perch 2.0 的評價聚集泛化才能，既調查其在鳥類聲景（與練習錄音差異明顯）、非物種辨認使命（如叫聲類型辨認）中的體現，也測驗向蝙蝠、海洋哺乳動物等非鳥類類群的搬遷才能。考慮到從業者常需處理少數或無標簽數據，評價中心原則是驗證「凍住嵌入網絡」的有用性，即經過一次性提取特征，快速適配聚類、小樣本學習等新使命。亚洲做无码视频在线观看

模型挑選階段從 3 方面驗證實用性：

* 預練習分類器功能，在全標示鳥類數據集上用 ROC-AUC 評價「開箱即用」的物種猜測才能；

* 一次樣本檢索，以余弦間隔衡量聚類與查找體現；

* 線性搬遷，模仿小樣本場景測驗適配才能。

這些使命經過幾許均值核算得分，終究 19 個子數據集的成果反映了模型實在可用性。

依托 BirdSet 與 BEANS 兩大基準，該研討的評價成果如下表所示，Perch 2.0 在多項方針上體現杰出，特別 ROC-AUC 達當時最佳，且無需微調；其隨機窗口與能量峰值窗口練習戰略功能挨近，估測因自蒸餾緩解了標簽噪聲影響。

基準測驗成果

整體而言，Perch 2.0 以監督學習為中心，與生物聲學特性密切相關。Perch 2.0的打破標明，高質量搬遷學習無需依靠超大模型，精密調優的監督模型結合數據增強與輔佐方針即可體現優異。其固定嵌入規劃（無需重復微調）降低了大規劃數據處理本錢，為靈敏建模供給或許。未來，構建貼合實踐的評價基準、使用元數據開發新使命、探究半監督學習，將是該范疇的重要方向。

生物聲學與人工智能的交匯

在生物聲學與人工智能穿插范疇，跨類群搬遷學習、自監督方針規劃、固定嵌入網絡優化等研討方向已引發全球學術界與企業界的廣泛探究。

劍橋大學團隊開發的余弦間隔虛擬對立練習（CD-VAT）技能，經過一致性正則化提高聲學嵌入的區別性，在大規劃說話者驗證使命中康復了 32.5% 的等錯誤率改善，為語音辨認中的半監督學習供給了新范式。

麻省理工學院與 CETI 協作的抹香鯨聲紋研討，經過機器學習別離出包括節奏、韻律、震顫和裝飾音的「發音字母表」，提醒其溝通體系的雜亂性遠超預期——僅東加勒比抹香鯨部族就存在至少 143 種可區別的發聲組合，其信息承載才能乃至超越人類言語的根底結構。

蘇黎世聯邦理工學院研制的光聲成像技能，經過負載氧化鐵納米顆粒的微膠囊打破聲學衍射極限，完成深層安排微血管的超分辯率成像（分辯率達 20 微米），在腦科學與腫瘤研討中展現出多參數動態監測的潛力。

一起，開源項目 BirdNET 憑仗全球 1.5 億條錄音的堆集，已成為生態監測的標桿東西，其輕量級版別 BirdNET-Lite 可在樹莓派等邊際設備上實時運轉，支撐超越 6,000 種鳥類的辨認，為生物多樣性研討供給了低本錢解決計劃。

日本 Hylable 公司在日比谷公園布置的 AI 鳥鳴辨認體系，經過多麥克風陣列與 DNN 結合，完成聲源定位與品種辨認的同步輸出，準確率達 95% 以上，其技能結構已擴展至城市綠地生態評價與無障礙設備建造范疇。

值得重視的是，谷歌 DeepMind 的 Project Zoonomia 項目正經過整合 240 種哺乳動物的基因組與聲學數據，探究跨物種聲學共性的進化機制。研討發現，犬類愉悅吠叫的諧波能量散布（3-5 次諧波能量比 0.78±0.12）與海豚交際哨聲（0.81±0.09）高度同源，這種分子生物學層面的相關不只為跨物種模型搬遷供給了根據，更啟發了“生物學啟發式AI”的全新建模途徑——將進化樹信息融入嵌入網絡練習，然后打破傳統生物聲學模型的限制性。

這些探究正在讓生物聲學與人工智能的結合變得更有溫度。當學術探究的深度遇上工業運用的廣度，那些曾藏在雨林樹冠、深海暗礁里的生命信號，正被更明晰地捕捉、解讀，終究化作維護瀕危物種的行動指南，或是城市與天然調和共生的才智計劃。

參閱鏈接：

1.https://mp.weixin.qq.com/s/ZWBg8zAQq0nSRapqDeETsQ 

2.https://mp.weixin.qq.com/s/UdGi6iSW-j_kcAaSsGW3-A 

3.https://mp.weixin.qq.com/s/57sXpOs7vRhmopPubXTSXQ 

本文來自微信大眾號“HyperAI超神經”，作者：田小幺，36氪經授權發布。