系統模塊組成

主要的功能模塊

1、VAG 接入服務

2、IVS  智能分析服務

3、CMS 中央管理服務

4、SDK 服務端

5、流媒體服務

6、Web 管理客戶端

產品特色

支持全面多模態情緒感知算法

5種情緒特征全采集(面部微表情，面部微動作，眼動視線，心率，身體姿態)，8種主要表情，22種特定表情微動作識別。根據在公安刑偵領域實戰經驗，眼動視線以及心率檢測對于發現可疑人員的異常情緒有重大效果，也是本產品在多模態異常情緒分析融合算法方面的重大突破。參見下圖。

配置設備信息: 配置接入的視頻通道信息以及接入授權；

實時視頻接入/離線文件導入: 從音視頻采集設備接入引流智多模態情緒分析平臺；

算法并行分析計算: 對視頻流進行特征提取，并推送給算法模型利用高性能算力進行多路并行分析；

超過告警閾值進行實時報警: 當算法計算結果和告警配置進行比對，一旦觸發告警，則通過系統實時消息總線進行通知；

記錄報警信息(快照，時間，可疑值，狀態等)用于查詢和統計分析；

實時推送告警信息給訂閱該消息的用戶，包括系統通知，短信等，告警時的快照以及相關視頻存儲至系統存儲系統；

研判系統用戶按照權限查看導出系統報表。

平臺介紹

1.基礎管理平臺

登錄功能、預覽模式、審訊模式、被詢問人實時狀態顯示，告警提示，數據波形圖、告警回溯、歷史回放記錄、審訊記錄管理、人員管理、后臺控制管理等。

2.測謊問題庫系統

測謊問題庫定制，可針對用戶場景，結合訊問專家與一線的研究與積累，針對青島地區場景進行定制；

3.實時識別系統：

審訊過程異常情況智能識別，抓拍、錄像及告警。在審訊過程中，通過識別人臉的分類和微表情，對其進行圖標數據和告警數據顯示，數據計算達到每秒15幀，心率識別算法輸出響應時間0.07s。

4.面部表情分析系統

通過攝像頭識別人臉，建立檔案進行匹配。通過深度學習的方式進行人臉圖像分類和微表情的識別。支持一路視頻的8種微情緒分析（自然狀態、高興、悲傷、憤怒、驚訝、害怕、厭惡、輕蔑）。提取人臉68個特征點，利用深度卷積網絡進行微表情識別。

5.心率分析系統

通過攝像頭識別面部表情計算出心率信息。通過采集到的紅、綠、藍三色通道的亮度變化包含動脈信息，將其進行計算處理后獲得輸入信號，對其信號進行計算分析得出心率。分析時間每秒15幀，心率識別算法輸出響應時間0.07s。

6.聲強分析系統

通過聲強數據提取韻律性特征來識別語音中的情感。利用聲強、短期能量、基頻、聲強導數、短期能量導數、基頻導數等23個特征值進行計算。

7.實時告警系統

實時顯示當前的告警情況，包括告警指標、告警快照、視頻信息、音頻信息、問題自動切分音頻系統。

8.歷史回溯系統

審訊人可回看告警信息和告警視頻，用于回放查看。審訊記錄的歷史回溯，包括媒體信息、告警信息、智能數據明細信息、筆錄等。

9.審計報表統計系統

基于智能算法對審訊過程生成評估報告，包含問詢概況、問詢信息、告警統計、總結。支持定制化報告模板，在線筆錄編輯及導出功能，支持在線打印輸出。

10.角色權限管理功能

本系統提供完善的權限管理功能，可通過角色和用戶兩種方式編輯權限功能，支持創建系統角色，并為角色分配權限。超級管理員為不同的用戶創建賬號并分配角色，使不同的用戶根據權限的不同分配不同的權限，每個用戶或角色擁有基礎的看、增、刪、改功能，可根據模塊或角色的需要增加、編輯其他權限。

11.人員管理功能

可對被測人的個人信息進行編輯功能，擁有新增、編輯、刪除功能。

12.模板定制化功能

結論報告模板定制，可針對用戶審訊要求定制結論報告模板。

13.案件信息定制化功能

案件信息可根據詢問場景和內容設定，實際錄入本次案件的信息。

14.專家評判功能

即按照一定的專家評判規則對生理指標進行綜合評估后輸出被檢測對象的心理緊張程度。并以圖像或者數據的方式顯示其分析評判結果。

15.數據存儲功能

在實際詢問的場景中，及時保存、歷史回溯的要求越來越高，需確保數據能夠在任何狀態下連續運轉。自動存儲就是在業務連續運轉的前提下自動存儲整合信息，以保護信息不丟失，同時管理復雜的信息，降低成本。本系統在系統數據存儲方面支持高壓縮比，在保證視頻質量的情況下可存儲更多視頻。

16.日志功能

系統自動記錄所有操作記錄，用于安全審核查看。