3月11日，由中國科學院自動化研究所和中國科學院香港創(chuàng)新院人工智能與機器人創(chuàng)新中心聯(lián)合研發(fā)的醫(yī)療垂直領域的AI多模態(tài)大模型——CARES Copilot 1.0在香港科學園正式發(fā)布，現已面向香港神經外科醫(yī)生開放使用。

中國科學院香港創(chuàng)新研究院人工智能與機器人創(chuàng)新中心執(zhí)行主任、中國科學院自動化研究所研究員劉宏斌介紹，CARES Copilot 1.0實現了對圖像、文本、語音、視頻、MRI、CT、超聲等多模態(tài)手術數據的深入理解，能夠準確識別和解析如動作、影像和生命體征等多種醫(yī)療信息。CARES Copilot 1.0結合了大模型的廣泛知識和小模型的專業(yè)精準，可以進行高級的圖像和視頻語義提取，同時利用語言模型進行深層次理解，在醫(yī)學多場景多任務的理解與處理方面取得了顯著進展，可支持手術階段識別、器械與解剖結構分割、器械檢測與計數、MRI高分辨率圖像生成等一系列功能。在實際應用中，CARES Copilot 1.0不僅可為臨床醫(yī)生提供手術階段的詳細分析報告，還能進行手術風險與質量評估，從而提高醫(yī)療服務水平。

此外，CARES Copilot 1.0擁有長達100K上下文窗口的理解與高效分析能力，能夠處理超過3000頁的復雜手術教材，對于年輕醫(yī)生的培訓和教學具有極高的實用性。通過深度檢索功能，Copilot 1.0能夠快速精確地提取手術教材、專家指南、醫(yī)學論文等專業(yè)文檔信息，確保所提供答案的高度可信度和可追溯性。經過測試，該大模型能在一兩秒內快速檢索百萬級數據，準確率高達95%。

香港中文大學外科學系神經外科組主任、名譽臨床副教授陳達明醫(yī)生，北京協(xié)和醫(yī)院神經外科主任醫(yī)師馮銘教授，首都醫(yī)科大學附屬北京同仁醫(yī)院神經外科主任康軍教授出席發(fā)布會。會上，陳達明醫(yī)生與馮銘教授共同現場演示了CARES Copilot 1.0，全面展示了其功能和實際應用價值。

目前，CARES Copilot 1.0已在多家醫(yī)院的不同科室進行了實地測試和優(yōu)化，充分驗證了其作為手術智能輔助工具全面、先進、可靠的基礎功能和關鍵技術，下一步將持續(xù)推動醫(yī)療智能化的實現，為智能健康產業(yè)的進步提供強有力的技術支持。

中國科學院香港創(chuàng)新研究院是中國科學院在港設立的首個國家級新型研發(fā)機構。2019年在港正式注冊，下設兩個創(chuàng)新中心。其中，人工智能與機器人創(chuàng)新中心依托中國科學院自動化研究所建設，圍繞新一代人工智能基礎理論、面向健康的智能技術、新型人機交互技術與設備、人工智能開放平臺技術等開展國際前沿研究工作。

圖1. 劉宏斌研究員介紹CARES Copilot 1.0

圖2. CARES Copilot 1.0系統(tǒng)界面

圖3. CARES Copilot 1.0在醫(yī)院實地應用

圖4. 馮銘教授、康軍教授、劉宏斌研究員及陳達明醫(yī)生（從左至右）合影