日前，工信部等十部門聯合印發了《人工智能科技倫理審查與服務辦法（試行）》（下稱《倫理辦法》）。這是我國統籌人工智能發展與安全、創新與責任、效率與公平的重大制度安排，為人工智能技術向善、智能產業高質量發展提供了明確的科技倫理規范。

《倫理辦法》明確，開展人工智能科技活動應將科技倫理要求貫穿全過程，遵循增進人類福祉、尊重生命權利、尊重知識產權、堅持公平公正、合理控制風險、保持公開透明、確保可控可信、強化責任擔當的人工智能科技倫理原則。

人工智能迅猛發展，新應用場景層出不窮。但人工智能狂飆突進的同時也伴生著突出的倫理風險，引起公眾的擔憂。

比如：算法黑箱與算法歧視加劇社會不公；深度合成、內容操縱等技術沖擊輿論生態；數據濫用與隱私侵害直接侵犯公民人格尊嚴；高度自主決策系統模糊責任邊界、挑戰人類主體地位；部分人機融合技術更直接觸及生命健康與人格尊嚴的核心底線。亂象的背后是一些人工智能的研發和應用并不具有科學價值和社會價值，而是單純出于追逐利益的需要。

《倫理辦法》在規定了人工智能科技倫理審查一般程序和簡易程序的同時，也規定了專家復核程序。其中一般程序和簡易程序由本單位或者委托其他單位進行，專家復核程序需要根據工信部、科技部會同有關部門制定發布的“需要開展科技倫理專家復核的人工智能科技活動”清單進行更嚴格的審查。很顯然，被列入清單的風險性更高，公眾關注率也更高。

《倫理辦法》附件中列出了三個領域需要開展科技倫理專家復核，這些領域既是開展人工智能領域科技倫理審查的重點，也是防范人工智能科技倫理缺失的關鍵所在，更是公眾關注所在。

首先是要對有關人類主觀行為、心理情緒和生命健康等具有較強影響的人機融合系統的研發進行嚴格復核。

專家認為，腦機接口、情感計算、神經調控、增強認知等人機融合技術，直接作用于人的感知、情緒、認知乃至生命機能，一旦發展失序，可能導致人格異化、自主意識被干預、生命健康受損等嚴重后果。人工智能發展本質上是要堅守“人是目的而非工具”的根本倫理立場，確保技術始終服務于人，而非顛覆人的主體地位。

在搜索引擎中輸入“腦機接口”“情緒控制”兩個關鍵詞就會出現很多“應用指南”。這項技術成熟與否暫且不說，但人的情緒一旦受到機器的控制后果是無法預料的，雖言“向善”但未必不產生“惡果”。這是人工智能科技倫理中必須重視的方面。

其次是要對具有輿論社會動員能力和社會意識引導能力的算法模型、應用程序及系統的研發進行嚴格復核。

這是要防范“算法權力”帶來的公共風險。如果算法被特定設置，就很容易被用于制造信息繭房、放大社會對立、操縱公共輿論。因為，生成式人工智能、算法推薦、深度合成、輿情引導系統等已具備強大的信息分發、觀點塑造、情緒煽動能力。現在經常提到的“水軍”，背后就可以清晰看到“算法權力”的嚴重危害。

其三是要對具有高度自主能力的自動化決策系統研發進行嚴格復核。

比如，在交通、醫療、工業、應急、公共管理等涉及人身安全與重大公共利益的場景中，高度自主決策系統一旦出現算法偏見、邏輯漏洞或失控運行，可能直接造成人身傷亡、重大財產損失與系統性風險。這些領域不是人工智能發展的“試驗田”，沒有千百次的驗證絕不可以進行場景應用，因為這關系到不特定群體的生命財產安全，也就是公共安全。

總之，當前全球在人工智能技術領域競爭的同時，也在步入防范人工智能負面效應制度建設的關鍵期。《倫理辦法》填補了我國人工智能領域專門性倫理審查制度的空白，更在三個關鍵領域劃定了“紅線”。既然是“紅線”，就不可觸碰，否則就要受到嚴厲處罰。這也是將來法規建設的重要方向。