首頁熱門文章
我們能否為超級智能人工智能的風險做好準備?
發布時間：2018-09-21 分類：交通百科
風險原則： 人工智能系統帶來的風險，特別是災難性或存在風險，必須受到與其預期影響相稱的規劃和減緩努力。
我們不知道人工智能的未來會是什么樣子，雖然有些人可能會做出有根據的猜測，但未來還不清楚。人工智能可以像所有其他技術一樣繼續發展，幫助我們從一個時代過渡到一個新時代。大部分人工智能研究人員希望它可以幫助我們轉變為一個更健康，更智能，更和平的社會。但重要的是要記住ai人工智能只是一種工具，因此，本質上不是好的或壞的，與任何其他技術或工具一樣，可能會產生意想不到的后果。
值得關注的是，隨著技術的進步，它可以影響更多的人。揮動不好的錘子很可能只會傷害持釘子的人，車禍可能會傷害乘客和駕駛員以及行人，飛機失事可以殺死數百人?，F在，自動化威脅著數以百萬計的就業機會，雖然大概沒有生命會因為直接的結果而喪失，但大規模失業會帶來毀滅性的后果。
工作自動化只是一個開始，當人工智能變得非常普遍且非常強大時，將其與人類利益相結合將是一項挑戰。如果我們失敗了，人工智能可能會成為威脅人類存在的風險。鑒于人們期望先進的人工智能將遠遠超過迄今為止所見的任何技術，甚至可能超越人類的智慧，我們如何預測并為人類面臨的風險做好準備?
非零概率
考慮高級人工智能風險的一個重要方面是認識到風險存在，應該加以考慮。即使存在風險的可能性很小，一旦成倍增加就會產生影響。沒有比避免滅絕人類更重要的了。直接風險是代理商產生不必要的，令人驚訝的行為，即使我們計劃好好使用人工智能，事情也可能出錯，正是因為我們不善于為人工智能代理商指定目標和約束，他們的解決方案往往不是我們想到的。
考慮其他風險
我們應該忽視任何技術的風險而不采取預防措施嗎?當然不是，解決人工智能的長期風險，應采取更為細致入微的方法。但這確實讓我感到不安，因為再次隱含的前提是人工智能系統極有可能造成存在風險。
我們希望更多的討論是可解釋的機器學習，由于機器學習幾乎是每個人工智能成功案例的核心，因此能夠理解機器學到的東西對我們來說非常重要。當然，對于深度神經網絡，很難理解他們學到了什么。我認為開發技術對我們來說非常重要，因此機器可以解釋他們學到了什么，這樣人類就可以驗證這種理解。......當然，在我們可以信任AGI之前我們需要解釋，但是在我們實現一般情報之前很久就需要解釋，因為我們部署了更多有限的智能系統。例如，如果醫學專家系統推薦治療，我們希望能夠問“為什么?”
愚蠢地部署的狹窄人工智能系統可能是災難性的，我認為直接風險不是系統智能的函數，而是系統自治的功能，特別是其效應器的功效和對其行為的約束類型。
開放給解釋
原則聽起來很棒，但你需要解決它。例如，可能存在這種災難性風險會影響世界上的每個人，它可能是人工智能或小行星或其他東西，但它會影響每個人。但是概率很小，比如說0.000001%?，F在，如果您進行預期的效用計算，這些大數字將每次都破壞公式?？赡艽嬖谝恍┱嬲秊碾y性的人工智能風險，但如果進行預期的效用計算，則可能會被數字誤導。
科學家認為我們如何定義相稱的比較重要，我們在看概率嗎?我們在看損害程度嗎?或者我們正在考慮預期效用?您對風險的不同看法可能會為您指出不同的結論。我們可以想象來自人工智能或機器人或基因工程的各種災難性風險，但如果可能性很小，并且您仍然希望堅持這個預期的實用程序框架，那么這些大數字可能會破壞數學。并不總是清楚正確的方法是考慮風險和對風險做出適當的反應。
但這個原則似乎太模糊了，也許我最關心的是它遺漏了易處理性的問題：我們對風險的關注實際上不應該與風險的預期影響成正比;它應該與注意力的預期有用性成比例。在某些情況下，我們應該更多地關注較小的風險而不是較大的風險，因為較大的風險并不是我們可以取得很大進展的事實。(還有兩個單獨的和額外的主張，即'我們也應該盡可能避免采取具有明顯存在風險的行動'和'用于設計跨域領域超人能力的人工智能系統的許多方法(包括默認方法)學習，推理和規劃會帶來明顯的存在風險。
如果處理不當，開發具有同等人或更高能力的機器來學習和規劃許多不同的現實領域，會帶來巨大的全球事故風險。因此，開發這項技術的任務需要特別小心，我們應該盡我們所能來確保人工智能研究界的各個部門之間的關系是穩定的，協作的和高度信任的，這樣研究人員就不會感到有壓力在安全和保障工作上匆忙或偷工減料。
