熱門文章
不可復制性與人工智能汽車
發布時間:2018-08-13 分類:交通百科
科學最重要的原則之一是再現性原則,當一個科學結果被報道出來時,我們怎么知道它是可概括,而不僅僅是偶然或者一時的僥幸,甚至可能僅僅是執行科學過程中所犯錯誤的結果?如果有可能再現科學,我們就能對結果有更大的信心??稍佻F性由幾個因素組成,其中可能最重要的是,當復制時所做的努力將獨立地獲得相同或類似的結果。
假設我聲稱發明了一臺永動機,并且在我的實驗室里演示了它,但這結果只有我自己或者一些實驗室助理知道,我會想要告訴世界這個驚人的突破。世界上的其他人可能會非常高興,因為他們終于發明了一臺永久運動的機器,想看它會怎樣改變世界。其他試圖設計永動機的人也很興奮,但也有些質疑,因為他們自己無法實現同樣的結果。自然,他們會想知道這臺永動機是如何工作的,他們也想嘗試在自己的實驗室里復制它。
然后我可能會在我自己的實驗室里重現這一成果,然后我會說這是真的,它確實有效,但是,你相信它真的起作用了嗎?請注意,重現性不是獨立進行的,相反,同一名研究人員或開發人員只是聲稱他們能夠再現結果。他們的態度可能是非常真誠的,他們相信他們復制的結果,但是世界上的其他人還不知道這到底是不是真的,或者說又是一次的不幸錯誤,或者是試圖欺騙世界,讓它相信一些根本不真實的事情,下面就給分享一個案例。
冷聚變的事例
冷聚變就是現在最經典的案例,相信現在那些80年代末的人,或者研究過科學史的人,可能知道,1989年猶他大學有兩位化學家聲稱他們能夠產生冷核聚變?;瘜W家斯坦利·龐斯(StanleyPons)和馬丁·弗萊施曼(MartinFlischmann)說,他們產生了過多的熱量,這些熱量就是核反應的結果,這是一種微小的核反應。所使用的設備相對便宜,易于組裝,幾乎可以在自己的后院做什么。它成為當年最大的新聞事件之一,并被認為是一個令人難以置信的突破。
有人試過復制冷聚變嗎?
世界各地的科學家們開始變得忙碌,想要看他們是否也能實現冷聚變。一些人這樣做是為了證明猶他州的科學家是正確的,并且為這一發現提供有力的證據。其他人這樣做是為了反駁猶他州的說法,并確保世界不會被誤導。有些人這樣做只是出于好奇它是如何工作的,以及它可能會給我們帶來什么。
不幸的是,關于猶他州的科學家們是如何取得這一結果的,很多細節都是保密的,因此很難嘗試和復制。越來越多的人說它不能被復制,而那些說他們能夠復制它的少數幾個人后來被問題困擾,并且后來在原著中也發現了各種錯誤的來源,這使冷聚變更加黯然失色。當表明由于所謂的冷聚變沒有檢測到任何核反應副產物時,就發生了真正的致命一擊(如果冷聚變像聲稱的那樣起作用的話,副產物就應該出現了)。
因為還沒有人真正地復制冷聚變本身,所以它現在被一些人認為是未經證實的、不可靠的、臭名昭著的科學作品。
也許這種冷聚變是一種畸變,我們不應該把注意力集中在一個涉及科學重現性的孤立事件上。在這種情況下,你可以參考2015年著名雜志“科學”(Science)上的一篇文章,這篇文章提供了一項由獨立科學家進行的研究,這些科學家試圖復制心理學領域100項最著名研究的成果。根據他們的獨立研究,他們只能成功地復制約39%的研究成果,有各種類似的研究,試圖復制其他知名和公認的科學研究,但無法完全這樣做。
請不要因為出現這樣的結果就把所有能夠復制的研究當做假的,你必須重新審視這種心態,因為它在這里沒有任何意義。有很多的科學是完全真實的,而其中有些是能夠被復制的,有些是沒有被復制的,對于沒有被復制的部分,你不能得出結論它是無效的,你只能說那是你沒有能力復制的。
這也可能產生誤導,因為通常情況下,同一種研究并沒有被具體地復制出來,而是有其他的研究建立在原始研究的結果之上。因此,您可以斷言,如果這些擴展是基于原始無效的核心,那么超出原始研究范圍的擴展應該是無效的。如果擴展研究是有效的并且被復制,你可以斷言原來的核心是有效的。
為什么不是每一項科學工作都具有可重復性?
這是一個簡單的答案,沒有太多的動機去做重復性研究。作為一名科學家,衡量你的標準通常是你創造了多少新科學,把你的時間花在簡單地復制別人的工作上不會給你帶來多少好處。如果你展示的原創作品是有效的,然而你并沒有開拓新的領域,只是增加了原來的作品是新穎和健全的信息。而一旦你展示的原來的作品是無效的,很有可能你會立即受到原來的研究人員和其他人的攻擊,他們相信原始的努力是合理的,除非其他人加入你的工作無效性質的潮流,否則你很可能是科學界的棄兒。
像冷聚變這樣的情況是不尋常的,因為任何令人難以置信的突破都會立即引起強大力量的注意,無論是支持力量還是反對力量。沒有什么比這更讓人不安和激勵的了,如果你的科學生涯中大部分時間都在試圖制造一臺永動機,但沒有成功,然后有人聲稱他們這么做了,你就會把全部精力投入到想要證明他們是錯的上面,因為你辛苦了四十年沒做到,他們卻能做到,所以你認為他們的說法一定是假的。也許你會因為證明它是錯誤的而聲名狼藉,或者你證明的他的錯誤,讓那些說你浪費了40年時間的人閉嘴。
這種可重復性如何適用于人工智能汽車?
在控制論自動駕駛汽車研究所,我們敦促汽車制造商和科技公司盡最大努力提供他們正在進行的人工智能汽車的努力,特別是敦促學術研究人員和商業研究機構公布他們的努力的細節,以便可以全面地進行某種形式的再現性。
在這個節骨眼上,AI自動駕駛汽車領域幾乎沒有可再現性發生。大多數人工智能開發人員在自動駕駛汽車中的工作要么被認為是專有的,而且沒有公開披露,要么就是工作太忙,以至于他們沒有時間“浪費”在做可再現性上。
對于汽車制造商和科技公司來說,是否展示其人工智能系統的內部結構是一個艱難的決定。這些公司中的每一家都在花費數百萬美元開發人工智能汽車的能力,他們為什么要把它交給任何想要它的人呢?他們所做的事情的所有權性質為他們的公司創造了巨大的價值,他們理應能夠從他們所做的巨大投資中尋求回報。
我這么說是因為有一些人工智能開發人員在譴責這些公司的隱秘性質。但是,誰又能責怪那些作出如此巨大投資的公司呢?可以說,這是一場看誰先登上月球的競賽,而這些私人實體正在押注農場能到達月球。對他們來說,簡單地分發他們的秘密調料是不合邏輯的,人工智能汽車領域的知識產權是王道。
另一方面,我們的論點是,如果他們各自獨立地發展各自的人工智能汽車能力,如果沒有一些方法讓其他人獨立驗證他們在做什么,我們怎么能滿足于這些自動駕駛汽車將在我們的公共道路上做的事情是安全的呢?
有些人認為,為了讓這些人工智能汽車進入公共道路,汽車制造商和科技公司應該被迫打開和服。如果他們想要我們的道路進行測試,他們需要分享他們所擁有的。否則,就離開了我們的道路。相反的觀點是,如果汽車制造商和科技公司只需要使用私人試驗場,甚至是政府資助的試驗場,我們可能永遠看不到真正的自動駕駛汽車。自動駕駛汽車在提供場地上所能獲得的自動駕駛汽車經驗,被認為是日常駕駛現實世界中所能獲得經驗的一小部分。這是典型的瘋狂的欲望,新的創新,正在權衡的成本,以達到這一目標。
學術研究可再現性
甚至學術的人工智能研究人員也被指責對他們的研究成果透露得不夠及時,對于機器學習的許多研究和神經網絡的使用,經常有人聲稱在能夠進行視覺識別或語音識別等方面取得了令人難以置信的突破,然而實際的神經網絡卻沒有提供給其他任何人來嘗試和獨立驗證。我們是否要從表面上看研究人員所報告的一切?
有時,研究人員會指出,他們的研究成果發表在同行評審期刊上。這些研究人員隨后斷言,這樣做表明,他們的工作必須是有效的。還沒那么快。對于大多數同行評審來說,同行并不是在試圖真實地再現他們正在評審的研究結果。相反,同行評審員應該檢查這項研究,并試圖根據研究人員提供的資料來確定研究結果是否合理和有效。同行評審員是該領域的專家,他們擁有大量的知識,可以幫助判斷研究的性質和結果是否可信。但是,在同意是否接受該研究發表之前,他們幾乎從來沒有做過真正的重復性研究。
有研究表明,同行評審并不一定像人們想象或希望的那樣嚴格,同行評議者往往存在固有的偏見。假設普遍的看法是世界是平的。假設你是地球平坦領域的專家。你會得到一項研究,進一步支持世界是平的,你拒絕的幾率很低。假設你得到一份研究報告,說地球是圓的。你可能會拒絕它,因為斷言作者顯然沒有意識到接受地球是平的。然后就這樣了。我并不是說所有同行評審員都應該用同樣的筆刷來描繪,我想強調的是,許多同行評審員做得很出色,并且在他們這樣做的時候盡量保持公正。
對“同行審評”主體的研究也往往表明,同行審查員往往不是不擅長分析科學研究中發現的統計數據,就是不花時間評估所使用的統計數據。這意味著,一項科學研究可以免費獲得他們如何做統計的通行證,這也可能意味著結果在統計上沒有顯著性,因此可以被認為是有問題的,甚至可能是無效的。事實上,有一個名為Statcheck的程序是由蒂爾堡大學制作的,該程序旨在分析科學研究中使用的統計數據,然后能夠在如何使用這些統計數據時發現潛在的錯誤,這引起了爭議,包括有時評估結果被公布在網上,卻不允許原始作者反駁正在發布的內容。
對于人工智能汽車,有一些初步的努力,以走開放源代碼的路線與人工智能系統組件,包括張貼源代碼和神經網絡模型正在使用。一般來說,這些并不是全部的努力,而且通常更多的是對正在發生的事情的縮減版本。同樣,你也很難責怪汽車制造商和科技公司不想走人工智能汽車的開源之路。