日前,江蘇衛(wèi)視《一站到底》播出了一期人機對戰(zhàn)節(jié)目,比賽雙方是一位美女學霸和搭載搜狗立知問答系統(tǒng)的人工智能汪仔,這是搜狗專門斥資4000萬打造的答題機器狗,同時,這也是《一站到底》開播來首次加入機器人答題。但是在PK結束后,部分《一站到底》節(jié)目的老粉絲注意到,本次人機對決中被問到的大都是曾經用過的老問題,節(jié)目“死忠粉”提出質疑:搜狗立知問答系統(tǒng)可能只是錄入了《一站到底》老問題的合集,而汪仔似乎也不具備宣傳中的語義解析和判斷推理能力。對此,有網(wǎng)友調侃:“斥資4000萬造了個背題的word狗,厲害了!”
據(jù)一位知乎網(wǎng)友統(tǒng)計分析,汪仔回答老問題是百發(fā)百中。相反,汪仔答錯或者回答速度輸給人類的,都是之前節(jié)目中沒有出現(xiàn)過的新問題。因此,這位網(wǎng)友懷疑汪仔采用的搜狗立知問答系統(tǒng)提前將《一站到底》出現(xiàn)過的題目輸了進去,比賽中汪仔只需要用關鍵詞做數(shù)據(jù)庫搜索匹配就能夠知曉答案。而這項工作通過搜索引擎就能完成,并不需要人工能技術。
不過,網(wǎng)友們也考慮到了另外一種可能,就是這些老問題不是搜狗主動輸入的,而是搜狗立知問答系統(tǒng)自動在網(wǎng)絡中抓取、提煉、輸出的。搜狗的人工智能是否可以完成如此復雜的運算?網(wǎng)友選取了部分《一站到底》出現(xiàn)過的老問題,在同樣嵌入了搜狗立知問答系統(tǒng)的搜狗搜狗搜索APP中進行了測試。
測試結果令人大跌眼鏡,網(wǎng)友發(fā)現(xiàn)只要改變這些老問題的提問方式、或是將問題與答案調換次序,搜狗立知問答系統(tǒng)就不能給出答案。例如,通過搜狗搜索《一站到底》使用過的問題“在‘小虎隊’成員中,吳奇隆被稱為什么虎?”,在搜索結果頁面會顯示搜狗立知給出的答案“霹靂虎”。但是,如果將“吳奇隆”替換為“蘇有朋”或“陳志朋”,提問“在‘小虎隊’成員中,蘇有朋/陳志朋被稱為什么虎?” 在搜索結果頁面就不會出現(xiàn)搜狗立知的答案。
(網(wǎng)友改變提問方式后不會出現(xiàn)搜狗立知的答案)
針對網(wǎng)友的質疑,王小川曾在知乎做過簡短的辯白,稱:“一個case想說明什么呢?好些不在題庫里的也有答案呀”,試圖通過反問的方式堵住用戶的嘴。
(王小川試圖通過反問的方式堵住用戶的嘴)
王小川可能不會想到,有網(wǎng)友較起了這個真,采用生活中的問題對搜狗立知問答系統(tǒng)進行了測試。例如,當輸入問題“劉燁的孩子叫什么”時,搜狗立知給出了正確答案。而將問題變?yōu)?ldquo;劉燁的兒子叫什么”后,不但不見搜狗立知的蹤影,而且連搜狗知識給出排在最靠前端的最佳答案也是錯的。這說明搜狗立知的數(shù)據(jù)來源可能比《一站到底》題庫的范圍廣,但本質上仍是數(shù)據(jù)庫,與其宣傳的“基于人工智能技術”實在是不沾邊。
(網(wǎng)友采用生活中的問題對搜狗立知進行測試)
值得注意的是,這已經不是搜狗第一次在人工智能上涉嫌造假。去年烏鎮(zhèn)互聯(lián)網(wǎng)世界大會,王小川曾秀過一把機器同傳技術,并喊出“人工同傳可能會失業(yè)”的口號,但時至今日搜狗都不敢開放相關測試,體驗過機器同傳技術的還只王小川一人,被業(yè)內人士笑稱是“畫餅文化”、“Demo人工智能”。如今,類似的鬧劇又被搜狗搬上電視機,一條“應試教育”下的好汪仔橫空出世。從側面反映出,搜狗的科研實力尚不足撐起他挺近人工智能第一梯隊的野心。
王小川曾在公開場合表示,中國互聯(lián)網(wǎng)公司實現(xiàn)企業(yè)層面的突破非常困難,原因是文化浮躁,基礎科研能力不足。結合這一論調來看,在搜狗疑似做出偽人工智能的事上,王小川是打了自己的臉。搜狗一向標榜自己為技術公司,卻一而再再而三的將技術當成作秀的手段,恐怕終究會與人工智能漸行漸遠。