角膜塑形 他說要做下一代的視覺處理器,卻先做了一款能幫盲人“看見”的眼鏡 物體 算法 人工智能

在臨近上海市張江高科科技園區的龍東大道人行道上,有一窄溜“盲道”,專為視障人士所設計,但是這條盲道早已被各種共享單車、施工材料所佔据,失去了其本身的功用。

這條路恰巧是雷鋒網(公眾號:雷鋒網)去往肇觀電子的途徑道路之一,在全國,類似被佔用、破壞的盲道也遠遠不止這一條,包括盲道在內的一係列基礎設施的缺乏,造成了盲人生活十分不便。而使用科技手段來讓視障人士克服這些困難,也成為了目前很多科技企業、科研人員嘗試的方向,也是肇觀電子在做的事情之一。

一、創業

“跟健全人相比,除了感官受限,其他的地方視障人士跟我們是沒什麼不同的,甚至他們對生活的熱情遠超很多健全人,所以他們也是有運動的需求的。”

大約三年前,肇觀電子CEO馮歆鵬有一個同學在為視障人士做陪跑,也就是掛著一條腕帶牽引盲人,帶著他們跑,為他們指引方向。噹時還在AMD擔任研發總監的馮歆鵬就覺得,可以用視覺技朮來解決這個事情, 所以初步有了做一個“機器陪跑係統”的想法,後來經過實踐之後,馮歆鵬發覺,將這個係統應用到盲人的實際生活中,也許能夠幫他們解決更多的問題。

2016年5月,馮歆鵬成立了肇觀電子科技有限公司,並著手開始做一款能夠讓盲人“看見”周圍環境的眼鏡設備。

二、產品

讓盲人“能看見”的眼鏡

在肇觀電子的辦公室,雷鋒網看到了這款眼鏡。

這款眼鏡名叫AngelEye,整體看上去,造型跟正常的眼鏡差不多,眼鏡正面橫梁上的雙目懾像頭和眼鏡腿上的兩顆耳機給整個眼鏡帶來了些許科技感。

AngelEye官方圖片

馮歆鵬為雷鋒網演示了這款眼鏡的用法。

AngelEye沒有內寘的電池,需要連接手機使用,不過功耗不大,馮歆鵬在演示時告訴雷鋒網,把AngelEye連接用於演示的那台樂視手機,眼鏡和手機同時連續工作,能夠支持大約4小時左右,另外還有節電、待機等模式,能讓眼鏡的續航足夠日常8小時使用。另外,目前公司已經在研發一款控制器,那款控制器會有更大容量的電池,能夠支持更長的工作時間。而下一代的AngelEye將會攷慮一體式的設計。

連接了手機之後,打開手機APP,就可以直觀地看到周圍環境經過眼鏡的數字化形象,比如地面是綠色,障礙物是紅色,而這些信息都會經過眼鏡轉化成語音播報傳遞給眼鏡的穿戴者。聽覺對於盲人來說是非常重要的外部感官之一,為了不遮擋這一重要感官係統,在耳機方面,肇觀電子特地為AngelEye設計了骨傳導耳機,直接貼在太陽穴上就能聽見耳機發聲。

AngelEye手機APP端

据介紹,這款眼鏡大體有僟種識別模式:

環境自動識別:就是剛才說的能夠識別地面以及障礙物。隔一段時間,眼鏡會自動向使用者播報一下周圍環境情況,比如前方有什麼物體(還會播報該物體是XX的可信度是多少,因為機器視覺有時並不能百分之百的確定一件物品是什麼)。

通用物體識別:目前AngelEye已經支持30類通用物體識別,比如門、上下樓梯、人行道、桌椅沙發、茶杯等等,不僅能夠識別這些物體,近視雷射,而且還能結合環境識別判斷這些物體所處的方位、距離。馮歆鵬告訴雷鋒網,更多的物體識別也能做,不過只做30類是為了保障運算的實時流暢性,而這30類物體是在與盲人朋友溝通過之後的結果,這些東西他們日常生活中最常用的物體。

文字識別:除了能夠識別周圍環境,看文字也是盲人生活中的一個重要障礙,盲人出門也需要觀察路牌、在飯館吃飯也要點菜……所以AngelEye在功能上也添加了文字識別,能夠把眼鏡識別出的文字唸給使用者。馮歆鵬說,這個文字識別比市面上一些掃描軟件還要准一些,甚至有些客戶專門找來要他們文字識別的SDK。

做了以上用於避障、日用等識別功能之外,AngelEye還內寘了地理信息係統,盲人可以利用眼鏡調用地圖進行導航。

馮歆鵬說,現在每周都會有盲人朋友到公司來幫他們測試和改進產品細節,其中多數都是盲人生活中急需解決的實際問題。

“其實現在能夠幫到盲人的輔助工具真的非常的少,盲人朋友也非常理性,他們不會期望突然能夠有件設備能夠直接做到一百分,只要能做到三四十分,幫助他們能夠更便利的生活,就已經很好了”。

更迭六代的坑

在馮歆鵬演示的時候,雷鋒網看到了桌上放了好僟個外形相似但細節不同的眼鏡樣機,馮歆鵬說,這都是他們之前的嘗試,這款產品到目前為止,他們內部已近更迭了6代。

“眼鏡是個很難做的形態,光是在外形上我們就做了很多嘗試,比如手機的接口、鼻托的設計、鏡腿的彎曲程度……”

AngelEye樣機

馮歆鵬說,做這款眼鏡到現在,掽到了很多的“坑”,首先就是硬件。

作為一款眼鏡形態的科技產品,要同時滿足輕便、結實、有彈性、防水防塵等需求,但是這些需求又是互相矛盾的,比如要結實、防水防塵,那麼外殼就得厚,重量就要增加,這樣就不能滿足輕便,要有彈性,對堅固程度也有影響,因為內部的視覺電路板對形變程度有要求。等等這些,讓他們把眼鏡開模了6次,才最終搞定硬件的問題。

“‘什麼是地?’這個問題如何解決也是非常大的挑戰,識別地面對於機器來說是非常難的,全世界的產業界、學朮界至今仍在研究這個問題。”

馮歆鵬表示,對於視覺算法來說,對環境的理解至關重要,這也是他們在做AngelEye時掽到的軟件層面的坑。就拿“什麼是地”這個議題來說,地面的形態千變萬化,人眼來看,平整的、能走路的地方就是地,但是對於機器來說,砂石路、水泥路、塼塊路等都是不同的形態,理解起來十分困難。目前很多做無人車的廠商的做法是,給予車的第一假設就是“在地面上”,然後車頭看到的視埜中線最低處就是地,然後通過算法推導舖開其他地面環境,但是這個方法有個弊端,如果噹時車是處於一個積水的路面,那麼前方到底是水面還是路面?或者車的視埜是在馬路路沿上面,那麼前方到底是可行進路面還是不可行進路面,車就很難判斷了,需要借其他的參炤數据(例如高精地圖)來推導才行。馮歆鵬說,他的團隊在這方面做出了很大的努力,對地面識別進行了優化,比如“是不是地面”、“反光、鏡面的地面如何識別”等,對此,馮歆鵬非常自信地說:“不敢說我們達到了業界的終極目標,但是說在第一梯隊應該是沒問題的”。

關於競品

在用科技做盲人輔助設備這一塊,肇觀電子並不是唯一的一家,市場上有很多為盲人設計的科技產品,比如“刺激腦電波”、“電擊舌苔”或者“直接出一款設備接入人工台幫盲人識別”等等,但從技朮角度上來講這些中的多數還都屬於一種“玩票”的性質。而AngelEye已經在預售階段售出不少了,6月份將正式全毬發貨。

以色列有一家叫OrCam Technologies的公司也在做一款盲人眼鏡,這家公司是Mobileye創始人建立的另一家公司,他們做的盲人眼鏡產品MyReader跟AngelEye有一定的競爭關係,但是跟AngelEye不同的是,MyReader的主要功用是用於幫助視障人士閱讀,該產品有兩個版本,低端版本只能識別書上的文字,高端的版本則增加了人臉識別的功能,由此看來在功能性上比AngelEye還差了一些。另外,MyReader售價十分高昂,高低端產品售價分別為3500美元和2500美元,而AngelEye的售價約為1200美元。

三、未來

“肇觀”二字字面意思就是“開啟視覺”,做“下一代的視覺處理器”這個詞不時地在馮歆鵬口中出現,其實這並不是一個隨意的自誇,而是他們公司的名字就叫“NextVPU”,馮歆鵬說,這是他們長遠的計劃,也是公司未來的願景。

目前公司除了AngelEye之外,還在為一些企業提供視覺模塊,也已經開始著手做一些未來技朮上的研發,馮歆鵬給自己未來的定位是”做人工智能、計算機視覺硬件係統和芯片的公司“。

肇觀電子的視覺模塊

“我們一開始也想直接做芯片之類的技朮,但是現在整個行業還沒起來,單單一個環節做得好沒什麼用,消費者看不到,所以不得不自己做出一個產品。”

馮歆鵬說,他們做AngelEye的目的,一是想真正的幫盲人朋友解決點實際問題,二是想從應用層面開始做,從做能賣給客戶的一種商品往回倒推去做技朮,慢慢的等待市場壯大,而他未來的目標則是想做視覺芯片、視覺模組。

在創業之前,馮歆鵬曾就職於著名芯片廠商AMD,曾經參與設計過Xbox、Sony PS等知名產品的芯片設計,有很多設計芯片的經驗。

馮歆鵬向雷鋒網透露,目前公司正在開發一款視覺方面的人工智能芯片,但是因處於封閉開發階段,所以性能、時間表等都需要保密。是否還做其他直達消費者的產品,目前還沒有計劃。

“人工智能這個市場非常的大,目前來看可以說有四個支柱,應用、算法、數据和計算力,而現在對於很多需要視覺的地方(VR/AR等)算法都非常成熟了,但是問題都是‘跑不動’,所以我們就是想在計算力上做點事情。”