入行十幾年了,做了不少分布計(jì)算、并行計(jì)算、內(nèi)存計(jì)算、海量數(shù)據(jù)處理的項(xiàng)目,按照現(xiàn)在的分類,這些都屬于云計(jì)算/大數(shù)據(jù)范疇。今天說(shuō)說(shuō)我做過(guò)的其中三個(gè)項(xiàng)目,只三個(gè)。 第一個(gè)是我們接到的視頻分享網(wǎng)站的視頻轉(zhuǎn)碼的訂單,網(wǎng)站名字就不說(shuō)了,有替人宣傳嫌疑。他們情況是這樣,視頻網(wǎng)站的內(nèi)容用MP4格式在網(wǎng)頁(yè)上播放,但是上傳的格式多種多樣,我們必須把這些視頻統(tǒng)一轉(zhuǎn)換成MP4格式,視頻轉(zhuǎn)碼的工作想必大家都在自己的電腦上試過(guò),通常一個(gè)100M左右的視頻轉(zhuǎn)碼需要20分鐘以上(CPU是Pentium IV)。為了提高轉(zhuǎn)碼效率,讓用戶以接近實(shí)時(shí)得到結(jié)果,必須在收完視頻后,立即將一個(gè)視頻拆分成多個(gè)單元,分散到多臺(tái)計(jì)算機(jī)上進(jìn)行轉(zhuǎn)碼,然后回收所有轉(zhuǎn)碼視頻,按照順序再次組合成一個(gè)新視頻。我估計(jì)現(xiàn)在視頻網(wǎng)站都是這個(gè)套路。我們這個(gè)團(tuán)隊(duì)最早是做流媒體起家的,工作沒(méi)什么難度,輕車熟路,很快就完成了。只要機(jī)器足夠多,視頻差不多可以以接近實(shí)時(shí)的狀態(tài)完成轉(zhuǎn)碼。后來(lái)又再一次改進(jìn),從用戶上傳視頻開(kāi)始立即進(jìn)行轉(zhuǎn)碼,收到一段轉(zhuǎn)一段,用戶的視頻上傳完畢,我們的轉(zhuǎn)碼工作也完成,用戶可以馬上看到自己上傳的轉(zhuǎn)碼后視頻,基本上是零延時(shí),并且穩(wěn)定性、效率都高于對(duì)方提出的要求。做完這個(gè),合作方老板很滿意,接著又給了一個(gè)CDN的項(xiàng)目。現(xiàn)在我們?nèi)员3种献鞯年P(guān)系。
第二個(gè)有點(diǎn)玄乎,項(xiàng)目可以寫一篇論文,題目是《關(guān)于空中移動(dòng)目標(biāo)運(yùn)行軌跡和落點(diǎn)的問(wèn)題》。這個(gè)項(xiàng)目是XXX發(fā)下來(lái)的,實(shí)質(zhì)就是炮彈打×××,大概是想看看能不能打著,論證技術(shù)可行性。當(dāng)時(shí)人還在某單位,因?yàn)檠芯款I(lǐng)域和空氣動(dòng)力學(xué)毫不相關(guān),所以這方面的知識(shí)基本屬于文盲,知道的也就是那么幾個(gè)有限的名詞和數(shù)學(xué)公式,但是這正好符合XXX的要求,不需要我們懂這些高深的理論,他們派人和我們合作這個(gè)項(xiàng)目。我們的工作就是把很多傳感器(他們沒(méi)明說(shuō),但是地球人都明白這東西應(yīng)該是雷達(dá))接收的數(shù)據(jù),包括當(dāng)前多少公里范圍內(nèi)的空氣的風(fēng)速、風(fēng)向、地表的曲面率,還有其它一些指標(biāo)在收集后(這些瞬間產(chǎn)生的三維數(shù)據(jù)的數(shù)據(jù)量非常大),分散到一大堆計(jì)算機(jī)上去執(zhí)行(測(cè)試時(shí)準(zhǔn)備了100個(gè)節(jié)點(diǎn)),并且要很快計(jì)算出結(jié)果(必須比空中運(yùn)動(dòng)的目標(biāo)快)。這其實(shí)和現(xiàn)在的SPARK、STORM做的工作很象,要依賴大內(nèi)存、高性能CPU、和高速網(wǎng)絡(luò),跳過(guò)硬盤這個(gè)瓶頸,才能得以實(shí)現(xiàn)快速計(jì)算。這個(gè)項(xiàng)目花了很長(zhǎng)時(shí)間,主要是與合作方的溝通改進(jìn),然后是再溝通再改進(jìn),循環(huán)往復(fù),周而復(fù)始。后來(lái)終于完成了,據(jù)說(shuō)做了試驗(yàn),可行性很高,上面領(lǐng)導(dǎo)很滿意,還擺了慶功酒。反正我沒(méi)見(jiàn)著也沒(méi)喝著。其實(shí)他們?cè)趺从?jì)算的,我到最后也沒(méi)有搞明白,問(wèn)過(guò)一次,說(shuō)是秘密。
第三個(gè)和兩桶油的頁(yè)巖氣有關(guān)。當(dāng)前的背景是在四川涪陵(這個(gè)地方還產(chǎn)榨菜)發(fā)現(xiàn)了大面積的天然氣,按照自然規(guī)律,油氣是共生的,所以兩桶油想通過(guò)采集頁(yè)巖樣本,分析這個(gè)地區(qū)地下有沒(méi)有石油資源,如果有,是不是具有開(kāi)采價(jià)值。這套程序原本已經(jīng)是有的,艾克森.美孚石油公司開(kāi)發(fā)的,跑在CARY-1向量機(jī)上。那套機(jī)器是上世紀(jì)七八十年代的超級(jí)計(jì)算機(jī),在當(dāng)時(shí)已經(jīng)不能滿足需要,屬于進(jìn)博物館之列。有些數(shù)據(jù)分析理論已經(jīng)過(guò)時(shí),需要調(diào)整。兩桶油最不滿意的還是速度太慢,計(jì)算一次要幾小時(shí)幾天才能出結(jié)果。這一次又是合作,兩桶油出熟悉采油的技術(shù)專家,我們出并行計(jì)算的碼農(nóng),前前后后合作弄了大半年,算是完成了。這次我們用了新的并行算法,效率提高了一大截。和上次炮彈打×××一樣,整個(gè)項(xiàng)目靜悄悄開(kāi)始,靜悄悄結(jié)束,后面怎么樣就不知道了。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無(wú)理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
當(dāng)前文章:說(shuō)說(shuō)這些年做的云計(jì)算和大數(shù)據(jù)項(xiàng)目-創(chuàng)新互聯(lián)
本文鏈接:http://www.yijiale78.com/article18/ceesgp.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供建站公司、外貿(mào)網(wǎng)站建設(shè)、商城網(wǎng)站、App開(kāi)發(fā)、網(wǎng)站建設(shè)、關(guān)鍵詞優(yōu)化
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容