手機版
            當前位置: 百鳴 > 電腦網絡

            大數據

            網站地址:
            網站名稱:
            大數據
            網站熱點:
            標簽,大數據分析,大數據應用,圖文直播,數字經濟
            登陸狀態:
            正常
            網站品質:
            5
            世界排名:
            96871
            更新日期:
            2019/8/19 15:39:42
            網站介紹:
            數據觀是一個大數據新聞門戶網站,專注大數據、大數據分析和大數據應用,同時涉及移動互聯網、征信、云計算等領域,為讀者提供專業的大數據信息交流平臺。
            網站百科

            定義/大數據

            對于“大數據”(Big data)研究機構Gartner給出了這樣的定義。“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

            根據維基百科的定義,大數據是指無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合。

            大數據技術的戰略意義不在于掌握龐大的數據信息,而在于對這些含有意義的數據進行專業化處理。換言之,如果把大數據比作一種產業,那么這種產業實現盈利的關鍵,在于提高對數據的“加工能力”,通過“加工”實現數據的“增值”。

            從技術上看,大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機進行處理,必須采用分布式架構。它的特色在于對海量數據進行分布式數據挖掘,但它必須依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術。

            隨著云時代的來臨,大數據(Big data)也吸引了越來越多的關注。《著云臺》的分析師團隊認為,大數據(Big data)通常用來形容一個公司創造的大量非結構化數據和半結構化數據,這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。大數據分析常和云計算聯系到一起,因為實時的大型數據集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。

            大數據需要特殊的技術,以有效地處理大量的容忍經過時間內的數據。適用于大數據的技術,包括大規模并行處理(MPP)數據庫、數據挖掘電網、分布式文件系統、分布式數據庫、云計算平臺、互聯網和可擴展的存儲系統。

            最小的基本單位是bit,按順序給出所有單位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

            它們按照進率1024(2的十次方)來計算:

            1 Byte =8 bit

            1 KB = 1,024 Bytes = 8192 bit

            1 MB = 1,024 KB = 1,048,576 Bytes

            1 GB = 1,024 MB = 1,048,576 KB

            1 TB = 1,024 GB = 1,048,576 MB

            1 PB = 1,024 TB = 1,048,576 GB

            1 EB = 1,024 PB = 1,048,576 TB

            1 ZB = 1,024 EB = 1,048,576 PB

            1 YB = 1,024 ZB = 1,048,576 EB

            1 BB = 1,024 YB = 1,048,576 ZB

            1 NB = 1,024 BB = 1,048,576 YB

            1 DB = 1,024 NB = 1,048,576 BB

            特征/大數據

            容量(Volume):數據的大小決定所考慮的數據的價值的和潛在的信息;

            種類(Variety):數據類型的多樣性;

            速度(Velocity):指獲得數據的速度;

            可變性(Variability):妨礙了處理和有效地管理數據的過程。

            真實性(Veracity):數據的質量

            復雜性(Complexity):數據量巨大,來源多渠道

            意義/大數據

            有人把數據比喻為蘊

            藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類,

            而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似,大數據并不在“大”,而在于“有用”。價值含量、挖掘成本比數量更為重要。對于很多行業而言,如何利用這些大規模數據是成為贏得競爭的關鍵。

            大數據的價值體現在以下幾個方面:1)對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷;2) 做小而美模式的中長尾企業可以利用大數據做服務轉型;3) 面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。[1]

            發展歷史/大數據

            1887–1890年

            美國統計學家赫爾曼·霍爾瑞斯為了統計1890年的人口普查數據發明了一臺電動器來讀取卡片上的洞數,該設備讓美國用一年時間就完成了原本耗時8年的人口普查活動,由此在全球范圍內引發了數據處理的新紀元。

            1935–1937年

            美國總統富蘭克林·羅斯福利用社會保障法開展了美國政府最雄心勃勃的一項數據收集項目,IBM最終贏得競標,即需要整理美國的2600萬個員工和300萬個雇主的記錄。共和黨總統候選人阿爾夫蘭登scoffs嘲笑地說,“要整理如此繁多的職工檔案,還必須而調用大規模的現場調查人員去核實那些信息不完整的人員記錄。”

            1943年

            一家英國工廠為了破譯二戰期間的納粹密碼,讓工程師開發了系列開創性的能進行大規模數據處理的機器,并使用了*臺可編程的電子計算機進行運算。該計算機被命名為“巨人”,為了找出攔截信息中的潛在模式,它以每秒鐘5000字符的速度讀取紙卡——將原本需要耗費數周時間才能完成的工作量壓縮到了幾個小時。破譯德國部隊前方陣地的信息以后,幫助盟軍成功登陸了諾曼底。

            1997年

            美國宇航局研究員邁克爾·考克斯和大衛·埃爾斯沃斯首次使用“大數據”這一術語來描述20世紀90年代的挑戰:超級計算機生成大量的信息——在考克斯和埃爾斯沃斯按案例中,模擬飛機周圍的氣流——是不能被處理和可視化的。數據集通常之大,超出了主存儲器、本地磁盤,甚至遠程磁盤的承載能力。”他們稱之為“大數據問題。”

            2002年

            在9/11襲擊后,美國政府為阻止恐怖主義已經涉足大規模數據挖掘。前國家安全顧問約翰·波因德克斯特領導國防部整合現有政府的數據集,組建一個用于篩選通信、犯罪、教育、金融、醫療和旅行等記錄來識別可疑人的大數據庫。一年后國會因擔憂公民自由權而停止了這一項目。

            2004年

            9/11委員會呼吁反恐機構應統一組建“一個基于網絡的信息共享系統”,以便能快處理應接不暇的數據。到2010年,美國國家安全局的30000名員工將攔截和存儲17億年電子郵件、電話和其它通訊日報。與此同時,零售商積累關于客戶購物和個人習慣的大量數據,沃爾瑪自吹已擁有一個容量為460字節的緩存器——比當時互聯網上的數據量還要多一倍。

            2007–2008年

            隨著社交網絡的激增,技術博客和專業人士為“大數據” 概念注入新的生機。“當前世界范圍內已有的一些其他工具將被大量數據和應用算法所取代”。《連線》的克里斯·安德森認為當時處于一個“理論終結時代”。一些政府機構和美國的*計算機科學家聲稱,“應該深入參與大數據計算的開發和部署工作,因為它將直接有利于許多任務的實現。”

            2009年1月

            印度政府建立印度*身份識別管理局,對12億人的指紋、照片和虹膜進行掃描,并為每人分配12位的數字ID號碼,將數據匯集到世界*生物識別數據庫中。官員們說它將會起到提高政府的服務效率和減少腐敗行為的作用,但批評者擔心政府會針對個別人進行剖面分析并與分享這些人的私密生活細節。

            2009年5月

            美國總統巴拉克·奧巴馬政府推出data網站作為政府開放數據計劃的部分舉措。該網站的超過4.45萬量數據集被用于保證一些網站和智能手機應用程序來跟蹤從航班到產品召回再到特定區域內失業率的信息,這一行動激發了從肯尼亞到英國范圍內的政府們相繼推出類似舉措。

            2009年7月

            應對全球金融危機,聯合國秘書長潘基文承諾創建警報系統,抓住“實時數據帶給貧窮國家經濟危機的影響” 。聯合國全球脈沖項目已研究了對如何利用手機和社交網站的數據源來分析預測從螺旋價格到疾病爆發之類的問題。

            2011年2月

            掃描2億年的頁面信息,或4兆兆字節磁盤存儲,只需幾秒即可完成。IBM的沃森計算機系統在智力競賽節目《危險邊緣》中打敗了兩名人類挑戰者。后來紐約時報配音這一刻為一個“大數據計算的勝利。”

            2012年3月

            美國政府報告要求每個聯邦機構都要有一個“大數據”的策略,作為回應,奧巴馬政府宣布一項耗資2億美元的大數據研究與發展項目。國家衛生研究院將一套人類基因組項目的數據集存放在亞馬遜的計算機云內,同時國防部也承諾要開發出可“從經驗中進行學習”的“自主式”防御系統。中央情報局局長戴維·彼得雷烏斯將軍在發帖討論阿拉伯之春機構通過云計算收集和分析全球社會媒體信息之事時,不禁驚嘆我們已經被自卸卡車倒進了“‘數字塵土”中。

            2012年7月

            美國國務卿希拉里·克林頓宣布了一個名為“數據2X”的公私合營企業用來收集統計世界各地的婦女和女童在經濟、政治和社會地位方面的信息。“數據不只是測量過程——它能給予我們啟發,”她解釋說。“一旦人們開始對某個問題實施測量時,就更傾向于采取行動來解決它們,因為沒有人愿意排到名單的*端去。”讓大數據開始競賽吧。

            技術盤點/大數據

            HadoopMapReduce

            思維模式轉變的催化劑是大量新技術的誕生,它們能夠處理大數據分析所帶來的3個V的挑戰。扎根于開源社區,Hadoop已經是目前大數據平臺中應用率*技術,特別是針對諸如文本、社交媒體訂閱以及視頻等非結構化數據。除分布式文件系統之外,伴隨Hadoop一同出現的還有進行大數據集處理MapReduce架構。根據權威報告顯示,許多企業都開始使用或者評估Hadoop技術來作為其大數據平臺的標準。

            NoSQL數據庫

            我們生活的時代,相對穩定的數據庫市場中還在出現一些新的技術,而且在未來幾年,它們會發揮作用。事實上,NoSQL數據庫在一個廣義上派系基礎上,其本身就包含了幾種技術。總體而言,他們關注關系型數據庫引擎的限制,如索引、流媒體和高訪問量的網站服務。在這些領域,相較關系型數據庫引擎,NoSQL的效率明顯更高。

            內存分析

            在Gartner公司評選的2012年十大戰略技術中,內存分析在個人消費電子設備以及其他嵌入式設備中的應用將會得到快速的發展。隨著越來越多的價格低廉的內存用到數據中心中,如何利用這一優勢對軟件進行*限度的優化成為關鍵的問題。內存分析以其實時、高性能的特性,成為大數據分析時代下的“新寵兒”。如何讓大數據轉化為*洞察力,也許內存分析就是答案。大數據背景下,用戶以及IT提供商應該將其視為長遠發展的技術趨勢。

            集成設備

            隨著數據倉庫設備(Data Warehouse Appliance)的出現,商業智能以及大數據分析的潛能也被激發出來,許多企業將利用數據倉庫新技術的優勢提升自身競爭力。集成設備將企業的數據倉庫硬件軟件整合在一起,提升查詢性能、擴充存儲空間并獲得更多的分析功能,并能夠提供同傳統數據倉庫系統一樣的優勢。在大數據時代,集成設備將成為企業應對數據挑戰的一個重要利器。

            國務院印發行動綱要促進大數據加快發展/大數據

            經李克強總理簽批,2015年9月,國務院印發《促進大數據發展行動綱要》(以下簡稱《綱要》),系統部署大數據發展工作。

            《綱要》明確,推動大數據發展和應用,在未來5至10年打造精準治理、多方協作的社會治理新模式,建立運行平穩、安全高效的經濟運行新機制,構建以人為本、惠及全民的民生服務新體系,開啟大眾創業、萬眾創新的創新驅動新格局,培育高端智能、新興繁榮的產業發展新生態。

            《綱要》部署三方面主要任務。一要加快政府數據開放共享,推動資源整合,提升治理能力。大力推動政府部門數據共享,穩步推動公共數據資源開放,統籌規劃大數據基礎設施建設,支持宏觀調控科學化,推動政府治理精準化,推進商事服務便捷化,促進安全保障高效化,加快民生服務普惠化。二要推動產業創新發展,培育新興業態,助力經濟轉型。發展大數據在工業、新興產業、農業農村等行業領域應用,推動大數據發展與科研創新有機結合,推進基礎研究和核心技術攻關,形成大數據產品體系,完善大數據產業鏈。三要強化安全保障,提高管理水平,促進健康發展。健全大數據安全保障體系,強化安全支撐。

            2015年9月18日貴州省啟動我國*大數據綜合試驗區的建設工作,力爭通過3至5年的努力,將貴州大數據綜合試驗區建設成為全國數據匯聚應用新高地、綜合治理示范區、產業發展聚集區、創業創新*地、政策創新先行區。

            圍繞這一目標,貴州省將重點構建“三大體系”,重點打造“七大平臺”,實施“十大工程”。

            “三大體系”是指構建先行先試的政策法規體系、跨界融合的產業生態體系、防控一體的安全保障體系;“七大平臺”則是指打造大數據示范平臺、大數據集聚平臺、大數據應用平臺、大數據交易平臺、大數據金融服務平臺、大數據交流合作平臺和大數據創業創新平臺;“十大工程”即實施數據資源匯聚工程、政府數據共享開放工程、綜合治理示范提升工程、大數據便民惠民工程、大數據三大業態培育工程、傳統產業改造升級工程、信息基礎設施提升工程、人才培養引進工程、大數據安全保障工程和大數據區域試點統籌發展工程。

            此外,貴州省將計劃通過綜合試驗區建設,探索大數據應用的創新模式,培育大數據交易新的做法,開展數據交易的市場試點,鼓勵產業鏈上下游之間的數據交換,規范數據資源的交易行為,促進形成新的業態。

            國家發展改革委有關專家表示,大數據綜合試驗區建設不是簡單的建產業園、建數據中心、建云平臺等,而是要充分依托已有的設施資源,把現有的利用好,把新建的規劃好,避免造成空間資源的浪費和損失。探索大數據應用新的模式,圍繞有數據、用數據、管數據,開展先行先試,更好地服務國家大數據發展戰略。

            投資熱點/大數據

            大數據是繼云計算、物聯網之后IT產業又一次顛復性的技術變革。云計算主要為數據資產提供了保管、訪問的場所和渠道,而數據才是真正有價值的資產。企業內部的經營交易信息、物聯網世界中的商品物流信息,互聯網世界中的人與人交互信息、位置信息等,其數量將遠遠超越現有企業IT架構和基礎設施的承載能力,實時性要求也將大大超越現有的計算能力。如何盤活這些數據資產,使其為國家治理、企業決策乃至個人生活服務,是大數據的核心議題,也是云計算內在的靈魂和必然的升級方向。

            大數據時代網民和消費者的界限正在消弭,企業的疆界變得模糊,數據成為核心的資產,并將深刻影響企業的業務模式,甚至重構其文化和組織。因此,大數據對國家治理模式、對企業的決策、組織和業務流程、對個人生活方式都將產生巨大的影響。如果不能利用大數據更加貼近消費者、深刻理解需求、高效分析信息并作出預判,所有傳統的產品公司都只能淪為新型用戶平臺級公司的附庸,其衰落不是管理能扭轉的。

            因此,大數據時代將引發新一輪信息化投資和建設熱潮。據IDC預測,到2020年全球將總共擁有35ZB的數據量,而麥肯錫則預測未來大數據產品在三大行業的應用就將產生7千億美元的潛在市場,未來中國大數據產品的潛在市場規模有望達到1.57萬億元,給IT行業開拓了一個新的黃金時代。數據處理技術和設備提供商、IT系統咨詢和ERP/CRM/BI改造服務商、智能化和人機交互應用以及信息安全提供商將獲巨大需求,相應公司將獲得機會。

            當前我們還處在大數據時代的前夜,預計今明兩年將是大數據市場的培育期,2014年以后大數據產品將會形成業績。由于國際巨頭在硬件層和基礎軟件層壟斷優勢明顯,本土企業將主要依靠對客戶需求的了解和客戶資源優勢,以及本地化服務的優勢,在應用軟件層分得蛋糕,擁有大數據處理、挖掘技術、數據分析人才以及數據資產的公司值得看好。

            大數據開創新世界/大數據

            大數據正在以不可阻攔的磅礴氣勢,與當代同樣具有革命意義的*科技進步 (如納米技術、生物工程、全球化等)一起,揭開人類新世紀的序幕。可以簡單地說,以往人類社會基本處于蒙昧狀態中的不發展階段,即自然發展階段。現在,這一不發展階段隨著2012年的所謂“世界末日”之說而永遠成為了過去。大數據宣告了21世紀是人類自主發展的時代,是不以所謂“上帝”的意志為轉移的時代,是“上帝”失業的時代。

            對于地球上每一個普通居民而言,大數據有什么應用價值呢?只要看看周圍正在變化的一切,你就可以知道,大數據對每個人的重要性不亞于人類初期對火的使用。大數據讓人類對一切事物的認識回歸本源;大數據通過影響經濟生活、政治博弈、社會管理、文化教育科研、醫療保健休閑等等行業,與每個人產生密切的聯系。

            大數據技術離你我都并不遙遠,它已經來到我們身邊,滲透進入我們每個人的日常生活消費之中,時時刻刻,事事處處,我們無法逃遁,因為它無微不至:它提供了光怪陸離的全媒體,難以琢磨的云計算,無法抵御的仿真環境。大數據依仗于無處不在的傳感器,比如手機、發帶,甚至是能夠收集司機身體數據的汽車,或是能夠監控老人下床和行走速度與壓力的“魔毯”(由GE與Intel聯合開發),洞察了一切。通過大數據技術,人們能夠在醫院之外得悉自己的健康情況;而通過收集普通家庭的能耗數據,大數據技術給出人們切實可用的節能提醒;通過對城市交通的數據收集處理,大數據技術能夠實現城市交通的優化。

            隨著科學技術的發展,人類必將實現數千年的機器人夢想。早在古希臘、古羅馬的神話中就有冶煉之神用黃金制造機械仆人的故事。《論衡》中也記載有魯班曾為其母巧公制作一臺木馬車,“機關具備,一驅不還”。而到現代,人類對于機器人的向往,從機器人頻繁出現在科幻小說和電影中已不難看出。公元2035年,智能型機器人已被人類廣泛利用,送快遞、遛狗、打掃衛生……這是電影《我,機器人》里描繪的場景。事實上,今天人們已經享受到了部分家用智能機器人給生活帶來的便利。比如,智能吸塵器以及廣泛應用于汽車工業領域的機器手等等。有意思的是,2010年松下公司專門為老年人開發了“洗發機器人”,它可以自動完成從涂抹洗發水、按摩到用清水洗凈頭發的全過程。未來的智能機器人不會是電影《變形金剛》中的龐然大物,而會越來越小。目前,科學家研發出的智能微型計算機只和雪花一樣大,卻能夠執行復雜的計算任務,將來可以把這些微型計算機安裝在任何物件上用以監測環境和發號施令。隨著大數據時代的到來和技術的發展,科技最終會將我們帶進神奇的智能機器人時代。

            在大數據時代,人腦信息轉換為電腦信息成為可能。科學家們通過各種途徑模擬人腦,試圖解密人腦活動,最終用電腦代替人腦發出指令。正如今天人們可以從電腦上下載所需的知識和技能一樣,將來也可以實現人腦中的信息直接轉換為電腦中的圖片和文字,用電腦施展讀心術。2011年,美國軍方啟動了“讀心頭盔”計劃,憑借讀心頭盔,士兵無需語言和手勢就可以互相“閱讀”彼此的腦部活動,在戰場上依靠“心靈感應”,用意念與戰友互通訊息。目前,“讀心頭盔”已經能正確“解讀”45%的命令。隨著這項“讀心術”的發展,人們不僅可以用意念寫微博、打電話,甚至連夢中所見都可以轉化為電腦圖像。據美國《紐約時報》報道,奧巴馬政府將繪制完整的人腦活動地圖,全面解開人類大腦如何思考、如何儲存和檢索記憶等思維密碼作為美國科技發展的重點,美國科學家已經成功繪出鼠腦的三維圖譜。2012年,美國IBM計算機專家用運算速度最快的96臺計算機,制造了世界上*“人造大腦”,電腦*模擬大腦不再是癡人說夢。試想一下,如果人類大腦實現了數據模擬,或許你的下一個BOSS是機器人也不一定。

            總而言之,大數據技術的發展有可能解開宇宙起源的奧秘。因為,計算機技術將一切信息無論是有與無、正與負,都歸結為0與1,原來一切存在都在于數的排列組合,在于大數據。

            大數據與北京城/大數據

            這里是北京

            2013年底,在這占地僅僅1.6萬平方公里的地方,北京常住人口2114.8萬人,其中,常住外來人口為802.7萬人,占比38%。在人口分布上,朝陽區和海淀區常住人口最多,均在300萬人以上;門頭溝區人最少,只有30.3萬人。

            與日俱增的人口壓力下,人們的衣,食,住,行,讓這座城市慢慢的變得厚重起來。

            微軟亞洲研究院主管研究員鄭宇博士在做客2014WGDC地理信息開發者大會時提到,在城市中,從社交媒體到道路結構,到氣象條件,產生了各種各樣的大數據,如果使用得當的話可以利用這些數據發現這個城市的問題,并且自動解決這些問題。基于這樣的愿景微軟提出了城市計算的框檻,包括城市感知、城市服務提供和數據挖掘,形成一個環路不斷的自動的改進這各城市。“簡單來說就是用大數據解決大城市大挑戰。較后做到人、城市運轉效率和自然環境三贏的系統。”

            關于人們的“衣食”

            人們的生活以及消費方式已經發生了驚天的轉變。不光是北京,自淘寶創立以來,大眾的消費方式越發多元化,O2O、B2B等方式越來越豐富人們的日常生活。

            大數據以及地圖的基礎應用,已經對人們的生活產生了很大的影響。現今類似的網站應用有很多都與數據以及地理信息相關,作為其代表之一,大眾點評正是數據與地理信息的相互結合的優質結晶。

            關于人們的“住”

            對于住來說,有幾個決定因素:區位、人口、環境。人口數據對于城市的商業數據來說是至關重要的。

            超精細格網化人口數據根據國家統計局2010年人口普查數據,結合遙感、地理信息等數十種背景信息數據,通過定量空間模型制作而成的超精細(160米左右)格網化人口分布數據,涵蓋全國328個城市(包括其所轄的所有縣、縣級市、區和街道)格網總數約3億個,數據項包括總人口數、不同性別人口數、兒童人口數、成人人口數、老年人人口數、網格的經緯度等數據項。人口格網化是目前人口空間分布研究的熱點,超精細格網化人口數據根據國家統計局2010年人口普查數據,結合遙感、地理信息等數十種背景信息數據產成。

            關于人們的“行”

            對于人們出行來說,人們的出行組成了大數據,同時大數據可以實時反應交通狀況,因此大數據與交通的辯證關系一直為社會所重視;近年來交通所帶來的能耗問題被逐漸重視起來,這不光是對個人資金的節省,更是對自己所在這個環境的一種責任。

            鄭宇認為通過導航軟件所用的傳感器來感知每個路段的流量和速度,利用環境學經典公式即可算出該汽車的排放量,具體做法是:利用已有GPS數據算出有限道路上的速度,按照單位時間通過車的流量的速度,最終得出某一行車路段的污染指數。可以算出這個城市里每一個區域,每一個時間、每一種污染物的成分和比例。隨著時間的變化,各個地方污染程度。

            大數據情懷

            大數據北京,我們可以看到幾個焦點,文化底蘊,科技創新,還有為了夢想前進的現代化人們。有個詞叫物是人非,時代變了,主角變了,但是古跡還在,我們正在創造歷史,書寫歷史,這亦是一個城市的延續。故宮的歷史對于現如今的我們來說已經永遠沉睡在北京的正中心,對于故宮我們只是過客,對于歷史,我們也是一個過客。

            類似“大數據”
            與“大數據”相關的網站
            22选5河南最新开奖 江苏快3最快开奖直播百度 新疆18选7 怎样透视牌九和麻将 贵州快三走势图手机版 网络棋牌游戏大全21点 香港皇家六合图库 福建十一选五前三走势图 国际象棋家教 黑龙江福彩22选5走势图 新疆时时彩的号码 天津体彩十一选五手机版 期特码大小 正宗香港六合彩日历 7乐彩走势图 经典大富翁小游戏