大數據是一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合,具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征;需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。
大數據經歷了較長時間的發展,目前已經進入了穩步的發展時期,主流的大數據計算框架已經成型,越來越多的基于這些主流框架的精細化上層應用會成為一個趨勢。此外機器學習、AI 的持續發展反過來也在推動大數據的規模、實時性以及平臺化的發展。越來越多的企業構建起端到端的大數據機器學習平臺以提高大數據 AI 落地效率,各大云廠商更是構建出此類一體化產品希望能夠收獲更多的客戶和收益。