靈貓動態 大數據系統設計分析

大數據系統設計分析

2019.11.12

日益增長的日志數據給國內外的互聯網公司帶來了巨大的挑戰。如何快速、有效地處理和分析這些測井數據成為他們面臨的首要問題。以中國的互聯網公司百度為例。


每天大約有700gb的日志數據。在假期期間,日志數據量可能達到TB級別。面對如此龐大的測井數據,傳統的測井分析方法明顯薄弱。目前,更流行的分布式計算分析框架Hadoop和spark已經逐漸成熟。利用分布式技術分析日志已成為各企業的研究熱點。


為了解決日益增多的游戲日志分析問題,分布式計算技術的日志處理方案,即游戲日志大數據分析系統的設計與實現。通過網絡資源和圖書館資源,查閱大量相關資料和文獻進行大數據分析,對Hadoop框架、hive數據倉庫和實時大數據分析處理工具spark、Kafka進行分析研究。


數據庫選擇MySQL 5.6。根據軟件工程的方法,首先對系統進行需求分析,包括功能需求分析和性能需求分析,并使用Microsoft的Visio繪圖工具繪制一些用例圖,然后對系統架構、系統數據庫、系統數據收集、系統數據存儲、設計了系統數據分析和系統數據顯示,系統通過簡單友好的用戶界面顯示游戲日志分析數據。


為系統管理員提供用戶管理、系統菜單管理和用戶菜單權限管理。更重要的是,該系統為集成研發部門使用大數據分析游戲日志,以及未來相關大數據的發展提供了一定的經驗。

欧美A级毛片天天看_a√无码亚洲不卡播放网站_丝袜好紧…我要进去了老师_黄视亚洲欧洲日韩频在线观看