日益增长的日志数据给国内外的互联网公司带来了巨大的挑战。如何快速、有效地处理和分析这些测井数据成为他们面临的首要问题。以中国的互联网公司百度为例。
每天大约有700gb的日志数据。在假期期间，日志数据量可能达到TB级别。面对如此庞大的测井数据，传统的测井分析方法明显薄弱。目前，更流行的分布式计算分析框架Hadoop和spark已经逐渐成熟。利用分布式技术分析日志已成为各企业的研究热点。
为了解决日益增多的游戏日志分析问题，分布式计算技术的日志处理方案，即游戏日志大数据分析系统的设计与实现。通过网络资源和图书馆资源，查阅大量相关资料和文献进行大数据分析，对Hadoop框架、hive数据仓库和实时大数据分析处理工具spark、Kafka进行分析研究。
数据库选择MySQL 5.6。根据软件工程的方法，首先对系统进行需求分析，包括功能需求分析和性能需求分析，并使用Microsoft的Visio绘图工具绘制一些用例图，然后对系统架构、系统数据库、系统数据收集、系统数据存储、设计了系统数据分析和系统数据显示，系统通过简单友好的用户界面显示游戏日志分析数据。
为系统管理员提供用户管理、系统菜单管理和用户菜单权限管理。更重要的是，该系统为集成研发部门使用大数据分析游戏日志，以及未来相关大数据的发展提供了一定的经验。