来源:大连迪派教育沙河口校区时间:2022/12/13 10:52:22
大连迪派大数据项目实战培训机构报名
什么是大数据
1、概念
大数据就是指无法被常规工具在一定时间范围内进行采集、分析、提取的数据集合,而大数据开发,就是为这种数据集合开发出一个数据处理平台。现在大数据开发有两种方向,一种是编写一些Hadoop、Spark的应用程序;另一种是对大数据处理系统本身进行开发。
2、应用
大数据开发各行各业都有着不同的应用,例如:
在医疗行业中,开发出新药研发大数据平台,提供药物筛选、动物试验、临床试验、药学研究等信息,可以帮助到医疗行业的研发人员节约大量的研发时间、研发经费,提高研发新药的效率。
在扶贫项目中,开发扶贫大数据平台,可以收集到各地需要扶贫人员的信息,综合政府实际情况,合理确定扶贫建设目标和内容,为客户量身打造了具有自主特色的扶贫大数据管理平台。
3、技能
主要编程语言:Java、Scala
数据库及数据仓库工具:MySQL数据库、SQL语句、Hive、HBase、Redis、ES、MongoDB
Linux:Linux系统、CentOS、Maven
大数据技术框架:Hadoop、Spark