大数据数据挖掘行业应用重点基础知识点

大数据数据挖掘行业应用重点基础知识点一、大数据数据挖掘概述1.大数据定义：大数据是指规模巨大、类型繁多、价值密度低的数据集合，通常从海量数据中提取有价值的信息。2.数据挖掘定义：数据挖掘是从大量数据中提取有价值信息的过程，包括数据预处理、数据挖掘算法、模式评估等步骤。3.数据挖掘应用领域：数据挖掘广泛应用于金融、医疗、电商、社交网络、物联网等多个领域。二、大数据数据挖掘行业应用重点1.金融行业a.信用风险评估：通过分析客户的消费行为、信用记录等数据，预测客户信用风险。①分析客户消费行为，如购物频率、消费金额等；②分析客户信用记录，如逾期记录、还款记录等；③结合多种数据源，构建信用风险评估模型。b.个性化推荐：根据客户的历史交易数据、浏览记录等，推荐个性化的金融产品和服务。①分析客户历史交易数据，如购买产品、服务类型等；②分析客户浏览记录，如浏览产品、服务类型等；③利用协同过滤、关联规则等方法，实现个性化推荐。c.风险控制：通过分析市场数据、交易数据等，预测市场风险和交易风险。①分析市场数据，如股票价格、市场趋势等；②分析交易数据，如交易金额、交易频率等；③利用预测模型，实现风险控制。2.医疗行业a.疾病预测：通过分析患者的病历、检查结果等数据，预测疾病发生概率。①分析患者病历，如病史、症状等；②分析检查结果，如影像学检查、生化检查等；③利用机器学习算法，构建疾病预测模型。b.治疗方案优化：根据患者的病情、药物反应等数据，为医生提供个性化的治疗方案。①分析患者病情，如病情严重程度、并发症等；②分析药物反应，如药物疗效、副作用等；③利用数据挖掘技术，优化治疗方案。c.医疗资源分配：通过分析医院资源使用情况、患者就诊数据等，优化医疗资源配置。①分析医院资源使用情况，如床位、设备等；②分析患者就诊数据，如就诊科室、就诊时间等；③利用数据挖掘技术，实现医疗资源合理分配。3.电商行业a.用户行为分析：通过分析用户浏览、购买、评价等数据，了解用户需求和行为。①分析用户浏览数据，如浏览时长、浏览页面等；②分析用户购买数据，如购买频率、购买金额等；③分析用户评价数据，如评价内容、评价星级等。b.个性化推荐：根据用户历史购买数据、浏览数据等，推荐个性化的商品和服务。①分析用户历史购买数据，如购买商品、购买时间等；②分析用户浏览数据，如浏览商品、浏览时间等；③利用协同过滤、关联规则等方法，实现个性化推荐。c.库存管理：通过分析销售数据、库存数据等，优化库存管理。①分析销售数据，如销售量、销售趋势等；②分析库存数据，如库存量、库存周转率等；③利用数据挖掘技术，实现库存优化。三、大数据数据挖掘基础知识1.数据预处理a.数据清洗：去除数据中的噪声、异常值等，提高数据质量。①去除重复数据；②去除缺失数据；③去除异常值。b.数据集成：将来自不同数据源的数据进行整合，形成统一的数据集。①数据转换；②数据映射；③数据合并。c.数据变换：对数据进行规范化、归一化等处理，提高数据挖掘效果。①数据规范化；②数据归一化；③数据离散化。2.数据挖掘算法a.聚类算法：将相似的数据划分为同一类别。①Kmeans算法；②层次聚类算法；③密度聚类算法。b.分类算法：将数据分为不同的类别。①决策树；②支持向量机；③随机森林。c.关联规则挖掘：发现数据之间的关联关系。①Apriori算法；②FPgrowth算法；③Eclat算法。3.模式评估a.模型准确性：评估模型预测结果的准确性。①准确率；②精确率；③召回率。b.模型稳定性：评估模型在不同数据集上的表现。①交叉验证；②随机森林；③模型融合。c.模型可解释性：评估模型预测结果的合理性。①解释模型；②可视化；③特征重要性。[1]，.大数据数据挖掘技术与应用[M].北京：清华大学出版社，