《商业智能在财务中的应用》课件-项目2 数据处理

商业智能在财务中的应用课程1.数据的导入方式目录Contents1常见数据源导入2数据库导入3文件导入4数据导入的错误处理01常见数据源导入PARTONE常见数据源导入如SQLServer、Oracle、MySQL等。数据库如Excel、CSV、JSON等。文件如SharePoint、OneDrive、GoogleAnalytics等。在线服务02数据库导入PARTTWO数据库导入如SQLServer、Oracle、MySQL等。持数据库（1）在PowerBIDesktop中，点击“获取数据”。导入步骤（2）选择相应的数据库类型。（3）输入数据库连接信息，如服务器名称、数据库名称、用户名和密码。（4）选择要导入的表或查询。03文件导入PARTTHREE文件导入如Excel、CSV、JSON等。支持文件文件导入（1）在PowerBIDesktop中，点击“获取数据”中的”更多“。（2）选择相应的文件类型。（3）浏览并选择要导入的文件。（4）根据文件格式进行必要的设置，如分隔符、编码等。导入步骤04数据导入的错误处理PARTFOUR数据导入的错误处理常见错误连接失败可能是由于网络问题、连接信息错误等原因导致。数据格式错误数据中可能存在不符合格式要求的内容。检查连接信息，确保网络连接正常。对数据进行预处理，修复格式错误。处理方法2.在PowerQuery中提取和合并数据目录Contents1PowerQuery——数据清洗与转换的利器2从不同数据源提取3数据预览4提取示例5常见操作6合并方式7操作步骤01PowerQuery——数据清洗与转换的利器PARTONEPowerQuery——数据清洗与转换的利器PowerQuery是PowerBI中用于数据提取、清洗和转换的工具，可以帮助用户将原始数据转换为适合分析的格式。02从不同数据源提取PARTTWO从不同数据源提取如数据库、文件、在线服务等。数据源类型（1）在PowerBIDesktop中，点击“获取数据”。提取步骤（2）选择相应的数据源类型。（3）按照提示完成数据提取操作。03数据预览PARTTHREE数据预览在提取数据到PowerQuery编辑器后，可以预览数据，了解数据的结构和内容，以便进行后续的清洗和转换操作。04提取示例PARTFOUR提取示例以从Excel文件中提取数据为例，展示提取后的数据预览结果。示例说明05常见操作PARTFIVE常见操作操作类型01删除重复行去除数据中的重复记录。02填充缺失值对数据中的缺失值进行填充，如用平均值、中位数等填充。04拆分列将一列数据拆分为多列。03修改数据类型将数据转换为合适的类型，如将文本转换为日期。06合并方式PARTSIX合并方式只返回两个表中匹配的行。返回左表中的所有行，以及右表中匹配的行。返回右表中的所有行，以及左表中匹配的行。内连接左外连接右外连接合并类型07操作步骤PARTSEVEN操作步骤（1）在PowerQuery编辑器中，选择要合并的两个查询。（2）点击“合并查询”按钮。（3）选择合并方式和连接键。（4）展开合并后的列，获取所需的数据。步骤3.Json数据格式目录Contents1Json数据的结构与特点2PowerBI中Json数据处理3Json数据可视化4Json数据连接与刷新5常见问题与解决方案01Json数据的结构与特点PARTONEJson数据的结构与特点作为现代数据交换的通用语言，广泛用于不同系统之间如API集成、日志分析、物联网等进行数据传输和存储。它基于JavaScript语法，但已成为独立的格式。结构可读性强易于解析和生成跨平台和语言无关支持多种数据类型易于扩展特点02PowerBI中Json数据处理PARTTWOPowerBI中Json数据处理导入Json文件导入步骤在PowerBIDesktop中，点击“GetData”→“File”，选择“Json”作为文件源，导航到文件夹，选择Json文件并加载到数据模型中。PowerBI中Json数据处理数据解析与转换解析方法PowerQueryEditor会自动解析Json的顶层结构，若包含嵌套对象，可通过展开按钮展开嵌套数据，直至获取表格形式。PowerBI中Json数据处理数据转换使用PowerQueryEditor进行数据转换，如拆分列、合并列、转置等，将Json数据转换为适合分析的结构。转换工具03Json数据可视化PARTTHREEJson数据可视化01展示方式在PowerBI中，使用柱状图、折线图、饼图等图表展示Json数据中的趋势和模式，如不同类别数值、时间序列数据、比例分布。使用图表展示Json数据可视化自定义方法PowerBI支持自定义视觉元素，用户可以根据需要创建自定义的图表和视觉元素。例如，可以创建一个自定义的仪表盘，展示Json数据中的关键指标。自定义视觉元素04Json数据连接与刷新PARTFOUR在PowerBIDesktop中，点击“GetData”→“Web”，输入Json数据源的URL，连接并选择需要导入的数据，加载到数据模型中。使用PowerBI的“Refresh”功能定期刷新Json数据，确保数据的最新性，支持自动和手动刷新。Json数据连接与刷新连接Json数据源连接步骤05常见问题与解决方案PARTFIVE常见问题与解决方案解决方案若Json数据格式不正确，使用PowerQueryEditor对数据进行清洗和转换，确保数据格式正确。数据格式问题常见问题与解决方案解决方案若Json数据中存在缺失值，使用“ReplaceValues”功能替换缺失值，或使用“RemoveRows”功能删除缺失值。数据缺失问题常见问题与解决方案解决方案若Json数据中存在重复数据，使用“RemoveDuplicates”功能删除重复数据，确保数据的准确性。数据重复问题4.自定义函数的创建、调用1自定义函数概述目录Contents2自定义函数创建4注意事项3自定义函数调用01自定义函数概述PARTONE3.灵活应对需求1.函数定义2.提高效率自定义函数是在BI工具中用户自行创建的函数，用于完成特定数据分析任务，提高效率和灵活性。自定义函数可复用通用逻辑，减少重复代码，提升项目整体效率，使数据分析更高效。针对复杂或重复性的数据分析任务，自定义函数能提供定制化解决方案，满足多样需求。自定义函数概述02自定义函数创建PARTONE函数名称应简洁明了，反映用途，如CalculateAverageSales，便于理解和使用。参数是函数的输入，需明确类型和数量，如计算平均销售额需输入销售额列表。函数体是实现功能的代码，如CalculateAverageSales函数体计算销售额列表的平均值。自定义函数创建选择函数名称确定参数编写函数体示例背景自定义函数创建假设销售数据表包含每个产品的销售额，需创建函数计算某个产品的平均销售额。选择函数名称CalculateAverageSales，确定参数salesList，编写函数体：首先，检查输入的列表是否为空，如果为空，返回一个错误信息。示例步骤然后，计算列表中所有销售额的总和。最后，将总和除以列表的长度，得到平均销售额并返回。示例代码自定义函数创建在DAX中，编写该函数代码，确保逻辑清晰，实现平均销售额计算功能。CalculateAverageSales=VARsalesList=[SalesAmount]VARtotalSales=SUMX(salesList,salesList[SalesAmount])VARcountSales=COUNTROWS(salesList)RETURNIF(countSales=0,"Error:Thesaleslistisempty",totalSales/countSales)03自定义函数调用PARTONE（一）调用示例：使用CalculateAverageSales函数自定义函数调用假设我们有一个产品A的销售额列表，我们想要计算这个产品的平均销售额。可以这样调用CalculateAverageSales函数：创建好自定义函数后，我们就可以在BI工具中调用它来完成特定的任务了。调用函数就像是使用我们刚刚制作好的瑞士军刀，只需要按照正确的步骤，就可以得到我们想要的结果。在PowerBI的报表视图中，我们可以创建一个新的度量值，然后使用我们的自定义函数：如daxAverageSalesProductA=CalculateAverageSales(ProductA[SalesAmount])在这个例子中，我们将产品A的销售额列表作为参数传递给CalculateAverageSales函数，函数会返回计算得到的平均销售额，然后我们将这个平均销售额存储在新的度量值AverageSalesProductA中，最后在报表中展示这个度量值。（二）在不同场景下调用自定义函数自定义函数调用假设我们在进行市场分析时，需要计算不同地区的平均销售额。我们可以创建一个自定义函数CalculateAverageSalesByRegion，然后在分析过程中调用它。在PowerBI中，我们可以通过自定义函数来创建动态的可视化。比如，我们可以创建一个函数来计算不同产品的销售额排名，然后在柱状图或折线图中使用这个函数的结果。在数据分析中调用自定义函数在PowerBI的可视化中调用自定义函数04注意事项PARTONE验证类型和格式注意事项在函数中验证输入参数，确保符合预期类型和格式，如检查列表是否为空，参数是否为数字。参数验证可避免因错误输入导致的函数执行失败，提高函数的健壮性。防止错误输入处理执行错误注意事项合理处理函数执行中的错误，避免程序崩溃，可返回错误信息或特定值。错误处理机制可提升函数在复杂环境下的稳定性，确保数据分析流程顺畅。提升稳定性优化复杂逻辑提高执行速度优化复杂逻辑或大数据量处理的函数性能，避免不必要的循环和重复计算，提高效率。性能优化可显著提高函数的执行速度，尤其在处理大规模数据时，提升用户体验。注意事项封装通用逻辑提升项目质量封装通用逻辑为自定义函数，提高代码可读性和复用性，减少重复工作。代码复用不仅提高效率，还能提升项目的整体质量，使项目更易于维护和扩展。注意事项5.收入数据的导入与模型关系的建立目录Contents1数据源类型与处理方案2数据导入操作3关系建立方法4数据建模5注意事项01数据源类型与处理方案PARTONE数据源类型与处理方案财务系统数据源上市公司收入数据常来自ERP系统（如SAP、Oracle）、财务数据库（SQLServer、MySQL）或Excel财报文件。非结构化数据如PDF财报需经PowerQueryOCR识别及Python脚本清洗。数据来源若收入数据需实时更新，可使用DirectQuery模式或计划刷新，避免手动更新报表。金融数据API需配置Wind/同花顺API自动更新，需Token认证。动态数据需求02数据导入操作PARTTWO数据导入操作数据导入方式打开PowerBIDesktop，点击“主页-Excel工作簿”，选择包含收入数据的文件，如“销售数据.xlsx”，选中所有需要导入的表格，点击“加载”。导入Excel数据维度表（如产品表、城市表）命名为“D_表名”，事实表（如销售订单表）命名为“F_表名”，如产品表命名为“D产品表”，销售订单表命名为“F销售订单表”。命名规范03关系建立方法PARTTHREE关系建立方法自动与手动关系自动关系PowerBI会自动检测并创建表之间的关系，但可能不够准确，尤其是在数据表结构复杂或字段名不一致的情况下。手动关系在“模型视图”中，用户可以手动删除自动创建的关系，并重新建立正确的关系，通过“新建布局”功能