Databricks 核心指导手册（精简版）

Databricks核心指导手册（精简版）本手册覆盖入门、核心功能、数据开发、机器学习、运维与最佳实践，适配AWS/Azure/GCP全云环境，可直接用于学习与生产落地Databricks。一、Databricks核心概念1.架构与定位Lakehouse架构：融合数据湖（低成本存储）与数据仓库（高性能查询），支持批流一体、ACID、Schema演进Databricks。核心组件：Workspace（协作空间）、Compute（计算集群）、UnityCatalog（统一数据治理）、Notebook（开发环境）、Jobs（任务调度）Databricks。适用场景：数据工程（ETL/ELT）、数据科学、机器学习、数据仓库、实时流处理、AI应用开发Databricks。2.核心术语Workspace：团队协作空间，管理Notebook、库、作业、集群、数据资产Databricks。Cluster：计算资源（Driver+Executors），分交互式（Notebook用）与作业式（批量任务），支持自动启停与弹性扩缩Databricks。Notebook：多语言（SQL/Python/Scala/R）开发环境，支持单元格执行、可视化、版本控制、协作。UnityCatalog：跨工作区统一数据治理，管理Catalog/数据库/表/视图/权限、数据血缘、审计日志Databricks。DeltaLake：Lakehouse存储层，提供ACID、时间旅行、Schema校验、Upsert、批量/流合并。Jobs：定时/触发式任务调度，支持Notebook/Spark作业/DLT流水线，含依赖、重试、告警Databricks。二、快速入门（5步上手）1.账号与Workspace创建云平台开通Databricks（AWS/Azure/GCP），创建Workspace（生产/开发隔离）Databricks。配置UnityCatalog（推荐），创建Catalog→数据库→表/视图，统一权限管理Databricks。2.集群创建（关键）交互式集群（Notebook用）：运行时：选最新LTS（如15.4LTS），按需选ML/StandardruntimeDatabricks。节点：Driver（m5.xlarge）+Executors（2–8台，按需扩缩），开启自动终止（120分钟）控成本Databricks。作业集群：任务专用，执行完自动销毁，成本更低Databricks。3.Notebook基础操作创建：Workspace→新建Notebook，选语言（SQL/Python）、关联集群。单元格：支持代码（%sql/%python）、Markdown、命令行（%sh），支持运行全部/单个/上方。魔法命令：sql%sql--切换SQL%python--切换Python%fsls/--查看文件系统%run./utils--运行其他Notebook可视化：查询结果直接生成图表（折线/柱状/饼图/地图），支持导出为PNG/PDF。4.数据读写（DeltaLake优先）（1）读取数据python运行#读取CSV（S3/ADLS/GCS/本地）df=spark.read.csv("s3://bucket/path/data.csv",header=True,inferSchema=True)#读取Delta表（推荐）df=spark.read.table("unity_catalog.db.table")#SQL查询%sqlSELECT*FROMunity_catalog.db.tableLIMIT100（2）写入数据（DeltaLake）python运行#写入Delta表（覆盖/追加）df.write.format("delta").mode("overwrite").saveAsTable("unity_catalog.db.new_table")#流处理写入（近实时）df_stream.writeStream.format("delta").outputMode("append").option("checkpointLocation","/tmp/checkpoint").table("unity_catalog.db.stream_table")5.运行与协作关联集群，点击运行执行Notebook，查看结果与日志。共享Notebook：设置权限（可编辑/可查看），支持多人实时协作、评论、版本回溯。三、核心功能详解1.数据工程（ETL/ELT）DeltaLiveTables（DLT）：声明式ETL流水线，自动处理依赖、监控、重试、数据质量，支持批流一体Databricks。python运行@dlt.tabledefraw_data():returnspark.read.csv("s3://bucket/raw/*.csv")@dlt.tabledefcleaned_data():returndlt.read("raw_data").filter("valueISNOTNULL")AutoLoader：增量读取文件（S3/ADLS），自动发现新文件，支持Exactly-Once语义。SparkSQL：标准SQL做数据转换，支持CTAS、视图、UDF、开窗函数Databricks。2.数据科学与机器学习（ML）MLflow：实验追踪、模型注册、版本管理、部署一站式平台。python运行importmlflowmlflow.start_run()mlflow.log_param("max_depth",5)mlflow.log_metric("accuracy",0.92)mlflow.sklearn.log_model(model,"model")mlflow.end_run()AutoML：自动训练/调优/评估模型，支持分类/回归/预测，一键生成可解释Notebook。FeatureStore：统一特征管理，支持离线/在线特征共享、特征血缘、可复用。3.数据仓库与BIDatabricksSQL：高性能SQL引擎，兼容ANSISQL，支持BI工具（Tableau/PowerBI）直连Databricks。SQLWarehouse：专用计算资源，低延迟查询，自动扩缩，适合BI报表Databricks。Dashboards：Notebook结果一键生成交互式仪表盘，支持定时刷新、共享、告警Databricks。4.任务调度（Jobs）创建Job：选择Notebook/DLT/Spark作业，配置定时（Cron）/事件触发、依赖、重试策略、告警（邮件/Slack）Databricks。监控：查看运行日志、耗时、成功率、资源使用，支持失败重试与手动触发Databricks。5.数据治理（UnityCatalog）权限管理：基于角色（RBAC），授予用户/组对Catalog/数据库/表的SELECT/INSERT/UPDATE/DELETE权限Databricks。数据血缘：自动追踪表/视图/作业的上下游依赖，支持审计与合规Databricks。外部数据集成：对接S3/ADLS/GCS、Snowflake、Redshift、JDBC数据源Databricks。四、运维与成本优化1.集群管理自动终止：交互式集群设置60–120分钟无操作自动关闭，避免闲置成本Databricks。弹性扩缩：根据负载自动调整Executor数量，用Spot实例降低成本（AWS/Azure）Databricks。集群策略：限制用户可创建的集群类型、节点数、运行时版本，统一配置Databricks。2.成本控制按计算（DBU）+存储计费，优先用作业集群与Spot实例Databricks。监控成本：Workspace→成本管理，查看各用户/作业/集群的费用，设置预算告警Databricks。数据存储：冷数据迁移到低成本存储（S3IA/ADLSCool），开启Delta表压缩与Vacuum。3.安全与合规身份认证：集成SSO（Okta/AzureAD），MFA增强安全Databricks。数据加密：传输加密（TLS）、静态加密（云KMS），Delta表支持列级加密Databricks。审计日志：记录所有操作（查询/修改/删除），满足GDPR、HIPAA等合规要求Databricks。五、最佳实践数据格式：优先用DeltaLake，避免Parquet/CSV，获得ACID、时间旅行、Upsert能力。分区与分桶：大表按时间/区域分区，高频查询字段分桶，提升查询性能Databricks。缓存：频繁使用的DataFrame用df.cache()/df.persist()缓存，避免重复计算Databricks。小文件治理：用Delta表的OPTIMIZE合并小文件，VACUUM删除旧版本。监控告警：为Jobs配置失败告警，用Prometheus/Grafana监控集群性能Databricks。代码管理：Notebook集成Git，版本控制，CI/CD自动化部署Databricks。六、常