2021年2月7日，大數據課程進入第十八天，主題聚焦于數據處理與存儲服務的核心技術。這一天筆記的核心在于理解大規模數據生態中，存儲與計算如何協同工作，并掌握不同工具在數據生命周期中的角色定位。以下是對本次課程內容的系統整理。\n\n## 一、數據存儲服務的演進與分層\n\n課程首先回顧了數據存儲從單機文件系統到分布式存儲的必然演進過程。傳統的關系型數據庫在處理PB級數據時面臨擴展性瓶頸，而Hadoop的HDFS（分布式文件系統）解決了海量文件的存儲問題，尤其適合大文件順序讀寫場景。HDFS設計上的特點是高容錯和低成本，默認復制因子為3，確保了設備故障時的數據災備能力。\n\n然而原生HDFS在處理中小規模文件時不夠高效，因此引入了對象存儲（如AWS S3、阿里云OSS）和對列式存儲的強調。Parquet與ORC這類列式格式不僅是存儲優化策略，更與計算引擎緊密結合，可以顯著提升這類選擇率較低（列裁剪）的查詢場景的I/O加速。\n\n## 二、