Python

PyArrow - Apache Arrow Python 綁定

這是 Apache Arrow Python API 的文件。

Apache Arrow 是一種通用的欄狀格式和多語言工具箱，用於快速資料交換和記憶體內分析。它包含一組技術，使資料系統能夠有效率地儲存、處理和移動資料。

請參閱父文件以取得關於 Arrow 專案本身、Arrow 格式和其他語言綁定的更多詳細資訊。

Arrow Python 綁定（也稱為「PyArrow」）與 NumPy、pandas 和內建 Python 物件具有一流的整合。它們基於 Arrow 的 C++ 實作。

在此，我們將詳細介紹 Arrow 的 Python API 的用法，以及新增額外功能的 Leaf 程式庫，例如將 Apache Parquet 檔案讀取到 Arrow 結構中。

• 安裝 PyArrow
  • 系統相容性
  • Python 相容性
  • 使用 Conda
  • 使用 Pip
  • 安裝 nightly 套件或從原始碼安裝
  • 相依性
  • conda-forge 套件之間的差異
• 開始使用
  • 建立陣列和表格
  • 儲存和載入表格
  • 執行計算
  • 處理大型資料
  • 從這裡繼續
• 資料類型與記憶體內資料模型
  • 類型中繼資料
  • 綱要
  • 陣列
  • 記錄批次
  • 表格
  • 自訂綱要和欄位中繼資料
  • 記錄批次讀取器
  • 將 RecordBatch 轉換為張量
• 計算函數
  • 標準計算函數
  • 分組聚合
  • 表格和資料集聯結
  • 依運算式篩選
  • 使用者定義函數
• 記憶體與 IO 介面
  • 參考和配置記憶體
  • 輸入與輸出
• 串流、序列化與 IPC
  • 寫入和讀取串流
  • 有效率地寫入和讀取 Arrow 資料
• 檔案系統介面
  • 用法
  • 本機 FS
  • S3
  • Google Cloud Storage 檔案系統
  • Hadoop 分散式檔案系統 (HDFS)
  • 將 fsspec 相容的檔案系統與 Arrow 搭配使用
  • 將 Arrow 檔案系統與 fsspec 搭配使用
• NumPy 整合
  • NumPy 到 Arrow
  • Arrow 到 NumPy
• Pandas 整合
  • DataFrames
  • Series
  • 處理 pandas 索引
  • 類型差異
  • 可為 Null 的類型
  • 記憶體用量和零複製
• Dataframe 交換協定
  • 從 PyArrow 到其他程式庫：__dataframe__() 方法
  • 從其他程式庫到 PyArrow：from_dataframe()
• DLPack 協定
  • DLPack 在 PyArrow 中的實作
  • 範例
• 時間戳記
  • Arrow/Pandas 時間戳記
  • 時間戳記轉換
• 讀取與寫入 Apache ORC 格式
  • 取得具有 ORC 支援的 pyarrow
  • 讀取和寫入單一檔案
  • 更精細的讀取和寫入
  • 壓縮
  • 從雲端儲存空間讀取
• 讀取與寫入 CSV 檔案
  • 用法
  • 自訂剖析
  • 自訂轉換
  • 增量讀取
  • 字元編碼
  • 自訂寫入
  • 增量寫入
  • 效能
• Feather 檔案格式
  • 使用壓縮
  • 寫入版本 1 (V1) 檔案
• 讀取 JSON 檔案
  • 用法
  • 自動類型推斷
  • 自訂剖析
• 讀取與寫入 Apache Parquet 格式
  • 取得具有 Parquet 支援的 pyarrow
  • 讀取和寫入單一檔案
  • 更精細的讀取和寫入
  • 檢查 Parquet 檔案中繼資料
  • 資料類型處理
  • 壓縮、編碼和檔案相容性
  • 分割資料集（多個檔案）
  • 寫入分割資料集
  • 從分割資料集讀取
  • 與 Spark 搭配使用
  • 多執行緒讀取
  • 從雲端儲存空間讀取
  • Parquet 模組化加密（欄式加密）
• 表格化資料集
  • 讀取資料集
  • 篩選資料
  • 投影欄
  • 讀取分割資料
  • 從雲端儲存空間讀取
  • 從 Minio 讀取
  • 使用 Parquet 資料集
  • 手動指定資料集
  • 迭代（核心外或串流）讀取
  • 關於交易和 ACID 保證的注意事項
  • 寫入資料集
• Arrow Flight RPC
  • 寫入 Flight 服務
  • 使用 Flight 用戶端
  • 取消和逾時
  • 啟用 TLS
  • 啟用驗證
  • 自訂中介軟體
  • Flight 最佳實務
• 擴充 pyarrow
  • 使用 PyCapsule 介面控制轉換為 (Py)Arrow
  • 使用 __arrow_array__ 協定控制轉換為 pyarrow.Array
  • 定義擴充類型（「使用者定義類型」）
• PyArrow 整合
  • Substrait
  • 整合 PyArrow 與 R
  • 整合 PyArrow 與 Java
  • 從 C++ 與 Cython 程式碼使用 pyarrow
  • CUDA 整合
• 環境變數
• API 參考
  • 資料類型與綱要
  • 陣列與純量
  • 緩衝區與記憶體
  • 表格與張量
  • 計算函數
  • Acero - 串流執行引擎
  • Substrait
  • 串流與檔案存取
  • 序列化與 IPC
  • Arrow Flight
  • 表格檔案格式
  • 檔案系統
  • 資料集
  • CUDA 整合
  • 其他
• 參與貢獻
  • PyArrow 架構
• 基準測試
  • 執行基準測試
  • 為任意 Git 修訂版本執行
  • 相容性
• Python 食譜