Apache Arrow 0.8.0 (2017年12月18日)

這是一個主要版本發佈。

下載

• 原始碼產出
• Git 標籤

貢獻者

$ git shortlog -sn apache-arrow-0.7.1..apache-arrow-0.8.0
    90  Wes McKinney
    23  Phillip Cloud
    21  Kouhei Sutou
    13  Licht-T
    12  Korn, Uwe
    12  Philipp Moritz
    12  Uwe L. Korn
    10  Bryan Cutler
     5  Li Jin
     5  Robert Nishihara
     4  Paul Taylor
     4  siddharth
     3  Max Risuhin
     3  Stephanie
     2  Rene Sugar
     2  Heimir Sverrisson
     2  Brian Hulette
     2  Yuliya Feldman
     2  dhirschf
     2  Matthias Vallentin
     1  vkorukanti
     1  Andrew Andrade
     1  Benjamin Goldberg
     1  Ivan Sadikov
     1  John Jenkins
     1  Joris Van den Bossche
     1  Lewis John McGibbney
     1  Lu Qi
     1  Manuel
     1  Nick White
     1  Ofek Lev
     1  Shixiong Zhu
     1  Siddharth Teotia
     1  Stephen G
     1  Victor Uriarte
     1  Wataru Shimizu
     1  ksdevlife
     1  lmeyerov
     1  rvernica
     1  Amir Malekpour

程式碼修補提交者

下列 Apache 提交者提交了程式碼修補至儲存庫。

$ git shortlog -csn apache-arrow-0.7.0..apache-arrow-0.8.0
   236  Wes McKinney
    35  Uwe L. Korn
    10  Philipp Moritz
     5  Kouhei Sutou
     1  Steven Phillips

變更日誌

新功能與改進

• ARROW-1032 - [JS] 支援 custom_metadata
• ARROW-1047 - [Java] 新增與 IO / 訊息框架分離的通用串流寫入器和讀取器介面
• ARROW-1087 - [Python] 新增 get_include 以公開包含標頭檔的目錄
• ARROW-1114 - [C++] 建立 Record Batch Builder 類別，作為將逐列資料轉置為欄的可重複使用且有效率的方式
• ARROW-1134 - [C++] 允許 C++/CLI 專案使用 Arrow 建置
• ARROW-1178 - [Python] 建立 Table.from_pandas 的替代方案，以產生具有給定區塊大小的 RecordBatch 物件列表
• ARROW-1226 - [C++] 改善 / 更正 arrow::ipc 中的 doxygen 函式文件
• ARROW-1250 - [Python] 定義使用者類型檢查陣列類型的 API
• ARROW-1369 - 在 javascript arrow reader 函式庫中支援布林類型
• ARROW-1371 - [網站] 在網站上新增「技術支援」頁面
• ARROW-1455 - [Python] 新增 Dockerfile 以在一般 CI 之外驗證 Dask 整合
• ARROW-1471 - [JAVA] 文件化 ValueVector 更新的需求和非需求
• ARROW-1472 - [JAVA] 設計更新的 ValueVector 物件階層
• ARROW-1473 - [JAVA] 建立原型程式碼階層 (實作階段 1)
• ARROW-1474 - [JAVA] ValueVector 階層 (實作階段 2)
• ARROW-1476 - [JAVA] 實作最終 ValueVector 更新
• ARROW-1482 - [C++] 實作 date32 和 date64 之間的轉換
• ARROW-1483 - [C++] 實作 time32 和 time64 之間的轉換
• ARROW-1484 - [C++] 實作 (安全和不安全) 時間戳記和不同單位時間之間的轉換
• ARROW-1486 - [C++] 決定 arrow::RecordBatch 是否需要可複製
• ARROW-1487 - [C++] 實作從 List 到 List 的轉換，其中從任何 A 到 B 都定義了轉換函式
• ARROW-1488 - [C++] 以 internal::ArrayData 的形式實作 ArrayBuilder::Finish
• ARROW-1498 - [GitHub] 新增 CONTRIBUTING.md 和 ISSUE_TEMPLATE.md
• ARROW-1503 - [Python] 在 pyarrow.serialize 中為 pandas 物件新增序列化回呼
• ARROW-1522 - [C++] 支援 pyarrow.Buffer 作為 pyarrow.serialize 中的內建類型
• ARROW-1523 - [C++] 新增輔助資料結構，其中包含用於讀取可能具有非零偏移量的有效性點陣圖的方法
• ARROW-1524 - [C++] 更優雅的解決方案，用於處理計算函式庫中輸入和輸出上的非零偏移量
• ARROW-1525 - [C++] 變更 arrow/compare.h 中的函式，使其不傳回 Status
• ARROW-1526 - [Python] 單元測試以執行 PARQUET-1100 中的程式碼路徑
• ARROW-1535 - [Python] 啟用 sdist 原始碼 tarball 以建置，假設主機系統上提供 Arrow C++ 函式庫
• ARROW-1538 - [C++] 在 .deb 封裝自動化中支援 Ubuntu 14.04
• ARROW-1539 - [C++] 移除自 0.7.0 和先前版本起已棄用的函式
• ARROW-1556 - [C++] 納入 PARQUET-1100 patch 中的 AssertArraysEqual 函式
• ARROW-1559 - [C++] “unique” 的核心實作 (計算陣列的不同元素)
• ARROW-1573 - [C++] 實作狀態核心函式，該函式使用 DictionaryBuilder 計算字典索引
• ARROW-1575 - [Python] 新增 pyarrow.column 工廠函式
• ARROW-1577 - [JS] NPM 模組的套件發佈腳本
• ARROW-1588 - [C++/格式] 強化 Decimal 格式
• ARROW-1593 - [PYTHON] serialize_pandas 應傳遞 preserve_index 關鍵字
• ARROW-1594 - [Python] 在 Table.from_pandas 中啟用多執行緒轉換
• ARROW-1600 - [C++] 從 std::string 進行零複製 Buffer 建構
• ARROW-1602 - [C++] 在 arrow::Array 中新增 IsValid/IsNotNull 方法
• ARROW-1603 - [C++] 新增 BinaryArray 方法以取得 std::string 的值
• ARROW-1604 - [Python] 在 cast(…) 和各種 type= 引數中支援常見的類型別名
• ARROW-1605 - [Python] pyarrow.array 應能夠產生更小的整數類型，而無需明確轉換
• ARROW-1607 - [C++] 為 Decimals 實作 DictionaryBuilder
• ARROW-1613 - [Java] ArrowReader 不應關閉輸入 ReadChannel
• ARROW-1616 - [Python] 在 RecordBatchStreamWriter 中新增 “write” 方法，該方法會適當地分派到 write_table/write_back
• ARROW-1626 - 新增 make targets 以執行名為 “infer” 的跨程序靜態分析工具。
• ARROW-1627 - [JAVA] 減少堆積使用量 (階段 2) - AllocationManager.BufferLedger 中的記憶體佔用量
• ARROW-1630 - [序列化] 支援 Python datetime 物件
• ARROW-1631 - [C++] 將 GRPC 新增至 ThirdpartyToolchain.cmake
• ARROW-1635 - 為 PMC 新增發佈管理指南
• ARROW-1637 - [C++] null 類型的 IPC 往返
• ARROW-1641 - [C++] 不要包含在公開標頭中
• ARROW-1648 - [C++] 新增從 Dictionary[NullType] 到 NullType 的轉換
• ARROW-1649 - [C++] 在 NullArray 的 PrettyPrint 中印出 null 數量
• ARROW-1651 - [JS] Table 中的延遲列存取器
• ARROW-1652 - [JS] 將 Vector 分隔為 BatchVector 和 CompositeVector
• ARROW-1654 - [Python] pa.DataType 無法被 pickled
• ARROW-1662 - 將 OSX 相依性管理移至 brew bundle Brewfiles 中
• ARROW-1665 - [序列化] 在預設序列化上下文中支援更多自訂資料類型
• ARROW-1666 - [GLib] 在 Travis CI Mac 環境中啟用 gtk-doc
• ARROW-1667 - [GLib] 支援 Meson
• ARROW-1671 - [C++] 變更 arrow::MakeArray 使其不傳回 Status
• ARROW-1675 - [Python] 在 FeatherWriter.write 中使用 RecordBatch.from_pandas
• ARROW-1677 - [部落格] 新增關於 Ray 和 Arrow Python 序列化的部落格文章
• ARROW-1679 - [GLib] 新增 garrow_record_batch_reader_read_next()
• ARROW-1683 - [Python] 將 “TimestampType” 還原至 pyarrow 命名空間
• ARROW-1684 - [Python] 簡化用於讀取巢狀 Parquet 欄的使用者 API
• ARROW-1685 - [GLib] 新增 GArrowTableReader
• ARROW-1689 - [Python] 類別索引應為零複製
• ARROW-1690 - [GLib] 新增 garrow_array_is_valid()
• ARROW-1691 - [Java] 使 Java Decimal 類型實作符合 ARROW-1588 中的格式決策
• ARROW-1697 - [GitHub] 新增 ISSUE_TEMPLATE.md
• ARROW-1701 - [序列化] 支援零複製 PyTorch Tensor 序列化
• ARROW-1702 - 在 manylinux1 建置中更新 jemalloc
• ARROW-1703 - [C++] 供應我們依賴的精確 jemalloc 版本
• ARROW-1707 - 在移至 GitBox 後更新開發 README
• ARROW-1710 - [Java] 在新的向量類別階層中移除不可為 null 的向量
• ARROW-1716 - [格式/JSON] 在 JSON 中對 Decimals 使用字串整數值
• ARROW-1717 - [Java] 在向量類別中移除 JSONReader/Writer 的公開靜態輔助方法
• ARROW-1718 - [Python] 實作從時間戳記到 date32/date64 的轉換，並在 Array.from_pandas 中支援
• ARROW-1719 - [Java] 移除存取器/變更器
• ARROW-1721 - [Python] 在 numpy_to_arrow.cc 中不支援 null mask 的地方支援 null mask
• ARROW-1724 - [封裝] 支援 Ubuntu 17.10
• ARROW-1725 - [封裝] 上傳 Ubuntu 17.10 的 .deb
• ARROW-1726 - [GLib] 新增設定描述以驗證 C GLib 建置
• ARROW-1727 - [格式] 擴展 Arrow 串流格式以允許新字典和 delta / 新增至現有字典
• ARROW-1728 - [C++] 在 Travis CI 中執行 clang-format 檢查
• ARROW-1734 - [C++/Python] 在 Column 層級新增轉換函式
• ARROW-1736 - [GLib] 新增 GArrowCastOptions:allow-time-truncate
• ARROW-1737 - [GLib] 使用 G_DECLARE_DERIVABLE_TYPE
• ARROW-1746 - [Python] 為 Arch Linux 新增建置相依性
• ARROW-1747 - [C++] 不要匯出靜態連結函式庫的符號
• ARROW-1748 - [GLib] 新增 GArrowRecordBatchBuilder
• ARROW-1750 - [C++] 移除對 arrow/util/random.h 的需求
• ARROW-1752 - [封裝] 為 Debian 和 Ubuntu 新增 GPU 套件
• ARROW-1753 - [Python] 提供在序列化上下文中使用 register_type 比對子類別
• ARROW-1755 - [C++] 為 MSVC 新增建置選項以使用靜態執行階段函式庫
• ARROW-1758 - [Python] 移除物件序列化的 pickle=True 選項
• ARROW-1763 - [Python] DataType 應為可雜湊
• ARROW-1765 - [文件] 在 C++ docker 建置中使用 conda 的相依性
• ARROW-1767 - [C++] 支援在 Windows 上讀取和寫入超過 2GB 的檔案
• ARROW-1772 - [C++] 以 parquet-cpp 的風格新增 public-api-test 模組
• ARROW-1773 - [C++] 新增從日期/時間類型到相容有號整數的轉換
• ARROW-1775 - 能夠中止已建立但未封鎖的 Plasma 物件
• ARROW-1777 - [C++] 新增靜態 ctor ArrayData::Make 以在某些地方提供更簡潔的語法
• ARROW-1779 - [Java] 如果不將有效性向量歸零，整合測試會中斷
• ARROW-1782 - [Python] 將壓縮器公開為 pyarrow.compress、pyarrow.decompress
• ARROW-1783 - [Python] 使用最少的記憶體配置 / 複製，將 SerializedPyObject 轉換為/從元件緩衝區序列
• ARROW-1784 - [Python] 透過分解 BlockManager 而非強制轉換為 Arrow 格式，在 pyarrow.serialize 中讀取和寫入 pandas.DataFrame
• ARROW-1785 - [格式/C++/Java] 從 Flatbuffers metadata 中移除 VectorLayout metadata
• ARROW-1787 - [Python] 以向後相容的方式支援將 parquet 檔案讀取到 DataFrames 中
• ARROW-1794 - [C++/Python] 將 DecimalArray 重新命名為 Decimal128Array
• ARROW-1801 - [文件] 更新安裝指示以使用 red-data-tools repos
• ARROW-1802 - [GLib] 新增 Arrow GPU 支援
• ARROW-1806 - [GLib] 新增 garrow_record_batch_writer_write_table()
• ARROW-1808 - [C++] 將 RecordBatch 介面設為虛擬，以允許延遲具體化欄的 record batch
• ARROW-1809 - [GLib] 對於 GTK-Doc 主要檔案，使用 .xml 而非 .sgml
• ARROW-1810 - [Plasma] 移除測試 shell 腳本
• ARROW-1817 - 設定 JsonFileReader 以讀取浮點數的 NaN
• ARROW-1818 - 檢查 Java 相依性
• ARROW-1819 - [Java] 移除舊版向量類別
• ARROW-1826 - [JAVA] 避免在儲存格層級進行分支 (copyFrom)
• ARROW-1827 - [Java] 新增 checkstyle 設定檔和標頭檔
• ARROW-1828 - [C++] 為 BooleanType 實作雜湊核心特化
• ARROW-1834 - [文件] 在個別建置資料夾中建置文件
• ARROW-1838 - [C++] 統一使用 compute::Datum 作為核心的輸入引數
• ARROW-1841 - [JS] 更新 text-encoding-utf-8 和 tslib 以支援 node ESModules
• ARROW-1844 - [C++] 雜湊核心的基本基準測試套件
• ARROW-1849 - [GLib] 將輸入檢查新增至 GArrowRecordBatch
• ARROW-1850 - [C++] 在 Writable::Write 中使用 const void* 而非 const uint8_t*
• ARROW-1854 - [Python] 改善序列化物件 dtype ndarray 的效能
• ARROW-1855 - [GLib] 為 macOS 上的建置失敗新增解決方案
• ARROW-1857 - [Python] 為 wheels 中與靜態 parquet 的 boost 連結新增切換
• ARROW-1859 - [GLib] 新增 GArrowDictionaryDataType
• ARROW-1862 - [GLib] 新增 GArrowDictionaryArray
• ARROW-1864 - [Java] 將 Netty 升級至 4.1.x
• ARROW-1867 - [Java] 從舊版向量類別新增 BitVector API
• ARROW-1874 - [GLib] 新增 garrow_array_unique()
• ARROW-1878 - [GLib] 新增 garrow_array_dictionary_encode()
• ARROW-1884 - [C++] 將 JsonReader/JsonWriter 類別設為內部 API
• ARROW-1885 - [Java] 還原先前的 MapVector 類別名稱
• ARROW-1901 - [Python] 為 DaskFilesystem 支援遞迴 mkdir
• ARROW-1902 - [Python] 從 write_to_dataset 移除 mkdir 競爭條件
• ARROW-1905 - [Python] 在 pyarrow.types 中新增更多用於檢查精確類型的方法
• ARROW-1911 - 將 Graphistry 新增至 Arrow JS 驗證點
• ARROW-480 - [Python] 為 Parquet 欄統計資訊新增存取器
• ARROW-504 - [Python] 新增轉接器以將使用者選取區塊大小的 pandas.DataFrame 寫入串流格式
• ARROW-507 - [C++/Python] 從偏移量和值子陣列建構 List 容器
• ARROW-541 - [JS] 實作與 JavaScript 相容的實作
• ARROW-571 - [Python] 新增 API 以從 Arrow 表格增量建置 Parquet 檔案
• ARROW-587 - 將 JIRA 修正版本新增至合併工具
• ARROW-609 - [C++] 用於從 UNIX epoch 以來的日期天數轉換為 int64 日期的函式
• ARROW-838 - [Python] 從非 pandas 1D NumPy 陣列有效率地建構陣列
• ARROW-905 - [文件] 新增 Dockerfile 以進行可重現的文件產生
• ARROW-942 - 在 Python 2.7 上支援整合測試
• ARROW-950 - [網站] 新增 Google Analytics 標籤
• ARROW-972 - [Python] 為 UnionArray 新增測試案例和基本 API