Apache Arrow 0.1.0 (2016 年 10 月 10 日)

下載

• 原始碼發布: [apache-arrow-0.1.0.tar.gz][6]
• 驗證: [md5][3], [asc][7]

變更日誌

貢獻者

$ git shortlog -sn d5aa7c46..apache-arrow-0.1.0
    49  Wes McKinney
    27  Uwe L. Korn
    25  Julien Le Dem
    13  Micah Kornfield
    11  Steven Phillips
     6  Jihoon Son
     5  Laurent Goujon
     5  adeneche
     4  Dan Robinson
     4  proflin
     2  Jacques Nadeau
     1  Christopher C. Aycock
     1  Edmon Begoli
     1  Kai Zheng
     1  MechCoder
     1  Minji Kim
     1  Philipp Moritz
     1  Smyatkin Maxim
     1  fengguangyuan
     1  hyukjinkwon
     1  hzhang2
     1  lfzCarlosC

新功能與改進

• ARROW-1 - 匯入初始程式碼庫
• ARROW-10 - 修正在 javadoc 名稱和方法參數上的不匹配
• ARROW-100 - [C++] 計算 RowBatch 大小
• ARROW-101 - 修正 java 編譯器發出的 java 警告
• ARROW-102 - travis-ci 支援 java 專案
• ARROW-106 - 為字串類型 (string, char, varchar, binary) 新增 IPC 往返
• ARROW-107 - [C++] 為 struct 類型新增 ipc 往返
• ARROW-11 - 將 JIRA 活動鏡像到 dev@arrow.apache.org
• ARROW-13 - 新增類似於 Parquet 中使用的 PR 合併工具
• ARROW-14 - 新增 JIRA 組件
• ARROW-15 - 修正 memory.AllocationManager.AllocationOutcome 的命名錯字
• ARROW-19 - C++: 外部化記憶體分配並為 builder 類別新增 MemoryPool 抽象介面
• ARROW-190 - Python: 提供可安裝的 sdist 建置
• ARROW-197 - [Python] 為 pyarrow 新增 conda 開發配方
• ARROW-199 - [C++] 優化第三方依賴
• ARROW-2 - 發布簡單網站
• ARROW-20 - C++: 為 Array 容器新增 null 計數成員，移除 nullable 成員
• ARROW-201 - C++: 初始 ParquetWriter 實作
• ARROW-203 - Python: 基礎的基於檔案名稱的 Parquet 讀取/寫入
• ARROW-204 - [Python] 自動化上傳 libarrow 和 pyarrow 的 conda 建置產物
• ARROW-206 - [C++] 公開相等性 API，用於比較兩個陣列上的一系列插槽
• ARROW-21 - C++: 新增記憶體內結構描述中繼資料容器
• ARROW-212 - [C++] 澄清 PrimitiveArray 現在是抽象類別的事實
• ARROW-213 - 公開靜態 arrow 建置
• ARROW-214 - C++: 為 Parquet I/O 新增字串支援
• ARROW-215 - C++: 在 Parquet I/O 中支援其他整數類型
• ARROW-218 - 新增選項以在合併 PR 時透過環境變數使用 GitHub API 令牌
• ARROW-22 - C++: 新增結構描述適配器例程，用於將平面 Parquet 結構描述轉換為記憶體內 Arrow 結構描述
• ARROW-222 - [C++] 建立 HDFS (透過 libhdfs) 的原型類檔案介面，並開始為 Arrow 資料適配器定義更通用的 IO 介面
• ARROW-23 - C++: 為分塊資料新增邏輯「Column」容器
• ARROW-233 - [C++] 新增可見性定義，以限制共享函式庫符號可見性
• ARROW-234 - [C++] 在 conda 建置中以 libhdfs 支援建置 arrow_io
• ARROW-236 - [Python] 啟用 Parquet 讀取/寫入以使用 HDFS 檔案物件
• ARROW-237 - [C++] 建立 Parquet 分配器和讀取介面的 Arrow 特化
• ARROW-238 - C++: 當記憶體分配不足時，InternalMemoryPool::Free() 應拋出錯誤
• ARROW-24 - C++: 新增邏輯「Table」容器
• ARROW-242 - C++/Python: 支援時間戳記資料類型
• ARROW-245 - [Format] 釐清 Arrow 與大端平台之間的關係
• ARROW-251 - [C++] 公開用於取得狀態程式碼和訊息的 API
• ARROW-252 - 將實作指南新增至文件
• ARROW-253 - Int 類型應僅具有 8*2^n (8, 16, 32, 64) 的寬度
• ARROW-254 - 移除 Bit 類型，因為它與布林值重複
• ARROW-255 - 完成 Dictionary 表示法
• ARROW-256 - 為 arrow 規格新增版本控制
• ARROW-257 - 為 Union 類型新增 typeids Vector
• ARROW-26 - C++: 為建置 parquet-cpp 整合新增開發人員指示
• ARROW-260 - TestValueVector.testFixedVectorReallocation 和 testVariableVectorReallocation 不穩定
• ARROW-262 - [Format] 為訊息傳遞和 IPC / 有線/檔案表示法的中繼資料和邏輯類型新增新的格式文件
• ARROW-264 - 建立 Arrow 檔案格式
• ARROW-267 - [C++] RPC / IPC 的類檔案配置的 C++ 實作
• ARROW-270 - [Format] 定義更通用的 Interval 邏輯類型
• ARROW-271 - 更新 Field 結構以更加明確
• ARROW-272 - Arrow 發布 0.1
• ARROW-279 - 將 vector 模組重新命名為 arrow-vector 以保持一致性
• ARROW-28 - C++: 將 google/benchmark 新增至第三方建置工具鏈
• ARROW-280 - [C++] 整合檔案和共享記憶體 IO 介面
• ARROW-285 - 允許自訂 flatc 編譯器
• ARROW-286 - 並行建置第三方依賴
• ARROW-289 - 安裝 test-util.h
• ARROW-290 - 在 ArrowBuf 中特化 alloc()
• ARROW-292 - [Java] 將 Netty 升級到 4.041
• ARROW-293 - [C++] 作業系統檔案的 IO 介面實作
• ARROW-296 - [C++] 移除 arrow_parquet C++ 模組和建置系統的相關部分
• ARROW-298 - 建立發布腳本
• ARROW-299 - 在巨集中使用絕對命名空間
• ARROW-3 - 發布初始 Arrow 格式規格
• ARROW-30 - Python: pandas/NumPy 與 Arrow 之間的轉換例程
• ARROW-301 - [Format] 將某些形式的使用者欄位中繼資料新增至 IPC 結構描述
• ARROW-302 - [Python] 新增支援以將 Arrow 檔案格式與類檔案物件一起使用
• ARROW-305 - 為 Parquet 介面新增壓縮和 use_dictionary 選項
• ARROW-306 - 新增選項以透過環境變數傳遞 cmake 參數
• ARROW-31 - Python: 基礎 PyList <-> Arrow 編組程式碼
• ARROW-315 - 完成時間戳記類型
• ARROW-318 - [Python] 修訂 README 以反映專案的目前狀態
• ARROW-319 - 新增標準 Arrow Schema json 表示法
• ARROW-324 - 更新 arrow 中繼資料圖
• ARROW-325 - 使 TestArrowFile 不依賴時區
• ARROW-35 - 將簡短的行動呼籲 / 如何參與新增至主要 README.md
• ARROW-37 - C++: 以位元組封裝形式表示布林陣列資料
• ARROW-4 - 初始 Arrow CPP 實作
• ARROW-42 - Python: 新增至 Travis CI 建置
• ARROW-43 - Python: 為陣列類型新增基本的控制台 repr
• ARROW-44 - Python: 為純量值 (即 arrow_arr[i] 的結果) 實作基本物件模型
• ARROW-48 - Python: 新增 Schema 物件包裝器
• ARROW-49 - Python: 新增 Column 和 Table 包裝器介面
• ARROW-50 - C++: 啟用第三方使用者的函式庫建置，而無需建置第三方 googletest
• ARROW-53 - Python: 修正 RPATH 並新增原始碼安裝指示
• ARROW-54 - Python: 將套件重新命名為 “pyarrow”
• ARROW-56 - Format: 在位元陣列中指定 LSB 位元順序
• ARROW-57 - Format: 草擬用於資料交換的資料標頭 IDL
• ARROW-58 - Format: 草擬類型中繼資料 ("結構描述") IDL
• ARROW-59 - Python: 內建資料結構的布林資料支援
• ARROW-60 - C++: Struct 類型 builder API
• ARROW-64 - 為 C++ 建置腳本新增 zsh 支援
• ARROW-66 - 安裝指南中可能缺少一些步驟
• ARROW-67 - C++: 草擬類型中繼資料與 IPC 表示法之間的轉換
• ARROW-68 - 更新 setup_build_env 和第三方腳本以更方便使用者使用
• ARROW-7 - 新增 Python 函式庫建置工具鏈
• ARROW-70 - C++: 新增 parquet-cpp 中使用的 “lite” DCHECK 巨集
• ARROW-71 - C++: 新增腳本以在程式碼庫上執行 clang-tidy
• ARROW-73 - 支援 CMake 2.8
• ARROW-76 - 修訂格式文件以包含 null 計數，將不可為 null 的陣列延遲到中繼資料的領域
• ARROW-78 - C++: 為 DecimalType 新增建構函式
• ARROW-79 - Python: 新增基準測試
• ARROW-8 - 設定 Travis CI
• ARROW-82 - C++: 實作 List 類型的 IPC 交換
• ARROW-83 - 為 DecimalType 新增基本測試基礎架構
• ARROW-85 - C++: 在與相同 Buffer 比較時，Equal 中可以避免 memcmp
• ARROW-86 - Python: 實作零複製 Arrow 到 Pandas 的轉換
• ARROW-87 - 為 Parquet 中支援的所有方式實作 Decimal 結構描述轉換
• ARROW-89 - Python: 為 Arrow<->Pandas 轉換新增基準測試
• ARROW-9 - 將一些未變更的 “Drill” 重新命名為 “Arrow”
• ARROW-90 - Apache Arrow cpp 程式碼不支援 power 架構
• ARROW-91 - C++: 用於 parquet-cpp 的 ParquetFileReader 的適配器類別的初稿，該類別產生 Arrow 表格/RowBatch 物件
• ARROW-92 - C++: Arrow 到 Parquet 結構描述轉換

錯誤修正

• ARROW-103 - .gitignore 中遺失的模式
• ARROW-104 - 根據郵件列表上的討論更新 Layout.md
• ARROW-105 - 如果停用斷言，單元測試將失敗
• ARROW-113 - 如果無法分配 2GB 記憶體，TestValueVector 測試將失敗
• ARROW-16 - 在 XCode 7.2.1 上建置 cpp 問題
• ARROW-17 - 將一些 vector 欄位設定為預設存取層級以實現 Drill 相容性
• ARROW-18 - 修正十進位精度和小數位數的錯誤
• ARROW-185 - [C++] 確保對齊和記憶體填充符合規格
• ARROW-188 - Python: 將 numpy 新增為安裝需求
• ARROW-193 - 對於說明，錯字 “int his” 應為 “in this”
• ARROW-194 - C++: 允許唯讀記憶體映射來源
• ARROW-200 - [Python] Convert Values String 看起來具有不正確的錯誤處理
• ARROW-209 - [C++] 損壞的建置: llvm.org apt 儲存庫不可用
• ARROW-210 - [C++] 稍微整理類型系統
• ARROW-211 - Layout.md 範例中的多個錯字/錯誤
• ARROW-217 - 修正關於 conda 4.1.0 變更的 Travis
• ARROW-219 - [C++] 傳遞的 CMAKE_CXX_FLAGS 正在被丟棄，修正編譯器警告
• ARROW-223 - 不要連結 libpython
• ARROW-225 - [C++/Python] master Travis CI 建置已損壞
• ARROW-244 - [C++] IPC 模組的一些全域 API 應對外部可見
• ARROW-246 - [Java] UnionVector 在建立 vectorType 時未呼叫 allocateNew()
• ARROW-247 - [C++] RowBatchReader 中遺失的明確解構函式導致不完整類型錯誤
• ARROW-250 - ARROW-246 的修正可能會導致記憶體洩漏
• ARROW-259 - 在 java 實作中使用 flatbuffer 欄位
• ARROW-265 - 負十進位值具有錯誤的填充
• ARROW-266 - [C++] 修正損壞的建置
• ARROW-274 - 使 MapVector 可為 null
• ARROW-278 - [Format] 實作和中繼資料中的 Struct 類型名稱一致性
• ARROW-283 - [C++] 更新 arrow_parquet 以考慮 PARQUET-573 中的 API 變更
• ARROW-284 - [C++] 透過停用 Arrow-Parquet 模組來分類建置
• ARROW-287 - [java] 使可為 null 的 vector 使用 BitVecor 而不是 UInt1Vector 作為位元
• ARROW-297 - 修正發布的 Arrow pom
• ARROW-304 - NullableMapReaderImpl.isSet() 始終返回 true
• ARROW-308 - UnionListWriter.setPosition() 不應呼叫 startList()
• ARROW-309 - Types.getMinorTypeForArrowType() 不適用於 Union 類型
• ARROW-313 - XCode 8.0 破壞建置
• ARROW-314 - JSONScalar 是不必要且未使用的。
• ARROW-320 - 如果未設定 reader，ComplexCopier.copy(FieldReader, FieldWriter) 不應啟動列表
• ARROW-321 - 修正 Arrow 許可證
• ARROW-36 - 從修補程式工具中移除 fixVersions (直到我們擁有它們)
• ARROW-46 - 將 DRILL-4410 移植到 Arrow
• ARROW-5 - 執行 maven install 時出錯
• ARROW-51 - 從 Drill 專案移動 ValueVector 測試
• ARROW-55 - Python: 修正舊版 Python (2.7) 測試並新增至 Travis CI
• ARROW-62 - Format: 空值的 null 位元是 0 還是 1？
• ARROW-63 - C++: 如果 Python 3 是活動的 Python 解釋器，ctest 將失敗
• ARROW-65 - Python: FindPythonLibsNew 在 virtualenv 中不起作用
• ARROW-69 - 變更可指派使用者的權限
• ARROW-72 - FindParquet 搜尋不存在的標頭
• ARROW-75 - C++: 修正空字串的處理
• ARROW-77 - C++: 使 null 位元解譯符合 ARROW-62
• ARROW-80 - 空陣列的 len(Array) 上的區段錯誤
• ARROW-88 - C++: 鑑於 PARQUET-572 進行重構
• ARROW-93 - XCode 7.3 破壞建置
• ARROW-94 - 展開列表範例以闡明 null 與空列表