Sybase IQ 16
- 1. SAP Sybase IQ 技術文件 SAP Sybase IQ 技術文件
- 2. P. 01 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 目錄 一、透過 SYBASE CONTROL CENTER 管理 SYBASE IQ ...................................................................... 2 二、建立新的資料庫儲存空間(DBSPACE).................................................................................................. 6 三、資料表間的移動....................................................................................................................................... 9 四、建立資料庫的 SCHEMA ......................................................................................................................10 五、進行資料的上載 LOAD TABLE COMMAND....................................................................................14 六、SYBASE MEMORY SIZING................................................................................................................19 七、MONITORING .....................................................................................................................................21
- 3. P. 02 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 一、透過 Sybase Control Center 管理 Sybase IQ 當完成 Sybase IQ 的安裝及新建完畢資料庫後，其後續的資料庫管理工作都可以透過 SCC 來進 行執行，用於維護 Sybase IQ 資料庫的健康及長期使用性。SCC-主要是圖形化的介面用於管理所有 類型的 Sybase 產品，Sybase IQ 只是一例。 監控 Sybase IQ 的可能選項： (1) Examining the Sybase IQ message file and SQL log files. (2) 執行 sp_iqsysmon 或 sp_iqworkmon (3) 透過 SCC 進行監控 1. Register your Sybase IQ Server 在進行相關的註冊之前，先啟用 Sybase IQ
- 4. P. 03 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 2. 進行 JDBC 的連線設定 資料庫新建帳號及密碼。（帳號：DBA/sql，密碼：DBA/sql）
- 5. P. 04 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 3. Launch the Heat Chart 執行相關的熱圖，來監控相關的系統健康情況 4. 在清單上我們可以看到整個 High Level 的情況
- 6. P. 05 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 5. 進行節點的監控(Monitor Node)
- 7. P. 06 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 二、建立新的資料庫儲存空間(DBspace) 在進行新增表格及上載資料之前，在系統上必需先分配合適的空間用於儲存資料，在系統安裝 完畢之後，系統預設了 IQ_SYSTEM_MAIN 的空間，此空間主要是用於系統管理；所以建議新建其 他的空間用於含蓋其他的應用資料。 在 Sybase IQ 上，系統把資料分散於邏輯的儲存空間 DBspace，另外在這些邏輯的空間下面包 含了實際的儲存檔案 DBfiles。 Each type of storage has an associated cache in IQ memory: catalog store has a catalog cache, main store has a main cache, and temporary store has a temporary cache. 在進行資料上載之前需預先建立合適大小的儲存空間用來上載資料，如資料大小為1G，建議的 空間為2倍，其餘空間用於未來擴充及新增額外的Index。
- 8. P. 07 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 1. 進行 SCC，進行 DBspace 的管理及新增 2. 選擇建立新的 IQ Store 的 DBspace Striping 的選項：IQ has a striping feature that helps you balance I/O by striping data across all the DBFiles in a DBSpace. Many hardware I/O systems also have striping features to allow you to set up RAID disks, and write data in parallel across those disks.
- 9. P. 08 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ The written data is spread out over the disks, and consolidated when it is read back into memory. 如果沒有分配合適的保留空間，未來是無法進行擴充的。
- 10. P. 09 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 三、資料表間的移動 對於系統資料空間不足的部分，可以透過 Table 的移動，移動到有合適大小的資料空間。
- 11. P. 010 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 四、建立資料庫的 Schema 資料表的 Schema 如下： 表名：KNA1 欄位如下： 1. 登入 SCC，建立新的資料表
- 12. P. 011 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 2. 新增所有相關的欄位
- 13. P. 012 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 3. 查看建立完畢的 Table
- 14. P. 013 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 4. 自動建立相關的 Index 由系統中可以看到除了 FP 會被每個欄位所建立之外，系統同時建立 HG 的 index 在每一個 Unique 或是 Primary Key 的欄位上。
- 15. P. 014 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 五、進行資料的上載 LOAD TABLE Command 透過 LOAD TBALE SQL 的指令可以由 ASCII 或 binary 格式的檔案上載資料到資料表當中。 所以 ASCII 的格式可以是固定長度的格式，並有相關的分隔符存在。在上載資料的同時會同步 建立相關的 INDEX，而不需要進行後續的 INDEX 的重建等相關工作，這是在跟一般資料倉儲略有不 同的地方。(在 SAP BW 為了加速資料的上載，一般來說會先去除相關的 INDEX，加載資料完成後再 進行重建的作業) 1. 使用 Client Tools：登入 Interactive SQL
- 16. P. 015 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 2. 選擇匯入的功能 3. 選擇匯入資料的來源
- 17. P. 016 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 4. 選擇匯入檔案的路徑 5. 選擇把資料匯入已存在的資料表當中
- 18. P. 017 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 6. 設定相關的資料分隔符 7. 進行欄位的對照及關聯
- 19. P. 018 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！
- 20. P. 019 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 六、Sybase Memory Sizing 在 IQ 的設置上，記憶體是愈大愈好，最基本的設定上，一個 CORE 至少 4-8G 的 Ram 以上， 在上面的記憶體分配中，最重要的是 IQ Temporary Cache，用於加載 HG index。SWAP 的設置上， 直接調到 100G Ram 避免記憶體不足的錯誤。 現況查詢：使用 SCC，或 SP_IQSTATUS。 在 IQ 主機的總記憶體分配 75%的比例給 IQ。 1. Storage Sizing Storage-Prefer RAID 10(Write Intensive and Temp Store)或是 RAID 5
- 21. P. 020 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 相關設備的 Driver-一個 Core 可處理 50-500MB/Sec 的吞吐量。所以用於判斷設備的購買。 Disk Type Driver Number Main Store 2-5 Driver Per Core in Multiplex Temp Store 2-5 Driver Per Core in host Fiber Controller Store Fiber Controllers/HBAs 1 Driver 1 per 5-10 Core 2. CPU Sizing for Load 8 CPU 可以預計加載 160G-400G 的資料每一個小時(1 CPU per HG index plus 1 CPU per 2‐ 5 columns being loaded) 3. CPU Sizing for Query 每一個查詢通常會用到 1-2 個 CPU。目前大部分的查詢都會同步平行使用所有的 CPU，系統會 自動分配相關的資源。 4. Page Size Page Size 正常大小是 128K，通常表愈大，Page 要愈大，但 RAM 也是同步調大。
- 22. P. 021 2013 August, BI 部 本篇文章版權為台灣應用管理顧問股份有限公司所有，未經書面同意，嚴禁複製、轉載！ 七、Monitoring Hardware and storage utilities iostat, vmstat, top, glance, gpm, sar, etc. IQ utilities 1. sp_iqsysmon 2. Sybase Control Center 3. 3rd party tools like Bradmark Surveillance DBA and White Sands ProActive DBA 一般需要注意的效能指標 ? Run at 10-15 second intervals for the duration of the issue ?(sp_iqsysmon), or actively via Sybase Control Center ? Thread use/starvation? ? Cache usage? ? Cache hit rates ? ? Dirty page grabs? ? Page rereads? ? Physical and logical i/os