Perbandingan Kapasiti Data Dalam Personal, File dan ArcSDE Geodatabase

Topik kali ni ringkas sahaja. Sekiranya anda ditugaskan untuk membangunkan GIS data di dalam geodatabase, topik kali ini mungkin dapat membantu anda untuk membuat keputusan jenis geodatabase manakah yang sesuai anda gunakan. Jika anda masih baru dalam konsep geodatabase dan ingin sedikit maklumat asas tentang geodatabase ni, bolehlah rujuk kat post saya sebelum ini topik Pengenalan geodatabase di link sini.

Untuk yang dah tahu konsep asas geodatabase tu, anda tentu tahu kan geodatabase ni ada 3 jenis : Personal Geodatabase, File Geodatabase dan ArcSDE Geodatabase. Rujuk pada gambar di bawah ni.

Di dalam post saya sebelum ini topik Pengenalan Geodatabase, saya ada ceritakan secara ringkas tentang Storage Capacity di dalam gambar tu. Dalam topik kali ni, saya akan ceritakan lebih terperinci lagi tentang Storage Capacity tu.

Jika anda lihat gambar atas tu, Storage Capacity untuk Personal geodatabase ialah 2Gb, File GDB 1 TB per table dan ArcSDE GDB tu depend pada ArcSDE GDB Edition. OK.. maybe ada yang tak clear maksudnya tu..  saya akan explain satu persatu.

Storage Capacity : Personal GDB : 2GB

Untuk Personal GDB, saiz keseluruhan data dalam satu geodatabase tu maksimum sampai 2GB sahaja.

Personal GDB, maksimum saiz sata database = 2Gb

So, kalau data anda tu saiz besar sangat camne? Terpaksalah pecah-pecahkan data tu ke banyak GDB.. kalau korang still decide nak guna Personal GDB ler. Tapi cara ni macam tak berapa praktikal.

Create lebih dari 1 personal GDB kalau data anda lebih dari 2Gb

Storage Capacity : File GDB : 1 TB per table

Kalau data anda lebih dari 2GB, cara yang lebih praktikal ialah upgrade saja ke File Geodatabase. So..apakah maksud 1 TB per table?? Maknanya setiap dataset dalam geodatabase boleh pergi maksimum sampai 1 Terabyte setiap satu. Wowww... besar tu!!

File GDB : setiap satu dataset boleh capai 1TB

Storage Capacity : ArcSDE GDB : ArcSDE GDB Edition

Untuk ArcSDE GDB, saiz kapasiti data bergantung pada jenis ArcSDE GDB Edition yang digunakan. Terdapat tiga jenis edition iaitu :-

1. ArcSDE for ArcGIS Desktop
2. ArcSDE for ArcGIS Server Workgroup
3. ArcSDE for ArcGIS Server Enterprise

Rujuk ruangan Database limits kat gambar bawah ni untuk saiz kapasiti data setiap edition.

Kalau anda lihat kat ruangan Database limits tu, kalau anda gunakan Enterprise Edition, memang takda had dari segi saiz data dan RAM. Had saiz data anda bergantung pada berapa banyak saiz harddisk yang ada kat server anda. Untuk Desktop dan Workgroup Edition.. had maksimum saiz data anda 4Gb saja.. dan ada had RAM untuk single cpu. Maknanya kalau server anda ada sampai berbelas Gb RAM pun, ArcSDE hanya utilize 1Gb RAM je kat server tu.

ArcGIS Online.. Jom buat free GIS Web Map

Kali ini saya ingin berkongsi satu topik yang menarik. Katakan anda ingin berkongsi data-data GIS anda dengan pengguna lain melalui internet, atau mungkin anda bercadang untuk membina satu laman web aplikasi GIS yang ringkas yang boleh dicapai di mana-mana sahaja samada melalui internet browser, komputer desktop ataupun melalui mobile device anda.. almaklum sekarang ni zaman smartphone kan?? Blackberry ler, Samsung Note, SIII, Iphone... macam-macam ler...

Di sini saya ada tips yang mudah macamana nak buat semua menda-menda tu.. tak perlu skill programming pun, tak perlu pun setup atau install apa-apa software.. jawapannya gunakan saja platform ArcGIS Online. Apa kebenda ArcGIS Online tu??  Ok.. intro sikit... Sekarang ni kan orang dok sibuk-sibuk cerita pasal teknologi cloud.. cloud computing ler dan macam-macam lagi. So ArcGIS Online ni pun sebenarnya cloud-based, satu sistem di mana kita boleh manage map, data-data, aplikasi dan pelbagai maklumat geografi di mana-mana sahaja melalui internet. Peta yang anda bina melalui ArcGIS Online ni anda boleh share dan masukkan samada ke dalam blog anda ataupun mungkin melalui laman web sedia ada di jabatan anda.

Kalau anda nak menggunakan ArcGIS Online ni, syaratnya anda perlu register dulu user anda. Anda mempunyai pilihan samada nak create user anda tu sebagai akaun ArcGIS Subscription ataupun sebagai Personal Account sahaja. Kalau Personal Account tu, ada limitation sikit lah dari segi fungsi-fungsi yang anda boleh buat dalam webpage anda nanti. Macam saya just plan nak buat simple-simple map dan simple function dalam webpage saya, jadi saya decide register sebagai Personal Account sahaja.  Kalau anda nak lihat detail perbandingan Subscription dan Personal Account, boleh rujuk di link sini. 

Untuk access ArcGIS Online, taip saja www.arcgis.com kat browser internet anda atau klik link ni. Kemudian klik pada link Sign In. Register dulu akaun anda.  Selepas anda log in, klik saja pada link Make a Map >> . Anda akan dapat paparan seperti kat bawah ni.

Dalam contoh ni, saya akan tunjukkan sample macamana saya bina GIS webpage untuk paparkan lokasi-lokasi kamera AES.. sekarang ni kan tengah hot isu pasal kamera AES ni kan..hehe. Data lokasi AES ni saya dapat dari  website ni.

Data-data tu dalam format PDF, kemudian saya convert ke Excel dan jadikan dalam bentuk text file comma delimited. Kemudian di dalam ArcGIS Online, saya zoom pada area data saya tadi. Kemudian klik pada button Basemap dan pilih basemap yang saya nak sebagai latar belakang map.

Pilihan Basemap untuk latar belakang peta anda

Sebagai contoh, disebabkan saya nak paparkan lokasi kamera AES disepanjang jalanraya kat Malaysia ni, so saya klik pada basemap Bing Maps Road dan paparan peta saya jadi seperti di bawah ni.

Contoh peta latar belakang basemap Bing Maps Road

Sekarang saya akan overlay pula basemap saya tu dengan data-data lokasi kamera AES yang saya dah convert tadi. Caranya klik pada menu Add > Add Layer from File. Nanti anda akan dapat paparan seperti kat bawah ni :-

Gabungkan latar belakang basemap dengan data anda

Kalau anda pilih option Add Layer from File, data anda tu mesti samada dalam format berikut :-

• shapefile (sekurangnya 4 fail : shp, shx, dbf, prj dan dalam format zipfile)
• delimited text file samada dalam format comma, semi-colon atau tab
• GPS data file (GPX)

Satu lagi limitation ialah data anda tu maksimum 1000 features saja yang boleh dipaparkan. Maksudnya kalau data saya ni point, maksimum 1000 point saja le boleh papar. Lokasi kamera AES tak sampai 1000 kamera pun... so kira ok le tu.

Daripada dialog Add Layer from file tu, saya klik button Choose File, kemudian saya pilih text file yang saya dah convert tu.

Apabila saya klik button Import Layer, lokasi point kamera AES dari text file tadi akan dipapar di atas basemap saya menggunakan default simbol merah.

Point merah menunjukkan data saya - lokasi kamera AES

Errmmm... rasa macam tak menarik pulak default simbol point tu. Katakan saya nak gantikan simbol tu dengan simbol gambar kamera yang saya download dari mana-mana page. Mudah saja, dari Table of Content map tu, saya klik saja kat layer AES tu dan pilih Change Simbol dan masukkan URL gambar kamera saya tadi. Stepnya seperti gambar di bawah ni.

Maknanya kalau anda nak gunakan method simbol dari image, image tu anda perlu upload dulu kat mana-mana website sebab ArcGIS Online akan baca URL lokasi image tadi. Dalam contoh ni, image kamera tu saya upload dulu dalam website photobucket.com. Hasilnya peta saya akan kelihatan seperti di bawah ni..

Lokasi kamera AES menggunakan simbol kamera dari image PNG

Kemudian, save kan map anda. Masukkan Tajuk dan Tag seperti contoh di bawah :-

OK katakan anda dah puas hati dengan setting map tu.. sekarang tiba masa untuk anda share map anda tu dengan pengguna lain di internet. Klik saja butang Share. Saya pilih option Everyone (public) sebab saya nak kongsi map saya ni dengan semua pengguna. Kalau anda ada akaun facebook atau twitter, anda boleh terus share ke dalam laman sosial tu dengan klik terus ke button facebook atau twitter. Dalam contoh ni saya decide nak buat webpage, so saya klik pada butang Make a Web Application.

Share map anda

Jangan risau dari segi macamana nak design interface web application tu sebab ArcGIS Online dah readykan untuk anda pelbagai template yang anda boleh pilih mengikut citarasa anda... seperti kat bawah ni..

Pilihan templat untuk interface website

Contoh website yang telah lengkap saya bina tadi adalah seperti kat bawah ni. Anda boleh access pada website ni di link sini.

Contoh website yang dah ready menggunakan templat "Legend"

ArcGIS Online juga menyediakan interface untuk anda manage webpage dan map yang telah anda design. Klik saja kat butang MY CONTENT, kesemua map-map yang telah anda buat sebelum ni akan dipaparkan di situ.

Antara contoh website yang saya bina dari ArcGIS Online

Mudah saja kan... semuanya free, tak perlu install apa-apa pun, programming pun tak payah buat. Kalau anda ada smartfon atau mobile device, nak access map tu dalam fon atau mobile device anda pun boleh.

Contoh map sempadan pilihanraya dari ArcGIS Online yang saya 
access thru smartphone

Selamat mencuba.. :):)

16th Esri Malaysia User Conference

Hari ni saya attend Esri Malaysia User Conference.. kali ni event ni berlangsung kat PICC Putrajaya... Selain dari dengar presentation, upgrade sikit technical knowledge terutama dengan release version baru ArcGIS 10.1 sekarang, dapat juga jumpa member-member lama kalangan GIS komuniti kat Malaysia ni. Bila lagi nak jumpa...

Hari ni hari pertama, event ni 2 hari (23-24 Oct) ... tadi lebih pada Plenary Session...esok baru lah technical workshop. Antara presentation yang saya dengar tadi tentang ESRI Maps for Microsoft Office, CityEngine, ArcGIS for Local Government dan yang menarik presentation dari JPBD tentang sistem yang diaorg buat utk PDRM..Safe City Monitoring System (SCMS)... dapat SAG award tu sistem tu. Yang lain tu saya rewang-rewang luar hall conference jumpa kawan-kawan.. :):)

Last session tadi presenter summarize Top 10 Countdown ArcGIS 10.1

10. Labeling

9. Dynamic Legend

8. Spatial Filter

7. Geodatabase Administration Dialog

6. Align to Shape / Editor Tracking

5. Web Editor Tracking

4. ArcGIS 10.1 for Server

3. Server Performance

2. Web Printing Tool

1. Sharing

Boleh tahan ramai

Gang dari SPR

En Azhar org kuat PeGIS and the gang..

Jumpa lagi gang dari Jab Alam Sekitar..

Gang JAS gak..

PDRM plan nak buat unit GIS..

Demo SCMS..Crime Analysis Penang... dpt SAG award sistem ni..

Demo CityEngine

Lidar Profile View

Demo Esri Maps for MS Office.. menarik..

Kalau nak tengok gambar-gambar lain, bolehlah view kat page FB sukagis di link sini. :):)

ArcGIS Definition Query

Sebelum saya teruskan topik ni, anda semua mesti faham dulu konsep query ataupun carian maklumat di dalam pangkalan data. Kalau rasa-rasa tak sure, rujuk dulu topik query yang saya post sebelum ni di link sini. OK, pernah tak anda hadapi situasi macam ni.... anda nak buat map untuk menunjukkan sesuatu kawasan mukim atau daerah sahaja, tapi data yang anda ada tu menunjukkan keseluruhan negeri.  Nak memudahkan faham apa maksud yang saya cuba sampaikan ni, cuba perhatikan gambar di bawah. Gambar (A) menunjukkan keadaan data saya sekarang.. ada layer mukim, daerah dan sungai untuk keseluruhan Negeri Sembilan.. tapi saya nak cuba buat map macam dalam  gambar (B).. menunjukkan layer mukim, daerah dan sungai di dalam daerah Kuala Pilah sahaja.

Sebenarnya data yang dipaparkan pada gambar (B) adalah data yang sama yang dipaparkan pada gambar (A)..tanpa buat apa-apa proses editing atau analisis overlay.  Mungkin ada yang cakap... "owhh nak buat data jadi macam gambar (B) tu senang je, run saja geoprocessing overlay CLIP atau INTERSECT..."  OK... betul juga.. tapi proses geoprocessing tu akan menghasilkan layer yang baru.. maksudnya anda akan dapat layer baru untuk sungai, daerah dan mukim.

Ada satu lagi cara yang lebih mudah.. tak perlu run geoprocessing, tak perlu editing nak delete polygon or line... iaitu menggunakan kaedah Definition Query... ni yang saya nak share untuk topik kali ini.

Konsep Definition Query

Kalau anda familiar dengan carian maklumat menggunakan Attribute Query di dalam ArcMap, kaedah Definition Query ni sebijik sama macam Attribute Query. Kalau Attribute Query tu, anda buka window Select by Attributes tu, pastu buat query menggunakan SQL statement kan?? Macam contoh gambar bawah ni...

So kalau sebijik sama, apa bezanya?? Bezanya dari segi result query yang dipaparkan. Lihat contoh perbezaan result seperti di bawah.

Perbandingan result Attribute Query dan Definition Query

Dalam gambar (A), saya buat carian daerah Kuala Pilah menggunakan kaedah Attribute Query. Hasilnya, daerah Kuala Pilah di highlight warna outline biru (default color selection ArcMap) di atas peta... tapi daerah-daerah lain masih dipaparkan. Dalam gambar (B) pula, saya buat carian yang sama, tapi menggunakan kaedah Definition Query. Hasilnya hanya polygon daerah Kuala Pilah sahaja dipaparkan... daerah-daerah lain tu hilang.. bukan maksudnya dia delete, cuma dia sorokkan sekejap dan ArcMap cuma paparkan polygon yang saya query sahaja. Tulah bezanya.

Jadi kalau anda lihat penerangan saya tadi, nak buat Definition Query ni, syarat pertama sekali, data anda tu mesti ada attribute yang boleh anda querykan. Contohnya dalam ketiga-tiga layer mukim, daerah dan sungai saya tadi, saya ada attribute nama daerah.  Sebab tu saya boleh buat query daerah Kuala Pilah untuk ketiga-tiga layer tadi. Kalau takda attribute yang boleh dibuat query nak buat macamana?? Kalau macam tu..terpaksalah anda buat geoprocessing overlay, guna CLIP ke, INTERSECT ke...

Cara Nak Buat Definition Query

OK, kalau dah faham konsep dia, macamana nak buat query ni. Mudah saja. Caranya seperti gambarajah di bawah. Kalau gambar tu tak clear, klik kat gambar tu untuk besarkan..

Penerangan gambarajah :-

1. Right click layer yang nak buat Definition Query dalam Table of Content ArcMap pastu dan pilih Properties

2. Bila dapat window Layer Properties, klik tab Definition Query

3. Klik butang Query Builder

4. Buat proses query macam kaedah Attribute Query

5. Hasil query akan dipaparkan dalam ruangan Definition Query. Semak dulu syntax dalam ruangan tu betul ke tak sebelum klik OK.

Dalam contoh tadi, saya buat Definition Query untuk layer daerah. Di dalam query builder tu, saya buat query [DISTRICT] = 'Kuala Pilah'.. hasilnya seperti di bawah ni.

Kalau anda lihat result tu, hanya polygon daerah Kuala Pilah dipaparkan. Tapi mukim dan sungai masih dipapar untuk keseluruhan Negeri Sembilan. Jadi saya perlu ulang proses tadi, cuma kali ini proses Definition Query yang perlu saya buat adalah untuk layer mukim dan sungai pula. Bila saya dah buat query untuk ketiga-tiga layer tu, dapatlah result seperti di bawah ni.

Senang je kan.. tak payah dah buat analisis CLIP, cuma syaratnya macam saya bagitau tadi ler, mesti ada attribute yang boleh kita query.

Convert CAD data ke GIS

Jika dalam post saya sebelum ni, saya ada ceritakan tentang cara-cara nak convert GIS data ke CAD format (boleh rujuk link ni), kali ni terbalik pulak. Saya akan tunjukkan cara nak convert data dari CAD ke format GIS , memandangkan ramai user yang tanya saya macamana nak buat benda ni dalam ArcGIS. Sebenarnya simple saja, sebab semua tool-tool tu dah ada dalam ArcGIS Desktop.

Perlukah Convert fail CAD ke format GIS?

Kenapa perlu convert ke GIS format? Bukankah ArcGIS boleh direct view je data-data AutoCAD? OK, sebenarnya bergantung pada keperluan analisis anda. Kalau anda cadang nak view atau overlay je data-data AutoCAD tu, tak payah convert pun takpe sebab ArcGIS support direct view data-data CAD. Tapi katakanlah anda nak gunakan data line dari fail CAD tu untuk kira jarak atau nak dapatkan keluasan dari data polygon dalam AutoCAD tu, atau mungkin anda nak gunakan layer dalam CAD tu untuk analisis geoprocessing dengan data-data anda yang lain,... so kalau macam tu anda perlu convert data tu ke GIS format. Dalam ArcGIS, anda ada pilihan samada nak convert CAD layer tu samada ke format shapefile ataupun geodatabase.

Perbandingan Struktur layer data CAD dan GIS

Kalau anda biasa dengan fail CAD, anda tentu nampak perbezaan ketara antara struktur layer data CAD dan layer data GIS. Di dalam satu fail CAD akan terkandung pelbagai layer manakala data GIS selalunya diasingkan dalam layer-layer yang berlainan. Contohnya katalah saya buka satu fail topo CAD 3757A.DXF dari JUPEM, di dalam satu fail DXF tu akan mengandungi semua layer... sungai, kontur, jalan dan lain-lain. Kalau saya guna default setting untuk open fail tu, pening gak saya nak tentukan yang mana satu layer contour, yang mana satu layer sungai, yang mana satu layer jalan??

1 fail DXF terkandung pelbagai Drawing Layer

Jadi...kalau saya nak view layer kontur sahaja, saya perlu tahu apakah nama layer yang mewakili kontur dalam layer DXF tu, seterusnya saya onkan layer kontur tu saja, layer-layer lain yang tak berkenaan saya offkan. So, samalah kalau saya nak convert fail DXF tu ke GIS format, saya perlu onkan layer tertentu sahaja yang hendak saya convert satu persatu. Contohnya, kalau saya nak convert layer contour, onkan layer contour saja, kemudian buat proses conversion. Kalau saya nak convert layer sungai pulak, onkan layer sungai saja, kemudian buat proses conversion. Begitulah seterusnya.

Onkan hanya layer yang anda ingin lihat di dalam ArcMap

Proses Conversion

Secara ringkas, step untuk convert data CAD ni ke format GIS adalah seperti berikut :-

1) Pastikan dulu layer nak convert tu terletak dalam featuretype apa di dalam fail CAD tadi.. adakah layer tu dalam featuretype Annotation, Point, Polyline, Polygon atau Multipatch. Kalau tak sure, draw fail CAD tu satu persatu dalam ArcMap, mula-mula onkan Annotation, kemudian tengok kat map. Kemudian onkan pulak Polyline dan seterusnya sehingga anda nampak data yang anda perlukan.

Contoh layer-layer di dalam featuretype Polyline di dalam fail CAD

2) Next, study dulu fail CAD tu untuk tentukan nama layer yang hendak anda convert tu. Part ni yang kadang2 agak payah juga, sebab kadangkala nama layer dalam fail tu tak standard. Kalau anda nak convert layer sungai, tak semestinya nama layer di dalam fail CAD tu dinamakan layer "SUNGAI", semua ni bergantung pada pihak pemilik data bagaimana dia namakan layer dalam fail tu. Kalau anda tak sure, gunakan butang Identify dan klik atas feature yang anda nak convert tu. Contoh, kalau anda nak convert layer contour, klik atas mana-mana line contour. Bila keluar window Identify tu, lihat apakah nama layer CAD yang dipaparkan kat ruangan Layer.

Klik di atas feature dan kenalpasti nama layer dahulu di dalam window Identify

3) Seterusnya, onkan hanya nama layer yang telah anda kenalpasti dalam step (2) sebelum ni. Dalam contoh step (2) kat atas tu, nama layer contour yang dipaparkan adalah CONT_LINE. Jadi saya akan onkan layer CONT_LINE sahaja di dalam ArcMap sekiranya saya hendak convert layer contour tadi. Caranya seperti gambar di bawah ni.

Penerangan gambar :

  i. Buka Properties

 ii. Klik tab Drawing Layers

iii. Klik butang Disable All

iv. Klik Layer Name CONT_LINE

Hasilnya hanya CAD layer contour akan dipaparkan seperti di bawah :-

Hanya layer CONT_LINE dipaparkan merujuk pada layer garis kontur

4) Sekarang barulah saya mulakan proses conversion. Caranya mudah saja, rujuk gambar di bawah.

Penerangan gambar :

  i. Right click layer dan pilih Data > Export Data...

 ii. Masukkan nama output samada shapefile atau geodatabase

iii. Klik OK

Selesai sudah. Data anda telahpun diconvert dari layer CAD menjadi GIS layer shapefile atau geodatabase. Mudah saja kan? Tapi peringatan... data yang telah anda convert tu mungkin memerlukan proses semakan dan editing sekiranya anda perlukan data yang sempurna dari segi topology. Ini kerana kemungkinan data yang telah anda convert tu terdapat error dari segi connectivity, overlap feature dan lain-lain memandangkan AutoCAD tidak mementingkan kesempurnaan topology pada drawing layer.

Selamat mencuba.. :)

Kursus ArcGIS 3D & Spatial Analyst - Jab Alam Sekitar...

Kali ini saya dijemput oleh Institut Jabatan Alam Sekitar Malaysia (EiMAS) untuk menjadi salah seorang penceramah bagi sesi kursus ArcGIS 3D & Spatial Analyst untuk Jabatan Alam Sekitar. Kursus yang berlangsung selama 5 hari ini dihadiri oleh 30 pegawai-pegawai Jab Alam Sekitar Negeri dan juga Ibu Pejabat. 

Objektif kursus ini adalah sebagai lanjutan  dari kursus asas pengenalan ArcGIS I dan II, bertujuan mendedahkan peserta kepada penggunaan analisis 3d dan analisis spatial di jabatan. Modul kursus yang diberikan telah dibangunkan dan diubahsuai khusus mengikut keperluan pengguna jabatan.

Modul2 kursus ArcGIS yang telah dibangunkan di jabatan

Dataset untuk tujuan latihan hands-on pula dirangka daripada data-data Jabatan Alam Sekitar dan beberapa senario kajian kes yang berkaitan dengan urusan jabatan telah diberikan untuk diselesaikan oleh peserta. Dengan idea ini, diharap peserta akan lebih memahami bagaimana untuk mengadaptasi penggunaan GIS di dalam kerja-kerja seharian jabatan.

Sesi hands-on dengan dibantu fasilitator

Penceramah misteri....

Mengkaji hasil output..

Group discussion

Case study - menguji pemahaman peserta

Talian hayat please.... :)