Big Data Konsep,Karakteristik,Arsitektur,Tantangan,Artificial Intellgence,Contoh Ai
Konsep Big Data
Konsep big data adalah mengumpulkan semua data yang dihasilkan lalu mengolahnya dengan tepat agar dapat memberikan value yang diharapkan.
Singkatnya, konsep big data terdiri dari tiga hal berikut:
- Integrasi Data
- Pengelolaan Data
- Analisis Data
1. Integrasi Data
Integrasi data adalah proses untuk mengumpulkan semua data yang telah dibuat hingga menjadi big data. Contohnya, data website toko online yang berasal dari pendaftaran akun baru, daftar wishlist, dan lainnya.
Semua data tersebut akan tetap tercatat pada sistem untuk kemudian digunakan pada proses selanjutnya. Artinya, pada proses integrasi data, fokus utamanya adalah pengumpulan data saja.
2. Pengelolaan Data
Semua data yang dihasilkan harus mampu dikelola dengan tepat, baik pada saat menyimpan atau mengaksesnya. Untuk itu, diperlukan sebuah ruang penyimpanan besar serta bisa diakses kapan saja dan dari mana saja.
Kalau untuk bisnis, penggunaan website dengan layanan hosting yang mumpuni bisa menjadi pilihannya. Jadi, semua aktivitas bisnis dan data yang dihasilkan akan diproses pada satu tempat.
Nantinya, data pada website tersebut bisa disortir ke dalam sistem penyimpanan agar mudah ditemukan ketika dibutuhkan.
3. Analisis Data
Konsep big data yang terakhir adalah analisis data. Artinya, semua data yang sudah disimpan dan dikelompokkan sesuai jenisnya bisa dianalisa untuk kebutuhan lebih lanjut.
Sebagai contoh, riwayat belanja konsumen di toko online Anda bisa menjadi informasi produk apa yang layak ditawarkan ketika konsumen tersebut sedang berbelanja. Dengan begitu, potensi pembelian produk semakin besar karena penawarannya relevan.
Karakteristik Big Data
Kapan sih data yang dihasilkan disebut dengan big data? Tentunya, jika memenuhi karakteristik dari big data sebagai berikut:
1. Volume
Namanya saja big data, tentu karakteristik utamanya adalah jumlah data yang sangat besar, bisa secara keseluruhan atau berdasarkan platform yang mengelolanya.
Contohnya, Instagram telah menyimpan 69,23% data personal lebih dari satu miliar pengguna di seluruh dunia.
2. Velocity
Kecepatan produksi data juga menjadi karakteristik big data, meliputi input data hingga penggunaan data. Dengan adanya internet, proses ini berlangsung secara instan dan perubahan terjadi secara real-time.
Sebagai contoh, pengguna Instagram selalu bertambah lebih dari 100 juta akun setiap tahunnya. Itupun dengan kondisi bahwa setiap akun memiliki aktivitas yang berbeda dan terus menghasilkan data secara bersamaan.
3. Variety
Big data dari satu platform saja yaitu Instagram bisa bervariasi bentuknya. Misalnya, ada data yang berbentuk formulir data personal, foto, video, atau bahkan data filter instastory.
Bisa dibayangkan kalau data tersebut berasal dari berbagai platform dan bisnis yang berbeda, tentu bentuk formatnya berbeda-beda, seperti dokumen presentasi, tabel, dan lainnya.
Bahkan, ada data yang langsung bisa dibaca dan digunakan dan ada juga data abstrak yang perlu dianalisis dahulu sehingga bisa dikelompokkan menjadi:
- Structured data – Bisa digunakan langsung
- Semi-structured data – Perlu diolah sebelum digunakan
- Unstructured – Perlu dianalisis, diolah, dan baru bisa digunakan
Apapun itu, variasi data yang banyak menjadi karakteristik dari sebuah big data.
4. Veracity
Revolusi industri 4.0 membuat peran data dalam membantu mengambil keputusan cukup besar. Maka, keakuratan sebuah data menjadi penting. Itulah kenapa veracity menjadi karakteristik big data berikutnya.
Bisa dibayangkan bahwa semakin besar sebuah data, semakin susah untuk mengelolanya dengan baik. Kalau terjadi error atau kesalahan proses, dampaknya bisa cukup besar.
Big data bukan hanya tentang adanya data yang dihasilkan, tapi tentang identifikasi data dengan tepat agar memberikan manfaat bagi pengguna.
Salah satu contoh sederhana adalah adanya pengguna nama akun pengguna (ID) dari platform seperti Instagram, Facebook dan lainnya.
5. Value
Big data memiliki value untuk memudahkan pengguna mengakses informasi dengan cepat dan mengambil keputusan berdasarkan berbagai data yang ada.
Contohnya, fitur Instagram Stories digunakan oleh 500 juta pengguna setiap harinya. Hal ini menunjukkan bahwa fitur yang memungkinkan pengguna membuat posting instan cukup digemari.
Artinya, fitur ini perlu dipertahankan pada platform tersebut dan bahkan dikembangkan dengan fitur tambahan seperti boomerang, multi-capture, reels, dan lainnya.
Gambaran Big Data & Penjelasannya
Kita akan ulas masing-masing komponen tersebut.
Data source adalah sumber data untuk big Data. Data umumnya dipompa masuk Big Data dengan menggunakan API ataupun dengan operasional file system seperti transfer file. Ada dua jenis data source yaitu streaming data source dan bulk data source. Contoh streaming data source misalnya adalah tweets dari twitter API. Sedangkan Bulk data misalnya adalah file teks biasa yang sangat besar seperti file log dari suatu aplikasi ataupun file yang berisi data yang di dump dari database.
Data aggregator adalah tool atau software yang mengumpulkan dan manyalurkan data dari sumber ke beberapa jenis pengolahan data di Big data. Ada dua jenis data aggregator berdasarkan cara kerjanya. Jenis pertama adalah Pull-based data aggregator. Jenis ini mengumpulkan data dan memberikan data tersebut kepada siapa saja yang meminta tanpa registrasi sebelumnya, mirip seperti Java Messaging Queue. Contohnya adalah Apache Kafka, RabbitMQ. Jenis kedua adalah Push-based data aggregator. Jenis kedua ini mengumpulkan data dan mengirim data ke sistem lain yang sudah di set terhubung dan menerima data dari data aggregator. Sistem yang mau mendapatkan data harus ‘terdaftar’ di data aggregator dulu dan biasanya diperlukan effort lebih jika ada sistem baru yg ingin mendapatkan data dari data aggregator jenis ini dibanding jenis yang pertama. Contoh Push-Based Data Aggregator adalah Apache Flume dan Spring-XD.
Realtime streaming Processor adalah salah satu sistem pengolahan di Big Data yang umum ditemukan. Fungsinya adalah untuk menganalisis data yang bersifat realtime dan streaming. Contohnya adalah menghitung hashtag yang muncul di semua tweet di twitter. Sifat dari pemrosesan ini haruslah ringan, dan cepat. Oleh karena itu analisis data secara kompleks jarang sekali dilakukan. Output dari pemrosesan ini adalah gambaran umum dari data yang didapatkan dan tidak terlalu detil. Outputnyapun sebaiknya disimpan di datastore sehingga bisa digunakan oleh aplikasi yang membutuhkan. Untuk hasil analisis data yang sangat detil bisa di lihat di Non-realtime processor. Contoh tool yang digunakan di realtime streaming misalnya adalah Apache Storm, Apache Spark Streaming dan Spring-XD. Meskipun hasilnya tidal detil, tetapi pemrosesan ini diperlukan mengingat pemrosesan secara bulk / non-realtime membutuhkan waktu yang cukup lama. Dengan demikian user bisa melihat secara garis besar data yang diolah meskipun tidak detil sembari menunggu pemrosesan non realtime selesai..
Hadoop disni yang saya maksud adalah HDFS. Disini hadoop lebih ditekankan sebagai tempat penyimpanan data yang sangat besar. Hadoop menjadi tempat semua data sehingga bisa dianalisis oleh berbagai tools untuk berbagai kepentingan sehingga bisa didapatkan hasil yang cukup detil dan bisa memenuhi kebutuhan dari user.
Non-realtime processor adalah proses pemrosesan data di Big Data untuk data besar yang terdapat di HDFS. pemrosesan ini menggunakan berbagai jenis tool sesuai kebutuhan. sebuah data bisa dianalisis lebih dari satu tools. Contoh tool yang sering digunakan antara lain Hive dan Pig untuk Map Reduce, Apache Mahout dan Apache Spark untuk machine learning dan artificial intelligence. Hasil dari pemrosesan ini dimasukkan ke dalam data store untuk kemudian bisa di lihat di level aplikasi. Sistem pemrosesan ini umumnya memerlukan waktu yang relatif lebih lama mengingat data yang diproses relatif sangat besar.
Data store adalah tools untuk menyimpan data hasil pemrosesan baik realtime maupun on-realtime. Datastore disini bisa berupa RDBMS ataupun jenis NoSQL lainnya. RDBMS sangat jarang digunakan sebagai data store mengingat keterbatasan dalam sisi ukuran yang bisa ditampung tanpa kehilangan kinerja. Datastore yang umumnya dipakai adalah NoSQL yang berbasis Document (mis. MongoDB), Column-oriented seperti HBase dan Cassandra, dan juga key-value pair seperti couchDB. Beberapa data store yang jarang kedengaran juga dipakai seperti misalnya Voldemort dan Druid.
Apps adalah aplikasi yang berinteraksi langsung dengan user. Aplikasi disini mengakses data yang berada di data store untuk kemudian disajikan kepada user. Jenis aplikasi disini sangat bervariasi bisa berupa web, desktop ataupun mobile. Pada umumnya aplikasi disini hanyalah untuk melakukan visualisasi dari data yang sudah dianalisis sebelumnya. insert data tidak saya temui untuk jenis aplikasi ini. Karena memang ditujukan untuk user, maka data yang disajikan harus sesuai dengan kebutuhan user.
Apa saja sebenarnya tantangan dalam mengolah big data?
1.Kesulitan untuk menemukan data yang benar-benar dibutuhkan
Lewat big data, Anda bisa mengetahui data apa saja. Mulai dari perilaku konsumen, pengunjung web, konversi, data finansial, tren pasar dan lain sebagainya. Semua data ini sangat penting tetapi jadi kurang efektif jika Anda mengamati data yang terlampau besar tanpa tahu mana yang relevan untuk perusahaan Anda? Mana dulu yang harus diamati dan dianalisa oleh big data analytics software? Permasalahan mengenai big data analytics muncul saat data yang berjumlah banyak ini dihadirkan di depan Anda secara tidak terstruktur dan tidak difilter.
2. Mengambil data yang tidak valid
Secara sederhana, big data analytics dapat diartikan sebagai proses menganalisa sekumpulan data dengan berbagai metrik yang ditentukan. Lagi-lagi karena informasi yang disajikan jumlahnya bisa sangat banyak dan mungkin sudah bertahun-tahun lamanya – Anda bisa saja salah memilih informasi sehingga data yang Anda pakai tidak valid. Hal ini kerap terjadi jika Anda mengumpulkan big data tersebut dari banyak sumber sekaligus dan lifecycle big data ini jadi tercampur satu sama lain, ditambah lagi dengan format yang berbeda-beda. Pengumpulan data yang tidak standar berdampak pada hasil laporan yang tidak akurat. Kita tidak bisa mengambil keputusan dari hasil analisa data yang kurang relevan.
3. Big data tersimpan di database yang berbeda-beda
Karena solusi big data menggunakan penyimpanan yang besar, ada kemungkinan data-data ini tersimpan di tempat yang berbeda-beda. Jika team di perusahaan Anda mengakses dari database yang berbeda, sangat besar resiko misinterpretasi karena melihat porsi data yang berbeda. Tanpa akses penuh ke satu tempat, sangat sulit untuk membuat laporan analisa yang akurat dengan big data analytics software yang sudah ada.
4. Keamanan big data kurang diperhatikan
Dengan banyaknya data yang tersimpan, akan besar kemungkinan untuk disalahgunakan oleh oknum tidak bertanggung jawab dengan meretas dan mencurinya. Ketika jumlah data berkembang, perusahaan akan menggunakan tools baru dan software lain yang diintegrasikan ke database. Hal ini meningkatkan resiko peretasan yang tinggi. Resiko lainnya yang berhubungan dengan keamanan data antara lain, sumber-sumber yang tidak aman, sehingga data tidak terproteksi.
5. Kurangnya pakar yang dapat menganalisa big data
Teknologi dan tools untuk melakukan big data analytics sudah berkembang pesat tetapi tidak dibarengi dengan para pakar yang bisa mengoperasikan teknologi ini dengan tepat. Mulai dari mengumpulkan, mengorganisir, mengolahnya dengan big data analytics software dan membuat laporan yang bisa digunakan untuk menentukan kebijakan perusahaan selanjutnya.
Pengertian Dari Artificial Intellegence Ada 3
1. Kecerdasan Buatan (AI) adalah bidang ilmu komputer yang dikhususkan untuk memecahkan masalah kognitif yang umumnya terkait dengan kecerdasan manusia, seperti pembelajaran, pemecahan masalah, dan pengenalan pola.
Sc.(https://aws.amazon.com/id/machine-learning/what-is-ai/#:~:text=Kecerdasan%20Buatan%20(AI)%20adalah%20bidang,pemecahan%20masalah%2C%20dan%20pengenalan%20pola)
2. Pengertian Artificial Intelligence (Kecerdasan buatan)
Pengertian Artificial Intelligence (AI) adalah buatan dari cabang ilmu yang ada di bidang komputer, dimana isi di dalamnya lebih menekankan pola pikir dan bekerja pada manusia, pengembangan dalam hal intelligence mesin, dan lain sebagainya. Contoh penerapannya yaitu seperti pemecahan suatu masalah, pengenalan suara, dll. Menurut Mcleod dan Schell, kecerdasan buatan adalah aktivitas penyediaan mesin seperti komputer dengan kemampuan untuk menampilkan perilaku yang dianggap sama cerdasnya dengan jika kemampuan tersebut ditampilkan oleh manusia. Dengan kata lain AI merupakan sistem komputer yang bisa melakukan pekerjaan-pekerjaan yang umumnya memerlukan tenaga manusia atau kecerdasan manusia untuk menyelesaikan pekerjaan tersebut.
Sc.(https://www.jojonomic.com/blog/pengertian-artificial-intelligence/)
3. Kecerdasan Buatan /Artificial Intelligence
Apa itu dan mengapa hal itu penting
Kecerdasan buatan (AI) memungkinkan mesin untuk belajar dari pengalaman, menyesuaikan input-input baru dan melaksanakan tugas seperti manusia. Sebagian besar contoh AI yang Anda dengar dewasa ini – mulai dari komputer yang bermain catur hingga mobil yang mengendarai sendiri – sangat mengandalkan pembelajaran mendalam dan pemrosesan bahasa alamiah. Dengan menggunakan teknologi ini, komputer dapat dilatih untuk menyelesaikan tugas-tugas tertentu dengan memproses sejumlah besar data dan mengenali pola dalam data. Sc. (https://www.sas.com/id_id/insights/analytics/what-is-artificial-intelligence.html)
3 Contoh AI Paling sering digunakan sehari-hari
1.Media Social
Media sosial selalu menjadi program favorit para sosialita. Sebab, program ini telah menjadi sarana share and care masyarakat luas. Kamu bisa menemukan teman-temanmu yang sudah lama tidak berjumpa hingga saling kirim foto dan video. Kemudahan dan kecepatan yang diberikan oleh berbagai program media sosial ini menggunakan kecerdasan buatan (AI). Salah satunya adalah pertemenanan berdasarkan nomor kontak yang kamu simpan. Biasanya kamu sering menemukan kontak teman kamu tanpa sengaja, padahal kamu tidak memintanya.
2. GPS Navigation
GPS atau Global Positioning System merupakan teknologi yang tergolong rumit. Teknologi pintar yang satu ini menggunakan big data dalam proses pembuatannya. Bayangkan saja, untuk merekam seluruh perjalanan dunia secara detail bisa kamu akses melalui GPS ini. GPS dapat mendeteksi jalanan yang sedang macet atau lancar dengan simbol berwarna. Kamu akan diberikan berbagai opsi rute tercepat serta terhindar dari kemacetan.
Layanan GPS lainnya yang menggunakan kecerdasan buatan adalah fitur melihat posisi di dunia secara real 3 dimensi. Pembuatan rute GPS dilakukan oleh mobil yang mengelilingi dunia untuk mengambil gambar dengan kamera 360०. Wah, keren ya cara pembuatan GPS ini.
3. Search Engine Browser
