Platform big data adalah rangkaian platform teknologi yang mengumpulkan, menyimpan, menghitung, menghitung, menganalisis, memproses data terstruktur, data tidak terstruktur dan semi-institusional. Jumlah data yang diproses oleh platform big data biasanya terabyte. Bahkan data tingkat PB atau EB, yang tidak dapat diproses oleh tools inventory pengeolah data biasa.
Teknologi yang terlibat dalam platform big data termasuk komputasi terdistribusi, pemrosesan konkurensi tinggi, pemrosesan ketersediaan tinggi dan pengelompokan komputasi real-time. Paltform big data ini Menyatukan berbagai teknologi populer di bidang TI saat ini.
Artikel Labkom99 kali ini memilah beberapa tools open source umum dari platform big data. Mengklasifikasikannya sesuai dengan fungsi utamanya. Sehingga pelajar dan pengguna big data dapat dengan cepat menemukan dan mereferensikannya.
Labkom99 membagi beberapi katagori tools platform big data yang paling sering digunakan Terutama meliputi: Tools Bahasa pemrograman, tools pengumpulan data, tools ETL, tools penyimpanan data, kalkulasi analisis, aplikasi kueri, tools pemantauan operasi dan pemeliharaan. Berikut ini adalah penjelasan singkat dari masing-masing tools.
Tools Bahasa Pemrograman Untuk Platform Big Data
Berikut ini adalah beberapa Bahasa pemrograman komputer yang paling sering digunakan untuk mengolah big data. Dan tools berikut ini merupakan open source tools yang dapat anda dapatkan secara gratis. Baca Belajar Pemrograman Otodidak, Inilah Bahasa Pemrograman Yang Paling Direkomendasikan
1. Teknologi Pemrograman Java
Teknologi pemrograman Java saat ini merupakan salah satu bahasa pemrograman yang paling banyak digunakan. Java juga merupakan dasar dari pembelajaran big data.
Java memiliki karakteristik kesederhanaan, berorientasi objek, terdistribusi, ketahanan, keamanan, kemandirian dan portabilitas platform, multithreading, dinamika dan sebagainya. Java memiliki kemampuan lintas platform yang sangat tinggi dan merupakan bahasa pemrograma open source yang handal.
Dapat digunakan membuat aplikasi desktop, aplikasi Web, sistem terdistribusi dan aplikasi sistem tertanam. Java adalah tools pemrograman favorit bagi para programmer big data.
Baca Juga : Inilah Bahasa Pemrograman Paling Menjanjikan Tahun 2020
Yang terpenting, banyak Hadoop dan teknologi pemrosesan big data lainnya menggunakan Java. Oleh karena itu, jika Anda ingin mempelajari big data dengan baik. Penting untuk menguasai dasar-dasar Java.
2. Perintah Dasar Linux
Banyak pengembang big data biasanya dilakukan di lingkungan plaftform Linux. Dibandingkan dengan sistem operasi Linux, sistem operasi Windows adalah sistem operasi tertutup. Software big data open source sangat dibatasi di Windows. Oleh karena itu, jika Anda ingin terlibat dalam pekerjaan terkait pengembangan big data, Anda juga perlu menguasai perintah operasi dasar Linux.
3. Scala
Scala adalah bahasa pemrograman multi-paradigma. Di satu sisi mewarisi fitur-fitur unggulan dari banyak bahasa, dan di sisi lain, tidak meninggalkan platform Java yang kuat.
Spark, kerangka kerja penting untuk pengembangan big data dirancang menggunakan bahasa Scala. Untuk mempelajari kerangka kerja Spark dengan baik, penting untuk memiliki dasar Scala. Oleh karena itu, pengembangan big data membutuhkan pengetahuan dasar tentang pemrograman Scala!
4. Python Dan Data Analisis
Python adalah bahasa pemrograman berorientasi objek dengan pustaka yang kaya, mudah digunakan dan banyak digunakan. Python juga digunakan di bidang big data, terutama untuk pengumpulan data, analisis data dan visualisasi data. Oleh karena itu, pengembangan big data membutuhkan pengetahuan Python.
Tools Pengumpulan Data Pada Platform Big Data
Dalam pengolahan big data diperlukan juga tools data collecting atau tools pengumpulan data. Berikut tools open source yang dapat digunakan dalam platform big data.
1. Nutch
Nutch adalah mesin pencari Java open source. Nutch menyediakan semua tools yang di perlukan untuk menjalankan mesin telusur sendiri. Termasuk penelusuran teks lengkap dan perayap Web.
2. Scrapy
Scrapy adalah kerangka aplikasi yang ditulis untuk merayapi data situs web dan mengekstrak data terstruktur. Scrapy dapat digunakan dalam serangkaian program seperti penggalian data, pemrosesan informasi atau penyimpanan historis data. Pengumpulan big data membutuhkan penguasaan teknologi perayap Nutch dan Scrapy.
Tools ETL ( Extract Transform And Load )
Sesuai dengan namanya tools tools berikut ini memiliki fungsi untuk mengkombinasikan data ke warehouse. Sangat memudahkan dalam melakukan pengolahan big data.
1. Sqoop
Sqoop adalah tools untuk mentransfer data antara Hadoop dan server database relasional. Sqoop digunakan untuk mengimpor data dari database relasional (seperti MySQL, Oracle) ke Hadoop HDFS dan mengekspor dari sistem file Hadoop ke database relasional. Pembelajaran menggunakan Sqoop sangat membantu untuk mengimpor data database relasional dan Hadoop.
2. Kettle
Kettle adalah seperangkat tools ETL yang memungkinkan Anda mengelola data dari database yang berbeda. Dengan menyediakan lingkungan pengguna grafis untuk mendeskripsikan apa yang ingin Anda lakukan, bukan bagaimana Anda ingin melakukannya. Sebagai bagian penting dari Pentaho, Kettle sekarang secara bertahap meningkat dalam aplikasi proyek besar. Ekstraksi datanya efisien dan sangat stabil.
Tools Penyimpanan Data
Tools berikut berfungsi untuk menyimpan data yang telah diolah. Berbagi macam data akan diolah sesuai dengan tipe datanya masing-masing.
1. Platform Big Data Penyimpanan Dan Komputasi Terdistribusi Hadoop
Hadoop mengimplementasikan sistem file terdistribusi (Hadoop Distributed File System), disebut sebagai HDFS. Desain inti kerangka kerja Hadoop adalah: HDFS dan MapReduce. HDFS menyediakan penyimpanan untuk big data dan MapReduce menyediakan penghitungan untuk data dalam jumlah besar. Sehingga tools ini sangat perlu dikuasai.
Selain itu, Anda juga perlu menguasai teknologi dan operasi terkait seperti cluster Hadoop. Pengelolaan cluster Hadoop, YARN dan pengelolaan lanjutan Hadoop!
2. Hive
Hive adalah tools gudang data berdasarkan Hadoop. Tools ini dapat memetakan file data terstruktur ke tabel database dan menyediakan fungsi kueri SQL sederhana. Pernyataan SQL dapat diubah menjadi tugas MapReduce untuk dieksekusi.
Dibandingkan dengan menulis MapReduce dalam kode Java, Hive memiliki keunggulan yang jelas. Pengembangan cepat, biaya personel rendah, skalabilitas ukuran cluster yang dapat diskalakan secara bebas dan skalabilitas mendukung fungsi kustom. Sangat cocok untuk analisis statistik data warehouse. Untuk Hive, Anda perlu menguasai penginstalan, aplikasi dan operasi lanjutannya.
3. Zookeeper
Zookeeper adalah layanan koordinasi terdistribusi open source. Merupakan komponen penting dari Hadoop dan HBase dan perangkat lunak yang menyediakan layanan yang konsisten untuk aplikasi terdistribusi. Fungsi yang disediakan meliputi pemeliharaan konfigurasi, layanan nama domain, sinkronisasi terdistribusi, layanan komponen. Dalam pengembangan big data, perintah umum dan metode implementasi fungsi ZooKeeper harus dikuasai.
4. HBase
HBase adalah database open source terdistribusi dan berorientasi kolom. HBase berbeda dari database relasional umum dan lebih cocok untuk database penyimpanan data tidak terstruktur. HBase adalah penyimpanan terdistribusi yang sangat andal, berkinerja tinggi, berorientasi kolom dan dapat diskalakan. Sistem, Pengembangan big data membutuhkan pengetahuan dasar, aplikasi, arsitektur, dan penggunaan HBase tingkat lanjut.
5. Redis
Redis adalah sistem penyimpanan Nilai-Kunci. Kemunculannya sangat mengimbangi ketidakcukupan penyimpanan Kunci / Nilai seperti Memcache. Dalam beberapa kasus, Redis dapat melengkapi database relasional. Redis menyediakan klien untuk Java, C / C ++, C #, PHP, Java, Perl, Object-C, Python, Ruby, Erlang. Sangat nyaman digunakan. Pengembangan big data perlu menguasai instalasi, konfigurasi, dan metode penggunaan terkait Redis.
6. Kafka
Kafka adalah sistem pesan publish-subscribe terdistribusi dengan throughput tinggi. Tujuannya dalam pengembangan dan aplikasi big data adalah untuk menyatukan pemrosesan pesan online dan offline. Melalui mekanisme pemuatan paralel Hadoop dan untuk menyediakan pesan real-time melalui cluster. Pengembangan big data perlu menguasai prinsip arsitektur Kafka, peran dan penggunaan masing-masing komponen serta realisasi terkait fungsi.
7. Neo4j
Neo4j adalah database grafik NoSQL berkinerja tinggi dengan kemampuan analisis jaringan pemrosesan skala besar untuk memproses jutaan dan node serta edge level-T. Neo4j merupakan mesin persistensi Java berbasis disk yang tertanam dengan karakteristik transaksi penuh. Tetapi menyimpan data terstruktur di jaringan disebut grafik dari perspektif matematika bukan dalam tabel. Neo4j telah menarik lebih banyak perhatian karena keunggulannya yang tertanam, berkinerja tinggi, ringan dan lainnya.
8. Cassandra
Cassandra adalah database non-relasional hybrid, mirip dengan BigTable Google, dan fungsi utamanya lebih banyak daripada Dynamo sistem penyimpanan Key-Value terdistribusi. Basis data NoSQL ini awalnya dikembangkan oleh Facebook dan sekarang telah digunakan oleh lebih dari 1.500 organisasi perusahaan. Termasuk Apple, CERN, Comcast, Electronic Harbour, GitHub, GoDaddy, Hulu, Instagram, Intuit, Netflix, Reddit. Cassandra adalah solusi penyimpanan data terstruktur terdistribusi yang populer.
9. SSM
Kerangka SSM diintegrasikan oleh tiga kerangka kerja open source: Spring, Spring MVC dan MyBatis. Sering digunakan sebagai kerangka kerja untuk proyek Web dengan sumber data sederhana. Pengembangan big data perlu menguasai Spring, Spring MVC, dan MyBatis. Kemudian menggunakan SSM untuk operasi integrasi.
Baca juga : Apa Yang Dipelajari Pada Jurusan Big Data?
Tools Analisis Dan Perhitungan Pada Platform Big Data
Tools ini digunakan untuk menganalisa dan perhitungan data. Sehingga data yang dihasilkan akan lebih akurat dan cepat dapat disajikan.
1. Spark
Spark adalah mesin komputasi cepat dan universal yang dirancang untuk pemrosesan data skala besar. Spark menyediakan kerangka kerja yang komprehensif dan terpadu untuk mengelola kebutuhan pemrosesan big data dari berbagai kumpulan data dan sumber data. Pengembangan big data membutuhkan dasar-dasar Master Spark, SparkJob, Spark Penerapan RDD dan alokasi sumber daya, Spark Shuffle, manajemen memori Spark, variabel siaran Spark, Spark SQL, Streaming Spark, Spark ML dan terkait pengetahuan lainnya.
2. Storm
Storm adalah perangkat lunak open source dan gratis. Sistem komputasi real-time terdistribusi dan toleran terhadap kesalahan yang dapat memproses aliran big data dengan sangat andal untuk memproses data batch Hadoop. Storm mendukung banyak bahasa pemrograman dan memiliki banyak area aplikasi, analisis real-time, pembelajaran mesin online, komputasi non-stop, RPC terdistribusi protokol panggilan prosedur jarak jauh. Semacam layanan permintaan dari program komputer jarak jauh melalui jaringan ETL.
Kecepatan pemrosesan Storm luar biasa. Setelah pengujian, setiap node dapat memproses 1 juta tupel data per detik.
3. Mahout
Mahout bertujuan untuk menciptakan lingkungan untuk pembuatan cepat aplikasi pembelajaran mesin yang dapat diskalakan dan berperforma tinggi. Fitur utamanya adalah menyediakan lingkungan yang dapat diskalakan untuk algoritme yang dapat diskalakan. Algoritme baru untuk Scala / Spark / H2O / Flink, Samsara lingkungan matematika vektor yang mirip dengan R. Juga mencakup banyak algoritme untuk penambangan data di MapReduce.
4. Pentaho
Pentaho adalah perangkat lunak intelijen bisnis open source paling populer di dunia. Rangkaian BI berdasarkan platform Java yang berfokus pada alur kerja dan menekankan pada solusi berorientasi daripada komponen tools. Termasuk platform Server Web dan beberapa perangkat lunak tools. Laporan, analisis, bagan, integrasi data, penggalian data. Pentaho dapat dikatakan mencakup semua aspek kecerdasan bisnis.
Tools Pentaho dapat terhubung ke database NoSQL. Pengembangan big data perlu memahami cara menggunakannya.
Baca juga : Big Data Solusi Canggih Membangun Transportasi Pintar
Tools Aplikasi Kueri Untuk Platform Big Data
Tools berikut ini fungsinya untuk membuat kueri data. Sehingga memudahkan proses pengolahan big data.
1. Avro Dan Protobuf
Baik Avro dan Protobuf adalah sistem serialisasi data yang dapat menyediakan banyak jenis struktur data. Sangat cocok untuk penyimpanan data dan juga dapat mengkomunikasikan format pertukaran data antar bahasa yang berbeda. Untuk mempelajari big data, Anda perlu menguasai penggunaan spesifiknya.
2. Phoenix
Phoenix adalah mesin SQL open source yang ditulis di Java yang mengoperasikan HBase berdasarkan API JDBC. Phoenix memiliki kolom dinamis, pemuatan hash, server kueri, pelacakan, transaksi, fungsi yang ditentukan pengguna, indeks sekunder, pemetaan ruang nama, pengumpulan data dan stempel waktu.
Dengan karakteristik kolom, kueri paging, kueri lompat, tampilan, dan multi-tenancy. Pengembangan big data perlu menguasai prinsip dan metode penggunaannya.
3. Kylin
Kylin adalah mesin analisis terdistribusi open source yang menyediakan antarmuka SQL untuk kumpulan data yang sangat besar tingkat TB / PB. Prosesnya berdasarkan analisis online terdistribusi Hadoop dan multidimensi OLAP. Kylin awalnya dikembangkan oleh eBay dan berkontribusi pada komunitas open source.
4. Zeppelin
Zeppelin adalah notebook berbasis web yang menyediakan analisis data interaktif. Sangat mudah bagi Anda untuk membuat dokumen indah yang dapat digerakkan oleh data, interaktif dan kolaboratif. Mendukung berbagai bahasa, termasuk Scala menggunakan Apache Spark, Python Apache Spark, SparkSQL, Hive, Markdown, Shell.
5. ElasticSearch
ElasticSearch adalah server pencarian berdasarkan Lucene. Ini menyediakan mesin pencari teks lengkap terdistribusi dan multi-pengguna berdasarkan antarmuka Web RESTful. ElasticSearch dikembangkan di Java dan dirilis sebagai open source di bawah persyaratan lisensi Apache. ElasticSearch adalah mesin pencari perusahaan yang populer. Dirancang untuk komputasi awan, dapat mencapai pencarian real-time, stabil, andal, cepat, mudah dipasang dan digunakan.
6. Solr
Berdasarkan Apache Lucene, Solr adalah platform pencarian perusahaan yang sangat andal, sangat skalabel dan mesin pencari teks lengkap yang sangat baik. Pengguna terkenal termasuk eHarmony, Sears, StubHub, Zappos, Best Buy, AT&T, Instagram, Netflix, Bloomberg dan Travelocity. Pengembangan big data perlu memahami prinsip dasar dan metode penggunaannya.
Tools Manajemen Data Untuk Platform Big Data
Untuk memudahkan menejemen data, tools berikut ini sangat membantu dalam pengolahan big data.
1. Azkaban
Azkaban adalah penjadwal tugas alur kerja batch yang beropen source oleh tertaut. Azkaban terdiri dari tiga bagian: Azkaban Web Server (server manajemen), Azkaban Executor Server (manajer eksekusi) dan MySQL (database relasional). Bagian tersebut dapat digunakan dalam satu pekerjaan Satu set pekerjaan dan proses dijalankan dalam urutan tertentu dalam aliran. Azkaban dapat digunakan untuk menyelesaikan penjadwalan tugas big data. Pengembangan big data perlu menguasai konfigurasi yang relevan dan aturan tata bahasa Azkaban.
2. Mesos
Mesos adalah perangkat lunak manajemen cluster open source yang pertama kali dikembangkan oleh AMPLab dari University of California, Berkeley. Mendukung arsitektur Hadoop, ElasticSearch, Spark, Storm dan Kafka. Untuk pusat data, Mesos seperti kumpulan sumber daya tunggal yang memisahkan CPU, memori, penyimpanan dan sumber daya komputasi lainnya dari mesin fisik atau virtual. Sehingga mudah untuk membangun dan menjalankan sistem terdistribusi secara efektif dengan toleransi kesalahan dan fleksibilitas.
3. Sentry
Sentry adalah tools pelaporan kesalahan real-time open source yang mendukung ujung depan dan belakang web, aplikasi seluler dan permainan. Sentry mendukung bahasa pemrograman dan kerangka kerja utama seperti Python, OC, Java, Go, Node, Django, dan RoR Ini juga menyediakan GitHub, Slack, Trello. Menggunakan Sentry sangat membantu untuk manajemen keamanan data.
Baca juga : Apa Yang Dipelajari Pada Jurusan Big Data?
Tools Pemantauan Operasi Dan Pemeliharaan Data
Flume adalah sistem terdistribusi yang sangat tersedia, sangat andal, untuk mengumpulkan, menggabungkan, dan mentransmisikan log dalam jumlah besar. Flume mendukung penyesuaian berbagai pengirim data dalam sistem log untuk mengumpulkan data. Flume menyediakan pemrosesan data sederhana dan menulis sesuai kemampuan dari berbagai penerima data dapat disesuaikan. Pengembangan big data perlu menguasai penginstalan, konfigurasi, dan metode terkait penggunaan.
