Tag: pelatihan pandas sql untuk big data

Pendahuluan Data Processing adalah bagian penting dalam dunia data science, yang mengacu pada proses pembersihan, pengolahan, dan transformasi data menjadi format yang siap dianalisis. Pada pelatihan ini, peserta akan belajar menggunakan dua alat yang sangat penting dalam data processing: Pandas dan SQL. Pandas adalah pustaka Python yang sangat kuat untuk analisis data, sedangkan SQL adalah bahasa yang digunakan untuk mengelola dan meng-query data dalam database relasional. Dengan pelatihan ini, peserta tidak hanya akan mempelajari cara mengolah data menggunakan kedua alat ini, tetapi juga akan mendapatkan sertifikasi BNSP yang dapat meningkatkan kemampuan dan kredibilitas profesional mereka. Pelatihan ini dapat diikuti secara online dengan biaya hanya Rp1.500.000. Unit Kompetensi Pelatihan ini mencakup unit kompetensi berikut: Dasar-dasar Pandas: Memahami struktur data di Pandas seperti Series dan DataFrame. Manipulasi Data dengan Pandas: Menggunakan Pandas untuk manipulasi data seperti filter, agregasi, dan transformasi. Pengenalan SQL: Memahami dasar-dasar SQL dan cara menggunakannya untuk meng-query data. Join dan Aggregasi dengan SQL: Menggunakan SQL untuk menggabungkan dan mengagregasi data dari beberapa tabel. Pandas dan SQL untuk Data Exploration: Menggabungkan Pandas dan SQL untuk eksplorasi dan analisis data. Data Cleaning: Mengidentifikasi dan menangani data yang hilang atau duplikat menggunakan Pandas. Optimasi Query SQL: Memahami bagaimana mengoptimalkan query SQL untuk meningkatkan performa dalam pengolahan data besar. Contoh Studi Kasus Studi Kasus: Mengolah Data Penjualan Menggunakan Pandas dan SQL Misalkan kita memiliki dua tabel: satu berisi informasi tentang produk, dan yang lainnya tentang transaksi penjualan. Kita akan menggunakan SQL untuk meng-query data dan Pandas untuk memproses dan menganalisisnya. Memasukkan Data dan Query SQL: sql SalinEdit -- Tabel Produk CREATE TABLE produk ( id_produk INT PRIMARY KEY, nama_produk VARCHAR(255), harga DECIMAL(10, 2) ); -- Tabel Transaksi CREATE TABLE transaksi ( id_transaksi INT PRIMARY KEY, id_produk INT, jumlah INT, total DECIMAL(10, 2), tanggal DATE ); -- Query SQL untuk mengambil data penjualan SELECT p.nama_produk, SUM(t.jumlah) AS total_terjual FROM transaksi t JOIN produk p ON t.id_produk = p.id_produk GROUP BY p.nama_produk; Mengolah Data Menggunakan Pandas: python SalinEdit import pandas as pd import sqlite3 # Koneksi ke database SQLite conn = sqlite3.connect('penjualan.db') # Mengambil data dengan SQL query = """ SELECT p.nama_produk, SUM(t.jumlah) AS total_terjual FROM transaksi t JOIN produk p ON t.id_produk = p.id_produk GROUP BY p.nama_produk """ data = pd.read_sql(query, conn) # Menampilkan hasil print(data) Mengolah Data dengan Pandas (contoh manipulasi data): python SalinEdit # Menambahkan kolom harga total berdasarkan harga produk dan jumlah yang terjual data['total_harga'] = data['total_terjual'] * data['harga'] # Mengurutkan produk berdasarkan total penjualan data_sorted = data.sort_values(by='total_terjual', ascending=False) # Menampilkan hasil print(data_sorted) Silabus dalam 2 Hari Pelatihan Hari Topik Materi Hari 1 Pengenalan Pandas dan SQL - Pengenalan Pandas: Struktur data, Series, dan DataFrame - Pengenalan SQL: Struktur dasar query Manipulasi Data dengan Pandas - Filter, agregasi, dan transformasi data dengan Pandas - Pembersihan data: menangani nilai yang hilang Dasar-dasar SQL - Menulis query dasar: SELECT, WHERE, JOIN - Penggunaan fungsi agregat di SQL seperti COUNT, SUM Hari 2 Join dan Aggregasi Data dengan SQL - Menggabungkan data menggunakan JOIN - Mengagregasi data menggunakan GROUP BY Menggabungkan Pandas dan SQL untuk Analisis Data - Menggunakan SQL untuk query dan Pandas untuk analisis - Praktik langsung dengan dataset nyata Optimasi Query SQL dan Data Cleaning - Mengoptimalkan query SQL - Membersihkan data duplikat dan data hilang menggunakan Pandas Studi Kasus dan Hands-on - Menyelesaikan studi kasus dengan Pandas dan SQL - Praktik langsung dan diskusi hasil Kesimpulan Pelatihan Associate Data Scientist ini menyediakan sertifikasi BNSP yang membuktikan kemampuan Anda dalam data processing menggunakan Pandas dan SQL. Pelatihan ini dapat diikuti secara online dengan harga terjangkau, hanya Rp1.500.000. Pelatihan ini akan membantu Anda mempersiapkan diri untuk menjadi data scientist yang handal, siap menangani data besar dan kompleks. Untuk informasi lebih lanjut dan pendaftaran, kunjungi Skema Sertifikasi BNSP Bidang Komputer.