Mengintegrasikan Python dengan MySQL (Part 2) – Menyimpan Data Hasil Scraping ke Database MySQL

β€œGetting information off the Internet is like taking a drink from a firehose.”

~ Mitchell Kapor

Di postingan kali ini, kita akan menginput data dari file CSV ke database MySQL secara otomatis menggunakan python (berhubung author lupa cara otomatis menyimpan data hasil scraping langsung ke database, kali ini kita terpaksa sedikit memutar dulu, hahaha :D).

Cara yang dibabarkan di postingan kali ini, sebenarnya tidak hanya berlaku untuk kasus data hasil web scraping saja, tapi juga berlaku dalam banyak kasus yang sering dihadapi sehari-hari. Misalnya jika selama ini kita/suatu perusahaan menyimpan data dalam bentuk excel offline atau googlesheet, namun pada suatu ketika, dilakukan enablement sistem/teknologi sehingga data-data yang sangat banyak tersebut ingin disimpan pada database MySQL.

Langkah pertama (untuk berjaga-jaga), kita buat agar tabel database kita mampu menyimpan character unicode (karena secara default, MySQL tidak bisa menghandle character unicode. Kita terapkan kepada semua kolom pada tabel “tables”, dengan perintah seperti di bawah (masih ingat nama-nama kolomnya? Baca lagi di sini.): πŸ™‚Baca selebihnya »

Mengintegrasikan Python dengan MySQL (Part 1)

β€œWith data collection, β€˜the sooner the better’ is always the best answer.”

~ Marissa Mayer

Pada artikel sebelumnya, kita sudah melakukan scraping data pada HTML table, lalu menyimpan hasilnya pada format file CSV. Cukupkah itu?

Relatif, bergantung tujuan kita dalam menyimpan data. Jika kita hanya membutuhkannya untuk satu kali penggunaan, misalnya cukup untuk diedit dan dirapikan tabelnya, lalu dibuat laporan atau presentasi, ataupun penyimpanan datanya untuk satu kali analisis data, bisa jadi cukup.

Namun, apabila kita ingin menyimpan data yang tidak hanya berjumlah banyak, data juga akan terus ditambahkan secara kontinu (contoh: perekaman data customer), perlu dianalisis secara berkala, perlu manipulasi data dengan mudah dan cepat, perlu relasi antar data atau tabel, penyimpanan data perlu secara aman; tidak volatile; dan mudah diakses kapanpun oleh kita sendiri maupun rekan kerja, dan bahkan data tersebut ingin kita tampilkan realtime pada website, maka cobalah simpan data anda pada database MySQL. πŸ™‚

MySQL adalah open source relational database management system (RDBMS) terpopuler saat ini. Dengan pesaing kepopulerannya adalah dua closed source database systems, yaitu Microsoft’s SQL Server dan Oracle’s DBMS.

 

1. Membuat Database “scrapedwiki”

Oke, let’s practice! πŸ™‚

Sebelumnya, terlebih dahulu kita buat MySQL database untuk menyimpan hasil scraping dengan mengetikkan perintah di bawah ini pada MySQL Command Line Client:Baca selebihnya »