Data Scientist, Data Science, Machine Learning, Statistics, Data Science Indonesia, Data Analytics, Data Analysis, Data Analyst, Data, Astronomy, Astronomer, Science, Python, iPython, Jupyter Notebook, R, RStudio, Excel, Coding, Koding, Cara Mengolah Data, Mengolah Data, Olah Data, Programming, Pemrograman, Sains, Teknologi, Ilmu Data, Teknologi Informasi, Tech in Asia, Teknologi, Technology, Sains, Bisnis, Business, Business Analyst, Business Analysis, Social Media Mining, Movie Review, Muhammad Azizul Hakim, Aziz

Bermain Twitter dengan R (Part 5) – Sentiment Analysis (Go-Jek vs Grab vs Uber)

“The more complex the world situation becomes, the more scientific and rational analysis you have to have, the less you can do with simple good will and sentiment.”

~ Reinhold Niebuhr

Akhirnya (setelah berpanjang-panjang), sampailah kita pada pembahasan yang paling ditunggu-tunggu, hands-on sentiment analysis with R! Prok prok prok.. πŸ˜€

Material yang akan kita analisis sentimennya adalah tweet konsumen maupun media, tentang aplikasi transportasi online, yaitu Go-Jek, Grab, dan Uber. Sebelum dimulai, mohon dibaca peringatan berikut ini:Baca selebihnya »

Data Scientist, Data Science, Machine Learning, Statistics, Data Science Indonesia, Data Analytics, Data Analysis, Data Analyst, Data, Astronomy, Astronomer, Science, Python, iPython, Jupyter Notebook, R, RStudio, Excel, Coding, Koding, Cara Mengolah Data, Mengolah Data, Olah Data, Programming, Pemrograman, Sains, Teknologi, Ilmu Data, Teknologi Informasi, Tech in Asia, Teknologi, Technology, Sains, Bisnis, Business, Business Analyst, Business Analysis, Social Media Mining, Movie Review, Muhammad Azizul Hakim, Aziz

Margin Call (2011) – A Movie Review from Data Scientist Perspective

“Be first, be smarter, or cheat.”

~ John Tuld

Margin Call adalah film yang menceritakan tentang 24 jam sebelum tahap awal kebangkrutan sebuah Wall Street Investment Bank besar (terinspirasi dari kebangkrutan Lehman Brothers), yang berujung pada krisis finansial tahun 2007-2008. Untuk review film bertema serupa, baca juga The Big Short (2015) – A Movie Review from Data Scientist Perspective.

Cerita dimulai ketika terjadi pengurangan karyawan secara masifΒ  di lantai/divisi trading, pada sebuah investment bank yang bernama NBS (firma investasi berusia > 107 tahun), pada hari bisnis normal/hari kerja. Salah satu orang yang bernasib tidak beruntung kali itu adalah Eric Dale, kepala departemen manajemen risiko (risk management). Sebelum meninggalkan kantor, Dale sempat bercerita pada rekannya, Will Emerson, bahwa dia menemukan sesuatu yang penting pada proyeknya yang belum selesai, namun, Emerson mengatakan, itu sudah bukan urusannya lagi. Eric, dengan suasana hati yang kacau, meninggalkan kantornya dengan memberikan sebuah USB kepada salah satu rekan risk analystnya, Peter Sullivan, dan berpesan ‘hati-hati!’.Baca selebihnya »

Data Scientist, Data Science, Machine Learning, Statistics, Data Science Indonesia, Data Analytics, Data Analysis, Data Analyst, Data, Astronomy, Astronomer, Science, Python, iPython, Jupyter Notebook, R, RStudio, Excel, Coding, Koding, Cara Mengolah Data, Mengolah Data, Olah Data, Programming, Pemrograman, Sains, Teknologi, Ilmu Data, Teknologi Informasi, Tech in Asia, Teknologi, Technology, Sains, Bisnis, Business, Business Analyst, Business Analysis, Social Media Mining, Movie Review, Muhammad Azizul Hakim, Aziz

Berkenalan dengan scikit-learn (Part 5) – Tambahan untuk Scaling dan Imputation Data

“Statistics are the triumph of the quantitative method, and the quantitative method is the victory of sterility and death.”

~ Hilaire Belloc

Setelah kita membahas mengenai scaling data pada postingan Berkenalan dengan scikit-learn (Part 3) – Scaling Data Menjadi Standard Normal dan Berkenalan dengan scikit-learn (Part 4) – Scaling Data dengan MinMaxScaler. Kali ini kita juga akan membahas mengenai Imputation. πŸ™‚

Dalam ilmu statistika, imputation adalah proses substitusi nilai kosong (missing data/null value/not available) pada dataset. Terdapat beragam metode untuk menangani missing value ini, misalnya dengan menghapus seluruh baris data yang terdapat nilai kosong, mengganti nilai kosong dengan nilai rata-rata (mean) maupun nilai yang sering muncul (mode atau modus) apabila data tersebut numerik, dsb.

Imputation adalah topik yang sangat dalam, sehingga pada kesempatan kali ini, kita berkenalan saja dulu dengan dua contoh implementasinya menggunakan scikit-learn. Selamat membaca & mencoba! πŸ™‚

 

Membuat Idempotent Scalar Objects

Baca selebihnya »

Data Scientist, Data Science, Machine Learning, Statistics, Data Science Indonesia, Data Analytics, Data Analysis, Data Analyst, Data, Astronomy, Astronomer, Science, Python, iPython, Jupyter Notebook, R, RStudio, Excel, Coding, Koding, Cara Mengolah Data, Mengolah Data, Olah Data, Programming, Pemrograman, Sains, Teknologi, Ilmu Data, Teknologi Informasi, Tech in Asia, Teknologi, Technology, Sains, Bisnis, Business, Business Analyst, Business Analysis, Social Media Mining, Movie Review, Muhammad Azizul Hakim, Aziz

Bermain Twitter dengan R (Part 4) – Pengantar Algoritma Klasifikasi Sentimen

“All models are approximations. Essentially, all models are wrong, but some are useful. However, the approximate nature of the model must always be borne in mind.”

~ George E. P. Box

Pada postingan minggu lalu, kita telah membahas langkah-langkah opinion mining/sentiment analysis. Pada pembahasan kali ini, kita akan sedikit membahas mengenai beragam algoritma yang biasa digunakan untuk mengklasifikasikan sentimen.

Klasifikasi sentimen memang bukan perkara yang mudah. Meskipun begitu, terdapat beragam algoritma klasifikasi yang dapat diterapkan pada kasus opinion mining/sentiment analysis. Algoritma-algoritma tersebut beragam, mulai dari classifier probabilistik sederhana seperti Naive Bayes (probability classifier yang mengasumsikan semua feature saling independen satu sama lainnya, dan tidak menggunakan/melibatkan informasi sebelumnya (prior information), hingga classifier yang lebih advanced seperti Maximum Entropy Classifier (yang menggunakan informasi prior hingga batasan tertentu).Baca selebihnya »

Data Scientist, Data Science, Machine Learning, Statistics, Data Science Indonesia, Data Analytics, Data Analysis, Data Analyst, Data, Astronomy, Astronomer, Science, Python, iPython, Jupyter Notebook, R, RStudio, Excel, Coding, Koding, Cara Mengolah Data, Mengolah Data, Olah Data, Programming, Pemrograman, Sains, Teknologi, Ilmu Data, Teknologi Informasi, Tech in Asia, Teknologi, Technology, Sains, Bisnis, Business, Business Analyst, Business Analysis, Social Media Mining, Movie Review, Muhammad Azizul Hakim, Aziz

Berkenalan dengan scikit-learn (Part 4) – Scaling Data dengan MinMaxScaler

β€œAs data scientists, our job is to extract signal from noise.”

~ Daniel Tunkelang

Dari postingan sebelumnya, kita telah mengenal metode scaling data menggunakan standard normal (z-score), dengan menetapkan mean 0 dan standard deviation 1. Metode tersebut bukan metode satu-satunya untuk scaling data.

Pada postingan kali ini, kita akan membahas metode lain untuk scaling data numerik, yaitu Min-Max Scaling, yang sering dikenal juga dengan normalisasi data atau normalization (karena z-score juga sering disebut normalization, maka sering terjadi ambiguitas atau tertukar-tukar :D).

Min-Max Scaling bekerja dengan scaling data/menyesuaikan data dalam rentang/range tertentu (range nilai minimum hingga nilai maksimum), dengan rentang yang biasa digunakan adalah 0 hingga 1. Berikut ini adalah uraian matematisnya:

Data Scientist, Data Science, Machine Learning, Statistics, Data Science Indonesia, Data Analytics, Data Analysis, Data Analyst, Data, Astronomy, Astronomer, Science, Python, iPython, Jupyter Notebook, R, RStudio, Excel, Coding, Koding, Cara Mengolah Data, Mengolah Data, Olah Data, Programming, Pemrograman, Sains, Teknologi, Ilmu Data, Teknologi Informasi, Tech in Asia, Teknologi, Technology, Sains, Bisnis, Business, Business Analyst, Business Analysis, Social Media Mining, Movie Review, Muhammad Azizul Hakim, AzizBaca selebihnya »

Data Scientist, Data Science, Machine Learning, Statistics, Data Science Indonesia, Data Analytics, Data Analysis, Data Analyst, Data, Astronomy, Astronomer, Science, Python, iPython, Jupyter Notebook, R, RStudio, Excel, Coding, Koding, Cara Mengolah Data, Mengolah Data, Olah Data, Programming, Pemrograman, Sains, Teknologi, Ilmu Data, Teknologi Informasi, Tech in Asia, Teknologi, Technology, Sains, Bisnis, Business, Business Analyst, Business Analysis, Social Media Mining, Movie Review, Muhammad Azizul Hakim, Aziz

Bermain Twitter dengan R (Part 3) – Pengantar Sentiment Analysis

“While the individual man is an insoluble puzzle, in the aggregate he becomes a mathematical certainty. You can, for example, never foretell what any one man will be up to, but you can say with precision what an average number will be up to. Individuals vary, but percentages remain constant. So says the statistician.”

~ Arthur Conan Doyle

Sebelum kita masuk ke praktik/hands on pada sentiment analysis, ada baiknya kita pelajari bersama dahulu teori-teori di belakangnya, agar tidak terlalu black box. πŸ™‚

Secara sederhana, opinion mining atau sentiment analysis adalah metode untuk menilai opini/sentimen yang muncul dari suatu frasa atau kalimat. Seringkali dokumentasi lengkap (dataset, corpus, dll) yang tersedia mengenai sentiment analysis ini dalam bahasa Inggris, namun secara teoretik, sentiment analysis dapat dilakukan dalam bahasa apapun.

Sumber data/kalimat yang digunakan untuk sentimen analisis pun dapat bersumber dari manapun-baik itu tweet dengan total 140 karakter, Facebook post atau chat, forum post Kaskus, SMS, dll.

Berikut ini adalah contoh sederhana kalimat-kalimat beserta sentimennya:Baca selebihnya »

Data Scientist, Data Science, Machine Learning, Statistics, Data Science Indonesia, Data Analytics, Data Analysis, Data Analyst, Data, Astronomy, Astronomer, Science, Python, iPython, Jupyter Notebook, R, RStudio, Excel, Coding, Koding, Cara Mengolah Data, Mengolah Data, Olah Data, Programming, Pemrograman, Sains, Teknologi, Ilmu Data, Teknologi Informasi, Tech in Asia, Teknologi, Technology, Sains, Bisnis, Business, Business Analyst, Business Analysis, Social Media Mining, Movie Review, Muhammad Azizul Hakim, Aziz

The Big Short (2015) – A Movie Review from Data Scientist Perspective

“Do you realize what you just did? You just bet against the American economy.”

~ Ben Rickert

Halo semuanya! Bertemu lagi di sesi Intermezzo, yang kali ini masih tentang review film. Kali ini kita akan review tentang film The Big Short (2015), yang memenangkan Academy Awards/Oscar ke-88 pada tahun 2016 silam. πŸ˜€

Baca juga sesi Intermezzo sebelumnya. Selamat membaca, dan semoga bermanfaat! πŸ™‚

The Big Short adalah film yang menceritakan tentang krisis finansial Amerika tahun 2007-2008, akibat ledakan pasar rumah dan gelembung kredit rumah (US Housing Bubble). Krisis finansial 2007-2008 menjadi krisis finansial global, dan merupakan krisis finansial terburuk sejak Great Depression tahun 1930an. Film ini diangkat dari buku The Big Short: Inside the Doomsday Machine, yang ditulis oleh Michael Lewis.Baca selebihnya »

Data Scientist, Data Science, Machine Learning, Statistics, Data Science Indonesia, Data Analytics, Data Analysis, Data Analyst, Data, Astronomy, Astronomer, Science, Python, iPython, Jupyter Notebook, R, RStudio, Excel, Coding, Koding, Cara Mengolah Data, Mengolah Data, Olah Data, Programming, Pemrograman, Sains, Teknologi, Ilmu Data, Teknologi Informasi, Tech in Asia, Teknologi, Technology, Sains, Bisnis, Business, Business Analyst, Business Analysis, Social Media Mining, Movie Review, Muhammad Azizul Hakim, Aziz

Berkenalan dengan scikit-learn (Part 3) – Scaling Data Menjadi Standard Normal

“Statistics and numbers are no good unless you have good people to analyse and then interpret their meaning and importance.”

~ Brendan Rodgers

Halo! Di postingan kali ini, kita akan membahas mengenai scaling data, yaitu salah satu metode dalam preprocessing data numerik/data angka nonkategori.Β Preprocessing data adalah teknik/step dalam data mining atau machine learning, untuk mentransformasikan data mentah menjadi data yang siap dianalisis.

Metode scaling data yang akan kita bahas di sini adalah scaling data menjadi standard normal. Standard normal sendiri merupakan salah satu metode yang paling direkomendasikan dalam teknik scaling data, sekaligus merupakan salah satu distribusi yang paling dikenal dan paling penting dalam statistika.

Pernah mendengar z-score pada statistika? Ya, kita akan mengubah/scaling data kita menjadi z-score.Baca selebihnya »

Data Scientist, Data Science, Machine Learning, Statistics, Data Science Indonesia, Data Analytics, Data Analysis, Data Analyst, Data, Astronomy, Astronomer, Science, Python, iPython, Jupyter Notebook, R, RStudio, Excel, Coding, Koding, Cara Mengolah Data, Mengolah Data, Olah Data, Programming, Pemrograman, Sains, Teknologi, Ilmu Data, Teknologi Informasi, Tech in Asia, Teknologi, Technology, Sains, Bisnis, Business, Business Analyst, Business Analysis, Social Media Mining, Movie Review, Muhammad Azizul Hakim, Aziz

Bermain Twitter dengan R (Part 2) – Finding Trending Topics

“Social media makes it extraordinarily easy to join crusades, express solidarity and outrage, and shun traitors. Facebook was founded in 2004, and since 2006 it has allowed children as young as 13 to join. This means that the first wave of students who spent all their teen years using Facebook reached college in 2011, and graduated from college only this year.

These first true β€œsocial-media natives” may be different from members of previous generations in how they go about sharing their moral judgments and supporting one another in moral campaigns and conflicts. We find much to like about these trends; young people today are engaged with one another, with news stories, and with prosocial endeavors to a greater degree than when the dominant technology was television. But social media has also fundamentally shifted the balance of power in relationships between students and faculty; the latter increasingly fear what students might do to their reputations and careers by stirring up online mobs against them.”

~ Greg Lukianoff, Jonathan Haidt, “The Coddling of the American Mind”, The Atlantic, (September 2016).

Halo, apa kabar semuanya? :*

Sebagai lanjutan dari “Bermain Twitter dengan R, Part 1”, di postingan kali ini, kita akan membahas tips & trick yang insyaAlloh akan lebih berfaedah lagi, yaitu cara memperoleh trending topic di suatu daerah tertentu, maupun di seluruh dunia!

Sebelumnya, kita perlu mengakses twitter API terlebih dahulu, menggunakan API credentials dengan cara seperti dijabarkan pada Part 1. Jika sudah berhasil mengakses kembali aplikasi twitter kita, maka jalankanlah script berikut ini, untuk mengetahui available trend location, atau lokasi yang tersedia layanan untuk kita pantau trending topicsnya. πŸ™‚Baca selebihnya »

Data Scientist, Data Science, Machine Learning, Statistics, Data Science Indonesia, Data Analytics, Data Analysis, Data Analyst, Data, Astronomy, Astronomer, Science, Python, iPython, Jupyter Notebook, R, RStudio, Excel, Coding, Koding, Cara Mengolah Data, Mengolah Data, Olah Data, Programming, Pemrograman, Sains, Teknologi, Ilmu Data, Teknologi Informasi, Tech in Asia, Teknologi, Technology, Sains, Bisnis, Business, Business Analyst, Business Analysis, Social Media Mining, Movie Review, Muhammad Azizul Hakim, Aziz

Berkenalan dengan scikit-learn (Part 2) – datasets.make_: Membuat Sampel Data untuk Latihan Analisis Data

β€œYou can have data without information, but you cannot have information without data.”

~ Daniel Keys Moran

Pada postingan sebelumnya (part 1), kita telah mengenal langkah-langkah persiapan dalam menggunakan library scikit-learn, dan kita juga telah tahu cara mengimport datasets bawaan dari scikit-learn. Untuk lebih menajamkan sense kita untuk mengetahui kecocokan suatu tipe datasets dengan metode machine learning yang akan kita gunakan, di postingan kali ini, akan kita coba bersama, membuat datasets untuk toy analysis; atau untuk latihan analisis data, atau bahkan untuk prototyping, sebelum implementasi ke data yang sebenarnya. πŸ™‚

Di postingan kali ini, kita akan lihat perbedaan bentuk/tipe-tipe datasets untuk setiap algoritma machine learning yang berbeda.

Mari kita lihat, beragam jenis datasets yang dapat kita buat dengan scikit-learn, dengan script berikut ini:

#import library terlebih dahulu, jangan lupa
import sklearn.datasets as d
import numpy as np

#syntax untuk melihat, datasets macam apa sajakah yang bisa dibuat menggunakan scikit-learn
d.make_*?

Kita lihat hasilnya di console:Baca selebihnya »