İMDB Web Scraping ile Film Verilerini Python ile Elde Etme

Giriş: Neden Web Scraping ve İMDB?

Film ve diziler hakkında bilgi almanın en popüler yollarından biri, İnternet Movie Database (İMDB) gibi kapsamlı veri kaynaklarını kullanmaktır. İMDB, dünyadaki pek çok film ve dizi hakkında detaylı bilgileri barındıran bir veritabanıdır. Ancak, bazen bu verilere doğrudan ulaşmak yerine veri elde etme yöntemlerine başvurmak gerekebilir; işte burada web scraping devreye girer. Web scraping, belirli bir web sitesinde yer alan verileri otomatik olarak toplama sürecidir. Python gibi esnek ve güçlü programlama dilleri, bu işlemi kolayca yapmamıza olanak tanır.

Bu yazıda, Python kullanarak İMDB üzerinden film verilerini nasıl toplayabileceğimizi adım adım inceleyeceğiz. Web scraping yaparken dikkat edilmesi gereken etik kurallar, veri analizi ve örnek projelerden de bahsedeceğiz. İMDB verilerini toplamak, kişisel projeleriniz için film ve dizi önerileri oluşturmanıza, veri analizi yapmanıza veya başka projelerde kullanmanıza olanak tanır. Haydi, bu heyecan verici yolculuğa başlayalım!

Gerekli Kütüphaneler ve Kurulum

Python ile İMDB verilerini scraping yapabilmek için öncelikle gerekli kütüphaneleri kurmamız gerekiyor. En yaygın kullanılan kütüphaneler arasında Requests ve Beautiful Soup yer alır. Requests, HTTP istekleri göndererek web sayfalarını indirmemizi sağlar; Beautiful Soup ise HTML ve XML dosyalarını analiz etmemize yardımcı olur. Bu kütüphanelerin kurulumu oldukça basittir. Aşağıdaki komutları terminal veya komut istemcisi aracılığıyla çalıştırarak kütüphaneleri kurabilirsiniz:

pip install requests beautifulsoup4

Ayrıca, veri analizi ve görselleştirme yapmak için kullanışlı olan Pandas kütüphanesini de eklemeyi unutmayın. Pandas, veri çerçeveleri ile çalışma konusunda büyük kolaylık sağlar:

pip install pandas

Bu kütüphanelerle birlikte, web scraping sürecine hazırlanmış olacaksınız. Şimdi, İMDB’den gerekli verileri nasıl toplayacağımıza bakalım.

Veri Toplama Süreci

Her şeyden önce, hangi film verilerini toplamak istediğinizi belirlemeniz önemlidir. İMDB, çok sayıda farklı bilgi sunmaktadır. Örneğin, film başlığı, yılı, türü, oyuncuları, yönetmeni gibi özellikler toplanabilir. Hedefiniz belirlendikten sonra, scraping işlemi için ilk adım hedef sayfanın URL’sini belirlemektir. Örneğin, bir filmin sayfasına gitmek için URL’sini bilmemiz gerekir:

url = 'https://www.imdb.com/title/tt0111161/'  # Örnek: Esaretin Bedeli

Bunun ardından, Requests kütüphanesini kullanarak bu sayfayı indirebiliriz:

import requests

response = requests.get(url)
html_content = response.content

İndirilen HTML içeriği ile birlikte, Beautiful Soup kütüphanesini kullanarak bu içeriği analiz edebiliriz. Bu adımda, bir Beautiful Soup nesnesi oluşturarak sayfa içeriğine kolayca erişebiliriz:

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'html.parser')

Artık film sayfasının içeriğine erişmiş bulunuyoruz. Bu içerik üzerinden istediğimiz verileri kolaylıkla çekebiliriz. İsterseniz kodun geri kalanını görelim ve hangi bilgileri nasıl çekeceğimizi inceleyelim.

Veri Çekme Süreci

İMDB sayfasından hangi verileri çekmek istediğimizi belirlediğimizde, bu verileri almak için Beautiful Soup’un güçlü özelliklerini kullanacağız. Örnek olarak, filmin başlığını, yılını ve türünü çekelim:

title = soup.find('h1').text.strip()  # Film başlığı
year = soup.find('a', title='See more release dates').text.strip()  # Çıkış yılı
genres = [genre.text for genre in soup.find_all('span', class_='genre')]  # Türler

Yukarıdaki kod parçacıkları, film sayfasından film başlığını, çıkış yılını ve türleri çekmektedir. Data scraping işlemi sırasında, web sayfasının yapısının değişebileceğini unutmayın; bu nedenle, hedef sayfadaki HTML etiketlerinin doğru olduğuna emin olmalısınız.

Verileri çektikten sonra, bunları Pandas veri çerçevesine ekleyebiliriz. Bu işlem, verilerle daha fazla işlem yapmamıza olanak tanır:

import pandas as pd

data = {'Title': [title], 'Year': [year], 'Genres': [', '.join(genres)]}

df = pd.DataFrame(data)

Artık, toplanan verileri analiz edebilir ve görselleştirmek için kullanılabilir hale getirmiş olduk.

Veri Analizi ve Görselleştirme

Pandas, topladığınız verileri analiz etmek için mükemmel bir araçtır. Veri çerçevenizle basit analiz işlemleri gerçekleştirebilir, örneğin belirli bir yıl aralığında çıkan filmleri filtreleyebilir veya türlerin dağılımını görebilirsiniz. İşte basit bir analiz örneği:

# Belirli bir yıl aralığında çıkan filmleri filtrele
filtered = df[(df['Year'] >= 2000) & (df['Year'] <= 2020)]

Ayrıca, veri görselleştirme konusunda Matplotlib veya Seaborn kütüphanelerini kullanmanızı öneririm. Aşağıda, filmlerin türlerine göre bir dağılım grafiği oluşturma örneği verilmektedir:

import matplotlib.pyplot as plt

# Türlerin dağılımını gösteren bir pasta grafiği
plt.figure(figsize=(10, 6))

df['Genres'].value_counts().plot(kind='pie', autopct='%1.1f%%')
plt.title('Film Türlerinin Dağılımı')
plt.ylabel('')
plt.show()

Böylece, topladığınız İMDB verilerini analiz edebilir ve sonuçları görselleştirebilirsiniz. Bu adımlar, proje bazında bilgisayarınızdaki filmlerle ilgili anlamlı içgörüler elde etmenize yardımcı olacaktır.

Etik Kurallar ve Dikkat Edilmesi Gerekenler

Web scraping yaparken, belirli etik kurallara ve yasal konulara dikkat etmelisiniz. Web sitelerinin kullanım şartlarını ihlal etmemek önemlidir; bazı siteler scraping yapılmasını yasaklayabilir. İMDB kullanıcıları için scraping yapmayı düşünenler, sitenin robots.txt dosyasını kontrol etmelidir. Bu dosya, hangi sayfaların scraping'e kapalı olduğunu gösterir.

Ayrıca, scraping işleminin aşırı derecede hızlandırılmaması ve sunucular üzerinde aşırı yük oluşturmaması gerekmektedir. Bunun için, scraping işlemleri arasında gecikmeler koymak iyi bir uygulamadır:

import time

time.sleep(5)  # Her isteğin arasında 5 saniye bekleyin

Bu tür önlemler, hem sunucuların sağlıklı çalışmasını sağlar hem de sitenin yöneticileriyle olan ilişkilerinizi düzeltir. Unutmayın ki, veri toplamak bir yandan olağanüstü bir öğrenme ve keşfetme süreciyken bir yandan da bu sürecin etik boyutunu göz önünde bulundurmanız hayati öneme sahiptir.

Sonuç

Bu yazıda, İMDB verilerini Python kullanarak nasıl toplayacağınızı ve analiz edeceğinizi öğrendik. Web scraping süreçleri, programlama öğelerinizin yanı sıra veri bilimine olan ilginizi artırmak için harika bir yoldur. İstediğiniz bilgilere erişim sağlarken, Python'un sunduğu kütüphaneler ve teknolojilerle sizi desteklediğini göreceksiniz. Kendi projelerinizde uygulamak ve kişisel gelişiminizi hızlandırmak için bu tekniklerden faydalanabilirsiniz.

Unutmayın ki, web scraping başlangıçta zorlayıcı görünebilir, ancak her pratikte olduğu gibi, zamanla ustalaşacaksınız. Denemeler yapmaktan çekinmeyin, çeşitli verileri toplayarak kendinizi geliştirin ve en önemlisi, bu yolculuktan keyif alın!