R'a Veri Nasıl İçe Aktarılır

R'a Veri Aktarmaya Başlarken

R güçlü bir istatistik aracıdır. Microsoft Excel gibi diğer yazılımlarla karşılaştırıldığında R, daha hızlı veri yükleme, otomatik veri temizleme ve derinlemesine istatistiksel ve kestirimci analiz sunar. Tüm bunlar açık kaynaklı R paketleriyle yapılır; biz de farklı türde veri setlerini içe aktarmak için bunları nasıl kullanacağımızı öğreneceğiz. 

Kod örneklerini çalıştırmak için DataLab kullanacağız. Gerekli paketler ve R ortamı önceden yüklü gelir. Hiçbir kurulum yapmadan saniyeler içinde kodlamaya başlayabilirsiniz. Ücretsizdir ve geniş bir veri seti seçkisiyle birlikte gelir. 

DataLab çalışma kitabını yükledikten sonra, popüler olmayan ancak SAS, SPSS, Stata ve Matlab dosyalarını yüklemek için gerekli birkaç paketi kurmanız gerekir. 

Tidyverse paket seti, düz dosyaları okumanızı, verileri temizlemenizi, veri işleme ve görselle��tirme yapmanızı ve daha fazlasını sağlayan çeşitli paketlerle birlikte gelir.

Paketleri install.packages() işlevini kullanarak tek tek kurabiliriz. 

install.packages('tidyverse',dependency=T)

Ayrıca c() işlevi içinde paket adlarını yazarak birden fazla paketi aynı anda kurabiliriz. Paketleri kurduktan sonra, library() ile yerel ortamınıza yüklersiniz. Bu örnekte daha kısa çıktı için library()'yi suppressPackageStartupMessages() içine aldım. 

install.packages(c('quantmod','ff','foreign','R.matlab'),dependency=T)

suppressPackageStartupMessages(library(tidyverse))

install.packages() işlevinde dependency=T parametresini kullanarak bağımlılıkları kurduğumdan emin olduğumu görebilirsiniz.

Yaygın Olarak Kullanılan R Veri Türleri

R'da yaygın olarak kullanılan CSV, TXT, Excel, JSON, Veritabanı ve XML/HTML veri dosyalarını yüklemeyi öğrenelim. Ayrıca SAS, SPSS, Stata, Matlab ve İkili (Binary) gibi daha az kullanılan dosya biçimlerine de bakacağız. Bunun yanı sıra, birkaç satır kodla bir web sitesinden HTML tablolarını ve XML verilerini almak için URL'leri kullanacağız.  

CSV ve TXT dosyalarından R'a veri aktarma

R'da bir CSV dosyası içe aktarma

Bu bölümde, Hotel Booking Demand veri setinden bir CSV dosyası yükleyerek R'da veri okuyacağız. Bu veri seti bir şehir oteli ve bir tatil köyü otelinden rezervasyon verilerinden oluşur. CSV dosyasını içe aktarmak için readr paketinin read_csv() işlevini kullanacağız. Pandas'ta olduğu gibi, dosyayı işlemek ve bir veri çerçevesi olarak yüklemek için dosyanın konumunu girmeniz gerekir. 

Ayrıca utils paketindeki read.csv() veya read.delim() işlevlerini de CSV dosyalarını yüklemek için kullanabilirsiniz. 

data1 <- read_csv('data/hotel_bookings_clean.csv',show_col_types = FALSE)
head(data1, 5)

read_csv()'e benzer şekilde dosyayı yüklemek için read.table() işlevini de kullanabilirsiniz. Virgül gibi bir ayırıcı eklediğinizden ve header = 1 kullandığınızdan emin olun. Böylece ilk satır, V1, V2, ... yerine sütun adları olarak ayarlanır.

data2 <- read.table('data/hotel_bookings_clean.csv', sep=",", header = 1)
head(data2, 5)

R'da bir TXT dosyası içe aktarma

Bu kısımda bir metin dosyasını yüklemek için Drake Lyrics veri setini kullanacağız. Dosya, şarkıcı Drake'in şarkı sözlerinden oluşur. Basit dosyayı yüklemek için readLines() işlevini kullanabiliriz, ancak bunu bir veri çerçevesine dönüştürmek için ek işlemler yapmamız gerekir. 

Yazarın Görseli | Metin dosyası

Metin dosyasını bir R veri çerçevesi olarak yüklemek için read.table'ın alternatif işlevi olan read.delim()'i kullanacağız. read.table'ın diğer alternatif işlevleri read.csv, read.csv2 ve read.delim2'dir.

Not: varsayılan olarak değerleri Sekme ile ayırır (sep = "\t")

Metin dosyası şarkı sözlerinden oluşur ve bir başlık satırı yoktur. Tüm şarkı sözlerini tek bir satırda göstermek için header = F ayarlamamız gerekir. 

Veri çerçevenizi özelleştirmek için örneğin, eşit olmayan uzunluktaki satırlara eklenecek boş alanları ayarlayan fill parametresi gibi diğer parametreleri de kullanabilirsiniz.

read.table'ın alternatif işlevlerindeki tüm parametreleri öğrenmek için belgelere göz atın.  

data3 <- read.delim('data/drake_lyrics.txt',header = F)
head(data3, 5)

Excel'den R'a veri aktarma

Bu bölümde, Excel'den R'a içe aktarmak için Kaggle'daki Tesla Deaths veri setini kullanacağız. Veri seti, sürücü, yolcu, bisikletli veya yayanın ölümle sonuçlandığı trajik Tesla araç kazalarıyla ilgilidir. 

Veri seti bir CSV dosyası içerir ve bunu aşağıda gösterildiği gibi MS Excel kullanarak bir Excel dosyasına dönüştüreceğiz. 

Yazarın Görseli

Excel dosyasından tek bir sayfa okumak için readxl paketinin read_excel() işlevini kullanacağız. Paket tidyverse ile gelir ancak çekirdek parçası değildir; bu nedenle işlevi kullanmadan önce paketi yüklememiz gerekir. 

İşlev veri konumu ve sayfa numarasını ister. Veri çerçevemizin görünümünü, read_excel belgelerindeki diğer parametrelerin açıklamalarını okuyarak da değiştirebiliriz.

library(readxl)
data4 <- read_excel("data/Tesla Deaths.xlsx", sheet = 1)
head(data4, 5)

JSON dosyasından veri aktarma

Bu kısımda, Drake Lyrics veri setindeki bir dosyayı kullanarak JSON'u R'a yükleyeceğiz. Drake şarkılarının şarkı sözleri, şarkı adı, albüm adı, URL ve görüntülenme sayısını içerir. 

Yazarın Görseli

Bir JSON dosyasını yüklemek için rjson paketini yükleyecek ve JSON dosyasını ayrıştırmak için fromJSON() kullanacağız. 

library(rjson)
JsonData <- fromJSON(file = 'data/drake_data.json')
print(JsonData[1])

Çıktı:

[[1]]
[[1]]$album
[1] "Certified Lover Boy"

[[1]]$lyrics_title
[1] "Certified Lover Boy* Lyrics"

[[1]]$lyrics_url
[1] "https://genius.com/Drake-certified-lover-boy-lyrics"

[[1]]$lyrics
[1] "Lyrics from CLB Merch\n\n[Verse]\nPut my feelings on ice\nAlways been a gem\nCertified lover boy, somehow still heartless\nHeart is only gettin' colder"

[[1]]$track_views
[1] "8.7K"

JSON verisini bir R veri çerçevesine dönüştürmek için data.table paketinin as.data.frame() işlevini kullanacağız. 

data5 = as.data.frame(JsonData[1])
data5

R'da SQL kullanarak bir Veritabanından veri aktarma

Bu bölümde, R kullanarak SQLite veritabanlarını yüklemek için Kaggle'daki Mental Health in the Tech Industry veri setini kullanacağız. SQL sorgusu kullanarak veritabanlarından veri çıkarmak için DBI paketi ve SQLite işlevi ile bağlantı oluşturacağız. Diğer SQL sunucularından veri yüklemek için de benzer sözdizimini kullanabilirsiniz.  

RSQLite paketini yükleyecek ve veritabanını dbConnect işlevini kullanarak açacağız. 

Not: dbConnect'i MySQL, PostgreSQL ve diğer popüler SQL sunucularından veri yüklemek için kullanabilirsiniz.

Veritabanını yükledikten sonra tabloların adlarını görüntüleyeceğiz.

library(RSQLite)

conn <- dbConnect(RSQLite::SQLite(), "data/mental_health.sqlite")
dbListTables(conn) # 'Answer''Question''Survey'

Bir sorgu çalıştırmak ve sonuçları görüntülemek için `dbGetQuery` işlevini kullanacağız. Sadece bir SQLite bağlantı nesnesi ve dize olarak bir SQL sorgusu ekleyin.  

dbGetQuery(conn, "SELECT * FROM Survey")

R içinde SQL kullanmak, veri alımı ve analizinde size daha fazla kontrol sağlar.  

(data6 = dbGetQuery(conn, "SELECT * FROM Question  LIMIT 3"))

R'da SQL sorguları çalıştırma hakkında daha fazla bilgi edinmek için Python ve R'da SQL Sorguları Nasıl Çalıştırılır eğitimini takip edin. Veritabanlarını nasıl yükleyeceğinizi ve dplyr ile ggplot kullanarak SQL'i nasıl uygulayacağınızı öğretecektir. 

XML ve HTML dosyalarından veri aktarma

R'a XML içe aktarma

Bu bölümde, plant_catalog XML verisini xml2 paketiyle w3schools'tan yükleyeceğiz. 

Not: Veriyi yüklemek için XML paketinin `xmlTreeParse` işlevini de kullanabilirsiniz.  

read_csv() işlevinde olduğu gibi, XML sitesine ait bir URL bağlantısı sağlayarak XML verisini yükleyebiliriz. Sayfayı yükleyecek ve XML verisini ayrıştıracaktır.

library(xml2)

plant_xml <- read_xml('https://www.w3schools.com/xml/plant_catalog.xml')
plant_xml_parse <- xmlParse(plant_xml)

Daha sonra, `xmlToDataFrame` işlevini kullanarak XML verisini bir R veri çerçevesine dönüştürebilirsiniz. 

1. XML verisinden düğüm kümesini çıkarın. 

• İlk argüman, XMLInternalDocument sınıfının nesnesi olan bir doc'tur. 

• İkinci argüman, değerlendirilecek XPath ifadesini veren bir dize olan path'tir.

2. `plant_node`'u `xmlToDataFrame` işlevine ekleyin ve R veri çerçevesinin ilk beş satırını görüntüleyin. 

plant_nodes= getNodeSet(plant_xml_parse, "//PLANT")

data9 <- xmlToDataFrame(nodes=plant_nodes)
head(data9,5)

R'a HTML Tablosu içe aktarma

Bu bölüm eğlenceli; çünkü birkaç satır kodla Arjantin millî futbol takımının Vikipedi sayfasını kazıyıp HTML tablosunu çıkaracak ve veri çerçevesine dönüştüreceğiz. 

Görsel: Vikipedi

Bir HTML tablosunu yüklemek için XML ve RCurl paketlerini kullanacağız. Aşağıda gösterildiği gibi Wikipedia URL'sini getURL() işlevine verecek, ardından nesneyi readHTMLTable() işlevine ekleyeceğiz. 

İşlev, web sitesindeki tüm HTML tablolarını çıkaracak; bizim de istediğimizi seçmek için bunları tek tek incelememiz yeterli olacaktır. 

library(XML)
library(RCurl)

url <- getURL("https://en.wikipedia.org/wiki/Brazil_national_football_team")
tables <- readHTMLTable(url)
data7 <- tables[31]

data7$`NULL`

Ayrıca rvest paketini kullanarak URL üzerinden HTML okuyabilir, tüm tabloları çıkarabilir ve bir veri çerçevesi olarak görüntüleyebilirsiniz. 

• Web sitelerinden HTML verisi çıkarmak için read_html(URL).

• HTML verisinden tabloları çıkarmak için html_nodes(file, "table").

• HTML tablolarını veri çerçevesine dönüştürmek için html_table(tables[25]). 

library(rvest)

url <- "https://en.wikipedia.org/wiki/Argentina_national_football_team"
file <- read_html(url)
tables <- html_nodes(file, "table")
data8 <- html_table(tables[25])

View(data8)

Eğitimi takip ederken sorun yaşıyorsanız, her zaman bu eğitime ait tüm kodların yer aldığı DataLab çalışma kitabına bakabilirsiniz. Bir kopyasını oluşturup pratik yapmaya başlayın. 

Diğer Veri Türleri

Diğer, daha az popüler ancak önemli veri türleri istatistik yazılımlarından, Matlab'den ve ikili verilerden gelir. 

SAS dosyasından veri aktarma

Bu bölümde, SAS dosyalarını içe aktarmak için haven paketini kullanacağız. Veriyi GeeksforGeeks blogundan indirebilirsiniz. haven paketi, SAS, SPSS ve Stata dosyalarını çok az kodla R'a yüklemenizi sağlar. 

.sas7bdat dosyasını bir veri çerçevesi olarak yüklemek için dosya dizinini read_sas() işlevine verin. Daha fazlasını öğrenmek için işlevin belgelerine göz atın.

library(haven)
 
data10 <- read_sas('data/lond_small.sas7bdat')

# display data
head(data10,5)

SPSS dosyasından veri aktarma

Bildiniz gibi, haven paketini SPSS dosyalarını R'a yüklemek için de kullanabiliriz. Veriyi GeeksforGeeks blogundan indirebilir ve SPSS sav dosyasını yüklemek için read_sav() işlevini kullanabilirsiniz. 

Bir dize olarak dosya dizinini ister ve kodlama, col_select ve compress gibi ek argümanlarla veri çerçevenizi değiştirebilirsiniz.

library(haven)
 
data11 <- read_sav("data/airline_passengers.sav")                       
head(data11,5)

foreign paketini kullanarak .sav dosyasını read.spss() işleviyle bir veri çerçevesi olarak da yükleyebilirsiniz. İşlev yalnızca iki argüman ister: file ve to.data.frame. Diğer argümanlar hakkında daha fazla bilgi edinmek için işlevin belgelerini okuyun. 

Not: foreign paketi ayrıca Minitab, S, SAS, SPSS, Stata, Systat, Weka ve Octave dosya biçimlerini yüklemenize olanak tanır.  

library("foreign")
 
data12 <- read.spss("data/airline_passengers.sav", to.data.frame = TRUE)
head(data12,5)

Stata dosyalarını R'a aktarma

Bu kısımda, ucla.edu'dan Stata dosyasını yüklemek için foreign paketini kullanacağız. 

read.dta, Stata sürüm 5--12 ikili biçimlerindeki bir dosyayı okur ve bir veri çerçevesine dönüştürür.

“Bu kadar basit.”

library("foreign")

data13 <- read.dta("data/friendly.dta")
head(data13,5)

Matlab dosyalarını R'a aktarma

Matlab öğrenciler ve araştırmacılar arasında oldukça popülerdir. R.matlab, .mat dosyasını yüklememize olanak tanır; böylece R'da veri analizi yapabilir ve benzetimler (simülasyonlar) çalıştırabiliriz. 

Kendi başınıza denemek için Matlab dosyalarını Kaggle'dan indirin.

library(R.matlab)

data14 <- readMat("data/cross_dsads.mat")
head(data14$data.dsads)

İkili (binary) dosyaları R'a aktarma

Bu bölümde önce bir ikili dosya oluşturacak, ardından readBin() işlevini kullanarak dosyayı okuyacağız.

Not: kod örneği R Programlamada İkili Dosyalarla Çalışma blogunun değiştirilmiş bir sürümüdür.

Önce dört sütun ve dört satırlı bir veri çerçevesi oluşturmamız gerekiyor.

df = data.frame(
  "ID" = c(1, 2, 3, 4),
  "Name" = c("Abid", "Matt", "Sara", "Dean"),
  "Age" = c(34, 25, 27, 50),
  "Pin" = c(234512, 765345, 345678, 098567)
)

Ardından, file() işlevini kullanarak bir bağlantı nesnesi oluşturun. 

con = file("data/binary_data.dat", "wb")

Sütun adlarını writeBin() işleviyle dosyaya yazın.

writeBin(colnames(df), con)

Her sütunun değerini dosyaya yazın.

writeBin(c(df$ID, df$Name, df$Age, df$Pin), con)

Veriyi dosyaya yazdıktan sonra bağlantıyı kapatın.

close(con)

İkili dosyayı okumak için dosyaya bir bağlantı oluşturmalı ve verileri tamsayı olarak görüntülemek için readBin() işlevini kullanmalıyız. 

İşlevde kullanılan argümanlar:

• conn: bir bağlantı nesnesi.
• what: modu, okunacak vektörün modunu belirleyecek bir nesne.
• n: Okunacak kayıt sayısı.

con = file("data/binary_data.dat", "rb")
data15_1 = readBin(con, integer(), n = 25)

print(data15_1)

Çıktı:

[1] 1308640329    6647137    6645569    7235920    3276849    3407923
[7] 1684628033 1952533760 1632829556 1140875634    7233893  838874163
[13]  926023733    3159296  892613426  922759729  875771190  875757621
[19]  943142453  892877056

Ayrıca what argümanında integer() yerine character() kullanarak veriyi ikiliden (binary) karakter dizisine dönüştürebilirsiniz. 

Daha fazla bilgi için readBin() işlevi belgelerini okuyun.

con = file("data/binary_data.dat", "rb")
data15_2 = readBin(con, character(), n = 25)

print(data15_2)

Çıktı:

[1] "ID"     "Name"   "Age"    "Pin"    "1"      "2"      "3"      "4"    
[9] "Abid"   "Matt"   "Sara"   "Dean"   "34"     "25"     "27"     "50"   
[17] "234512" "765345" "345678" "98567" 

Düz dosyaları, istatistik yazılımlarını, veritabanlarını veya doğrudan web'den verileri nasıl içe aktaracağınızı R'da Orta Düzey Veri İçe Aktarma kursunu alarak öğrenin.

QuantMod kullanarak R'a Veri Aktarma

quantmod, R için bir finansal modelleme ve alım satım çerçevesidir. En güncel işlem verilerini bir veri çerçevesi biçiminde indirmek ve yüklemek için bunu kullanacağız. 

Google hissesinin tarihsel verilerini yüklemek için quantmod’un getSymbols() işlevini “from” ve “to” tarihi ile “frequency” vererek kullanacağız. quantmod paketi hakkında daha fazla bilgiyi belgeleri okuyarak edinin.

library(quantmod)

getSymbols("GOOGL",
          from = "2022/12/1",
          to = "2023/1/15",
          periodicity = "daily")
# 'GOOGL'

Veri GOOGL nesnesine yüklenir ve ilk beş satırı head() işlevini kullanarak görebiliriz. 

head(GOOGL,5)

Çıktı:

GOOGL.Open GOOGL.High GOOGL.Low GOOGL.Close GOOGL.Volume
2022-12-01     101.02     102.25    100.25      100.99     28687100
2022-12-02      99.05     100.77     98.90      100.44     21480700
2022-12-05      99.40     101.38     99.00       99.48     24405100
2022-12-06      99.30      99.78     96.42       96.98     24910700
2022-12-07      96.41      96.88     94.72       94.94     31045400
          GOOGL.Adjusted
2022-12-01         100.99
2022-12-02         100.44
2022-12-05          99.48
2022-12-06          96.98
2022-12-07          94.94

Büyük Veri Setlerini R'a Aktarma

Büyük bir dosyayı içe aktarmak zordur. İşlevin bellek açısından verimli depolama ve hızlı erişim için optimize edildiğinden emin olmanız gerekir. 

Bu bölümde, 1 GB'tan büyük CSV dosyalarını yüklemek için kullanılan popüler işlevlere bakacağız. Kaggle'dan US Accidents (2016 - 2021) veri setini kullanıyoruz; yaklaşık 1,15 GB boyutunda ve 2.845.342 kayda sahip. 

read.table() kullanarak büyük bir veri setini R'a içe aktarma

utils'ün read.table() işlevine doğrudan zip dosyasını unz işleviyle verebiliriz. Böylece CSV dosyasını çıkartıp sonra yükleme zahmetinden kurtulursunuz. 

1. unz'e zip dizinini ve zip içindeki CSV dosyasını sağlayın.

2. Ardından unz nesnesini read.table() işlevine ekleyin.

3. Daha hızlı yüklemek için nrows'u 10.000 ile sınırlandıracağız.

4. Varsayılan olarak boşlukla ayırır, bu nedenle sep argümanını virgül ile sağladığınızdan emin olun. 

file <- unz("data/US Accidents.zip", "US_Accidents_Dec21_updated.csv")

(data16 <- read.table(file, header=T, sep=",",nrow=10000))

read.csv() kullanarak büyük bir veri setini R'a içe aktarma

read.table()'a benzer şekilde, readr'ın read_csv() işlevini CSV dosyasını yüklemek için kullanabiliriz. nrow yerine, sınırlı sayıda kayıt okumak için n_max kullanacağız.  

Bizim durumumuzda veriyi kısıtlamıyor ve işlevin tüm veriyi yüklemesine izin veriyoruz. 

Not: tüm veriyi yüklemek neredeyse bir dakika sürdü. Yükleme süresini azaltmak için iş parçacığı sayısını değiştirebilirsiniz. Daha fazlası için işlevin belgelerine bakın.

(data17 <- read_csv('data/US_Accidents_Dec21_updated.csv'))

ff paketi kullanarak büyük bir veri seti içe aktarma

ff paketini yükleme süresi ve depolamayı optimize etmek için de kullanabiliriz. read.table.ffdf() işlevi verileri parça parça yükleyerek süreyi azaltır.

Önce dosyayı açıp (unzip) ardından read.table.ffdf() işleviyle veriyi okuyacağız. 

unzip('data/US Accidents.zip',exdir='data')

library(ff)

data18 <- read.table.ffdf(file="data/US_Accidents_Dec21_updated.csv",
                          nrows=10000,
                          header = TRUE,
                          sep = ',')
data18[1:5,1:25]

Son olarak, ilk 10.000 satırı okumak için data.table paketinin en yaygın kullanılan `fread` işlevine bakacağız. İşlev dosya biçimini otomatik olarak anlayabilir; ancak nadir durumlarda bir sep argümanı sağlamanız gerekir. 

library(data.table)

(data19 <- fread("data/US_Accidents_Dec21_updated.csv",
              sep=',',
              nrows = 10000,
              na.strings = c("NA","N/A",""),
              stringsAsFactors=FALSE
              ))

Veri Seti Başvuruları

Kod örneklerini kendi başınıza denemek isterseniz, eğitimde kullanılan tüm veri setlerinin listesi burada.

1. CSV: Hotel Booking Demand
2. TXT: Drake Lyrics
3. Excel: Tesla Deaths
4. JSON: Drake Lyrics
5. SQL DB: Mental Health in the Tech Industry
6. XML: w3schools
7. HTML: Arjantin millî futbol takımı
8. SAS: SAS Dosyaları - GeeksforGeeks
9. SPSS: SPSS Dosyaları - GeeksforGeeks
10. Stata: Applied Regression Analysis by Fox Veri Dosyaları
11. Matlab: Çapraz-pozisyon etkinlik tanıma | Kaggle
12. Büyük Veri Seti: US Accidents (2016 - 2021)

Sonuç

R harika bir dildir ve her tür entegrasyonla birlikte gelir. Her tür veri setini yükleyebilir, temizleyip dönüştürebilir, keşifsel ve kestirimci veri analizi yapabilir ve yüksek kaliteli raporlar yayımlayabilirsiniz. 

Bu eğitimde, daha iyi depolama ve performans için popüler R paketlerini kullanarak her tür veri setini nasıl yükleyeceğimizi öğrendik. Veri bilimi kariyerinize R ile başlamak istiyorsanız, R ile Veri Bilimci kariyer yoluna göz atın. R programlama, istatistiksel analiz, veri işleme ve kestirimci analiz hakkında her şeyi öğretecek 24 etkileşimli dersten oluşur. Ayrıca, yolu tamamladıktan sonra sertifikasyon sınavına girerek iş piyasasına adım atabilirsiniz. 

Ayrıca, kaynak kodu, çıktılar ve bir veri deposuyla birlikte gelen R'a Veri İçe Aktarma DataLab çalışma kitabına da göz atın. Bir kopyasını oluşturup kendi kendinize öğrenmeye başlayabilirsiniz.