İnteraktif Dersler

Bilgisayarla istatistik: büyük veri kümeleri

Ders notları

Tanım

Büyük bir veri kümesini sıralamak ve filtrelemek

Büyük bir veri kümesi yüzlerce ya da binlerce satırdan oluşan bir tablodur: her durum için bir satır, her özellik için bir sütun vardır. Onu satır satır okuyamazsın; bu yüzden bilgisayardan yardım alırsın. Sıralama, satırları bir sütunun sırasına koyar: önce en küçük ya da önce en büyük; aynı değere sahip satırlar kendi sırasını korur. Filtre, yalnızca bir kurala uyan satırları bırakır. Bir filtreden sonra her zaman tüm satırların kaçının kaldığını söyle. Sırala ve filtrele sekmesinde sütunu, yönü ve filtreyi seçersin; ilk satırları, sayıları ve sütunun bir özetini görürsün.
Örnek
Bir web mağazasının siparişleri: 1 000 satır. Teslimat süresine göre önce en büyük olacak biçimde sıralanınca ilk satır 40 numaralı sipariştir ve 99 gün yazar (kırmızı: imkânsız). Bölge Kuzey filtresi 1 000 satırdan 354 tanesini bırakır ve 646 satırı eler → . Yüzde olarak → ; yani satırların %35,4 kadarı kalır.
#ValueItemsDelivery ▼Region4051.5399West33218.2199North51110.3199East654133699East75534.2299North
Dikkat!

İmkânsız değerler

Gerçek verilerde bazı değerler doğru olamaz: 99 günlük bir teslimat, 0 dakikalık bir yolculuk, bir günde 24 saat ekran süresi. Çoğu zaman bu bir hata kodu ya da bir dikkatsizliktir. Hesap yapmadan önce bunları ara: sütunu sırala ve iki ucuna bak. Ortalamayı çekerler ve histogramı gererler. Yalnızca makul satırlar filtresiyle onları çıkar ve ortalamayı yeniden hesapla. Ortanca neredeyse hiç kımıldamaz, çünkü yalnızca ortaya bakar.
Örnek
Teslimat süresi: 1 000 satırdan 7 tanesi 99 gün yazıyor. Bu satırlarla ortalama 4,786 gün; toplam . Bu satırlar olmadan → ve satır kalır; ortalama gün olur. Ortanca 4 olarak kalır.
Tanım

Grup özeti

Grup özeti, bir kategori sütununu (kullanıcı) ve bir sayı sütununu (yolculuk süresi) alır ve her grup için satır sayısını, ortalamayı ve ortancayı verir; son satır tüm satırlar içindir. Grupların ortalamalarını karşılaştır ve ortancalara da bak: ortancadan çok yüksek bir ortalama, birkaç çok büyük değere işaret eder. Grup özeti sekmesinde kategoriyi, sayı sütununu ve imkânsız satırların sayılıp sayılmayacağını seçersin.
Örnek
Paylaşımlı bisiklet yolculukları (988 makul yolculuk): üyeler 572 yolculuk, ortalama 12,08, ortanca 10 dakika; ziyaretçiler 416 yolculuk, ortalama 10,39, ortanca 9. Üyeler ortalama dakika daha uzun sürüyor. Tüm yolculukların ortalaması ağırlıklı bir ortalamadır → ve .
GroupRowsMeanMedianmember57212.0810visitor41610.399all rows98811.3710
Kural

Çapraz tablo: sayılar ve yüzdeler

Çapraz tablo, iki kategorinin her çifti için satırları sayar: bir kategori satırları, öbürü sütunları verir ve toplamlar kenarlarda durur. Her satırın yüzdesi, her satırın nasıl bölündüğünü söyler; satırları birbiriyle karşılaştırmak için kullan. Her sütunun yüzdesi, her sütunun nasıl bölündüğünü söyler. Yüzdeyi hangi toplamdan aldığını her zaman söyle. İki kategori sekmesinde sayılar ile iki yüzde türü arasında geçiş yaparsın.
Örnek
Bölge ve müşteri türü (1 000 sipariş). Batı satırında 84 yeni ve 64 tekrar gelen müşteri var → . Satırın yüzdesi olarak → ; yani Batı siparişlerinin %56,8 kadarı yeni müşterilerden gelir. Sütunun yüzdesi olarak → ; yani tüm yeni müşterilerin %14,5 kadarı Batı bölgesinde.
RegionnewreturningTotalNorth204150354East13987226South151121272West8464148Total5784221000
Kural

Histogram: sınıf genişliği ve şekil

Histogram, satırları eşit genişlikteki sınıflarda sayar. Bir çubuğun yüksekliği bir değer değil, bir satır sayısıdır. İki sınıf arasındaki sınıra denk gelen bir değer, sağındaki sınıfa girer. Sınıf genişliği önemlidir: çok dar olursa resim dağınık, çok geniş olursa şekil gizli kalır. Şekli oku: çan biçimli, sağa çarpık ya da sola çarpık (o yanda uzun bir kuyruk) veya iki tepeli (iki grup). Ortalama uzun kuyruğa doğru çekilir; bu yüzden sağa çarpık bir şekilde ortalama ortancanın üstünde olur. Histogram sekmesinde sütunu ve sınıf genişliğini seçersin.
Örnek
Teslimat süresi, imkânsız satırlar olmadan (993 satır), sınıf genişliği 1 gün. En yüksek sınıf 3 ile 4 arası ve 260 satır içeriyor. Kuyruk sağa doğru 14 güne kadar uzanıyor: şekil sağa çarpık ve ortalama 4,12 ortanca 4 değerinin üstünde.
12226025819597331573212468101214medianmeanDelivery time (days)
Kural

Kutu grafikleri ve aykırı değerler

Kutu grafiği, bir sütunun beş sayısını gösterir: en küçük değer, birinci çeyrek Q₁, ortanca, üçüncü çeyrek Q₃ ve en büyük değer. Kutu, satırların ortadaki yarısını içerir ve uzunluğu çeyrekler açıklığıdır: ÇA = Q₃ − Q₁. Bir değer, kutunun 1,5 × ÇA kadar ötesindeyse aykırı değerdir: Q₃ + 1,5 × ÇA üstünde ya da Q₁ − 1,5 × ÇA altında. Bıyık, bu sınırların içindeki son değerde durur. Her grup için bir kutu çizmek ortancaları, yayılımı ve aykırı değerleri karşılaştırmanı sağlar. Kutu grafikleri sekmesinde bir sütun ve tüm satırlar ya da gruplar seçersin.
Örnek
Ziyaretçilerin yolculuk süresi (416 yolculuk): Q₁ = 6, ortanca 9, Q₃ = 13; yani ÇA = . Üst sınır dakikadır: bıyık 23 değerinde biter ve 14 yolculuk aykırı değerdir. Üyeler için Q₁ = 7, Q₃ = 15, ÇA = 8 ve üst sınır .
membervisitor01020304050607080Trip time (minutes)
Kural

Serpme diyagramı, r ve doğru

Serpme diyagramı, iki sayı sütununu birbirine karşı çizer: her satır için bir nokta. Binlerce satır olduğunda uygulama en çok 500 nokta çizer; sayılar tüm satırları kullanır. Korelasyon katsayısı r, −1 ile 1 arasındadır: işaret yönü, büyüklük gücü gösterir (0,2 altında hemen hiç ilişki yok, 0,2 ile 0,5 arası zayıf, 0,5 ile 0,8 arası orta, 0,8 ve üstü güçlü). Regresyon doğrusu y = ax + b eğilimi gösterir, her satır için geçerli bir kural değildir. Verilerdeki bir ilişki, bir sütunun diğerine neden olduğunu göstermez. Serpme diyagramı sekmesinde iki sütunu seçersin.
Örnek
Yolculuklar: uzaklığa karşı kullanılan pil. Resimdeki 40 yolculuk için r = 0,90 (tüm 988 yolculuk için r = 0,96), güçlü bir ilişki, artan yönde; doğru .86x + 0,94. için doğru yüzde verir.
0123456705101520r = 0.90Distance (km)Battery used (%)
Tanım

Örneklemler: rastgele ve yanlı

Örneklem, satırların bir parçasıdır. Rastgele bir örneklemde her satırın seçilme şansı aynıdır; bu yüzden örneklem ortalamaları gerçek ortalamanın iki yanına dağılır. Yalnızca bir gruptan ya da gönüllülerden (büyük değerli satırlar daha kolay katılır) oluşan bir örneklem yanlıdır: ortalamaları gerçek ortalamanın tek yanında kalır. Daha büyük örneklem daha küçük hata payı verir ama yanlılığı düzeltmez. Örneklemler sekmesinde birkaç örneklem çekersin ve ortalamalarını noktalar olarak, gerçek ortalamayı da yeşil çizgi olarak görürsün.
Örnek
1 970 hanenin elektrik kullanımı: gerçek ortalama ayda 208,2 kWh. 40 satırlık sekiz rastgele örneklem: 4 ortalama gerçek ortalamanın altında, 4 ortalama üstünde (mavi noktalar). Gönüllülerden oluşan sekiz örneklem: 8 ortalamanın hepsi onun üstünde, 222,6 ile 262,0 arasında (turuncu noktalar): örneklem yanlı.
200225250275300Electricity (kWh a month)
Kural

Örneklem ortalamasının hata payı

Bir örneklemin ortalaması, tüm satırların ortalamasıyla tam olarak aynı değildir. Hata payı, ondan ne kadar sapabileceğini söyler: hata payı = ; burada örneklemin standart sapması, satır sayısıdır. Ortalama ± hata payı aralığı, 100 rastgele örneklemin yaklaşık 95 tanesinde gerçek ortalamayı içerir. Daha büyük bir n daha küçük hata payı verir: hata payını yarıya indirmek için satır sayısını dört katına çıkarman gerekir. İki grubun farkı ancak aralıkları çakışmıyorsa kesindir.
Örnek
Yolculuk süresi. Üyelerde , , , hata payı ; yani aralık 12,08 ± 0,65: 11,43 ile 12,73 arası. Ziyaretçiler: 10,39 ± 0,58, 9,81 ile 10,97 arası. Aralıklar çakışmıyor ; yani veriler üyelerin daha uzun süre sürdüğünü gösteriyor.
membervisitor91011121314Trip time (minutes)
Kural

Araştırma döngüsü ve bir sonucu değerlendirmek

Bir araştırmanın beş adımı vardır: soru, plan, veri toplama, analiz ve sonuç. Sonra kontrol et: veriler yanlı olabilir mi, aykırı ya da imkânsız değerler var mı ve sonuç verilerin ötesine geçiyor mu? Bir iddiayı dayanağıyla birlikte değerlendir: ilişki neden demek değildir; çakışan aralıklar fark göstermez; az sayıda satır büyük bir hata payı verir; imkânsız değerler ortalamayı çeker; gönüllüler rastgele bir örneklem değildir; tek bir durumun verileri bunu tüm dünya için kanıtlamaz. Döngü sekmesinde beş adımı sayılarla izlersin; Sonucu değerlendir sekmesinde her biri dayanağıyla birlikte 6 iddia okursun.
Örnek
Soru: üyeler ziyaretçilerden daha uzun mu sürüyor? Plan: yolculuk süresinin ortalamalarını karşılaştır. Veri toplama: 1 000 yolculuk; 0 dakikalık 12 yolculuk çıkarılıyor, yolculuk kalıyor. Analiz: ortalamalar 12,08 ve 10,39, hata payları ±0,65 ve ±0,58. Sonuç: aralıklar çakışmıyor; yani üyeler ortalama daha uzun sürüyor. Kontrol: veriler uydurulmuş tek bir durumdan geliyor; bu yüzden bu, başka şehirler hakkında bir şey söylemez.
Püf noktası

Tuşlar ve gizlilik

Her sayı kutusu, düğme ve blok klavyeyle çalışır: Tab bir sonrakine geçer, Enter (ya da boşluk tuşu) ona basar, yukarı ve aşağı ok tuşları bir kutudaki sayıyı değiştirir. Bu uygulamalarda yaptığın hiçbir şey kaydedilmez ya da bir yere gönderilmez. Veri kümelerini uygulamalar kendileri bir başlangıç sayısından üretir (aynı başlangıç sayısı aynı verileri verir); durumlar ve sayılar özgündür: bu uygulamalar için uydurduk.
Örnek
Sırala ve filtrele sekmesinde bir seçeneğe gelmek için Tab, onu seçmek için Enter tuşuna bas ve ilk satırların değiştiğini izle; sayılar ve sayfanın altındaki özet de buna göre değişir.

Alıştırmalar

Bir web mağazasının çapraz tablosunda Batı satırında 84 yeni ve 64 tekrar gelen müşteri var. Batı siparişlerinin yüzde kaçı yeni müşterilerden geliyor? Bir ondalık basamağa yuvarla. Kolay
Çözümü göster
Batı satırının toplamı .
Yeni müşterileri satırın toplamına böl ve 100 ile çarp → .
Batı siparişlerinin %56,8 kadarı yeni müşterilerden geliyor.
Bir satırın yüzdesi o satırın toplamına (148) bölünür, tüm 1 000 satıra değil.
Histogram, teslimat süresini 1 günlük sınıflarla gösteriyor. Kaç satırın teslimat süresi 4 ile 6 gün arasında (4 ile 5 arası ve 5 ile 6 arası sınıflar)? Kolay
12226025819597331573212468101214Delivery time (days)
Çözümü göster
Bir çubuk bir satır sayısıdır. İki çubuğu oku: 4 ile 5 arası sınıfta 258 satır, 5 ile 6 arası sınıfta 195 satır var.
Topla → .
453 satır.
Tam olarak 6 olan bir değer 6 ile 7 arası sınıfa girer (sınıra denk gelen değer sağdaki sınıfa girer); bu yüzden burada sayılmaz.
Gönüllülerden çekilen 40 haneli sekiz örneklemin ortalamaları ayda 222,6 ile 262,0 kWh arasında. Tüm hanelerin gerçek ortalaması 208,2 kWh. Bu rastgele bir örneklem mi? Kolay
200225250275300Electricity (kWh a month)
Çözümü göster
Örneklem ortalamalarını gerçek ortalama 208,2 ile karşılaştır: en küçük örneklem ortalaması 222,6 zaten onun üstünde.
Yani 8 ortalamanın hepsi gerçek ortalamanın tek yanında.
Hayır: ortalamaların hepsi gerçek ortalamanın üstünde; yani satırları seçme yöntemi yanlı.
Gönüllülerden daha büyük bir örneklem bunu düzeltmez: noktalar yalnızca yanlış yanda birbirine daha yakın olur.
Yolculuk süresinin grup özeti şunu veriyor: üyeler 572 yolculuk, ortalama 12,08 dakika; ziyaretçiler 416 yolculuk, ortalama 10,39 dakika. Tüm 988 yolculuğun ortalaması kaçtır? İki ondalık basamak ver. Orta
Çözümü göster
Her grubun ortalamasını o grubun satır sayısıyla çarp → ve .
Topla → . Satır sayısına böl → .
Yaklaşık 11,37 dakika.
İki grup ortalamasının ortalamasını alma → yanlıştır, çünkü grupların büyüklükleri farklı.
Ziyaretçilerde Q₁ = 6 ve Q₃ = 13 dakika. 25 dakikalık bir yolculuk aykırı değer mi? 1,5 × ÇA kuralını kullan. Orta
visitor0510152025303540Trip time (minutes)
Çözümü göster
Çeyrekler açıklığı .
Üst sınır .
; yani yolculuk üst sınırın üstünde.
Evet: 25 dakika üst sınır 23,5 değerinin üstünde; yani aykırı değer.
Üst sınır her grup için farklıdır: üyelerde 27 olur ve 25 dakika orada aykırı değer olmaz.
40 haneden oluşan rastgele bir örneklemin ortalaması 209,2 kWh ve standart sapması s = 73,89. Hata payını hesapla ( kullan) ve aralığı bul. Aralık gerçek ortalama 208,24 değerini içeriyor mu? Orta
Çözümü göster
Hata payı .
Aralık ile arasındadır.
Gerçek ortalama 208,24, 185,8 ile 232,6 arasında.
Hata payı yaklaşık 23,4 kWh ve 185,8 ile 232,6 arasındaki aralık gerçek ortalamayı içeriyor.
100 rastgele örneklemin yaklaşık 95 tanesinde aralık gerçek ortalamayı içerir; uygulamada onu kaçıran kırmızı aralıkları sayabilirsin.
Bir web mağazasının siparişlerinde tüm 1 000 satır üzerinden ortalama teslimat süresi 4,786 gün. 7 satırda 99 imkânsız değeri var. Bu satırlar olmadan ortalama kaçtır? İki ondalık basamak ver. Zor
Çözümü göster
Tüm satırların toplamı .
İmkânsız satırlar buna ekliyor; yani diğer satırların toplamı .
Kalan satır sayısı ; yani ortalama .
Yaklaşık 4,12 gün.
Ortanca bu satırlarla da bu satırlar olmadan da 4 gün kalır: ortanca birkaç uç değeri neredeyse fark etmez, ortalama eder.
40 yolculuk için pil kullanımının uzaklığa göre doğrusu .86x + 0,94 ve r = 0,90. (a) Doğru 5 km için ne verir? (b) Hangi ifade savunulabilir: “daha uzun yolculuklar daha yüksek pil kullanımıyla birlikte görülüyor” mu, “veriler uzaklığın pil kullanımına neden olduğunu kanıtlıyor” mu? Zor
Çözümü göster
(a) Doğruda yaz → .
(b) r = 0,90 güçlü bir ilişki, artan yönde: ilk ifade yalnızca verileri anlatıyor, ikincisi daha ileri gidiyor.
(a) Pilin yaklaşık yüzde 15,24 kadarı. (b) Yalnızca ilk ifade savunulabilir.
Güçlü bir ilişki nelerin birlikte gittiğini söyler; bir neden için tek bir veri kümesinden fazlası gerekir.
Bir örneklemin standart sapması s = 5,9. Hata payı en fazla 0,3 olmalı. En az kaç satır gerekir? Zor
Çözümü göster
Formülü ters çevir. eşitsizliği verir; yani .
Yerine koy. , ve . Yani .
Yukarı yuvarla, çünkü n bir tam sayıdır ve hata payı daha büyük olamaz → .
En az 1 548 satır.
Hata payını yarıya indirmek için satır sayısını dört katına çıkarman gerekir, çünkü n bir karekökün içindedir.
Öğretmen misiniz?

Bu uygulamalarla tüm sınıfınıza canlı ders verin. İlk bir ay ücretsiz.

Ücretsiz deneyin

Bu sınıf düzeylerine uygun

IB (MYP, Diploma): Diploma, 1. yıl, Diploma, 2. yıl, MYP 5

Cambridge International: AS Level, A Level

Hollanda: Havo · Matematik A, Vwo · Matematik A, Vwo · Matematik C

Türkiye (MEB): 12. sınıf

İngiltere (GCSE, A Level): Year 12 (A Level), Year 13 (A Level)

ABD (Common Core): Algebra 2, Precalculus

Bu konunun uygulamaları neler öğretir 3 uygulama

Büyük bir veri kümesini sıralama, filtreleme ve özetleme

  • Büyük veri kümesini sütuna göre sıralama ve satırları süzme
  • İmkânsız değerleri bulma ve ortalamaya etkisini görme
  • Grup özetini ve çapraz tabloyu okuma

Büyük verilerle çizim: histogram, kutu grafikleri ve serpme diyagramı

  • Büyük sütunun histogramını okuyup biçimini adlandırma
  • Kutu grafiklerini okuma ve 1,5 × IQR kuralıyla aykırı değerleri bulma
  • Serpme diyagramını korelasyon ve doğruyla okuma

Büyük verilerle araştırma döngüsü

  • Deneysel döngünün beş adımını izleme
  • Rastgele örneklemi yanlı örneklemden ayırt etme
  • Bir sonucu kanıtına göre değerlendirme