Gegevenswetenschap - Gegevensvoorbereiding

Voordat gegevens worden geanalyseerd, moet een datawetenschapper de gegevens extraheren en schoon en waardevol maken.

Gegevens extraheren en lezen met Panda's

Voordat gegevens kunnen worden geanalyseerd, moeten deze worden geïmporteerd/geëxtraheerd.

In het onderstaande voorbeeld laten we u zien hoe u gegevens importeert met Panda's in Python.

We gebruiken de read_csv()functie om een ​​CSV-bestand met de gezondheidsgegevens te importeren:

Voorbeeld uitgelegd

• Importeer de Panda's-bibliotheek
• Noem het dataframe als health_data.
• header=0 betekent dat de headers voor de variabelenamen in de eerste rij staan ​​(merk op dat 0 de eerste rij in Python betekent)
• sep=","betekent dat "," wordt gebruikt als scheidingsteken tussen de waarden. Dit komt omdat we het bestandstype .csv gebruiken (door komma's gescheiden waarden)

Tip: Als je een groot CSV-bestand hebt, kun je de head()functie gebruiken om alleen de bovenste 5 rijen weer te geven:

Gegevens opschonen

Bekijk de geïmporteerde gegevens. Zoals u kunt zien, zijn de gegevens "vuil" met foutieve of niet-geregistreerde waarden:

• Er zijn enkele lege velden
• Gemiddelde puls van 9 000 is niet mogelijk
• 9 000 wordt als niet-numeriek behandeld vanwege het spatiescheidingsteken
• Eén waarneming van de maximale puls wordt aangeduid als "AF", wat niet logisch is

We moeten de gegevens dus opschonen om de analyse uit te voeren.

Lege rijen verwijderen

We zien dat de niet-numerieke waarden (9 000 en AF) in dezelfde rijen staan ​​met ontbrekende waarden.

Oplossing: we kunnen de rijen met ontbrekende waarnemingen verwijderen om dit probleem op te lossen.

Wanneer we een dataset laden met Panda's, worden alle lege cellen automatisch geconverteerd naar "NaN" -waarden.

Dus het verwijderen van de NaN-cellen geeft ons een schone dataset die kan worden geanalyseerd.

We kunnen de dropna()functie gebruiken om de NaN's te verwijderen. axis=0 betekent dat we alle rijen met een NaN-waarde willen verwijderen:

Het resultaat is een dataset zonder NaN-rijen:

Gegevenscategorieën

Om gegevens te analyseren, moeten we ook weten met welke soorten gegevens we te maken hebben.

Gegevens kunnen worden onderverdeeld in drie hoofdcategorieën:

1. Numeriek - Bevat numerieke waarden. Kan worden onderverdeeld in twee categorieën:
   • Discreet: getallen worden als "geheel" geteld. Voorbeeld: u kunt geen 2,5 sessies hebben getraind, het is 2 of 3
   • Continu: getallen kunnen oneindig nauwkeurig zijn. U kunt bijvoorbeeld 7 uur, 30 minuten en 20 seconden slapen, of 7.533 uur
2. Categorisch - Bevat waarden die niet tegen elkaar kunnen worden gemeten. Voorbeeld: Een kleur of een soort training
3. Ordinaal - Bevat categorische gegevens die tegen elkaar kunnen worden afgemeten. Voorbeeld: Schoolcijfers waar A beter is dan B enzovoort

Door het type gegevens te kennen, weet u welke techniek u moet gebruiken bij het analyseren ervan.

Gegevenstypen

We kunnen de info()functie gebruiken om de gegevenstypen binnen onze dataset weer te geven: 

Resultaat:

We zien dat deze dataset twee verschillende soorten data heeft:

• Float64
• Object

We kunnen hier geen objecten gebruiken om te berekenen en analyses uit te voeren. We moeten het type object converteren naar float64 (float64 is een getal met een decimaalteken in Python).

We kunnen de astype()functie gebruiken om de gegevens om te zetten in float64.

In het volgende voorbeeld worden "Average_Pulse" en "Max_Pulse" geconverteerd naar het gegevenstype float64 (de andere variabelen zijn al van het gegevenstype float64):

Resultaat:

Nu heeft de dataset alleen float64-gegevenstypen.

Analyseer de gegevens

Wanneer we de dataset hebben opgeschoond, kunnen we beginnen met het analyseren van de data.

We kunnen de describe()functie in Python gebruiken om gegevens samen te vatten:

Resultaat:

• Tellen - Telt het aantal waarnemingen
• Gemiddelde - De gemiddelde waarde
• Std - Standaarddeviatie (uitgelegd in het hoofdstuk statistieken)
• Min - De laagste waarde
• 25% , 50% en 75% zijn percentielen (uitgelegd in het hoofdstuk statistiek)
• Max - De hoogste waarde