Python: from None to Machine Learning

Author

name:Matt Harasymczuk email:matt@astrotech.io www:http://www.astrotech.io facebook:https://facebook.com/matt.harasymczuk linkedin:https://linkedin.com/in/mattharasymczuk slideshare:https://www.slideshare.net/astrotech/presentations github:https://github.com/astromatt

Tip

If you’re interested in training course on topics from this book, please email me at matt@astrotech.io

Tip

The most up-to-date version of this book is always at http://python.astrotech.io

Other books from this series

Python and Machine Learning:  http://python.astrotech.io DevOps and Development Tools Ecosystem:  http://devops.astrotech.io GIT and GIT Flow in CI/CD:  http://git.astrotech.io Agile, Scrum, Kanban, XP, Lean:  http://agile.astrotech.io IT Software Architecture, Cloud, Microservices and Processes:  http://arch.astrotech.io Linux and Shell Programming with Bash:  http://linux.astrotech.io

Introduction

Introduction

• 1. Przed szkoleniem
  • 1.1. Wymagania szkolenia
  • 1.2. Instalacja
  • 1.3. PATH
  • 1.4. PYTHON_PATH
• 2. Copyright
  • 2.1. MIT License
• 3. O języku Python
  • 3.1. Co to jest Python
  • 3.2. Historia Pythona
  • 3.3. Read–Eval–Print Loop
  • 3.4. Rozszerzenia plików Pythona
  • 3.5. Którego wersję wybrać?
  • 3.6. Który interpreter?
• 4. Instalacja
  • 4.1. Wymagania szkolenia
  • 4.2. Instalacja
  • 4.3. PATH
  • 4.4. PYTHON_PATH
• 5. Wybór IDE
  • 5.1. Czym jest IDE?
  • 5.2. Które IDE wybrać?
  • 5.3. Korzystanie z IDE
• 6. Podstawy składni języka
  • 6.1. Ehlo World!
  • 6.2. Deklaracje na początku pliku
  • 6.3. Wcięcia zamiast nawiasów klamrowych
  • 6.4. Końce linii
  • 6.5. Duck typing
  • 6.6. Komentarze
• 7. References
  • 7.1. Main Characters
  • 7.2. Addresses
  • 7.3. Dates and timezones

Foundations

Foundations

• 1. Primitive types
  • 1.1. Variables and Constants
  • 1.2. Numerical types
  • 1.3. Logic Data Types
  • 1.4. Character types
  • 1.5. Assignments
• 2. Simple Data Structures
  • 2.1. Simple Collections
  • 2.2. Złożone typy danych
  • 2.3. How to initialize?
  • 2.4. Assignments
• 3. Instrukcje warunkowe
  • 3.1. Instrukcje warunkowe
  • 3.2. Instrukcje sterujące
  • 3.3. switch statement?!
  • 3.4. Zadania kontrolne
• 4. Operatory
  • 4.1. Lista operatorów
  • 4.2. Operacje na typach numerycznych
  • 4.3. Operator precedence
  • 4.4. Bitwise
  • 4.5. Zadania kontrolne
• 5. Loops
  • 5.1. for
  • 5.2. Pętla while
  • 5.3. Słowa kluczowe w pętlach
  • 5.4. Inline for
  • 5.5. Zadania kontrolne
• 6. Functions
  • 6.1. Definiowanie funkcji
  • 6.2. Konwencja nazewnicza funkcji
  • 6.3. Zwracanie wartości
  • 6.4. Argumenty do funkcji
  • 6.5. Rekurencja
  • 6.6. Zadania kontrolne
• 7. Installing packages
  • 7.1. Virtualenv
  • 7.2. Searching
  • 7.3. Installing
  • 7.4. Using
  • 7.5. Zadania kontrolne
• 8. Funkcje wbudowane i słowa kluczowe
  • 8.1. Słowa kluczowe
  • 8.2. Funkcje wbudowane
  • 8.3. Wszystkie funkcje wbudowane
• 9. Sofware Engineering Conventions
  • 9.1. PEP8
  • 9.2. PEP20 - Zen of Python
  • 9.3. Korzystanie z help(), dir() i object.__dict__
  • 9.4. Magic number i Magic string
  • 9.5. Passwords and secrets
  • 9.6. Wczytywanie konfiguracji programów
  • 9.7. Wersjonowanie API
  • 9.8. pycodestyle previously known as PEP8
• 10. Złożoność obliczeniowa
  • 10.1. Zastosowanie setów zamiast list
  • 10.2. Zastosowanie list zamiast konkatanacji stringów
  • 10.3. Inne
• 11. Matematyka
  • 11.1. Moduł math w bibliotece standardowej
  • 11.2. Moduł statistics w bibliotece standardowej
  • 11.3. Moduł random w bibliotece standardowej
  • 11.4. Moduł matplotlib (biblioteka zewnętrzna)
  • 11.5. Zadania kontrolne
• 12. Debugging
  • 12.1. Run in the console
  • 12.2. print
  • 12.3. pprint
  • 12.4. help and docstring __doc__
  • 12.5. object.__dict__
  • 12.6. dir() i object.__dict__
  • 12.7. json.tool
  • 12.8. Wykorzystanie debuggera w IDE
• 13. Print Formatting
  • 13.1. Funkcja print
  • 13.2. Konkatenacja stringów
  • 13.3. Interpolacja zmiennych
  • 13.4. Metoda .format()
  • 13.5. f-strings - Python >= 3.6
  • 13.6. Przykład z życia
  • 13.7. Więcej informacji
  • 13.8. pprint
  • 13.9. Zadania kontrolne
• 14. Dates and Time
  • 14.1. datetime
  • 14.2. pytz
  • 14.3. calendar
  • 14.4. time
  • 14.5. timeit
  • 14.6. Zadania kontrolne
• 15. Doctest
  • 15.1. Zadania kontrolne
• 16. Object Oriented Programming
  • 16.1. Object Paradigm
  • 16.2. Classes and Objects
  • 16.3. Fields
  • 16.4. Methods
  • 16.5. Assignments
• 17. Dataclass
  • 17.1. Old style classes
  • 17.2. New style dataclasses
  • 17.3. __init__ vs. __post_init__
  • 17.4. More advanced options
  • 17.5. Under the hood
• 18. Wyjątki
  • 18.1. Po co są wyjątki?
  • 18.2. Podnoszenie wyjątków
  • 18.3. Tworzenie własnych wyjątków
  • 18.4. Przechwytywanie wyjątków
  • 18.5. Przykład z życia
  • 18.6. Najpopularniejsze wyjątki
  • 18.7. Hierarchia wyjątków
  • 18.8. Przykład wyjątków przy czytaniu plików
• 19. Operacje na plikach
  • 19.1. Konstrukcja with
  • 19.2. Czytanie
  • 19.3. Zapis
  • 19.4. Tryby odczytu i zapisu
  • 19.5. Obsługa wyjątków
  • 19.6. Zadania kontrolne
• 20. Exam for Intermediate
  • 20.1. Parsowanie /etc/passwd

Intermediate

Intermediate

• 1. Logowanie zdarzeń
  • 1.1. Korzystanie z logging
  • 1.2. Konfiguracja formatowania logów
  • 1.3. warnings
• 2. Serializacja i deserializacja CSV
  • 2.1. Odczytywanie danych z plików CSV
  • 2.2. Zapis do plików CSV
  • 2.3. Parsowanie innych plików za pomocą csv.DictReader()
  • 2.4. Zadania Kontrolne
• 3. Serializacja i deserializacja JSON
  • 3.1. Zapis danych do formatu JSON
  • 3.2. Odczyt danych z formatu JSON
  • 3.3. Problemy z serializacją i deserializacją
  • 3.4. Serializacja i pisanie własnych encoderów
  • 3.5. Deserializacja i pisanie własnych decoderów
  • 3.6. Zadania kontrolne
• 4. Serializacja i deserializacja
  • 4.1. Serializacja i deserializacja danych Pythona
  • 4.2. xml
  • 4.3. xslt
  • 4.4. Zadania kontrolne
• 5. Testy i Jakość
  • 5.1. Glossary
  • 5.2. Built-in frameworks
  • 5.3. Frontend Testing
  • 5.4. Static Code Analysis
  • 5.5. Automation and Releases
  • 5.6. Testy Mutacyjne
  • 5.7. Transifex
• 6. Introspekcja
  • 6.1. Pola obiektu
  • 6.2. Metody obiektu
  • 6.3. Introspekcja obiektów
  • 6.4. Other
• 7. Operator Overload
  • 7.1. Przeciążanie operatorów
• 8. Object Oriented Programming
  • 8.1. Wykonywanie operacji na obiekcie
  • 8.2. Accessors
  • 8.3. Method Resolution Order
  • 8.4. @staticmethod
  • 8.5. Hash
  • 8.6. @property i @x.setter
  • 8.7. Polimorfizm
  • 8.8. Dobre praktyki
  • 8.9. Interfejsy
  • 8.10. Klasy abstrakcyjne
  • 8.11. Monkey Patching
  • 8.12. Metaclass
• 9. Biblioteki zewnętrzne
  • 9.1. Inne
• 10. System Operacyjny
  • 10.1. os
  • 10.2. sys
  • 10.3. subprocess
  • 10.4. tempfile
  • 10.5. eval
  • 10.6. Zadanie kontrolne
• 11. Parametry linii poleceń
  • 11.1. docopt
  • 11.2. argparse
  • 11.3. Przykład
  • 11.4. Zadania kontrolne
• 12. Modularyzacja, wersjonowanie i dystrybucja
  • 12.1. Instalacja i korzystanie z zewnętrznych bibliotek
  • 12.2. Importowanie modułów
  • 12.3. Modularyzacja
  • 12.4. Tworzenie paczek
  • 12.5. Przyszłość paczkowania i dystrybucji
• 13. Virtualenv
  • 13.1. Tworzenie wirtualnego środowiska
  • 13.2. Aktywacja i korzystanie ze środowiska
  • 13.3. Dobra praktyka
  • 13.4. Pakiety i zależności
• 14. Zmienna ilość argumentów funkcji
  • 14.1. Operator * i **
  • 14.2. Przyjmowanie z funkcji zmiennej ilości argumentów
  • 14.3. Definiowanie funkcji ze zmienną ilością parametrów
  • 14.4. Przekazywanie do funkcji zmiennej ilości parametrów
  • 14.5. Przykładowe zastosowanie
  • 14.6. Zadania kontrolne
• 15. Wyrażenia regularne
  • 15.1. Konstruowanie wyrażeń
  • 15.2. Najczęściej wykorzystywane funkcje
  • 15.3. Regex Flags
  • 15.4. Wyciąganie parametrów (zmiennych)
  • 15.5. Greedy i non-greedy search
  • 15.6. Practical example of Regex usage
  • 15.7. Zadania kontrolne
• 16. Bazy Danych
  • 16.1. SQL
  • 16.2. sqlite3
  • 16.3. Przykład praktyczny
  • 16.4. pyMySQL
  • 16.5. psycopg2
  • 16.6. pymongo
  • 16.7. SQLAlchemy
  • 16.8. Django ORM
  • 16.9. Zadania kontrolne
• 17. Tworzenie dokumentacji
  • 17.1. reStructuredText vs. Markdown
  • 17.2. Format reStructuredText
  • 17.3. Sphinx
  • 17.4. Read the docs
  • 17.5. Zadania kontrolne
• 18. Projektowanie GUI
  • 18.1. Graphical User Interfaces with Tkinter
  • 18.2. Biblioteka Tkinter

Advanced

Advanced

• 1. Type Annotation
  • 1.1. Sprawdzanie typów
  • 1.2. Dodawanie typów do instniejącego kodu
  • 1.3. Korzystanie z typów
  • 1.4. Introspekcja
• 2. Programowanie HTTP
  • 2.1. Biblioteki standardowe
  • 2.2. Biblioteki zewnętrzne
  • 2.3. Standard WSGI
  • 2.4. Frameworki i technologie webowe
  • 2.5. Utils
  • 2.6. Template
  • 2.7. Przykłady praktyczne
  • 2.8. Zadania kontrolne
• 3. Programowanie sieciowe
  • 3.1. Socket
  • 3.2. Biblioteki sieciowe
  • 3.3. Automatyzacja pracy
  • 3.4. Zadania kontrolne
• 4. Generatory i list comprehension
  • 4.1. Lazy evaluation
  • 4.2. List comprehension
  • 4.3. Generator expressions
  • 4.4. List comprehension vs. Generator expressions
  • 4.5. Operator yield
  • 4.6. Przykłady
  • 4.7. Zadania kontrolne
• 5. Iteratory
  • 5.1. Czym jest iterator?
  • 5.2. Iterowanie po obiektach
  • 5.3. Własny iterator
  • 5.4. itertools
  • 5.5. Przykład
  • 5.6. Zadania kontrolne
• 6. Context Managers
  • 6.1. Zastosowanie
  • 6.2. Przykład
  • 6.3. Przykład praktyczny
• 7. Decorator
  • 7.1. Zastosowanie
  • 7.2. Definicja
  • 7.3. Class Decorators
  • 7.4. Przykład
  • 7.5. Zadania kontrolne
• 8. Collections
  • 8.1. OrderedDict
  • 8.2. namedtuple
• 9. Metaclass
• 10. Kolejki, wątki i procesy
  • 10.1. Kolejki - Queue
  • 10.2. Wątki a procesy
  • 10.3. Wątki
  • 10.4. Procesy
  • 10.5. Zadania kontrolne
• 11. Concurrency
  • 11.1. High-Level Concurrency
  • 11.2. Coroutine
  • 11.3. Asyncio
  • 11.4. Przykłady praktyczne
• 12. Programowanie funkcyjne
  • 12.1. Rekurencja
  • 12.2. Lambda - funkcje anonimowe
  • 12.3. Closure
  • 12.4. Monady
  • 12.5. złożenia funkcji
  • 12.6. functools
  • 12.7. Zadania kontrolne
• 13. Wzorce projektowe
  • 13.1. Przykłady praktyczne
  • 13.2. Inne wzorce
  • 13.3. Creational Design Patterns
  • 13.4. Structural Design Patterns
  • 13.5. Behavioral Design Patterns
• 14. C Extensions
  • 14.1. C Types
  • 14.2. C Modules
  • 14.3. Zadania kontrolne

Django

Django

• 1. HTTP
  • 1.1. Narzędzia
  • 1.2. DNS
  • 1.3. HTTP Protocol
  • 1.4. HTTP Methods
  • 1.5. HTML + JS + CSS
• 2. Introduction to Django
  • 2.1. Co to jest Django?
  • 2.2. Dokumentacja
  • 2.3. Wersjonowanie
  • 2.4. setup.cfg
  • 2.5. IDE Support
• 3. Django Framework Architecture
  • 3.1. Framework Architecture
  • 3.2. Request-Response flow
• 4. Installation and Running
  • 4.1. Instalacja
  • 4.2. Starting new project
  • 4.3. IDE Run configuration
• 5. Settings
• 6. Apps
  • 6.1. Reusability
  • 6.2. Location
  • 6.3. Create
  • 6.4. Structure
  • 6.5. Configuration
• 7. Models
  • 7.1. Model Fields
  • 7.2. Model field arguments
  • 7.3. Abstract Models
  • 7.4. Architecture
  • 7.5. Single File vs. Models per file
  • 7.6. Reverse engineering database
  • 7.7. Database schema migration
  • 7.8. Example Model
• 8. URL Router
  • 8.1. Global URLs
  • 8.2. In app URLs
  • 8.3. urlpatterns
  • 8.4. path
  • 8.5. url
  • 8.6. include
  • 8.7. URLs reversing
  • 8.8. URLs in templates
• 9. ORM
  • 9.1. QuerySet
  • 9.2. Field lookups
  • 9.3. Filters can reference fields on the model
  • 9.4. Complex lookups with Q objects
  • 9.5. Comparing objects
  • 9.6. Aggregations
• 10. Views
  • 10.1. Class Based Views
  • 10.2. Generic Views
  • 10.3. Responses
  • 10.4. Decorators
• 11. REST
  • 11.1. RESTful Views
  • 11.2. python -m json.tool
  • 11.3. django-rest-framework
  • 11.4. django-rest-swagger
• 12. Staticfiles
  • 12.1. Settings
  • 12.2. Serving staticfiles
• 13. Templates
• 14. Admin panel
  • 14.1. Customizong
  • 14.2. Permissions
  • 14.3. Model Admin
  • 14.4. Model Inlines
  • 14.5. Extending Admin
  • 14.6. ModelAdmin Example
  • 14.7. django-import-export
  • 14.8. Grapelli
• 15. Management Commands
  • 15.1. Built-in
  • 15.2. Writing own management commands
• 16. i18n and l10n
  • 16.1. Timezone
  • 16.2. i18n - internationalization
• 17. Database
  • 17.1. Database schema migration
  • 17.2. Management commands
  • 17.3. Database settings
  • 17.4. Fixtures
  • 17.5. Multiple DB and db routing
• 18. Cache
• 19. Signals
• 20. Standalone scripts
• 21. Tests and quality
  • 21.1. Tests
  • 21.2. Test URLs
  • 21.3. SonarQube
  • 21.4. Debug Toolbar
• 22. CI/CD - Continuous Integration and Deployment
  • 22.1. Bitbucket Pipelines
  • 22.2. Travis
• 23. Deployment
  • 23.1. Deployment platforms
  • 23.2. Packaging
  • 23.3. Staticfils serving

Scientific and Engineering

Scientific and Engineering

• 1. Code Quality
• 2. Biblioteki w zastosowaniach naukowych i inżynieryjnych
  • 2.1. Środowisko
  • 2.2. Biblioteki do obsługi danych
  • 2.3. Wykresy i grafy
  • 2.4. Biblioteki do nauczania maszynowego
  • 2.5. Other
• 3. Analiza Numeryczna
  • 3.1. NumPy
  • 3.2. Zadania kontrolne
• 4. Zastosowanie naukowe
  • 4.1. Scipy
• 5. Obsługa danych
  • 5.1. Pandas
• 6. Generowanie wykresów
  • 6.1. Matplotlib
• 7. Generowanie grafów
  • 7.1. PyDotPlus
  • 7.2. Graphviz
• 8. Jupyter
• 9. Uczenie maszynowe
  • 9.1. Scikit-learn
  • 9.2. PyMC3
  • 9.3. TensorFlow

Machine Learning

Machine Learning

• 1. Wprowadzenie do statystyki
  • 1.1. Rozkłady
  • 1.2. Podstawowe pojęcia
• 2. Wprowadzenie do Machine Learning
  • 2.1. Czym jest uczenie maszynowe?
  • 2.2. Co trzeba wiedzieć przed rozpoczęciem pracy?
  • 2.3. Ważne pytania przed przystąpieniem do tworzenia algorytmu
  • 2.4. Czyszczenie Danych
  • 2.5. Praca z bibliotekami
  • 2.6. Kategorie algorytmów uczenia maszynowego
• 3. Słowniczek intuicyjny
• 4. Słownik Pojęć
• 5. Datasets
  • 5.1. Skąd wziąć dane testowe?
• 6. Machine Learning Algorithms
  • 6.1. Regression Algorithms
  • 6.2. Instance-based Algorithms
  • 6.3. Regularization Algorithms
  • 6.4. Decision Tree Algorithms
  • 6.5. Bayesian Algorithms
  • 6.6. Clustering Algorithms
  • 6.7. Assoication Rule Learning Algorithms
  • 6.8. Artificial Neural Network Algorithms
  • 6.9. Deep Learning Algorithms
  • 6.10. Dimensional Reduction Algorithms
  • 6.11. Ensemble Algorithms
  • 6.12. Other Algorithms
• 7. Features
  • 7.1. Czym są features?
  • 7.2. Przykład praktyczny
  • 7.3. What Makes a Good Feature?
  • 7.4. Zadania kontrolne
• 8. Classifiers
  • 8.1. Co to jest Classifier?
  • 8.2. Schemat działania classifiera
  • 8.3. Writing Own Classifier
  • 8.4. Zadania praktyczne
• 9. Model Quality
  • 9.1. Metody doboru modelu i poprawienia jakości
  • 9.2. Słownictwo
  • 9.3. Diagnostyka Bias vs. Wariancja
  • 9.4. Model Evaluation Procedure
  • 9.5. Regularyzacja
  • 9.6. Random Forrest
  • 9.7. Ensemble averaging
• 10. Decision Tree
  • 10.1. Visualizing a Decision Tree
  • 10.2. Zadania praktyczne
• 11. k Nearest Neighbors
  • 11.1. Jak działa algorytm “K najbliższych sąsiadów”
  • 11.2. Przykład praktyczny
  • 11.3. Określanie przynależności do zbioru
  • 11.4. Wyznaczanie odległości
  • 11.5. Zalety i wady
  • 11.6. Zadania kontrolne
• 12. Bayes
  • 12.1. Co to jest Naiwny klasyfikator Bayesowski?
  • 12.2. Gaussian Naive Bayes
  • 12.3. Przykłady praktyczne
  • 12.4. Plusy i minusy Naiwnego Bayesa
  • 12.5. Aplikacje Naiwnego klasyfikatora Bayesa
  • 12.6. Przykłady praktyczne
  • 12.7. Zadanie kontrolne
• 13. Linear Regression
  • 13.1. Co to jest Linear Regression?
  • 13.2. Przed zastosowaniem
  • 13.3. Wyznaczanie równania prostej
  • 13.4. Przykłady praktyczne
  • 13.5. Zadania kontrolne
• 14. Logistic Regression
  • 14.1. Co to jest Logistic Regression?
  • 14.2. Podstawowe pojęcia
  • 14.3. Przykład zastosowania
  • 14.4. Zadania kontrolne
• 15. Support Vector Machines
  • 15.1. TL;DR
  • 15.2. Charakterystyka algorytmu
  • 15.3. Opis algorytmu
  • 15.4. Support Vector Machines (Kernels)
  • 15.5. Przykłady praktyczne
  • 15.6. Zadania kontrolne
  • 15.7. Lektura uzupełniająca
• 16. Clustering
  • 16.1. Przykłady zastosowania
  • 16.2. Algorytmy klastrowania
  • 16.3. Flat Clustering
  • 16.4. Hierarchical Clustering
  • 16.5. Porównanie algorytmów
  • 16.6. Przykład praktyczny
  • 16.7. Zadania kontrolne
• 17. Principal Component Analysis (PCA)
  • 17.1. What is Principal Component Analysis?
  • 17.2. 2D example
  • 17.3. 3D example
  • 17.4. Przykłady praktyczne
  • 17.5. Zadania kontrolne
• 18. Neural Network
  • 18.1. What Is a Neural Network?
  • 18.2. Słownictwo
  • 18.3. Przykład praktyczny
  • 18.4. Tools
  • 18.5. Działanie na sieciach neuronowych
  • 18.6. Przetwarzanie obrazów na przykładzie rozpoznawania odręcznie napisanych cyfr (MNIST)
  • 18.7. Przykłady praktyczne
  • 18.8. Zadania kontrolne
• 19. Convolutional Neural Network
  • 19.1. Problemy z przetwarzaniem obrazów
  • 19.2. What is and Kernel Convolution?
  • 19.3. What is Convolutional Neural Network (CNN / ConvNet)
  • 19.4. Przydatne odnośniki
• 20. Przydatne odnośniki
  • 20.1. Neural Networks
  • 20.2. Understanding the Bias-Variance Tradeoff
  • 20.3. Bayes
  • 20.4. PyMC3
  • 20.5. Inne

Free Code

Free Code

• 1. LDAP Expiring Passwords
• 2. GITHub API

Appendixes

Appendixes

• 1. Przydatne odnośniki
  • 1.1. Doumentacja
  • 1.2. Video
  • 1.3. Środowisko developerskie
  • 1.4. Ponadto
  • 1.5. Humor IT
  • 1.6. Video (i inne)
  • 1.7. Filmy z ostatnich konferencji
  • 1.8. Wyzwania i potyczki
• 2. Python 2 vs. 3
  • 2.1. six
  • 2.2. Lista kompatybilności Python 2 i Python 3
  • 2.3. Unicode i kodowanie znaków
  • 2.4. Biblioteki standardowe w 2 i 3
• 3. Książki
  • 3.1. Algorytmy
  • 3.2. Bazy danych
  • 3.3. Dobre praktyki i quality
  • 3.4. Design patterns
  • 3.5. Refactoring
  • 3.6. Python
• 4. Python WAT?!
• 5. Agenda Intermediate
  • 5.1. Dzień 1
  • 5.2. Dzień 2
• 6. Słownik Pojęć