Kurs programowania w Python i Machine Learning

Author

name:Matt Harasymczuk email:matt@astrotech.io www:http://www.astrotech.io facebook:https://facebook.com/matt.harasymczuk linkedin:https://linkedin.com/in/mattharasymczuk slideshare:https://www.slideshare.net/astrotech/presentations

Tip

The most up-to-date version of this book is always at http://python.astrotech.io

Other books from this series

Python and Machine Learning:  http://python.astrotech.io DevOps and Development Tools Ecosystem:  http://devops.astrotech.io GIT and GIT Flow:  http://git.astrotech.io Agile, Scrum, Kanban, XP, Lean:  http://agile.astrotech.io IT Software Architecture, Cloud, Microservices and Processes:  http://arch.astrotech.io

Wstęp

Wstęp

• 1. O języku Python
  • 1.1. Wymagania szkolenia
  • 1.2. Co to jest Python
  • 1.3. Historia Pythona
  • 1.4. Read–Eval–Print Loop
  • 1.5. Rozszerzenia plików Pythona
• 2. Instalacja
  • 2.1. Którego wersję wybrać?
  • 2.2. Który interpreter?
  • 2.3. Instalacja
  • 2.4. PYTHON_PATH
• 3. Wybór IDE
  • 3.1. Czym jest IDE?
  • 3.2. Które IDE wybrać?
• 4. Podstawy składni języka
  • 4.1. Ehlo World!
  • 4.2. Deklaracje na początku pliku
  • 4.3. Wcięcia zamiast nawiasów klamrowych
  • 4.4. Końce linii
  • 4.5. Duck typing
  • 4.6. Komentarze
• 5. Bohaterowie
  • 5.1. Postacie
  • 5.2. Adresy
  • 5.3. Daty

Podstawy

Podstawy

• 1. Stałe, zmienne i typy danych
  • 1.1. Stałe i zmienne
  • 1.2. Numeryczne typy danych
  • 1.3. Tekstowe typy danych
  • 1.4. Logiczne typy danych
  • 1.5. Zadania kontrolne
• 2. Złożone typy danych
  • 2.1. Zbiory i operacje na nich
  • 2.2. Złożone typy danych
  • 2.3. Jak inicjować poszczególne typy?
  • 2.4. Zadania kontrolne
• 3. Operatory
  • 3.1. Lista operatorów
  • 3.2. Operacje na typach numerycznych
  • 3.3. Kolejność operatorów
  • 3.4. Bitwise
  • 3.5. Zadania kontrolne
• 4. Instrukcje warunkowe
  • 4.1. if … elif … else
  • 4.2. not, in, is
  • 4.3. switch statement?!
  • 4.4. Zadania kontrolne
• 5. Pętle
  • 5.1. Pętla for
  • 5.2. Pętla while
  • 5.3. Słowa kluczowe w pętlach
  • 5.4. Inline for
  • 5.5. Zadania kontrolne
• 6. Funkcje
  • 6.1. Definiowanie funkcji
  • 6.2. Konwencja nazewnicza funkcji
  • 6.3. Argumenty do funkcji
  • 6.4. Zwracanie wartości
  • 6.5. Operator * i **
  • 6.6. Zadania kontrolne
• 7. Funkcje wbudowane i słowa kluczowe
  • 7.1. Słowa kluczowe
  • 7.2. Funkcje wbudowane
  • 7.3. Wszystkie funkcje wbudowane
• 8. Dobre praktyki
  • 8.1. PEP20 - Zen of Python
  • 8.2. PEP8
  • 8.3. Korzystanie z help(), dir() i object.__dict__
  • 8.4. Kilka przykaładów z praktyki
  • 8.5. Magic number i Magic string
  • 8.6. Passwords and secrets
  • 8.7. Wczytywanie konfiguracji programów
  • 8.8. Wersjonowanie API
  • 8.9. pycodestyle previously known as PEP8
• 9. Matematyka
  • 9.1. Moduł math w bibliotece standardowej
  • 9.2. Moduł statistics w bibliotece standardowej
  • 9.3. Moduł random w bibliotece standardowej
  • 9.4. Moduł matplotlib (biblioteka zewnętrzna)
  • 9.5. Zadania kontrolne
• 10. Debugging
  • 10.1. print
  • 10.2. pprint
  • 10.3. help
  • 10.4. dir() i object.__dict__
  • 10.5. Wykorzystanie debuggera w IDE
• 11. Print Formatting
  • 11.1. Konkatenacja stringów
  • 11.2. Interpolacja zmiennych
  • 11.3. Metoda .format()
  • 11.4. f-strings - Python >= 3.6
  • 11.5. Przykład z życia
  • 11.6. Więcej informacji
  • 11.7. pprint
  • 11.8. Zadania kontrolne
• 12. Datetime
  • 12.1. calendar
  • 12.2. time
  • 12.3. timeit
  • 12.4. datetime
  • 12.5. pytz
  • 12.6. Zadania kontrolne
• 13. Doctesty
  • 13.1. Zadania kontrolne
• 14. Programowanie obiektowe
  • 14.1. Paradygmat Obiektowy
  • 14.2. Składnia
  • 14.3. Przeciążanie operatorów
  • 14.4. Dobre praktyki
  • 14.5. Przykłady praktyczne
  • 14.6. Zadania kontrolne
• 15. Wyjątki
  • 15.1. Po co są wyjątki?
  • 15.2. Podnoszenie wyjątków
  • 15.3. Tworzenie własnych wyjątków
  • 15.4. Przechwytywanie wyjątków
  • 15.5. Najpopularniejsze wyjątki
  • 15.6. Hierarchia wyjątków
  • 15.7. Przykład wyjątków przy czytaniu plików
• 16. Operacje na plikach
  • 16.1. Konstrukcja with
  • 16.2. Czytanie
  • 16.3. Zapis
  • 16.4. Tryby odczytu i zapisu
  • 16.5. Obsługa wyjątków
  • 16.6. Zadania kontrolne
• 17. Zadannie kwalifikacyjne na poziom średni
  • 17.1. Parsowanie /etc/passwd

Średniozaawansowany

Średniozaawansowany

• 1. Logowanie zdarzeń
  • 1.1. Korzystanie z logging
  • 1.2. Konfiguracja formatowania logów
  • 1.3. warnings
• 2. Serializacja i deserializacja CSV
  • 2.1. Odczytywanie danych z plików CSV
  • 2.2. Zapis do plików CSV
  • 2.3. Parsowanie innych plików za pomocą csv.DictReader()
  • 2.4. Zadania Kontrolne
• 3. Serializacja i deserializacja JSON
  • 3.1. Zapis danych do formatu JSON
  • 3.2. Odczyt danych z formatu JSON
  • 3.3. Problemy z serializacją i deserializacją
  • 3.4. Serializacja i pisanie własnych encoderów
  • 3.5. Deserializacja i pisanie własnych decoderów
  • 3.6. Zadania kontrolne
• 4. Serializacja i deserializacja
  • 4.1. Serializacja i deserializacja danych Pythona
  • 4.2. xml
  • 4.3. xslt
  • 4.4. Zadania kontrolne
• 5. Testy i Jakość
  • 5.1. Glossary
  • 5.2. Built-in frameworks
  • 5.3. Frontend Testing
  • 5.4. Static Code Analysis
  • 5.5. Automation and Releases
  • 5.6. Testy Mutacyjne
  • 5.7. Transifex
• 6. Introspekcja
  • 6.1. Pola obiektu
  • 6.2. Metody obiektu
  • 6.3. Introspekcja obiektów
  • 6.4. Other
• 7. Biblioteki zewnętrzne
  • 7.1. Inne
• 8. System Operacyjny
  • 8.1. os
  • 8.2. sys
  • 8.3. subprocess
  • 8.4. tempfile
  • 8.5. eval
  • 8.6. Zadanie kontrolne
• 9. Parametry linii poleceń
  • 9.1. docopt
  • 9.2. argparse
  • 9.3. Przykład
  • 9.4. Zadania kontrolne
• 10. Modularyzacja, wersjonowanie i dystrybucja
  • 10.1. Instalacja i korzystanie z zewnętrznych bibliotek
  • 10.2. Importowanie modułów
  • 10.3. Modularyzacja
  • 10.4. Tworzenie paczek
  • 10.5. Przyszłość paczkowania i dystrybucji
• 11. Virtualenv
  • 11.1. Tworzenie wirtualnego środowiska
  • 11.2. Aktywacja i korzystanie ze środowiska
  • 11.3. Dobra praktyka
  • 11.4. Pakiety i zależności
• 12. Wyrażenia regularne
  • 12.1. Konstruowanie wyrażeń
  • 12.2. Wyciąganie parametrów (zmiennych)
  • 12.3. Najczęściej wykorzystywane funkcje
  • 12.4. Greedy search
  • 12.5. Przykład
  • 12.6. Zadania kontrolne
• 13. Bazy Danych
  • 13.1. sqlite3
  • 13.2. Przykład praktyczny
  • 13.3. pyMySQL
  • 13.4. psycopg2
  • 13.5. pymongo
  • 13.6. SQLAlchemy
  • 13.7. Zadania kontrolne
• 14. Tworzenie dokumentacji
  • 14.1. reStructuredText vs. Markdown
  • 14.2. Format reStructuredText
  • 14.3. Sphinx
  • 14.4. Read the docs
  • 14.5. Zadania kontrolne
• 15. Django
  • 15.1. Instalacja i uruchamianie
  • 15.2. Co to jest Django?
  • 15.3. Architektura aplikacji Django
  • 15.4. Modele
  • 15.5. Widoki
  • 15.6. Panel admina
  • 15.7. Dokumentacja
  • 15.8. Widoki generyczne
  • 15.9. Localization
  • 15.10. Sygnały
  • 15.11. Migracje schematów bazy danych
  • 15.12. Management Commands
  • 15.13. ORM
  • 15.14. Skrypty z Django
  • 15.15. Przydatne Biblioteki
• 16. Projektowanie GUI
  • 16.1. Graphical User Interfaces with Tkinter
  • 16.2. Biblioteka Tkinter

Zaawansowany

Zaawansowany

• 1. Type Annotation
  • 1.1. Typy proste
  • 1.2. TypeVar, Iterable, Tuple
  • 1.3. Callable
  • 1.4. Dict, List, Optional
  • 1.5. Union types
  • 1.6. The NoReturn type
• 2. Programowanie HTTP
  • 2.1. Biblioteki standardowe
  • 2.2. Biblioteki zewnętrzne
  • 2.3. Standard WSGI
  • 2.4. Frameworki i technologie webowe
  • 2.5. Utils
  • 2.6. Template
  • 2.7. Przykłady praktyczne
  • 2.8. Zadania kontrolne
• 3. Programowanie sieciowe
  • 3.1. Socket
  • 3.2. Biblioteki sieciowe
  • 3.3. Automatyzacja pracy
  • 3.4. Zadania kontrolne
• 4. Generatory i list comprehension
  • 4.1. Lazy evaluation
  • 4.2. List comprehension
  • 4.3. Generator expressions
  • 4.4. List comprehension vs. Generator expressions
  • 4.5. Operator yield
  • 4.6. Przykłady
  • 4.7. Zadania kontrolne
• 5. Iteratory
  • 5.1. Czym jest iterator?
  • 5.2. Iterowanie po obiektach
  • 5.3. Własny iterator
  • 5.4. itertools
  • 5.5. Przykład
  • 5.6. Zadania kontrolne
• 6. Context Managers
  • 6.1. Zastosowanie
  • 6.2. Przykład
  • 6.3. Przykład praktyczny
• 7. Decorator
  • 7.1. Zastosowanie
  • 7.2. Definicja
  • 7.3. Class Decorators
  • 7.4. Przykład
  • 7.5. Zadania kontrolne
• 8. Collections
  • 8.1. namedtuple
• 9. Metaclass
• 10. Kolejki, wątki i procesy
  • 10.1. Kolejki - Queue
  • 10.2. Wątki a procesy
  • 10.3. Wątki
  • 10.4. Procesy
  • 10.5. Zadania kontrolne
• 11. Concurrency
  • 11.1. High-Level Concurrency
  • 11.2. Coroutine
  • 11.3. Asyncio
  • 11.4. Przykłady praktyczne
• 12. Programowanie funkcyjne
  • 12.1. Rekurencja
  • 12.2. Lambda - funkcje anonimowe
  • 12.3. Closure
  • 12.4. Monady
  • 12.5. złożenia funkcji
  • 12.6. functools
  • 12.7. Zadania kontrolne
• 13. Wzorce projektowe
  • 13.1. Przykłady praktyczne
  • 13.2. Inne wzorce
  • 13.3. Creational Design Patterns
  • 13.4. Structural Design Patterns
  • 13.5. Behavioral Design Patterns
• 14. C Extensions
  • 14.1. C Types
  • 14.2. C Modules
  • 14.3. Zadania kontrolne

W zastosowaniach naukowych

W zastosowaniach naukowych

• 1. Code Quality
• 2. Biblioteki w zastosowaniach naukowych i inżynieryjnych
  • 2.1. Środowisko
  • 2.2. Biblioteki do obsługi danych
  • 2.3. Wykresy i grafy
  • 2.4. Biblioteki do nauczania maszynowego
  • 2.5. Other
• 3. Analiza Numeryczna
  • 3.1. NumPy
  • 3.2. Zadania kontrolne
• 4. Zastosowanie naukowe
  • 4.1. Scipy
• 5. Obsługa danych
  • 5.1. Pandas
• 6. Generowanie wykresów
  • 6.1. Matplotlib
• 7. Generowanie grafów
  • 7.1. PyDotPlus
  • 7.2. Graphviz
• 8. Jupyter
• 9. Uczenie maszynowe
  • 9.1. Scikit-learn
  • 9.2. PyMC3
  • 9.3. TensorFlow

Machine Learning

Machine Learning

• 1. Wprowadzenie do statystyki
  • 1.1. Rozkłady
  • 1.2. Podstawowe pojęcia
• 2. Wprowadzenie do Machine Learning
  • 2.1. Czym jest uczenie maszynowe?
  • 2.2. Co trzeba wiedzieć przed rozpoczęciem pracy?
  • 2.3. Ważne pytania przed przystąpieniem do tworzenia algorytmu
  • 2.4. Czyszczenie Danych
  • 2.5. Praca z bibliotekami
  • 2.6. Kategorie algorytmów uczenia maszynowego
• 3. Słowniczek intuicyjny
• 4. Słownik Pojęć
• 5. Datasets
  • 5.1. Skąd wziąć dane testowe?
• 6. Machine Learning Algorithms
  • 6.1. Regression Algorithms
  • 6.2. Instance-based Algorithms
  • 6.3. Regularization Algorithms
  • 6.4. Decision Tree Algorithms
  • 6.5. Bayesian Algorithms
  • 6.6. Clustering Algorithms
  • 6.7. Assoication Rule Learning Algorithms
  • 6.8. Artificial Neural Network Algorithms
  • 6.9. Deep Learning Algorithms
  • 6.10. Dimensional Reduction Algorithms
  • 6.11. Ensemble Algorithms
  • 6.12. Other Algorithms
• 7. Features
  • 7.1. Czym są features?
  • 7.2. Przykład praktyczny
  • 7.3. What Makes a Good Feature?
  • 7.4. Zadania kontrolne
• 8. Classifiers
  • 8.1. Co to jest Classifier?
  • 8.2. Schemat działania classifiera
  • 8.3. Writing Own Classifier
  • 8.4. Zadania praktyczne
• 9. Model Quality
  • 9.1. Metody doboru modelu i poprawienia jakości
  • 9.2. Słownictwo
  • 9.3. Diagnostyka Bias vs. Wariancja
  • 9.4. Model Evaluation Procedure
  • 9.5. Regularyzacja
  • 9.6. Random Forrest
  • 9.7. Ensemble averaging
• 10. Decision Tree
  • 10.1. Visualizing a Decision Tree
  • 10.2. Zadania praktyczne
• 11. k Nearest Neighbors
  • 11.1. Jak działa algorytm “K najbliższych sąsiadów”
  • 11.2. Przykład praktyczny
  • 11.3. Określanie przynależności do zbioru
  • 11.4. Wyznaczanie odległości
  • 11.5. Zalety i wady
  • 11.6. Zadania kontrolne
• 12. Bayes
  • 12.1. Co to jest Naiwny klasyfikator Bayesowski?
  • 12.2. Gaussian Naive Bayes
  • 12.3. Przykłady praktyczne
  • 12.4. Plusy i minusy Naiwnego Bayesa
  • 12.5. Aplikacje Naiwnego klasyfikatora Bayesa
  • 12.6. Przykłady praktyczne
  • 12.7. Zadanie kontrolne
• 13. Linear Regression
  • 13.1. Co to jest Linear Regression?
  • 13.2. Przed zastosowaniem
  • 13.3. Wyznaczanie równania prostej
  • 13.4. Przykłady praktyczne
  • 13.5. Zadania kontrolne
• 14. Logistic Regression
  • 14.1. Co to jest Logistic Regression?
  • 14.2. Podstawowe pojęcia
  • 14.3. Przykład zastosowania
  • 14.4. Zadania kontrolne
• 15. Support Vector Machines
  • 15.1. TL;DR
  • 15.2. Charakterystyka algorytmu
  • 15.3. Opis algorytmu
  • 15.4. Support Vector Machines (Kernels)
  • 15.5. Przykłady praktyczne
  • 15.6. Zadania kontrolne
  • 15.7. Lektura uzupełniająca
• 16. Clustering
  • 16.1. Przykłady zastosowania
  • 16.2. Algorytmy klastrowania
  • 16.3. Flat Clustering
  • 16.4. Hierarchical Clustering
  • 16.5. Porównanie algorytmów
  • 16.6. Przykład praktyczny
  • 16.7. Zadania kontrolne
• 17. Principal Component Analysis (PCA)
  • 17.1. What is Principal Component Analysis?
  • 17.2. 2D example
  • 17.3. 3D example
  • 17.4. Przykłady praktyczne
  • 17.5. Zadania kontrolne
• 18. Neural Network
  • 18.1. What Is a Neural Network?
  • 18.2. Słownictwo
  • 18.3. Przykład praktyczny
  • 18.4. Tools
  • 18.5. Działanie na sieciach neuronowych
  • 18.6. Przetwarzanie obrazów na przykładzie rozpoznawania odręcznie napisanych cyfr (MNIST)
  • 18.7. Przykłady praktyczne
  • 18.8. Zadania kontrolne
• 19. Convolutional Neural Network
  • 19.1. Problemy z przetwarzaniem obrazów
  • 19.2. What is and Kernel Convolution?
  • 19.3. What is Convolutional Neural Network (CNN / ConvNet)
  • 19.4. Przydatne odnośniki
• 20. Przydatne odnośniki
  • 20.1. Neural Networks
  • 20.2. Understanding the Bias-Variance Tradeoff
  • 20.3. Bayes
  • 20.4. PyMC3
  • 20.5. Inne

Receptury

Receptury

• 1. LDAP Expiring Passwords
• 2. GITHub API

Załączniki

Załączniki

• 1. Przydatne odnośniki
  • 1.1. Doumentacja
  • 1.2. Video
  • 1.3. Środowisko developerskie
  • 1.4. Ponadto
  • 1.5. Humor IT
  • 1.6. Video (i inne)
  • 1.7. Filmy z ostatnich konferencji
  • 1.8. Wyzwania i potyczki
• 2. Python 2 vs. 3
  • 2.1. six
  • 2.2. Lista kompatybilności Python 2 i Python 3
  • 2.3. Unicode i kodowanie znaków
  • 2.4. Biblioteki standardowe w 2 i 3
• 3. Książki
  • 3.1. Algorytmy
  • 3.2. Bazy danych
  • 3.3. Dobre praktyki i quality
  • 3.4. Design patterns
  • 3.5. Refactoring
  • 3.6. Python
• 4. Python WAT?!
• 5. Agenda Intermediate
  • 5.1. Dzień 1
  • 5.2. Dzień 2

Appendices

Appendices

• 1. Glossary
• 2. Copyright
  • 2.1. MIT License