Skip to content. | Skip to navigation

Personal tools

Navigation

You are here: Home / Tutorial / Deep Learning

Deep Learning

Algorithm Tensor

under-the-hood-of-modern-machine-and-deep-learning CNN vs RNN vs ANN GPT NAS Neural Architecture Search tensorflow101-quick-start tf101-tf-as-s-calculator https://medium.com/@emwatz/how-it-teams-can-set-the-right-foundation-for-ai-projects-19476d200a45 https://friarhouse.com/ UI/UX https://divinitydjs.com/ https://mosttrendingnews.com/ https://github.com/TrickyGo/Dive-into-DL-TensorFlow2.0 What Machine Learning Teaches Us about CEO Leadership Style deeplearningbook.org 機器學習的準備工作 Michael Copeland: Diff on AI ML DL Training vs Inference: 經過訓練的神經網路結合應用程式可以辨識影像、人類語言、血液疾病,或是購物推薦等,獲得適當權重值的神經網路是個龐大資料庫,實務上需要套用處理快速的小型應用程式,一邊學習一邊將學習成果套用在從未見過的資料上,這過程稱為 Inference 推論,有兩種常見方法。 introduction-to-named-entity-recognition building-and-testing-recommender systems with surprise step-by-step can-you-enhance-that-image-restoration-with-1-training-image multimodal-deep-learning unsupervised-learning-for-data-interpolation Job offerings @AndrewYNg Tweet: https://twitter.com/AndrewYNg/status/1072918821126590464?s=09 Forensic Deep Learning: Kaggle Camera Model Identification Challenge

專案經理、高階管理人都應該要知道的:機器學習專案的基本流程 Hands-on ML with Sklearn and Tensorflow

廣告點擊率預測

Pre-Trained CNN as Feature Extractor

Machine Learning

The Line of Best Fit: 鞋子尺寸 vs 顧客身高 Linear Regression 知道鞋子尺寸 猜測鞋主身高

梗圖 Overfitting vs Underfitting: 非線性資料以線性函式 vs 非線性資料以非線性函式

Confusion Matrix: 辨別模型的優劣

Kaggle 預測存活率 分析歌曲類型

Build SPAM Filter from Scratch Processing Data to Improve Machine Learning Models Accuracy Model Interpretation

A Machine Learning Approach — Building a Hotel Recommendation Engine

exploring machine learning for AirBnB listings in Toronto

10 most useful machine-learning projects-of-the-past-year-2018

predicting-click-through-in-hotel-online-ranking

Tinder-in-data 約會軟體

Lyft: flyte-cloud-native-machine-learning-and-data-processing-platform

Genetic Algorithm

Introduction with Example: 5 Phases 1) Initial population 2) Fitness function 3) Selection 4) Crossover 5) Mutation

AutoML

Yolo

Build Object Detection System

encoding-concepts-categories-and-classes for-neural-networks implementing-drop-out-regularization-in-neural-networks 入門資源 基本概念 簡介1 Prediction API Basic Error Handling First Machine Learning Model

Sentiment Analysis with RNN intuitively understanding convolutions for deep learning How Instagram Feed Works fast.ai Course 如果你只有時間讀一篇簡介 Common Sense Baseline 文獻探討 CNN LeNet 5 Clustering Algorithms Needed to Know Kaggle: first step Andrew Ng Course Hierarchical Neural Story Generation: Gated Linear Units, Multi-head Attention, Convolutional Seq2Seq

RNN Intro RNN Example ReasonML

how-to-do-everything-in-computer-vision

Residual Networks (ResNets): 更有效的 Image Recognition 處理 Vanishing Gradient 議題

Scikit-learn

Pipeline example train_test_split 函式: 用於切分 Train, Validate Set

scikit learn有GridSearchCV可以指定參數範圍自動調參 https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html 調完結果可以呼叫cv_results_查看、繪圖

Tensorflow

HelloWorld As Calculator Running Tensorflow Models AutoGraph converts

Build Your Own AlphaZero AI FeatureEngineering Continuous Numeric Data Categorical Data Feature Transformation for Machine Learning Unsupervised Learning with Python Embed ML Models to Web Apps

How to Make a Simple Tensorflow Speech Recognizer Speech Keyword Detecting with Depthwise Separable Convolutions TensorFlow 101, by Brian Sletten 17:00 python demo

autoencoders: Tensorflow Eager Execution

Keras

how-to-use-keras-sparse-categorical-crossentropy: Example one — MNIST classification, Example two — character level sequence to sequence prediction

Udemy: Introduction to Deep Learning using Keras Convnets Keras notebook Scanned Digits Recognition using k-Nearest Neighbor (k-NN) quantile regression: dependent variable is bimodal or multimodal

  • Keras is a library in Python.
  • It is a library for building deep learning models. 
  • Keras runs on top of Theano and Tensor flow. 
  • Our focus is on building deep learning predictive models. 
  • Python is becoming the language of choice for applied predictive analytics. 
  • In machine learning a artificial neuron is an object modeled after a biological neuron. 
  • A group of artificial neurons is called a neural network. 
  • Rows are observations. 
  • Columns are features. 
  • That thing we are trying to predict is a target variable. 
  • The data we are going to use to build our model is called training data. 
  • A very simple neural network has inputs, a hidden layer and outputs. 
  • When we are working with machine learning models it's important to remember they speak numbers. 
  • A deep learning model is one with more than one hidden layer.

很多場合不需要機器學習 Fizz Buzz in Tensorflow

Intro for Designers Convolutional Neural Networks from Ground Up a-conceptual-explanation-of-bayesian-model-based-hyperparameter-optimization-for-machine-learning

Text Classification with Machine Learning Sequence-to-Sequence Model

How Backpropagation Works and Use Python to Build a Neural Network

Machine Learning the GitHub API with Meeshkan

圖像分類 Image Classification CNN 用 Excel 解釋 Convolution Style Transfer Styling Images with Convolutional Neural Networks

derivation-of-convolutional-neural-network-from-fully-connected-network-step-by-step

YOLO Object Detection code

PyTorch

https://medium.com/@ahmedbesbes/automl-in-python-an-overview-of-the-mlbox-package-208118a7fe5 deploy-your-pytorch-model-to-production

GAN Generative Adversarial Network

Easy Introduction Why So Hard GAN, Generative Adversarial Networks, Adversarial Training

蔡宗翰 CRF: Conditional Random Fields; SRL-Model: Semantic; PAS: Predicate Argument Structure; Precision Rate vs Recall Rate vs F1-measure

Dictionary Encoding: N1=張士誠 P1=高郵
Time Encoding: T1=乙未 Q1=一千萬
Decoding階段 再替代回去
Active Learning: 判斷不好的詞再用人力檢查 補回字典
Normalize Variation Branch Entropy (nVBE) 自刻工具
CRF Model 調參數
分群演算法: K-Mean 找出類似的詞句

Python 機器學習/影像辨識

1.下載及安裝Python軟體

在Mac上安裝完的Python Launcher

在Windows上安裝

使用pip install 套件名稱

安裝套件
pip install 套件名稱
解除安裝套件
pip uninstall 套件名稱
檢視目前系統已經安裝的套件
pip list
1-1下載及安裝PyCharm

安裝完Python後,設定直譯器路徑

Pycharm可以使用Python和Jupyter notebook的檔案

1-2在Pycharm新增函式庫

選取直譯器,選取+

選取函式庫,再install Package

2.Python直譯器與計算機

Mac電腦/usr/local/bin
Windows電腦C:\python36
set path=%path%;C:\python36
這是設定utf-8-*-編碼
#-*- coding: utf-8 -*- 
#是註解符號
輸入python執行
$ python
變數資料型態

整數
浮點數
字串
運算式是由運算子與運算元組成
+加-減*乘/除是運算子,先乘除後加減的結合優先順序
運算元是變數,數字,字串和資料結構
=是分配符號,將右邊的值分配給左邊變數
3.資料結構

變數
運算式與運算子
串列
堆疊
佇列
數組tuple,集合set和字典

可以用數組tuple來儲存固定的元素,使用小括號()來建立一數組tuple
集合的元素放置沒有按照順序,可以使用{}大括號來建立一集合Set
集合加上索引就是字典{索引:值}

4.控制結構

布林運算式,布林值為True或False
在if敘述中,條件後的敘述只執行一次,而在while敘述中,則可執行一次以上。
While敘述的程序圖形中.選取結構和循序結構,都只執行程式敘述一次,如果我們要讓同一行程式重複執行好幾遍則要用迴圈敘述。
迴圈敘述可以重複執行某一段程式好幾遍,直到條件的不成立才跳出這個迴圈。
選取結構if
語法if:
if 條件運算式:
    程式敘述1
else:     
    程式敘述2
迴圈結構while,for
語法:
for  計數變數  in range(起始值,終始值):
程式敘述
邏輯運算子

邏輯運算子可以結合條件,以一個表達式判斷許多條件,而這些條件的結果不是真True就是假False。
and稱為”與邏輯運算子”,只有當所有條件都成立時才會回傳真True,否則回傳假False。
or稱為或邏輯運算子,只要運算式中一個條件成立就會回傳真True,只有當所有的條件都為假Fasle時,才會回傳假False。
not為相反邏輯運算子,真True的條件加上not相反邏輯運算子時,就會變成假False﹔當假False的條件加上not相反邏輯運算子時,就會變成真True。
一個選擇的if敘述

if 條件:
         敘述

巢狀的if敘述與多重選擇決策

在這個例子中有5個等級來做選擇,就叫做多重選擇。
語法:
if (條件1):
敘述1
elif (條件2):
敘述2
elif (條件3):
敘述3
elif (條件4):
敘述4
else (條件5):
敘述5
迴圈結構for

Python提供for敘述作為迴圈,除了迴圈主體敘述(statement),還有迴圈的條件結構。
迴圈結構while

在if敘述中,條件後的敘述只執行一次,而在while敘述中,則可執行一次以上。

5.函數
將多個複雜的程式區塊包在函數裡面,這樣在需要時,可以重複呼叫它.
遞迴函數是自己呼叫自己的函數,有最終值,開始回傳.
pass敘述沒做任何事
預設參數值
使用者自訂函數
區域變數的生存空間

函數的參數為區域變數.函數的參數生存空間只在函數的範圍內
在函數內定義的變數,其作用範圍在函數內


6.類別

成員屬性與成員方法

類別和實體變數

_init__(self,..)為建構函數,實體化物件時會呼叫它
self為自己這個物件
__init__(self)建構物件, __del__(self)解構物件


7.繼承

class 子類別(父類別1,父類別2,父類別3,..):       
      敘述1
      敘述2
當子類別繼承 (inheritance) 超過一個來源的時候,會以寫在最左邊的父類別優先繼承,多個父類別如果有相同名稱的屬性 (attribute) 與方法 (method) ,就會以最左邊的父類別優先。
多型:子類別和父類別有同名的getEngine()名稱

8.異常或錯誤處理
使用raise關鍵字丟出例外
開啟,關閉及寫入檔案
檔案處理
fp=open(‘檔案名稱’,’檔案開啟模式’)

9.使用matplotlib畫圖
Matplotlib.pyplot是畫圖的命令集合函數.每一個pyplot函數可以建立或修改圖形

10.Python 資料結構與畫圖簡介 
•數組tuple和集合set
•Scipy科學函數庫
•numpy模組建立矩陣
•Pandas資料結構
•Matplotlib畫圖

11.數組tuple和集合set和Scipy科學函數庫
可以用數組tuple來儲存固定的元素,使用小括號()來建立一數組tuple
集合的元素放置沒有按照順序,可以使用{}大括號來建立一集合Set
Scipy模組提供科學運算及線性代數的運算模組

12.numpy模組建立矩陣
•numpy模組建立矩陣
•矩陣運算
•reshape()改變陣列的長寬
•np.zeros((10,3))產生10*3的矩陣

13.Pandas資料結構
使用pip install安裝pandas
Pandas讀取csv
讀取台灣加權股價指數csv檔,big5編碼
實作讀取台灣加權股價指數
Series序列資料
pandas的DataFrame
實作Pandas資料結構
資料選擇與篩選
lambda可調式參數

14.Matplotlib畫圖2
•Matplotlib畫圖
•plt.plot([1,2,3,4])預設是X軸
•# ‘r—'紅色虛線,'bs'藍色矩形,'g^'綠色三角形
•scatter()散點圖函數
•meshgrid()函數畫網格

15.分類與預測

資料採礦過程
分類與預測
決策樹 信用評等範例
監督式學習分類
天氣決策樹決定是否騎腳踏車
資訊熵Entropy

Information Gain資訊增益

ID3決策樹演算法

鳶尾花決策樹分類

隨機森林結合強學習

K-nearest最鄰近分類演算法KNN

16.Python 機器學習分群

分群分析
分群的應用
資料採礦對分群的需要
分群的依據
主要的分群方式
群聚演算法k-means
階層式分群
密度為基礎的分群方法
群聚演算法k-means

將資料庫的n個物件來建構K個群聚的分群
k-means:群聚的中心為基礎的分群
遞迴的尋找最小成本
設有k個群聚,0為第0次開始,每次加1,調整群聚中心
計算群聚成本最小化
階層式分群

階層式聚合式分群會從下面開始合併群聚,直到滿足停止條件為止.
計算所有樣本的距離矩陣
將每個樣本作為一個單一的集群
合併兩個最近的集群對
更新距離矩陣
重複上面步驟,直到群聚成兩個分群
密度為基礎的空間集群方法

DBSCAN演算法:
以密度為基礎的群聚,如果密度足夠,它就會被視為群聚的一部分,此時會考慮鄰居.如果它們也高密度,就將它們與第一個區域合併,否則決定了分群.
當這個程序掃描完所有區域後,就可確定所有群聚.
主要特徵:
發現任意形狀的群聚
可以處理雜訊
密度參數當作終止條件

17.基本機器學習演算法

線性迴歸
Logistic邏輯迴歸
單純貝氏分類器(Naive Bayes Classifiers)
其中P(A|B)是在B發生的情況下A發生的可能。

分群降維使用主成份分析PCA
主成分分析PCA是一種分析、簡化數據集的技術。PCA是使用矩陣投影方式將n維度樣本投影到m維度空間使用W轉換矩陣,其中m<

設定 Nvidia 顯示卡功率 180W,正常情況下最大值是 250W,溫度在 80度以下比較保險

sudo nvidia-smi -pm 1
sudo nvidia-smi -i 0 -pl 180

Practical Guide to Particle Swarm Optimization

Tensorflow + Deepdream

super-slomo-fun-or-how-you-can-make-awesome-youtube-videos-with-ai

Unsupervised Learning: K-means 分群 Bag-of-Words Bag-of-Features