機械学習の基礎（シラバス）

機械学習の基礎【土曜集中コース】（シラバス）

基本情報

科目名
機械学習の基礎
教材担当
マシュー・ホーランド (Matthew J. Holland)
授業概要

計算機に事物や概念を学習させるとはどういうことか、統計的推論と最適化とソフトウェア工学の間にある「機械学習」の基本的な考え方や技法を丁寧に紹介する。複合的な分野であるがゆえに、理論と実践の両面から捉えることが重要であると考え、抽象的な概念を数学的に明記しつつ、実データにおいてどのように具現化するか、授業中の演習課題を通じて、機械学習の本質を体感してもらえるように教材を工夫している。数理モデルから実際のコーディングまで、近年では脚光を浴びている深層学習をはじめとして、より高度な機械学習を理解するために欠かせない素養を身につけることを目的とする。

詳細情報

授業計画
第1回 学習とは何か。学習機の原型の定式化。線形識別機とパーセプトロン学習則。（演習）Numpyとイテレータで自作PLAを実装。PyTablesによるデータの読み書き。
第2回 学習の可能性。確率モデルとHoeffdingの不等式。検証vs.学習と性能保証。複雑度による汎化誤差の評価。
【演習】変わったコイン投げ実験と学習性能保証の難しさ。
第3回 種々の損失関数。ノイズを許容した確率モデル化。自作の特徴量。
【演習】手書き数字の次元削減。1次元と2次元のガボールフィルタバンク。
第4回 無限モデルの複雑度。VC次元と線形識別機。バイアスとバリアンスと学習則の影響。
【演習】複雑度による性能上界の近似的計算。理論上の性能と実際の性能の乖離。
第5回 線形信号と3種類のモデルと学習課題。ポケット化によるPLA安定化。二乗誤差と線形回帰。
【演習】プロトタイプづくりの環境整備。ポケット版PLAとOLSの実装。
第6回 ロジスティック回帰と最急降下法。より高度な複雑度による性能保証。
【演習】自作の二値ロジスティック回帰とSGD。
第7回 線形性の限界。特徴量の非線形変換。勾配降下法の限界。SVRGの導出。
【演習】円型モデルの実装と非線形特徴量の自作。SVRGの実装と検証。
第8回 高次元モデルとスパース性。座標降下法の導出。外れ値と幾何学メジアン。ロバスト降下法。
【演習】スパース回帰向けのCD実装と応用。RGDの実装と検証。
第9回 自動微分（フォワード、リバースの両モード）。ニューラルネットワークと逆伝搬法。一般化delta rule。Chainerの概要。
【演習】Chainerの自動微分を検証。線形回帰をChainerで再現。手動の非線形活性化関数とその微分。
第10回 ニューラルネットワークの複雑度と性能保証。Softmaxとcross-entropyと多クラス識別。
【演習】SGDとSVRGをChainerでNN向けに実装。自作optimizerオブジェクトと非線形NNの応用と汎化性能。
シラバス
【土曜集中コース】