読者です 読者をやめる 読者になる 読者になる

gocha124の日記

ごちゃごちゃ書きます

集合知(その3)

10、予測モデルをつくる

一般的な3つの分類アルゴリズム

回帰アルゴリズム

  • 線形回帰
  • 多層パーセプトロンMLP:Multi-layer perceptron)
  • 動径基底関数(RBF:Radial basis function) 

決定木

決定木で作成されたモデルはif-thenルール。

情報エントロピー

  • 事例を全て正、または負に分類する属性は完全。エントロピー=(1,0)=0。
  • 事例を、等しく、2つに分ける属性は、エントピー=(1,1)=1。

情報利得

  • 1つ目の属性でデータを分割した時の情報エントロピーの減少=情報利得

ナイーブベイズ分類

確率論の基本的な概念。ある出来事が起こる確率は、0から1の間の数値。

数値が高いほど、その出来事が起こる確率も高い。

確率=Pr:probability

ベイズの定理

Pr{ A and B } = Pr{ A } Pr{ B | A } = Pr{ B } Pr{ A | B }

条件付き独立性を仮定して、事例ごとに予測をまとめたのがナイーブベイズ分類器?と理解。 

ビリーフネットワーク

ビリーフネットワークは、ナイーブベイズ分析をグラフを用いて表記したもの

形式的には非循環有向グラフ(DAG:directed acyclic graph)。ノードは確率変数、ノード間のリンクは親と子のあいだの条件付き依存関係をあらわす。非循環有向ネットワークとも呼ばれる。

各ノードは親ノードがもたらす影響を数値化した条件付き確率表(CPT:conditional probablity table)を持つ。

 

単結合型と複結合型

単結合ネットワーク向けの推論アルゴリズム

ベイズ法にもとづく確率の解釈

  • 確率は一般的には「ある出来事が起こる頻度をあらわす」だが、
  • ベイズ的解釈・主観的解釈は「ある出来事が起こるだろうと、ある人が信じる度合い」である

WEKA

分類器クラス

決定木、J48

weka.classifiers.trees.J48

ナイーブベイズ

weka.classifiers.bayes.NaiveBayesSimple

ベイズネット

weka.classifiers.bayes.BayesNet

 

回帰

線形回帰

多層パーセプトロンMLP

入力は第1層の各ノードに入る

1つのノードからの出力は2段階の演算で決定される

  • ノードの各入力値に重みを掛けた値を合計
  • この値を非線形活性化関数を使ってノードの出力値に変換

活性化関数

  • シグモイド(sigmoid)や双曲線正接関数(tan hyperbolic function)

各ノードには閾値があり、ノードが出力するには入力と重みの積の総和が閾値を超える必要がある

通常、ニューラルネットワークの学習

  • 誤差逆伝搬(back-propagation)アルゴリズムが使われる
  • このアルゴリズムは勾配探索法(gradient search)を用いて、学習データと予測値の二乗誤差の和が最小になるように、ネットワークの重みを探索。

通常、局所的な最適解に収束するため、大域的な最適解に収束する保証はない

データを過学習する危険があるので、交差検定(cross-validation)で確認する

動径基底関数(RBF)

RBFは2層で構成。

  • 入力空間から隠れユニット空間への変換は非線形
  • 隠れユニット空間から出力空間への変換は線形

隠れノード

出力層ノード

RBFの学習

学習速度が断然早い

WEKA

weka.classifiers.functions.LinearRegression

weka.classifiers.functions.MultilayerPerceptron

weka.classifiers.functions.RBFNetwork

 

集合知(その2)

7、データマイニングとは

学習アルゴリズム

学習の種類 アルゴリズム
予測モデル 決定木
ニューラルネットワーク
回帰
ベイジアンビリーフネットワーク
データ分析やパターン抽出の自動化 k-meansクラスタリング
階層的クラスタリング
密度ベースのクラスタリング

予測モデルの種類

予測される属性 予測モデル 問題
カテゴリ値 分類器(classification) 分類問題
連続値 リグレッサー(regresor) 回帰問題

集合知

集合知の本を読んでいってメモ 

集合知イン・アクション

集合知イン・アクション

 

ソース

SBクリエイティブ:【ダウンロード】『集合知イン・アクション』

2、ユーザインタラクションの学習

集合知の収集

ユーザーとアイテム

  • アイテムは記事、写真、動画など
  • アイテムはメタデータを持つ
  • メタデータはキーワード、タグ、評価、属性など
  • メタデータの情報源は属性ベース、コンテンツベース、ユーザアクションベース

コンテンツベース分析と協調フィルタリング 

知の表現

類似度

  • コサインベースの類似度計算は、ベクトルの内積
  • 相関ベースの類似度計算は、ピアソンの相関係数r。-1〜1。
  • 調整コサインベースの類似度計算。

 

3、タグづけ

スタッフによるもの
ユーザによるもの
自動生成によるもの

タグづけの指針

  • 可能であればタグ辞書を構築する。
  • スタッフによるタグのみを扱うシステムでは、タグの重み付けはそのアイテムにつけられたタグの個数と、タグのIDFによって決まる。
  • 3種のタグ生成源を混在させて用いることができる。
  • タグづけのときに類義語辞書を作成すること。

ユーザによるタグづけから知識を抽出する例。

  • 関連するアイテムはどれとどれ?
  • あるユーザが関心を持つであろうアイテムはどれ?
  • 新しいアイテムがあらわれたときに、それに関心を持つユーザは誰?

類似したタグを探す

4、コンテンツから知識を取り出す

コンテンツの分類

記事
商品
分類語
ブログ
Wiki
グループ機能、掲示板
写真と動画
投票
検索キーワード
プロファイルページ
ツールと帳票
チャットログ
レビュー
3行広告
リスト

 知識を抽出する

トークン化 ターム取り出し。
正規化 タームやフレーズを小文字にする。
ストップワードの除去 頻出するタームを除去。
ステミング 複数形に対処するために、タームを語幹に変換する。

集合知の導出

属性の分類

連続(数量) 実数をとる 連続 サイトを見ていた時間
順序 属性値と属性値のあいだには順序が存在する 離散または連続 長、中、短
名義 属性ちと属性値のあいだには順序が存在しない 離散 男、女

 

推薦

おすすめ

ブックマークから

(未検索時に表示)

 

あなたの好みに似ている人

ブックマークから

 

✖️✖️を見た人はこれも見ています

閲覧ログから

 

他人のブックマークが見れるとよい

 

入門ソーシャルデータ

Graphvis

Protovis

https://github.com/ptwobrussell/Mining-the-Social-Web

 

集合知インアクション

集合知プログラミング

 

うちの子のしつけ

うちの子どもに躾できていない。対策を検討。

 

状況

一般的なこととして、

  • 子ども自身で時間管理することは難しい。
  • 子ども自身の話をきちんと聞いてあげるのが大事。
  • 叱ると怒るは別もの。
  • 暴力でなく、しつけとして手を出すこともある。
  • 男の子は口べた、女の子は口が達者。

 

うちの特徴として、

  • 色々と口うるさい。
  • テレビ以外に子ども一人で楽しめることがない(?)
  • 年の離れた下の子がいる。
  • 上の子にとって遊び相手でなく面倒見る相手。何かあると自分ばかり怒られる。
  • 親が決めた1週間毎日守れと言っているルールを完全に守れないと、3DSできない(まれにやらせてもらえているみたい)

 

うちの子の特徴として、

  • ごめんなさいを言わない。
  • 自分が悪いと思っていないか、自分より他の人のほうが悪いから自分は悪くないと思っている。
  • 四六時中ソファーでゴロゴロ。
  • 「デザートは?」がしつこい。
  • 無いと「ハぁ!?なんでぇ!?」と言う(言われる側はムカつく)。
  • 「DVD見ていい?」がしつこい。
  • おとうとが「テレビ見たくない」と言うと、「xxxしてあげるからさぁ」とか言って見させるのに、言ったことを実行しない。
  • 本人に間違いがないのに「ハぁ!?知らんし!?」と言う。
  • はたから見て本人が悪いのに「オレちげーし」「オレじゃねーし」「オレ悪くないし」。
  • 叱られて、捨てる・出て行け・出て行く・自分でやれとオドされても「すればぁ!?」「べつにいいし」

つまり、

  1. ほとんどのことは、自分は悪くない、他人が悪い
  2. グゥたら
  3. 言われたことをやらない、自分で言ったこともやらない
  4. クチが悪すぎる

 

検討

検討中。

 

 

 

形態素解析のエンジン

janome

https://pycon.jp/2015/ja/schedule/presentation/68/

Mecab

マリモ

Rosette

Chasen

Kuromoji

コンビナトリアルテクノロジー

 

コンビナトリアルテクノロジー―明日を開く“もの作り”の新世界

コンビナトリアルテクノロジー―明日を開く“もの作り”の新世界

 

 

コンビナトリアルテクノロジーを読みました。少し。