Ruby - Array クラス拡張で単回帰曲線（5次回帰モデル）計算！
Updated:
かつて、 Ruby で Array クラスを拡張して単回帰直線や単回帰曲線（2〜4次、その他）を計算してみました。
（過去記事は「こちら」で検索してください）
今回は5次の単回帰曲線を計算してみました。自作のある解析処理で必要になったため、その練習として。（連立方程式の解法にはガウスの消去法（ピボット選択）を使用）
0. 前提条件Permalink
- Debian GNU/Linux 11.3 での作業を想定。
- Ruby 3.1.2 での実行を想定。
- 連立方程式の解法（ガウスの消去法（ピボット選択））についての説明は割愛。（Web 上等で容易に確認可能）
1. 単回帰曲線（5次回帰モデル）の求め方Permalink
求める曲線を y=a+bx+cx2+dx3+ex4+fx5 とすると、残差の二乗和 S は
S=N∑i=1(yi−a−bxi−cx2i−dx3−ex4−fx5)2となる。 a,b,c,d,e,f それぞれで偏微分したものを 0 とする。
∂S∂a=2N∑i=1(a+bxi+cx2i+dx3i+ex4i+fx5i−yi)=0∂S∂b=2N∑i=1(axi+bx2i+cx3i+dx4i+ex5i+fx6i−xiyi)=0∂S∂c=2N∑i=1(ax2i+bx3i+cx4i+dx5i+ex6i+fx7i−x2iyi)=0∂S∂d=2N∑i=1(ax3i+bx4i+cx5i+dx6i+ex7i+fx8i−x3iyi)=0∂S∂e=2N∑i=1(ax4i+bx5i+cx6i+dx7i+ex8i+fx9i−x4iyi)=0∂S∂f=2N∑i=1(ax5i+bx6i+cx7i+dx8i+ex9i+fx10i−x5iyi)=0これらを変形すると、
aN+bN∑i=1xi+cN∑i=1x2i+dN∑i=1x3i+eN∑i=1x4i+fN∑i=1x5i=N∑i=1yiaN∑i=1xi+bN∑i=1x2i+cN∑i=1x3i+dN∑i=1x4i+eN∑i=1x5i+fN∑i=1x6i=N∑i=1xiyiaN∑i=1x2i+bN∑i=1x3i+cN∑i=1x4i+dN∑i=1x5i+eN∑i=1x6i+fN∑i=1x7i=N∑i=1x2iyiaN∑i=1x3i+bN∑i=1x4i+cN∑i=1x5i+dN∑i=1x6i+eN∑i=1x7i+fN∑i=1x8i=N∑i=1x3iyiaN∑i=1x4i+bN∑i=1x5i+cN∑i=1x6i+dN∑i=1x7i+eN∑i=1x8i+fN∑i=1x9i=N∑i=1x4iyiaN∑i=1x5i+bN∑i=1x6i+cN∑i=1x7i+dN∑i=1x8i+eN∑i=1x9i+fN∑i=1x10i=N∑i=1x5iyiとなる。これらの連立方程式を解けばよい。
2. ガウスの消去法による連立方程式の解法についてPermalink
当ブログ過去記事を参照。
3. Ruby スクリプトの作成Permalink
- Shebang ストリング（1行目）では、フルパスでコマンド指定している。（当方の慣習）
File: regression_curve_5d.rb
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
#! /usr/local/bin/ruby
#*********************************************
# Ruby script to calculate a simple regression curve.
# : y = a + b * x + c * x^2 + d * x^3 + e * x^4 + f * x^5
# : 連立方程式を ガウスの消去法（ピボット選択）で解く方法
#*********************************************
#
class Array
def reg_curve_5d(y)
# 以下の場合は例外スロー
# - 引数の配列が Array クラスでない
# - 自身配列が空
# - 配列サイズが異なれば例外
raise "Argument is not a Array class!" unless y.class == Array
raise "Self array is nil!" if self.size == 0
raise "Argument array size is invalid!" unless self.size == y.size
sum_x = self.inject(0) { |s, a| s += a }
sum_x2 = self.inject(0) { |s, a| s += a * a }
sum_x3 = self.inject(0) { |s, a| s += a * a * a }
sum_x4 = self.inject(0) { |s, a| s += a * a * a * a }
sum_x5 = self.inject(0) { |s, a| s += a * a * a * a * a }
sum_x6 = self.inject(0) { |s, a| s += a * a * a * a * a * a }
sum_x7 = self.inject(0) { |s, a| s += a * a * a * a * a * a * a }
sum_x8 = self.inject(0) { |s, a| s += a * a * a * a * a * a * a * a }
sum_x9 = self.inject(0) { |s, a| s += a * a * a * a * a * a * a * a * a }
sum_x10 = self.inject(0) { |s, a| s += a * a * a * a * a * a * a * a * a * a }
sum_y = y.inject(0) { |s, a| s += a }
sum_xy = self.zip(y).inject(0) {
|s, a| s += a[0] * a[1]
}
sum_x2y = self.zip(y).inject(0) {
|s, a| s += a[0] * a[0] * a[1]
}
sum_x3y = self.zip(y).inject(0) {
|s, a| s += a[0] * a[0] * a[0] * a[1]
}
sum_x4y = self.zip(y).inject(0) {
|s, a| s += a[0] * a[0] * a[0] * a[0] * a[1]
}
sum_x5y = self.zip(y).inject(0) {
|s, a| s += a[0] * a[0] * a[0] * a[0] * a[0] * a[1]
}
mtx = [
[self.size, sum_x, sum_x2, sum_x3, sum_x4, sum_x5, sum_y],
[ sum_x, sum_x2, sum_x3, sum_x4, sum_x5, sum_x6, sum_xy],
[ sum_x2, sum_x3, sum_x4, sum_x5, sum_x6, sum_x7, sum_x2y],
[ sum_x3, sum_x4, sum_x5, sum_x6, sum_x7, sum_x8, sum_x3y],
[ sum_x4, sum_x5, sum_x6, sum_x7, sum_x8, sum_x9, sum_x4y],
[ sum_x5, sum_x6, sum_x7, sum_x8, sum_x9, sum_x10, sum_x5y]
]
ans = solve_ge(mtx)
{
a: ans[0][-1], b: ans[1][-1], c: ans[2][-1],
d: ans[3][-1], e: ans[4][-1], f: ans[5][-1]
}
end
private
# ピボット選択
def pivot(a, k)
pv = k
v_max = a[k][k].abs
(k + 1).upto(a.size - 1) do |i|
if a[i][k].abs > v_max
pv = i
v_max = a[i][k].abs
end
end
if k != pv
dummy = a[k]
a[k] = a[pv]
a[pv] = dummy
end
return a
rescue => e
raise
end
# 連立方程式の解（ガウスの消去法（ピボット選択））
def solve_ge(a)
n = a.size
# 前進消去
(n - 1).times do |k|
a = pivot(a, k) # ピボット選択処理
(k + 1).upto(n - 1) do |i|
d = a[i][k] / a[k][k].to_f
(k + 1).upto(n) do |j|
a[i][j] -= a[k][j] * d
end
end
end
# 後退代入
(n - 1).downto(0) do |i|
d = a[i][n]
(i + 1).upto(n - 1) do |j|
d -= a[i][j] * a[j][n]
end
a[i][n] = d / a[i][i].to_f
end
return a
end
end
# 説明変数と目的変数
#ary_x = [107, 336, 233, 82, 61, 378, 129, 313, 142, 428]
#ary_y = [286, 851, 589, 389, 158, 1037, 463, 563, 372, 1020]
ary_x = [83, 71, 64, 69, 69, 64, 68, 59, 81, 91, 57, 65, 58, 62]
ary_y = [183, 168, 171, 178, 176, 172, 165, 158, 183, 182, 163, 175, 164, 175]
puts "説明変数 X = {#{ary_x.join(', ')}}"
puts "目的変数 Y = {#{ary_y.join(', ')}}"
puts "---"
# 単回帰曲線算出
reg_line = ary_x.reg_curve_5d(ary_y)
puts "a = #{reg_line[:a]}"
puts "b = #{reg_line[:b]}"
puts "c = #{reg_line[:c]}"
puts "d = #{reg_line[:d]}"
puts "e = #{reg_line[:e]}"
puts "f = #{reg_line[:f]}"
4. Ruby スクリプトの実行Permalink
$ ./regression_curve_5d.rb
説明変数 X = {83, 71, 64, 69, 69, 64, 68, 59, 81, 91, 57, 65, 58, 62}
目的変数 Y = {183, 168, 171, 178, 176, 172, 165, 158, 183, 182, 163, 175, 164, 175}
---
a = 49990.925987311384
b = -3652.1635654342167
c = 106.05761790656705
d = -1.5255030925653301
e = 0.010870351512115147
f = -3.0701036411184224e-05
5. 視覚的な確認Permalink
参考までに、上記スクリプトで使用した2変量の各点と作成された単回帰曲線を gnuplot で描画してみた。（比較用に2次、3次、4次も）
単回帰曲線の6次以降はもう試さない（つもり）。
以上。
Comments