⇧ Oh my gosh...
結局のところ最終的にはマシンのメモリに依るということなんかね...
大容量のデータをJavaで処理する場合に、
⇧ できる限り、メモリを使用しないように、ファイルなどに書き込んだり、データベースに登録したりを行う回避策がメジャーっぽいのだけど、「深層学習(Deep Learning)」のように計算のためにデータをメモリに展開せざるを得ないケースはどうなのか気になってたのだけど、
⇧ なるほど、マシンのメモリに依存せざるを得ないと...
ある程度は、
⇧ データ量によって対応はできそうなのだけど、ソフトウェア側での対応にも限界はありそうな気がするので結局のところ、最終的にはマシンのメモリに依るということですかね...
何と言うか、OutOfMemoryErrorとの闘いは、JavaもPythonも変わらず必要ということですか...
ちなみに、
⇧ JavaScriptでもOutOfMemoryErrorが起こるようですな...
フロントエンドでブラウザのメモリ制限とかあると、手の施しようが無いということですな...
とは言え、性能面では、メモリで処理した方が良いような気がするのだけど、OutOfMemoryErrorを回避するためには、性能を犠牲にせざるを得ないこともあるということなんかね。
機能と非機能のトレードオフが難しいですな...
2024年1月6日(土)追記:↓ ここから
何やら、
⇧ 障害が起きてたみたい。
何と言うか、市役所で使ってるパソコンのスペックが貧弱過ぎるような気もしますな、流石に150万人分の情報でシステムが耐えきれないと思わないものね...
浜松市の総人口は、
www.city.hamamatsu.shizuoka.jp
⇧ 79万人ほどなので、150万人分の情報というのは、
⇧ バッチ処理を二回実行したからの模様。
要件が分からんけど、2つの障害の内、1つはヒューマンエラーとしてることから、要件にバッチ処理に対する多重起動の抑止は含まれていなかったということなんですかね。
機能追加が難しくないなら、追加要件で発注して、機能追加して上げた方が、システムを利用する職員の方の負担は減りそうですな。
2024年1月6日(土)追記:↑ ここまで
毎度モヤモヤ感が半端ない...
今回はこのへんで。