Thief's Guild Blog

もう、export　DISPLAY=ﾌﾆｬﾌﾆｬ:25　xhost +hoge すらﾒﾝﾄﾞｲ時用

openssl s_client -connect www.oresama_server.fuga:443

プロンプトになるので、HTTPのやりとりを打つ。

GET /abeshi.html

ｱｰ('A`)ﾏﾝﾄﾞｸｾ

sun.reflect.Generatedほげほげ　などの解説

-これは何？

　reflectionを行うときの　ByteCode　Accessor

-は？

　アクセッサーには2種類あり、JNI　AccessorとByteCode　Accessor
　ご存知のようにJNI操作はコストが高いので、頻繁に呼び出されるとJNIからByteCodeへ昇格される
　そうすることで、reflectの動作を高速化させている。
　これが導入されたのはJRE1.4x以降

-このクラスをロードしたとか消したとかでまくるんだが、ぉぃい

reflectAPIの呼び出し単位で作成されてしまうので、フレームワークなんかを
使っているともう吐き気するぐらい作成される。
ClassオブジェクトなのでJVMのﾊﾞｰｼﾞｮﾝによってはHeapの中では厄介ものである
（フラグメント要因になる）。
だが安心してほしい。弱参照状態で作成され、参照は親のClassLoaderだけなので、
「使用中」でなければ破棄できる。
破棄されたものは、再びJNI　Accessorからの出直しになる。

-それって、パフォーマンス元に戻るんじゃね？意味なくない？

パレートの法則。８０：２０の法則。

　GC対象になるようなAccessor　＝　未使用　＝２０％部分じゃない　＝パフォーマンスに影響を与えない

　パフォーマンスチューニングにおける大前提である。

-制御したいんだが

　　-D sun.reflect.noInflation = false （default value is　false)
　　-D sun.reflect.inflationThreshold = 15 (default value is 15)

　　noInfration　=true　は進化をやめよ、となり、デフォルトでbyteCodeAccessorが作成される
　　よって、マッハになるかもしれないがsun.reflect.Generatedほげほげの数は増える

　　inflationThreshold は進化までの回数。デフォルトでは１５回呼ばれるとHot判定になりbyteCodeAccessorが作成される

　　普通はこんなコアな設定はさわらんでよろしい。
　　その前に直すべき箇所があるはずである。

参考リンク
https://www.ibm.com/developerworks/mydeveloperworks/blogs/738b7897-cd38-4f24-9f05-48dd69116837/entry/reflection_a_memory_viewpoint3?lang=ja
http://anshuiitk.blogspot.com/2010/11/excessive-full-garbage-collection.html
http://stackoverflow.com/questions/2971019/how-to-avoid-generatedserializationconstructoraccessor-problems

ダークマターによるGCの誘発について
http://www-01.ibm.com/support/docview.wss?uid=swg21214654

IBMJDKにおけるIC（Incremental　Compaction）について
http://www.ibm.com/developerworks/ibm/library/i-incrcomp/

IBMJDKが巨大オブジェクトをどのように扱うのか（LOAの説明）
http://www-01.ibm.com/support/docview.wss?uid=swg21236509

その他GCの動きの説明
http://www.nminoru.jp/~nminoru/java/cms/concurrent_mark_sweep.html#45


ヒープ圧縮（shrink）について
http://www-01.ibm.com/support/docview.wss?uid=jpn1J1004853

IBMJDK1.4.2におけるComapction発生要因
http://publib.boulder.ibm.com/infocenter/javasdk/v1r4m2/topic/com.ibm.java.doc.diagnostics.142/html/id1156.html?path=0_5_7_2_5#id1156

※Reason8　transient　heap云々Compactionは　ｚOSのみでAIX/Linux/Win　では発生
しない

kCluster と　pCluster の説明
http://www.ibm.com/developerworks/jp/lotus/library/dm-0802tessarek/index.html#AS_4
http://publib.boulder.ibm.com/infocenter/javasdk/v1r4m2/index.jsp?topic=%2Fcom.ibm.java.doc.diagnostics.142%2Fhtml%2Fpinnedclusters.html
http://www.atmarkit.co.jp/fjava/rensai4/websphere03/websphere03_4.html
http://www-01.ibm.com/support/docview.wss?uid=swg21196072

JDK1.5からはこのkCluster枯渇によるヒープフラグメンテーションは発生しない。

巨大なメモリ要求を確認するには、ALLOCATION_THRESHOLD変数を設定する
（1.3.1SR10?、1.4.2SR4?）
1.5、1.6は別の変数（-Xdumpの設定で行う）
設定すると、少し負荷が上がる。

http://www-01.ibm.com/support/docview.wss?uid=swg21236523

コマンド覚えられないのでメモしとく

ID列の値はinsert毎に更新されていってしまうので、追加しまくるとどんどん
連番がかけ離れてずれてくる。
そこで、loadとimportの間にID値を調整する。調整するのは以下のコマンド

ALTER TABLE テーブル名
ALTER COLUMN 自動生成するカラム名
RESTART WITH 設定したいID値


愚痴
　データの文字列に指数表記っぽい文字があったのを
　なんも考えずにExcelに貼ったら指数と解釈されて酷い目にあったこと
　
　なんも考えずにimportしたらデータ部に改行があり、ズレまくってエラい目にあったこと

気をつけるんやでヽ(`Д´)ﾉ

昔だとexport-drop-create-loadやんね　(´-ω-`)

ALTER TABLEの ALTER COLUMNでこちょこちょやれば出来てしまう。
こういう便利なのがあるから、テーブル設計がおざなりでもなんとかなってしまい、
結果品質の低下したアプリケーションと形骸化した設計書ができあがり、引き継いだ作業者が
混乱し、さらなるデスマー（以下略

本当は知らなくても問題無いように設計したいね。
でも真田イズムの如く、「こんなこともあろうかと」は大事。

db2 "ALTER TABLE HOGEMASTER ALTER COLUMN HOGENAME SET DATA TYPE VARCHAR(128)"



http://publib.boulder.ibm.com/infocenter/db2luw/v9r5/index.jsp?topic=%2Fcom.ibm.db2.luw.sql.ref.doc%2Fdoc%2Fr0000888.html

db2　ID列を含むものの自動生成させてLoadするには、該当の列にもダミーのデータ
を入れたCSVで。

$ db2 "import from hoge.csv of del modified by identityignore insert into
HOGEMASTER "

こんなん

ID列を無視して、実データで入れるとき（Load用）は

$ db2 "load from tab5.ixf of ixf modified by identityoverride REPLACE into
HOGEMASTER NONRECOVERABLE"

もちろん、そのあとには
$ db2 "set integrity for HOGEMASTER immediate checked"

して、整合性をとらないとだめ。

-jar　オプションて便利じゃないですか、いちいちクラス名とかも
書かなくていいし、パッケージについても説明しなくていいし。

でもね、罠がありましてな。（今回これに気付くまでだいぶかかった(;´Д｀)）

CLASSPATHが効かない。

-cpとかが無効になる。
ｱｯﾊｯﾊ。

一応マニフェストファイルのClass-Path:　エントリに書くことで回避はできるのだが、
そのjarファイルからの相対パスでかかなくてはならず、実行環境に依存してしまう。

いけてねーなぁ･･･。

http://java.sun.com/javase/ja/6/docs/ja/technotes/tools/windows/java.html#-jar

このオプションを使用すると、指定した JAR ファイルがすべてのユーザークラスのソースになり、ユーザークラスパスのほかの設定は無視されます。

まぁ、細々とAccesslogとかnativestd_err.logを分析するのに、
最近はもっぱらpython。
perlはすぐ忘れる。なんでやろな。歳かな。

で、忘れやすいからメモしとく

・２次元配列をワンライナー
C=[[0 for i in range(0,12,1)] for j in range(0,24,1)]

これで、C[24][12]が全部０で初期化されて作成

・時刻文字列をTimeなオブジェクトへ
　time.strptime(文字列,"%H:%M:%S")

フォーマット文字はSimpleTimeFormatとかとほぼ同じ。規格名とかありそうだが。
import time が必要

・UTCからJSTへ
これが面倒だった(;´Д｀)ので、記録しておきたい。
ぅおぅ、ぅおぅ、イッツ！　タイムゾーン！！
一秒ごとにお前を

っていう。すまん。男闘呼組とか今の若い人はわからんわな。

TZを定義して、Classを作ってあーだこーだってやるやり方もあるんだが
面倒すぎる。なんで、ログをちょろちょろっとするものでClassまで作らねばならんのだ。
と、いうことで、JSTだけなら+9すりゃおｋなので

from datetime import datetime,timedelta

datetime.strptime(文字列,'%H:%M:%S') + timedelta(hour=9)

・デリミタを一杯つかって、split

正規表現でおｋ
re.split('[ (=):\./\*]',文字列)

この例は ( = ) : . / * と半角スペースの８文字がデリミタになる。


UTCな時間でデリミタ統一感ゼロなログを分割してGNUplotでグラフ化するだけの
簡単なお仕事です。
（GNUplotだと時間軸のの整形が楽だから、だけだけど）
( ´ー`)ﾌｩｰ...

英語で言えばかっこいいがな。
牛歩戦術というかなんというか。

興味があれば
http://www.computerworld.jp/topics/563/%E3%82%BB%E3%82%AD%E3%83%A5%E3%83%AA%E3%83%86%E3%82%A3%E3%83%BB%E3%83%9E%E3%83%8D%E3%82%B8%E3%83%A1%E3%83%B3%E3%83%88/201426/%E3%82%BB%E3%82%AD%E3%83%A5%E3%83%AA%E3%83%86%E3%82%A3%E7%A0%94%E7%A9%B6%E8%80%85%E3%81%8C%E6%96%B0%E3%81%9F%E3%81%AAHTTP%20DoS%E6%94%BB%E6%92%83%E6%89%8B%E6%B3%95%E3%82%92%E8%80%83%E6%A1%88%E2%80%95%E2%80%95%E6%A4%9C%E7%9F%A5%E3%81%97%E3%81%AB%E3%81%8F%E3%81%84%E7%89%B9%E5%BE%B4%E3%82%82