トップページ > 辞書関連 > wikipedia-fpw

wikipedia-fpw

ウィキペディア日本語版のダンプデータを、FreePWINGを利用してJIS X 4081形式に変換するツールです。

• 筆者は基本的にWindows上でしか使っていない為、情報は偏っています。
• 質問等ありましたら掲示板までどうぞ。
• 古いファイル等はこちらにあります。

wikipedia-fpw

ウィキペディア日本語版のダンプデータをFreePWINGを利用してJIS X 4081形式に変換するツールです。 オフラインでウィキペディアを参照したい場合に使えます。 ただし、画像とか表には全く対応していないので、そういうものも参照したい場合はオンラインになるなりローカルにウィキペディアのコピーを構築した方がよいと思います。

for your download

wikipedia-fpw-20091202-src.tar.gz

インストール

このツール自体は任意のディレクトリに展開するだけです。 ただし、FreePWINGの導入以外に以下の要件を満たす必要があります。

Perlが5.8以降であること。

Perlが64ビットintとlarge fileをサポートしていること。

これは2GBを超えるサイズのHONMONファイルを作成する為の要件ですが、現在ダウンロードできる最新のダンプデータからそのまま書籍を作成するとHONMONファイルが2GBを超えるので必要になります。

perl -V等で、Compile-time optionsにUSE_64_BIT_INTとUSE_LARGE_FILESが存在している事を確認してください。

また、FreePWINGは1.6以降を使用する事をおすすめします。 古いFreePWINGでの動作は確認していません。

それなりのHDD容量

相互参照つきで作成した場合、HONMONファイルを作成するのに(ダンプデータ分も含めて)6.5GBくらい必要になります。 パッケージを作成する場合は一時的に9GB弱くらい必要そうです。 (2007年11月現在)

それなりの時間

Core 2 Duo T7200 (2GHz)搭載のノートPCで4時間弱くらいかかりました(2007年11月現在)。 ただし、VMware上での動作のうえに別の作業をしながらだったので実際にはもうちょっと速くできるかもしれません。

変換準備

ダンプデータの準備

ダウンロードサイトからダンプデータをダウンロードします。 ダウンロードするファイルはjawiki-latest-pages-articles.xml.bz2、あるいはjawiki-yyyymmdd-pages-articles.xml.bz2のような名前のファイルです。

ダンプデータは伸長した状態で、ツールのあるディレクトリにwikipedia.xmlという名前で置いてください。

wikipedia-fpw.confの修正

FreePWING 1.5以降を利用していない場合は

  'trim_long_index' => 0,

となっている部分を

  'trim_long_index' => 1,

と変更してください。ただし、動作は未確認です。 また、相互参照を使用しない場合は

  'enable_reference' => 1,

となっている部分を

  'enable_reference' => 0,

のように変更してください。 この値を2にすると同一項目内にある、参照先が重複した相互参照を無効にできます。

数式を収録しない場合は'enable_math'を0に変更してください。 数式の収録には、インライン画像の登録に対応したFreePWING 1.6以降とmimeTeX及びImage::Magickモジュールが必要になります。 数式を収録する場合は、ファイルのコメントを参照の上、'mimetex'と'math_black'の値も設定して下さい。 ただし、Cygwin 環境では子プロセスの起動に時間がかかるようで、ものすごく時間がかかります。数式の収録を行う場合は他の環境を用意することをおすすめします。

読みがなの収録を試みない場合は'yomigana'を0に変更してください。 デフォルトでは本文テキストから類推した見出し語の読みがなをインデックスに登録します。 この機能は2ちゃんねるにて開発されたものを取り込ませて頂きました。

@skip_headings, @skip_contents, @select_headings, @select_contentsを編集することで、書籍に収録する項目の取捨選択が(一応)行えます。 ソースのコメントを参照してください。

その他の項目はどちらかというとデバッグ用です。 コメントを見てわかる人はいじってみてください。

変換

通常のFreePWINGを利用したツールと同様です。

$fpwmake

で辞書が生成されます。 この時、

Complex regular subexpression recursion limit (32766) exceeded at 
fpwwikipedia line 219, <GEN11> line 4959960.

のような表示が出るかもしれませんが気にしないでください。

また、parserやpreparserがOut of memoryで止まる場合はDB_Fileモジュールをインストールしたうえで

$fpwmae HASH_MOD=BDB

として辞書を作成してください。fpwlinkがOut of memoryで止まる場合は

$fpwmae FPWLINKMOD=BDB

としてください。 (FreePWING 1.6以降が必要です。)

パッケージを作る場合は

$fpwmake package

等のようにします。 packageの部分をpackage-tar-gzやpackage-tar-bz2に変えれば、それぞれに応じたファイル形式でパッケージが作られます。

制限・不具合

画像・音声・表には未対応

仕様です。

JIS X 4081の書籍に収録できない文字には未対応

仕様です。 ただし、tablesファイルを書き換えることで、特定の文字列を収録可能な文字列に変換する事は可能です。

予想外の書式に弱い(かも)

試行錯誤である程度は対応したつもりですが、予期せぬ書式に出くわしたときはエラーで止まるかもしれません。 というか、正しく書かれたものでも止まるかもしれません。

Cygwinのperlでfpwwikipediaを実行するとperlが落ちる(ことがある)

テキストの内容によってはCygwinのperlが落ちます。 相互参照が有効になっている時に、別名を持つリンクの閉じ括弧がないと落ちることがあるようです。 今のところは動かなくなる部分にworkaroundを入れて対応しています。 また、閉じ括弧がないのはMediaWikiの書式としても正しくはないので、見つけたものについてはWikipediaのページにも反映させています。 ですので、新しいダンプデータではこのworkaroundは不要になっているかも知れません。

workaroundは変換速度の低下につながるので古くなった分に関してはコメントアウトしていく予定です。 つまり、ダンプデータが新しすぎたり古すぎたりする場合はうまく動作しないことがあります。 それから、筆者はCygwinのperlでの動作確認は基本的にはしていないので、動作しなくなっていても気づかない事があります。 動かなくなっている場合は、いつのダンプデータの、どの項目で落ちるかお知らせいただければ対処できるかもしれません。

上記のような説明はどうでもよくてとにかくCygwinのperlで変換したい場合は相互参照を無効にして下さい。

表示されない・表示がおかしい数式がある

ウィキペディアでは数式の表示にtexvcを使用していますがwikipedia-fpwではmimeTeXを使用しています。 その為、一部にmimeTeXではレンダリングできない数式があるようです。

その他

ツールのライセンスはGPL v2に従って下さい。 作成された書籍のライセンスはGFDLに従います。

更新履歴

written by Kazuhiro Ito (mailto: )