Mysql+Mroongaで全文検索

MySQL + Mroongaで全文検索
あかやま

自己紹介
 SE会社でSEとして勤務しています。
 主に、お客様の社内、社外ポータルサイトの開発をメインに行っています。
 ３年前より、MySQLを使ったシステム開発をするようになりました。（MySQL5.5～）
それまでは、OracleとかPostgreSQLを使ったシステム開発がメインです。
 MySQLやMroongaのエキスパートではありません。

きっかけ
 あるWEBサイトのリプレイスを担当することになりました。概要は、
• あるコンテンツを大分類、中分類などのジャンル別に登録して利用者へ表示させる。
• フリーワード検索機能も提供したい。当然、ひらがな、かたかな、全角、半角の違いは吸収してほしい。
• データの登録は、サイト運営者のみが行い。利用者からの投稿機能はない。
 ちなみに現行システムは
• データベースは、PostgreSQLを利用。
• フリーワード検索機能も提供しているが、like検索を行っている。
「パズル」で検索しないと、「パズル＆ドラゴンズ」はヒットしない。
検索対象カラムは、画面表示用のカラムとあいうえお順にソートするためふりがなのカラムが存在している。
データ件数は 1000 件程度。今後は、もっと増える予定。

要件にあったものを探しましょう
 フリーワード検索といえば
• Solr が有名なんだけど…
開発経験なし。決められたスケジュール、予算では難しい。
データの移行も大変そう。
 RDBにも全文検索という機能があるよね…
• Oracle … 予算の都合でNG（そもそも現行システムはPostgreSQLだし。）
• PostgreSQL
Senna → サイトが2010年以降更新されている様子もなし。ちょっと不安。
pg_bigram → なんか使えそう。でも、要件にあるひらがな、カタカナ、全角、半角を吸収する方法は？
• MySQL
mroonga → 毎月、リリースがあり活発に活動されている。
collation の設定でひらがな、カタカナ、全角、半角を吸収できる。
MySQL + mroonga を使うことに決定。

Mroonga とは、（http://mroonga.org/ja/ より）
 GroongaをベースとしたMySQLのストレージエンジン
Groonga独自のカラムストアを持つ列指向のデータベース
 Tritonnの後継（MySQLに全文検索ライブラリSennaを組み込んだもの）
 MySQLのプラグインとして動作
MySQL公式バイナリに手を加えずにプラグインとして動的にロードして利用可能
 ２つの動作モードをサポート
ストレージモード
デフォルトモード。データストア、検索機能もすべてGroongaを使うモード。ただし、トランザクションなどの機能は
なし
ラッパーモード
MyISAMやInnoDBに全文検索機能だけを追加するモード。
 形態素解析、N-gram、空白区切りなどのパーサーが用意されている。

さっそく試してみましょう
 環境 ※昨年のことのなので、情報は古いです。
• OSは、CentOS6、 mroonga のバージョンは、3.0.7
• Mroonga のサイトで配布されるパッケージは、MySQLのバージョンは5.1に対応したもののが配布さ
れていました。 5.1はあまりにも古いし、UTF8の4バイト文字に対応していなので MySQL5.6 の組
み合わせでソースからインストールすることに決定。
 インストール
Mroongaのサイトをにあるインストール手順を参照し、必要なものを集めてインストール。
• mecab ・・・形態素解析で必要。
• Groonga ・・・ groongaのサイトのインストール手順を参照。
• MySQL ・・・ cmakeのオプションを確認しながら。英語なので悪戦苦闘。
• Mroonga ・・・ mroongaのサイトのインストール手順を参照。
• Groongaノーマライザー・・・ groongaのサイトのインストール手順を参照。
※MySQL以外はインストール手順書が日本語だったのですんなりできました。 :-p

さっそく試しみましょう
 以下のようなテーブルを作ってみました。（ラッパーモードの場合）
mysql> CREATE TABLE contents (
-> id INT PRIMARY KEY AUTO_INCREMENT,
-> title VARCHAR(255),
-> kana VARCHAR(255),
-> FULLTEXT INDEX (kana) COMMENT 'parser "TokenBigram"'
-> ) ENGINE = mroonga COMMENT = 'engine "innodb"' DEFAULT CHARSET utf8mb4 COLLATE=utf8mb4_unicode_ci;
mysql> INSERT INTO contents (title,kana) VALUES ("牛肉","ぎゅうにく");
mysql> INSERT INTO contents (title,kana) VALUES ("豚肉","ぶたにく");
mysql> INSERT INTO contents (title,kana) VALUES ("牛乳","ぎゅうにゅう");
mysql> INSERT INTO contents (title,kana) VALUES ("筍","たけのこ");
mysql> INSERT INTO contents (title,kana) VALUES ("数の子","かずのこ");
mysql> select * from contents;
+----+--------+--------------------+
| id | title | kana |
+----+--------+--------------------+
| 1 | 牛肉 | ぎゅうにく |
| 2 | 豚肉 | ぶたにく |
| 3 | 牛乳 | ぎゅうにゅう |
+----+--------+--------------------+
コメントでパーサを指定する
ENGINE は mroongaを
COMMENTでMySQLのエンジンを指定する。
COMMENTを指定しなかった場合は、
ストレージモードでテーブルが作成される。

 検索結果
mysql> SELECT * FROM contents WHERE MATCH(kana) AGAINST("ぎゅう");
+----+--------+--------------------+
+----+--------+--------------------+
| 1 | 牛肉 | ぎゅうにく |
| 3 | 牛乳 | ぎゅうにゅう |
+----+--------+--------------------+
2 rows in set (0.02 sec)
mysql>
mysql> SELECT * FROM contents WHERE MATCH(kana) AGAINST("ニク");
+----+--------+-----------------+
+----+--------+-----------------+
| 1 | 牛肉 | ぎゅうにく |
| 2 | 豚肉 | ぶたにく |
+----+--------+-----------------+
• 期待どおりの検索結果がでました。ひらがな、かたかなが同一視されているのは MySQLのCOLLATEの設定が効いているため
です。
• フリーワード検索なので、漢字が入力されることもあります。その場合の対応として mecab で漢字→かな変換をしています

 と思ったのですが。。。
mysql> SELECT * FROM contents WHERE MATCH(kana) AGAINST("タケノコ");
+----+-----------+--------------+
+----+-----------+--------------+
| 4 | 筍 | たけのこ |
| 5 | 数の子 | かずのこ |
+----+-----------+--------------+
• MySQLのリファレンスマニュアルでブール全文検索を参照。
（英語はしんどいので、5.6のマニュアルと5.1の日本語のマニュアルを並べてみる。）
mysql> SELECT * FROM contents WHERE MATCH(kana) AGAINST("タケノコ" IN BOOLEAN MODE);
+----+-------+--------------+
+----+-------+--------------+
| 4 | 筍 | たけのこ |
+----+-------+--------------+
 trigram にしたら、「かずのこ」はヒットしなくなりましたが。じゃ「きゅうり」と「ぎゅうにく」は？

感想
はじめて使った見たのですが、インストールからＤＢの構築までは、はまることなくできました。
また、MySQLのプラグインとして動作するものなので、だめだったら使わなければいいという
気持ちで使い始めました。
利用するシーンとしては、今まで like検索していたもの、（商品名、人名）で遅いといわれた場合に
導入してみるのもいいかなぁと思います。
ただ、実際のシステムは、ここでご紹介したような単純なものではなかったので、ノイズが多くて
こまりました。（検索結果として出てほしくないものがでたり、でてほしいものがでないなど）
日本語って難しいですね。
その時も、ここでは紹介していないパーサーをつかってみたり、Groongaのトークナイザを使ったり
して乗り切ることができました。（細かいところまで手がとどく）

参考サイト、ツール紹介
 ツール
• MySQL Workbench ( http://dev.mysql.com/downloads/tools/workbench/ )
何かと便利。ちょっと重いかな？
• A5:SQL Mk-2 ( http://www.wind.sannet.ne.jp/m_matsu/developer/a5m2/ )
ER図の作成だけではなく、ER図のリバース生成ができます。
今回は、旧システムのデータベースの構成を確認するために、大活躍しました。
 参考サイト
• gihyo.jp ( http://gihyo.jp/dev/clip/01/groonga/0001 )
2013年4月～2013年9月連載記事がありました。
• Qiita ( http://qiita.com/tags/mroonga )

Mysql+Mroongaで全文検索

More Related Content

What's hot (19)

Viewers also liked (16)

Similar to Mysql+Mroongaで全文検索 (14)

More from yoyamasaki (19)

Mysql+Mroongaで全文検索