lucene connector framework(lcf)
DESCRIPTION
TRANSCRIPT
LCFLucene Connector
Framework
Copyright (c) 2006-2010 RONDHUIT Co., Ltd. All Rights Reserved.
株式会社 ロンウイットRONDHUIT Co., Ltd. ;Professional Search Engine Consulting Services for Lucene/Solr
アッタチョー トウンポンATTACHOT Tuangphon
Contents1. Abstract2. Introduction to LCF3. Existing Connectors and
Authorities4. Key Points5. Why LCF6. Contribution
Copyright (c) 2006-2010 RONDHUIT Co., Ltd. All Rights Reserved.
Abstract
Connector Framework は、 5 年近くMetaCarta Search Appliance として開発され、使われてきた
開発担当者は、 Karl Wright 2010 年 1 月 12 日に Lucene Connector
Framework としてリリースされた LCF は Incubator プロジェクトを通して、
公式に Apache Software Foundation の一つのプロジェクトとして活動を行う
Copyright (c) 2006-2010 RONDHUIT Co., Ltd. All Rights Reserved.
( 参考 )Apache Incubator
Incubator プロジェクトとは、外部企業や既存の外部プロジェクト
が Apache Software Foundation の一部として活動を展開していく為の入口である。
外部プロジェクトApache Software
Foundation
Incubator
Solr
（参考） Incubator の役割
Apache Software Foundation のやり方に沿った新しいコミュニティを開発していくという役割
すべての寄贈が Apache Software Foundation の法的基準に従っていることを保証するという役割
Solr でも Incubator を通して Apache Software Foundation に入った。
Introduction to LCF
Connector Framework とは 企業のレポジトリーに置かれたデー
タに アクセスする Search Engine/ 他のツー
ルの為のフレームワークである
Copyright (c) 2006-2010 RONDHUIT Co., Ltd. All Rights Reserved.
企業のレポジトリー
LCF
Lucene/Tools
Introduction to LCF
ConnectorFramework
Interface
Interface
Interface
フレームワークに問題を抽象化することにより、アプリケーションは、明確なインタフェースのセットにコード化することができる
Copyright (c) 2006-2010 RONDHUIT Co., Ltd. All Rights Reserved.
Application
Repo
Repo
Repo
Application
Repo Repo Repo
Introduction to LCF
Connector Framework とは 拡張可能な増分クローラーであり、
構成とクロール履歴を管理する為にデータベースを使用する
インデクシングを目的として、複数のレポジトリーにアクセスできる
Copyright (c) 2006-2010 RONDHUIT Co., Ltd. All Rights Reserved.
企業のレポジトリー
LCF
Introduction to LCF
Connector Framework とは さらに、ユーザーのアイデンティ
ティに基づいたレポジトリーコンテンツにユーザーの検索アクセスを制限できるようにレポジトリーごとのセキュリティモデルを確立する
Copyright (c) 2006-2010 RONDHUIT Co., Ltd. All Rights Reserved.
Repo1
Repo2
セキュリティモデル
セキュリティモデル
LCF
Index
Repos
User1
User2
Repo1
○ ○
Repo2
○ ×
Existing Connectors & Authorities
File system Windows shares JDBC-supported databases RSS feeds General websites LiveLink (From OpenText)
Connector Framework は 多くのシステムの為に Connectors とAuthorities をサポートしている。
Copyright (c) 2006-2010 RONDHUIT Co., Ltd. All Rights Reserved.
Existing Connectors & Authorities
Documentum (From EMC) SharePoint (From Microsoft) Meridio (From Meridio) Memex (From Memex) FileNet (From IBM)
Copyright (c) 2006-2010 RONDHUIT Co., Ltd. All Rights Reserved.
Connector Framework は 多くのシステムの為に Connectors とAuthorities をサポートしている。
Key Points
拡張性 新しいレポジトリーに新しい Connector
が追加できる機能
レポジトリーごとのセキュリティモデルに新しい Authority が追加できる機能
Copyright (c) 2006-2010 RONDHUIT Co., Ltd. All Rights Reserved.
Key Points
増分性 レポジトリーごとの作法において クローラースケジュール間に変更した
物だけを処理する機能
Word
Excel
PowerPoint
Word
Excel
クローラー新しく作った PowerPoint のみを処理する
レポジトリー
Key Points
再起動性 処理中、プロセス中断またはマシン
シャットダウン等が起きても再開できるように、データベースを使用する
セキュリティ Search Engine がレポジトリーのセキュ
リティモデルを継承できるようにするセキュリティトークンのモデルを確立する
Copyright (c) 2006-2010 RONDHUIT Co., Ltd. All Rights Reserved.
Key Points
省メモリ 構成を問わず、限られたプロセスメモ
リーで確実に動作する機能性能
全体の効率を最大化する為のコネクタ用の資源（ HDD,Memory,CPU ）を管理する機能
透明性 全てのクローラーの活動とレポジトリー
接続に関するレポートを生成する機能Copyright (c) 2006-2010 RONDHUIT Co., Ltd. All Rights Reserved.
Why LCF ！
Lucene, Solr, Nutch, Mahout, Tika 等のレポジ
トリーに接続することが 簡単
オープンソース化することにより、 1. ソフトウェアの品質を向上させる 2. 維持する為のコストを減らすことができる
Copyright (c) 2006-2010 RONDHUIT Co., Ltd. All Rights Reserved.
LCFは・・・
Contribution
Mailing lists http://incubator.apache.org/connectors/
mail.html
参考サイト http://cwiki.apache.org/confluence/disp
lay/CONNECTORS/HowToContributeCopyright (c) 2006-2010 RONDHUIT Co., Ltd. All Rights Reserved.
詳しくは、ここに参考してください