文献の重複削除

精治寮病院　阪野正大尼崎総合医療センター　 Hospital Care Research Unit

片岡裕貴　辻本啓京都大学大学院　辻本康

複数のデータベースで検索してたくさん見つかった

2

同じ？違う？

Reference manager での重複削除は若干怪しい

3

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4613377/

なので

Excel を使ってfalse positive のない重複削除を！

4

5

今日の目標

• 重複文献の削除と、分割作業ができる

1. Mendeley や Endnote に入っている各文献を BibTex でエクスポート

文献リスト（ Medline や Embase などのデータベースごとに作成）を BibTex 形式でエクスポート

6

Mendeley の例

7

File→Export→ ファイルの種類 :BibTeX を選択→保存

文献を１つ選択→Ctrl + A(Macintosh では

command+A)ですべての文献を選択

Endnote の例

8

File→Export→ ファイルの種類 :Text File 、 Output style: BibTex Export Copy(BibTex Export の設定を変更し、 abstract が出力されるようにし、 BibTex Export Copy という新しい Output style を作成する : 詳細は後述 ) を選択、 Export Selected References にチェックを入れる→保存

Edit→Output Styles→Open Style Manger として BibTex Exportにチェックを入れ、マウスで選択→ Edit→Bibliography 直下の Templates において、各 reference type のテンプレートに” | `abstract = `{Abstract},q” を追加→ File→Save as→Style Name:BibTex Export Copy と入力→ Save※ コメントに補足あり

文献を１つ選択→ Ctrl + A(Macintosh ではcommand+A) ですべての文献を選択

2. JabRef を用いて csv ファイルに変換

・ http://www.jabref.org/からJabRef (free software) をダウンロード

9

JabRef の例

10

↑ 文献を１つ選択し、 Ctrl+A(Macintosh では

command+A) ですべての文献を選択→ File→Export→File name: 任意の

ファイル名、 Files of type:Open Office/LibreOffice CSV を選択

→ Save

File→Open database→BibTex ファイルを選択し Openで文献リストをインポート

3.CSV ファイルを Excel で開いて、全部統合

・各 CSV ファイル（ Medline や Embase などのデータベースごとの書誌情報のファイル）を Excelで開く

・１つのセルに含まれる内容 (journal 名、 abstract) が、横方向に複数のセルに分割されて表示される場合→ contaminate 関数を用いて内容を１つのセルに表示→分割された表示の箇所を消去する

Contaminate 関数の例Abstract が AA2 から CD2 まで分割されて表示されていた場合=CONCATENATE(AA2,AB2,AC2,AD2,AE2,AF2,AG2,AH2,AI2,AJ2,AK2,AL2,AM2,AN2,AO2,AP2,AQ2,AR2,AS2,AT2,AU2,AV2,AW2,AX2,AY2,AZ2,BA2,BB2,BC2,BD2,BE2,BF2,BG2,BH2,BI2,BJ2,BK2,BL2,BM2,BN2,BO2,BP2,BQ2,BR2,BS2,BT2,BU2,BV2,BW2,BX2,BY2,BZ2,CA2,CB2,CC2,CD2)

11

3.CSV ファイルを Excel で開いて、全部統合

あとは、コピーアンドペーストで1 つの Excel ファイル (excel ブック :xlsx) に統合する

12

4. タイトルを並び替えて確認し、 [ 等の不要な記号を削除

・ 1 つのセルを選択し、 Ctrl+A(Macintosh ではcommand+A) ですべてのセルを選択

13

「データ」リボンの「並べ替え」ボタン

先頭行をデータの見出しとして使用するにチェック

最優先されるキー :Title→OK

Excel の例

14

Ctrl+H(Macintosh では command+H) で置換の入力フォームを表示

→ 検索する文字列に” [“ を入力→次を検索→” [“ の記載を一つ一つ確認し、不要であると判断できる箇所について置換を選択→次を検索と置換を繰り返す→” ]” についても同様

に置換によって削除

5. 雑誌名かつ論文タイトルが同じものを自動削除

・https://www.microsoft.com/ja-jp/atlife/tips/archive/office/tips/002.aspx　を参照し、雑誌名かつ論文タイトルが同じものを自動削除・データ→重複の削除→先頭行をデータの見出しとして使用するにチェック→ Titleと Journal にチェック→ OK

15

重複の自動削除の例 116

重複の自動削除の例 217

6. 手動での削除

・タイトル・ジャーナル名の大文字、小文字の表記の違い、同じジャーナル名の異なった表記などから同一の文献と推定でき、author とページ数が一致したものを削除・バックアップを取りながら、データを 1つ 1 つ確認して削除

18

7. 再度 CSV にして、 Rayyan にアップロード

・ xlsx ファイルからコピーアンドペーストで、100 件 ( スクリーニング基準確認作業用 ) のcsv ファイルを 1 つ作成・残りの文献については 500 件ごとに 1 つのcsv ファイルを作成・ Rayyan に、ファイル名と同じ名前のフォルダをファイル数分、作成・作成した各 CSV ファイルを Rayyan のフォルダにアップロード（ 1 つのフォルダに1 つの csv ファイルをアップロード）

19

Rayyan に csv ファイルがアップロードできない場合

・エクセルにて、 CSV ファイルの改行を削除した後、再度アップロードする

・ 該当する CSV ファイルを開く→ Ctrl+H(Macintosh では command+H) で置換の入力フォームを表示させる→検索する文字列のテキスト入力欄を選択し、 Ctrl+J(Macintosh ではcommand+J)→ 何も入力されない→すべて置換を選択→ CSV ファイルを上書き保存し、一旦 CSV ファイルを閉じる→エクセルで再度 CSV ファイルを開くと改行が削除されている

20