データ・公的統計
Open Science Framework
osf.io
データ・公的統計free
研究者が事前登録やプレプリント、プロジェクトファイルを公開する場所。発表論文には載っていない資料やデータがプロジェクトページに残っていることが多い。
OSF is where a lot of empirical researchers post the material a published paper doesn't include: preregistrations, raw data, analysis code, sometimes drafts that never got published. A notebook checking whether a study's results match what was originally planned benefits from pulling the preregistration alongside the paper. Not every project is public, and quality varies since anyone can host a project there, published or not.
Gemini Notebook に取り込む
- 1上のリンク(またはサイト内の特定のページ)をコピーします。
- 2ノートブックで「ソースを追加」→「ウェブサイト」をクリックします。
- 3リンクを貼り付けて確定します。複数のリンクは1行に1件ずつ、まとめて貼り付けられます。
Gemini Notebookは読解のためのツールであり、表計算エンジンではありません。生のCSVではなく、文章でまとめられたレポートやサマリーページを取り込み、その内容について質問しましょう。
データ・公的統計の他のソース
- World Bank Open Data各国の開発・経済指標をまとめたデータ集。それぞれに解説ページが付いており、そのまま取り込みやすい。
- IMF Data & Reportsマクロ経済見通しと各国レポートを掲載。特に4条協議のPDFは内容が濃く、引用しやすいソース資料になる。
- OECD Data加盟国間の統計比較と政策レポート。手法の説明が丁寧なのも特徴。
- SEC EDGAR米国上場企業のすべての開示書類を検索できる。10-Kや10-Qは企業研究の裏付けとして申し分ないソースになる。
- Our World in Data世界的なトレンドを出典付きで丁寧に解説する読み物。記事ページは文脈込みでそのまま取り込める。
- Baseball SavantMLBのStatcastデータ。投球トラッキングや打球速度、選手ページなど。検索結果をCSVで書き出し、アップロードすれば統計に基づくノートブックが作れる。
- Baseball-Reference1800年代までさかのぼるMLBの全記録。成績、ボックススコア、順位表まで揃う。選手・シーズンのページはウェブサイトソースとしてきれいに取り込める。
- Basketball-Referenceリーグ創設時までさかのぼるNBA統計で、高度な指標も揃う。選手・チームページはウェブサイトソースとして取り込める。
- Bureau of Transportation Statistics米国の公式運輸統計。貨物、航空、国境通過台数など。表はCSVでダウンロードするか、レポートPDFをそのまま取り込める。
- CLARIN Virtual Language Observatory欧州の研究機関が持つ言語コーパスやツールを探せる検索先。まずここでリソースを見つけ、そのドキュメントやテキストを取り込む流れになる。
- data.europa.euEU加盟国と各機関を横断するオープンデータポータル。データ本体がCSVでも、データセットの説明ページはGemini Notebookに有用な文脈を与えてくれる。
- Data.gov数十万件のデータセットを抱える米国連邦政府のオープンデータカタログ。データセットのランディングページをウェブサイトソースとして取り込めば、そのデータに関する回答の裏付けになる。
- Dryad研究データを整理して公開するオープンリポジトリで、生物学・医学分野が特に厚い。各データセットのランディングページとREADMEに、手法と変数の説明がまとまっている。
- Eurostat経済・人口・社会に関するEUの公式統計。Statistics Explainedの記事が各データセットを解説しており、ウェブサイトソースとしてすっきり取り込める。
- FBrefサッカーの詳細統計サイト。選手・チームの成績表、試合ログ、xGなどの高度な指標も。統計ページはスポーツ分析用のウェブサイトソースとして取り込める。
- Figshare研究者がデータセットや図表、コード、ポスターをDOI付きで公開するリポジトリ。論文の裏にある補足資料を探すのに便利。
- GADM市区町村レベルまでの各国行政境界を無料でダウンロードできる地図データ。GIS作業や空間結合の標準的な参照元。
- Google Dataset Search何千ものリポジトリを横断してデータセットのメタデータを検索できる。生データそのものではなく、元のリポジトリのドキュメントページを見つけて取り込むのに使う。
- IPUMS International100カ国以上のセンサスマイクロデータを、統一した変数体系で再コード化している。登録すれば無料で使え、変数の説明ページが有用なソースになる。
- Kaggle Datasetsあらゆるテーマのコミュニティ投稿データセット。データセットの説明や議論ページを文脈として取り込もう。生データファイル自体はノートブックのソースにはならない。
- Mendeley Data発表済み論文と一緒に預けられた研究データのリポジトリ。すでにノートブックに追加した研究の生データを取り出したいときに便利。
- NCAA Statistics米国大学スポーツのシーズンごとの公式成績データ。統計ページを直接貼るより、表をCSVで書き出してアップロードするほうがいい。
- Statista数万件のテーマにわたる市場・消費者統計をまとめたサイト。無料枠では要約グラフしか見られないので、各グラフが引用する一次情報源を必ず確認しよう。
- U.S. Census Bureau米国の人口・住宅・事業に関する統計表を検索できる。表を書き出すか、トピック解説ページを取り込めば、人口や市場規模に関する質問の裏付けになる。
- UCI ML Repository機械学習のベンチマーク用データセットを長年蓄積してきたアーカイブ。各データセットページには変数と出典の説明があるので、生のCSVではなくそのページを取り込もう。
- UN Data国連の各機関にまたがる統計を一つの検索窓でまとめて探せる。人口・保健・貿易・開発など、国別データを調べる出発点として手軽。
- UNECE Transport Statistics欧州とその周辺地域の道路・鉄道・内陸水運の統計データ。PXWeb形式の表で提供され、CSVに書き出せる。
- UNESCO Institute for Statisticsほぼ全世界を対象とする教育・科学・文化の公式指標で、SDG進捗の追跡にも使われる。国別の教育比較を裏付けるのに向いている。
- Wolfram Alphaページへのリンクではなく、数学・科学・事実に関する質問にその場で計算して答えてくれる。ソースとして取り込むというより、ファクトチェックの相棒として使うほうが向いている。
- ZenodoCERNが運営する、データセットやソフトウェア、レポートをDOI付きで預けられるリポジトリ。レコードページと添付PDFのどちらも取り込みやすい。