sudo apt install -y ruby-foreman

foreman run python my_script.py

import mechanicalsoup

browser = mechanicalsoup.StatefulBrowser()  # StatefulBrowserオブジェクトを作成する。
browser.open('https://www.google.co.jp/')  # open()メソッドでGoogleのトップページを開く。

# 検索語を入力して送信する。
browser.select_form('form[action="/search"]')  # 検索フォームを選択する。
browser['q'] = 'Python'  # 選択したフォームにある name="q" の入力ボックスに検索語を入力する。
browser.submit_selected()  # 選択したフォームを送信する。

# 検索結果のタイトルとURLを抽出して表示する。
page = browser.get_current_page()  # 現在のページのBeautifulSoupオブジェクトを取得する。
for a in page.select('a > h3'):  # select()でCSSセレクターにマッチする要素（Tagオブジェクト）のリストを取得する。
    print(a.text)
    print(browser.absolute_url(a.get('href')))  # リンクのURLを絶対URLに変換して表示する。

Before: ul.topicsList_main a::attr("href")
After: section.topics a::attr("href")

タイトル
    Before: .tpcNews_title::text
    After: [data-ual-view-type="digest"] > a > p::text
本文
    Before: .tpcNews_summary
    After: [data-ual-view-type="digest"] > p

# サイトマップインデックスからたどるサイトマップURLの正規表現のリスト。
# このリストの正規表現にマッチするURLのサイトマップのみをたどる。
# sitemap_followを指定しない場合は、すべてのサイトマップをたどる。
sitemap_follow = [
    r'prod-ja-JP',  # 日本語の製品のサイトマップのみたどる。
]
# サイトマップに含まれるURLを処理するコールバック関数を指定するルールのリスト。
# ルールは (正規表現, 正規表現にマッチするURLを処理するコールバック関数) という2要素のタプルで指定する。
# sitemap_rulesを指定しない場合はすべてのURLのコールバック関数はparseメソッドとなる。
sitemap_rules = [
    (r'/jp/ja/p/', 'parse_product'),  # 製品ページをparse_productで処理する。
]

def parse_product(self, response):
    # 製品ページから製品の情報を抜き出す。
    yield {
        'url': response.url,  # URL
        'name': response.css('.range-revamp-header-section__title--big::text').get().strip(),  # 名前
        'type': response.css('.range-revamp-header-section__description-text::text').get().strip(),  # 種類
        'price': response.css('.range-revamp-price__integer::text').get().strip(), # 価格（通貨は無し）
    }

# GitHub REST API v3で、Requestsのリポジトリ情報をJSON形式で取得する。
>>> r = requests.get('https://api.github.com/repos/psf/requests')
>>> r.json()
{'id': 1362490, 'node_id': 'MDEwOlJlcG9zaXRvcnkxMzYyNDkw', 'name':
'requests', 'full_name': 'psf/requests', 'private': False, ...

$ wget https://github.com/attardi/wikiextractor/raw/3162bb6/WikiExtractor.py

chromedriver.exe --port=4444 --whitelisted-ips=10.0.2.2

https://stocks.finance.yahoo.co.jp/stocks/detail/?code=8411
https://www.amazon.co.jp/dp/B00QJDQM9U
https://twitter.com/TwitterJP/status/1017144330211880960
http://www.itmedia.co.jp/news/articles/1807/26/news115.html

>>> h1.text  # text属性で要素のテキストを取得できる。
'今日のくだもの'