Gatsby + Netlify + ZapierでRSSリーダーを作る

const striptags = require('striptags');
const axios = require('axios');
const cheerio = require('cheerio');
const crypto = require("crypto");
const Parser = require('rss-parser');
const parser = new Parser({
  headers: {'User-Agent': 'something different'},
});

const INTERNAL_TYPE_BLOG = 'blog';
const INTERNAL_TYPE_BLOG_POST = 'blogPost';


// RSSのような外部リソースを
// GatsbyでGraphQLのデータとして扱うためには
// sorceNodeで処理する
exports.sourceNodes = async ({ actions, createNodeId, store, cache }) => {
  const feeds = [];
  
  // 設定ファイルかなにかしらの方法でRSSのURLを読み込む
  const blogUrls = ['rss-url-1', 'rss-url-2', ];

  for(const blogUrl of blogUrls) {
  
    // rss-parserでRSS情報を取得する
    const feed = await parser.parseURL(blogUrl).then(feed => {

      return {
        ...feed,
        items: feed.items.map(item => ({
          title: item.title,
          excerpt: excerpt(item.content, 120),
          content: item.content,
          pubDate: new Date(item.pubDate).toISOString(),
          link : item.link,
        }))
      }
    });

    feeds.push(feed);
  }


  // ブログごとにノード生成
  feeds
    .map(feed => ({
      title: feed.title,
      description: feed.description,
      link: feed.link,
      lastBuildDate: feed.lastBuildDate,
    }))
    .forEach(b => {
      const contentDigest = crypto.createHash(`md5`)
        .update(JSON.stringify(b))
        .digest('hex');
      
      actions.createNode({
        ...b,
        id: createNodeId(`${INTERNAL_TYPE_BLOG}${b.link}`),
        children: [],
        parent: `__SOURCE__`,
        internal: {
          type: INTERNAL_TYPE_BLOG,
          contentDigest,
        },
      });
    });

  // RSSに加えて、OGPを取得
  const rssPosts = feeds.map(feed => feed.items).reduce((a,b) => [...a, ...b]);
  const rssPostsWithImageUrl = [];
  // Promise.allでやると503になるのでfor文を使う
  for (const p of rssPosts) {
    const pWithImageUrl = await axios.get(p.link, {
      headers: {'User-Agent': 'something different'},
    }).then(res => {

      // 取得したHTMLからOGPを取得
      const $ = cheerio.load(res.data)
      let imageUrl;
      $('head meta').each((i, el) => {
        const property = $(el).attr('property')
        const content = $(el).attr('content')
        if (property === 'og:image') {
          imageUrl = content
        }
      });

      // 記事情報にOGPのURLを追加
      return {
        ...p,
        imageUrl,
      };
    });

    rssPostsWithImageUrl.push(pWithImageUrl);
  }


  // OGP画像のノードを生成
  // 重複を考慮してユニークにしてから処理する
  const imageUrls = _uniq(rssPostsWithImageUrl.filter(p => p.imageUrl).map(p => p.imageUrl));

  await Promise.all(imageUrls.map(async imageUrl => {
    const fileNode = await createRemoteFileNode({
      url: imageUrl,
      cache,
      store,
      createNode: actions.createNode,
      createNodeId: createNodeId,
    });

    await actions.createNodeField({
      node: fileNode,
      name: 'ThumbnailImage',
      value: 'true',
    });
    await actions.createNodeField({
      node: fileNode,
      name: 'link',
      value: imageUrl,
    });

    return fileNode;
  }));


  // ブログ記事ごとのノード生成
  rssPostsWithImageUrl.forEach(p => {
    const contentDigest = crypto.createHash(`md5`)
      .update(JSON.stringify(p))
      .digest('hex');
    
    const excerpt = 
    actions.createNode({
      ...p,
      id: createNodeId(`${INTERNAL_TYPE_BLOG_POST}${p.link}`),
      children: [],
      parent: `__SOURCE__`,
      internal: {
        type: INTERNAL_TYPE_BLOG_POST,
        contentDigest,
      },
    });
  });
};


// 記事要約は記事本文から抽出
function excerpt(html, maxLength) {
  const rowText = striptags(html, '<pre>')
    .replace(/<pre[\s\S]+?>[\s\S]+?<\/pre>/g, '')
    .replace(/\n/g, '')
    .replace(/ /g, '')
    .trim();
  return rowText.length >= maxLength
    ? rowText.substring(0, maxLength) + '...'
    : rowText;
}