Connpass APIでサムネイル付きのイベント情報を取得する方法

// 時間計算などの処理は日本のタイムゾーンで行う
const TIME_ZONE_FOR_CONNPASS_API = 'Asia/Tokyo';
const YEAR_MONTH_FORMAT_FOR_CONNPASS_API = 'YYYYMM';
const { startOfMonth, addMonths, format } = require('date-fns');
const { convertToTimeZone } = require('date-fns-timezone');

// Connpass APIの仕様(https://connpass.com/about/api/)に従って
// 最近開催された/されるイベントに絞り込むためのパラメーターを生成する
// 結果は `202001,202002,202003` のような文字列
function paramOfMonthRange(monthRangePast, monthRangeFuture) {
  const targetYearAndMonths = [];
  const startOfCurrentMonth = startOfMonth(convertToTimeZone(new Date(), { timeZone: TIME_ZONE_FOR_CONNPASS_API }));

  for(let i = - monthRangePast; i < monthRangeFuture; i++) {
    const target = addMonths(startOfCurrentMonth, i);
    const targetStr = format(target, YEAR_MONTH_FORMAT_FOR_CONNPASS_API);
    targetYearAndMonths.push(targetStr);
  }

  return targetYearAndMonths.join(',');
}


exports.paramOfMonthRange = paramOfMonthRange;

const axios = require('axios');
const cheerio = require('cheerio');
const { paramOfMonthRange } = require('./param-of-month-range.js')


const BASE_URL = 'https://connpass.com/api/v1/event/';
const DEFAULT_MIN_FETCH_COUNT = 1;
const DEFAULT_MAX_FETCH_COUNT = 100;


async function fetchConnpassEventsWithThumbnails({
  eventSeriesIds,
  defaultThumbnailUrl,
  maxFetchCount,
  monthRangePast,
  monthRangeFuture,
}) {
  // 引数チェックは省略

  const eventsList = await Promise.all(eventSeriesIds.map(async series_id => {
    const response = await axios.get(BASE_URL, {
      params: {
        series_id,
        ym: paramOfMonthRange(monthRangePast, monthRangeFuture),
        count: maxFetchCount,
      }
    });

    return attachThumbnailUrl(response.data.events, defaultThumbnailUrl);
  }));

  return eventsList.flat();
}


async function attachThumbnailUrl(events, defaultThumbnailUrl) {
  const eventUrls = events.map(event => event.event_url);
  const thumbnailUrls = await fetchThumbnailUrls(eventUrls);

  // 取得したOGP画像のURLをイベント情報にマージ
  return events.map(event => {
    const  thumbnail_url = thumbnailUrls[event.event_url] || defaultThumbnailUrl;
    return Object.assign({}, event, { thumbnail_url });
  });
}


// スクレイピングでHTMLのheadのmeta情報からOGP画像のURLを取得する
async function fetchThumbnailUrls(eventUrls) {
  const result = {};
  // 503エラー(リクエスト過多)にならないようPromise.allで並列処理はせず、for文で直列で処理する
  for (const url of eventUrls) {
    try {
      const { data: html } = await axios(url);
      const $ = cheerio.load(html);
      const thumbnailUrl = $('meta[property="og:image"]').attr('content');
      if (thumbnailUrl) {
        result[url] = thumbnailUrl;
      } else {
        console.warn(`OGP image cloud not found in the url(${url}).`)
      }
    } catch (e) {
      console.warn(`Fetching(${url}) for getting thumbnail url failed.`, e);
    }
  }

  return result;
}

exports.fetchConnpassEventsWithThumbnails = fetchConnpassEventsWithThumbnails;

module.exports = {
  // 自分が取得したいグループIDのSeriesIDを記載する
  eventSeriesIds: [ '1234',  '5678',],
  // サムネイルがないを考慮して、デフォルトのサムネイル画像のURLを指定する
  defaultThumbnailUrl: 'https://hogehoge.com/default-thumbnaile-url.png',
  maxFetchCount: 100,
  monthRangePast: 3,
  monthRangeFuture: 1,
};

const crypto = require("crypto");
const { fetchConnpassEventsWithThumbnails } = require('fetch-connpass-events-with-thumbnails.js');

const INTERNAL_TYPE = 'connpassEvent';
const DEFAULT_MAX_FETCH_COUNT = 100;
const DEFAULT_MIN_FETCH_COUNT = 1;


// 指定したイベントグループ(eventSeriesIds)のイベントをサムネイル付きで取得する
exports.sourceNodes = async (
  { actions, createNodeId },
  // Plugin options
  { 
    eventSeriesIds,
    defaultThumbnailUrl,
    maxFetchCount,
    monthRangePast,
    monthRangeFuture,
  }
) => {

  // 引数チェックは省略

  const events = await fetchConnpassEventsWithThumbnails({
    eventSeriesIds,
    defaultThumbnailUrl,
    maxFetchCount,
    monthRangePast,
    monthRangeFuture,
  })


  // Connpassイベント情報をNodeに追加して、
  // コンポーネントからGraphQLのクエリで取得できるようにする
  events.forEach(event => {
    const contentDigest =
      crypto.createHash(`md5`)
            .update(JSON.stringify(event))
            .digest('hex');

    actions.createNode({
      ...event,
      thumbnail_url: event.thumbnail_url,
      id: createNodeId(`${INTERNAL_TYPE}${event.event_id}`),
      children: [],
      parent: `__SOURCE__`,
      internal: {
        type: INTERNAL_TYPE,
        contentDigest,
      },
    });
  });
};