Puppeteer wywala server node po paru sekundach

Question

Witam. Otóż męczę się trochę z działaniem Puppeteera po stronie servera. Postawiłem prosty server node.js po stronie którego miałbym uruchamiać Puppeteera, jednak integracja nie przeszła po mojej myśli:

Uncaught ProtocolError ProtocolError: Protocol error (Page.navigate): Invalid parameters Failed to deserialize params.url - BINDINGS: mandatory field missing at position 50
    at <anonymous> (file:///C:/marcin/Projects/gsCChekker/node_modules/puppeteer-core/lib/cjs/puppeteer/common/Connection.js:329:24)
    at send (file:///C:/marcin/Projects/gsCChekker/node_modules/puppeteer-core/lib/cjs/puppeteer/common/Connection.js:325:16)
    at navigate (file:///C:/marcin/Projects/gsCChekker/node_modules/puppeteer-core/lib/cjs/puppeteer/common/Frame.js:229:47)
    at goto (file:///C:/marcin/Projects/gsCChekker/node_modules/puppeteer-core/lib/cjs/puppeteer/common/Frame.js:207:13)
    at goto (file:///C:/marcin/Projects/gsCChekker/node_modules/puppeteer-core/lib/cjs/puppeteer/common/Page.js:440:91)
    at module.exports (file:///C:/marcin/Projects/gsCChekker/gsCChekker.js:5:16)
    at processTicksAndRejections (node:internal/process/task_queues:95:5)

Błąd pojawia się parę sekund po odpaleniu w przeglądarce i przez te parę sekund skrypt Puppeteera działa normalnie i wynik otrzymam taki jaki powinienem, o ile się zmieszczę w tych paru sekundach, nim wyskoczy powyższy błąd.

server.js wygląda następująco:

const http = require('http');
const port = process.env.PORT || 5000;  
const path = require('path');
const fs = require('fs');
const url = require('url');
const indexPath = path.join(__dirname, '/index.html');

http.createServer(async (req, res) => {
    res.writeHead(200, {'Content-Type': 'text/html'});
    
    if(req.url === '/' && req.method === 'GET') {
        res.end(fs.readFileSync(indexPath));
    } else {
        const query = url.parse(req.url, true).query;
        const json = JSON.stringify(query);
        const u = JSON.parse(json).url;
        const gs = require('./gsCChekker.js');
              gs(u).then(resolve => {
                      if(resolve)   {
                        res.end('This site has Google Search Console Tool');
                      } else {
                        res.end('This site probably has not Google Search Console Tool');
                      }
              });
    }
    
}).listen(port, () => {
    console.log(`Listening on Port: ${port}`);
});

Natomiast skrypt Puppeteera wygląda tak:

module.exports = async function(url) {
    const puppeteer = require('puppeteer');
    const browser = await puppeteer.launch();
    const page = await browser.newPage();
    await page.goto(url, {waitUntil: 'domcontentloaded'});
    const GSC = await page.$("meta[name='google-site-verification']");
    const isGSC = (GSC === null) ? false : true;
    page.close();
    browser.close();
 
    return Promise.resolve(isGSC);
}

 

No i działa dobrze, przez pierwsze dwie czy trzy sekundy po odpaleniu servera, ale po każdym odświeżeniu strony (czy to endpoint '/', czy to każdy inny pod else) wyskakuje powyższy błąd. Odkryłem, że to głównie ten kawałek kodu go powoduje:

gs(u).then(resolve => {
               if(resolve)   {
                        res.end('This site has Google Search Console Tool');
               } else {
                        res.end('This site probably has not Google Search Console Tool');
               }
 });

Wie ktoś może, dlaczego ? 

Co to za błąd, no i jak to naprawić ??

Bo mnie już skończyły się pomysły. Przeczesałem google i nie znalazłem odpowiedzi na mój problem (możliwe, że niezbyt dokładnie szukałem)

Comments

Możesz pokazać co jest w zmiennej url wewnątrz eksportowanej funkcji (tam, gdzie używasz Puppeteer'a)?

---

Kurde, po przesiadce z Windowsa do Ubuntu (versja node jest ta sama), nagle przestało działać całkowicie wywalając mnie ten błąd:

node:internal/modules/cjs/loader:1042
  throw err;
  ^

Error: Cannot find module '/home/marcin/Pulpit/Projects/gsCChekker/server.js'
    at Module._resolveFilename (node:internal/modules/cjs/loader:1039:15)
    at Module._load (node:internal/modules/cjs/loader:885:27)
    at Function.executeUserEntryPoint [as runMain] (node:internal/modules/run_main:82:12)
    at node:internal/main/run_main_module:23:47 {
  code: 'MODULE_NOT_FOUND',
  requireStack: []
}

Node.js v19.2.0

Serio, podziwiam Was, że macie do tego taką cierpliwość...

 

Przez to chwilowo nie mogę odpowiedzieć na powyższe pytanie. Choć do tej exportowanej funkcji przekazywałem odpowiednio spreparowany URL, taki jak podał użytkownik. Ale to dopiero po requeście, bazowo breakpoint '/' miał wyświetlać tylko stronę z formularzem.

 

---

Czy po przesiadce reinstalowałeś paczki (usunięcie folderu node_modules i wykonanie npm install od nowa)?

---

Nie zrobiłem tego. Zaraz to zrobię i zdam relację.

 

Edit:

Nadal ten sam błąd wyskakuje

---

Jak uruchamiasz swój skrypt?

---

Skrypt uruchamiałem przy pomocy Javascript Debug Terminal  wbudowanego w Visual Studio Code:

 

Ale potem zdałem sobie sprawę z tego, iż powinienem spróbować jeszcze w Terminalu Ubuntu i o dziwo, zadziałało, przez pierwsze parę sekund, potem pojawia się błąd z początku tematu, ale udało mnie się wyświetlić to, co dostaje Puppeteer, Uruchamia się zatem ten kod z pliku server.js:

const query = url.parse(req.url, true).query;
        const json = JSON.stringify(query);
        const u = JSON.parse(json).url;
        const gs = require('./gsCChekker.js');
              gs(u).then(resolve => {
                      if(resolve)   {
                        res.end('This site has Google Search Console Tool');
                      } else {
                        res.end('This site probably has not Google Search Console Tool');
                      }
              });

Blok kodu else dla endpointów różnych niż "/".

Dodałem więc prosty console.log w funkcji z Puppeteerem:

module.exports = async function(url) {
    const puppeteer = require('puppeteer');
    const browser = await puppeteer.launch();
    const page = await browser.newPage();
    console.log(url);
    await page.goto(url, {waitUntil: 'domcontentloaded'});
    const GSC = await page.$("meta[name='google-site-verification']");
    const isGSC = (GSC === null) ? false : true;
    page.close();
    browser.close();
 
    return Promise.resolve(isGSC);
}

No i wynik działania powyższych daje następujące rezultaty:

Natomiast Terminal wypluwa mi to:

A zatem skrypt zdążył się wykonać, nim się wykrzaczył, ale console.log z exportowanej funkcji zwrócił poprawnie przetworzony link, taki jaki powinien dostać. Natomiast funkcja ta zwróciła false ponieważ te forum prawdopodobnie nie posiada meta tagu, który mnie interesuje ;p

Answer 1

Po długich poszukiwaniach odkryłem, że błąd ten był z jakiegoś powodu rzucany przez 

page.close();

 

Zajrzałem do kodu w Page.js

Z linijce 789 jak byk jest zwracany promise. Zatem powinienem użyć await:

await page.close();
await browser.close();

Ale z jakiegoś powodu o tym zapomniałem. Przepraszam za zamieszanie i dziękuję za pomoc :)