我用BeautifulSoup和Python解析网页时,无法获取我想要的结果计数。

huangapple go评论93阅读模式
英文:

I am not getting the count of results I want, when i scrape a webpage with BeautifulSoup&Python

问题

I got {{memberVm.disclosures.length}}. I want to get counts of result. It's at the top of the list. For example '34 bildirim bulundu.' I want to get 34, not {{memberVm.disclosures.length}}.

Page:

<https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&cmp=Y&cat=4&s=srp2205201503&st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&slf=ALL>

My Codes:

  1. import requests
  2. from bs4 import BeautifulSoup
  3. URL = 'https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&amp;cmp=Y&amp;cat=4&amp;s=srp2205201503&amp;st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&amp;kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&amp;slf=ALL'
  4. headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"}
  5. page = requests.get(URL, headers=headers)
  6. content = BeautifulSoup(page.content, 'html.parser')
  7. numberOfNotifications = content.find(style="font-weight : bold; ").get_text()
  8. print(numberOfNotifications)

The result I got:

{{memberVm.disclosures.length}}

英文:

When i try to get count of results, i got {{memberVm.disclosures.length}}. I want to get counts of result. It's at the top of the list. For example '34 bildirim bulundu.' I want to get 34, not {{memberVm.disclosures.length}}.

Page:

<https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&cmp=Y&cat=4&s=srp2205201503&st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&slf=ALL>

My Codes:

  1. import requests
  2. from bs4 import BeautifulSoup
  3. URL = &#39;https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&amp;cmp=Y&amp;cat=4&amp;s=srp2205201503&amp;st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&amp;kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&amp;slf=ALL&#39;
  4. headers = {&quot;User-Agent&quot;:&quot;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36&quot;}
  5. page = requests.get(URL, headers = headers)
  6. content = BeautifulSoup(page.content, &#39;html.parser&#39;)
  7. numberOfNotifications = content.find(style=&quot;font-weight : bold; &quot;).get_text()
  8. print(numberOfNotifications)

the result i got:
{{memberVm.disclosures.length}}

答案1

得分: 1

  1. 页面上显示的数据是通过JavaScript从外部URL加载的,所以beautifulsoup看不到它。 但你可以模拟这个请求:
  2. ```py
  3. import requests
  4. import pandas as pd
  5. api_url = 'https://www.kap.org.tr/tr/api/memberDisclosureQuery'
  6. payload = {
  7. "bdkMemberOidList": [],
  8. "bdkReview": "",
  9. "discIndex": [],
  10. "disclosureClass": "",
  11. "fromDate": "",
  12. "fromSrc": "Y",
  13. "inactiveMkkMemberOidList": [],
  14. "index": "",
  15. "isLate": "",
  16. "mainSector": "",
  17. "market": "",
  18. "memberType": None,
  19. "mkkMemberOidList": [],
  20. "prd": "",
  21. "ruleType": "",
  22. "sector": "",
  23. "srcCategory": "4",
  24. "subjectList": [
  25. "srp2205201503" # &lt;-- from the URL &quot;s=&quot; parameter: &quot;https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&amp;cmp=Y&amp;cat=4&amp;s=srp2205201503&amp;st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&amp;kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&amp;slf=ALL"
  26. ],
  27. "subSector": "",
  28. "term": "",
  29. "toDate": "",
  30. "year": ""
  31. }
  32. data = requests.post(api_url, json=payload).json()
  33. df = pd.DataFrame(data)
  34. print(df)
  1. publishDate kapTitle isOldKap disclosureClass disclosureType disclosureCategory summary subject ruleTypeTerm disclosureIndex isLate stockCodes hasMultiLanguageSupport attachmentCount
  2. 0 Dün 17:44 BİRLEŞİM MÜHENDİSLİK ISITMA SOĞUTMA HAVALANDIRMA SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1172706 False BRLSM False 0
  3. 1 Dün 10:30 ASELSAN ELEKTRONİK SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Sözleşme İmzalanması Yeni İş İlişkisi - 1172603 False ASELS True 0
  4. 2 Dün 09:16 BEYAZ FİLO OTO KİRALAMA A.Ş. False ODA ODA ODA DS marka otomobil yetkili satıcılık faaliyetine başlanması Yeni İş İlişkisi - 1172562 False BEYAZ False 0
  5. 3 14.07.23 18:14 GİRİŞİM ELEKTRİK SANAYİ TAAHHÜT VE TİCARET A.Ş. False ODA ODA ODA Yeni Siparişler Alınması Hk. Yeni İş İlişkisi - 1172315 False GESAN True 0
  6. 4 14.07.23 10:27 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1171962 False ASTOR False 0
  7. 5 13.07.23 18:51 ADEL KALEMCİLİK TİCARET VE SANAYİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hakkında Bilgilendirme Yeni İş İlişkisi - 1171685 False ADEL False 0
  8. 6 13.07.23 18:43 CW ENERJİ MÜHENDİSLİK TİCARET VE SANAYİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1171680 False CWENE False 0
  9. 7 13.07.23 14:01 ASELSAN ELEKTRONİK SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Sözleşme İmzalanması Yeni İş İlişkisi - 1171374 False ASELS True 0
  10. 8 12.07.23 18:00 CVK MADEN İŞLETMELERİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1171038 False CVKMD False 0
  11. 9 12.07.23 13:39 GİRİŞİM ELEKTRİK SANAYİ TAAHHÜT VE TİCARET A.Ş. False ODA ODA ODA Yeni İş Anlaşması Yeni İş İlişkisi - 1170830 False GESAN False 0
  12. 10 11.07.23 17:20 HİDROPAR HAREKET KONTROL TEKNOLOJİLERİ MERKEZİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1170457 False HKTM False 0
  13. 11 11.07.23 14:47 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1170397 False ASTOR False 0
  14. 12 11.07.23 14:46 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi
  15. <details>
  16. <summary>英文:</summary>
  17. The data you see on the page is loaded from external URL via javascript, so [tag:beautifulsoup] doesn&#39;t see it. You can however simulate this request:
  18. ```py
  19. import requests
  20. import pandas as pd
  21. api_url = &#39;https://www.kap.org.tr/tr/api/memberDisclosureQuery&#39;
  22. payload = {
  23. &quot;bdkMemberOidList&quot;: [],
  24. &quot;bdkReview&quot;: &quot;&quot;,
  25. &quot;discIndex&quot;: [],
  26. &quot;disclosureClass&quot;: &quot;&quot;,
  27. &quot;fromDate&quot;: &quot;&quot;,
  28. &quot;fromSrc&quot;: &quot;Y&quot;,
  29. &quot;inactiveMkkMemberOidList&quot;: [],
  30. &quot;index&quot;: &quot;&quot;,
  31. &quot;isLate&quot;: &quot;&quot;,
  32. &quot;mainSector&quot;: &quot;&quot;,
  33. &quot;market&quot;: &quot;&quot;,
  34. &quot;memberType&quot;: None,
  35. &quot;mkkMemberOidList&quot;: [],
  36. &quot;prd&quot;: &quot;&quot;,
  37. &quot;ruleType&quot;: &quot;&quot;,
  38. &quot;sector&quot;: &quot;&quot;,
  39. &quot;srcCategory&quot;: &quot;4&quot;,
  40. &quot;subjectList&quot;: [
  41. &quot;srp2205201503&quot; # &lt;-- from the URL &quot;s=&quot; parameter: &quot;https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&amp;cmp=Y&amp;cat=4&amp;s=srp2205201503&amp;st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&amp;kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&amp;slf=ALL&quot;
  42. ],
  43. &quot;subSector&quot;: &quot;&quot;,
  44. &quot;term&quot;: &quot;&quot;,
  45. &quot;toDate&quot;: &quot;&quot;,
  46. &quot;year&quot;: &quot;&quot;
  47. }
  48. data = requests.post(api_url, json=payload).json()
  49. df = pd.DataFrame(data)
  50. print(df)

Prints:

  1. publishDate kapTitle isOldKap disclosureClass disclosureType disclosureCategory summary subject ruleTypeTerm disclosureIndex isLate stockCodes hasMultiLanguageSupport attachmentCount
  2. 0 D&#252;n 17:44 BİRLEŞİM M&#220;HENDİSLİK ISITMA SOĞUTMA HAVALANDIRMA SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1172706 False BRLSM False 0
  3. 1 D&#252;n 10:30 ASELSAN ELEKTRONİK SANAYİ VE TİCARET A.Ş. False ODA ODA ODA S&#246;zleşme İmzalanması Yeni İş İlişkisi - 1172603 False ASELS True 0
  4. 2 D&#252;n 09:16 BEYAZ FİLO OTO KİRALAMA A.Ş. False ODA ODA ODA DS marka otomobil yetkili satıcılık faaliyetine başlanması Yeni İş İlişkisi - 1172562 False BEYAZ False 0
  5. 3 14.07.23 18:14 GİRİŞİM ELEKTRİK SANAYİ TAAHH&#220;T VE TİCARET A.Ş. False ODA ODA ODA Yeni Siparişler Alınması Hk. Yeni İş İlişkisi - 1172315 False GESAN True 0
  6. 4 14.07.23 10:27 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1171962 False ASTOR False 0
  7. 5 13.07.23 18:51 ADEL KALEMCİLİK TİCARET VE SANAYİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hakkında Bilgilendirme Yeni İş İlişkisi - 1171685 False ADEL False 0
  8. 6 13.07.23 18:43 CW ENERJİ M&#220;HENDİSLİK TİCARET VE SANAYİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1171680 False CWENE False 0
  9. 7 13.07.23 14:01 ASELSAN ELEKTRONİK SANAYİ VE TİCARET A.Ş. False ODA ODA ODA S&#246;zleşme İmzalanması Yeni İş İlişkisi - 1171374 False ASELS True 0
  10. 8 12.07.23 18:00 CVK MADEN İŞLETMELERİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1171038 False CVKMD False 0
  11. 9 12.07.23 13:39 GİRİŞİM ELEKTRİK SANAYİ TAAHH&#220;T VE TİCARET A.Ş. False ODA ODA ODA Yeni İş Anlaşması Yeni İş İlişkisi - 1170830 False GESAN False 0
  12. 10 11.07.23 17:20 HİDROPAR HAREKET KONTROL TEKNOLOJİLERİ MERKEZİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1170457 False HKTM False 0
  13. 11 11.07.23 14:47 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1170397 False ASTOR False 0
  14. 12 11.07.23 14:46 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1170396 False ASTOR False 0
  15. 13 10.07.23 18:11 ONCOSEM ONKOLOJİK SİSTEMLER SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Denizli Pamukkale &#220;niversitesi ile imzalanan s&#246;zleşme hk. Yeni İş İlişkisi - 1169427 False ONCSM False 0
  16. 14 10.07.23 11:30 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1168462 False ASTOR False 0
  17. 15 10.07.23 11:07 GİRİŞİM ELEKTRİK SANAYİ TAAHH&#220;T VE TİCARET A.Ş. False ODA ODA ODA Yeni İş S&#246;zleşmesi Yeni İş İlişkisi - 1168455 False GESAN False 0
  18. 16 07.07.23 17:41 QUA GRANITE HAYAL YAPI VE &#220;R&#220;NLERİ SANAYİ TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1167427 False QUAGR False 0
  19. 17 07.07.23 13:47 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1167195 False ASTOR False 0
  20. 18 07.07.23 13:47 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1167194 False ASTOR False 0
  21. 19 07.07.23 11:38 SAY YENİLENEBİLİR ENERJİ EKİPMANLARI SANAYİ VE TİCARET A.Ş. False ODA ODA ODA GE (General Electic) Şirketiyle S&#246;zleşme İmzalanması Hk. Yeni İş İlişkisi - 1166961 False SAYAS False 0
  22. 20 06.07.23 16:44 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1166356 False ASTOR False 0
  23. 21 06.07.23 16:43 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1166355 False ASTOR False 0
  24. 22 06.07.23 09:08 G&#220;R-SEL TURİZM TAŞIMACILIK VE SERVİS TİCARET A.Ş. False ODA ODA ODA Yeni İş S&#246;zleşmesi Yeni İş İlişkisi - 1166112 False GRSEL False 0
  25. 23 05.07.23 16:54 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1165923 False ASTOR False 0
  26. 24 04.07.23 17:26 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1165386 False ASTOR False 0
  27. 25 04.07.23 08:58 YEO TEKNOLOJİ ENERJİ VE END&#220;STRİ A.Ş. False ODA ODA ODA Şirketin Yeni İş Alımı ve S&#246;zleşme İmzalanması Hakkında. Yeni İş İlişkisi - 1164986 False YEOTK False 0
  28. 26 03.07.23 18:47 ORGE ENERJİ ELEKTRİK TAAHH&#220;T A.Ş. False ODA ODA ODA Kalibre Boru &#199;atı G&#252;neş Enerji Santralleri Projesine ilişkin s&#246;zleşme imzalanması Yeni İş İlişkisi - 1164638 False ORGE False 0
  29. 27 03.07.23 09:23 AZTEK TEKNOLOJİ &#220;R&#220;NLERİ TİCARET A.Ş. False ODA ODA ODA InfinityLab markasının T&#252;rkiye yetkili distrib&#252;t&#246;rl&#252;ğ&#252;n&#252;n kazanılması hakkında Yeni İş İlişkisi - 1163177 False AZTEK False 0
  30. 28 23.06.23 17:36 SMART G&#220;NEŞ ENERJİSİ TEKNOLOJİLERİ ARAŞTIRMA GELİŞTİRME &#220;RETİM SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni iş ilişkisi Yeni İş İlişkisi - 1161927 False SMRTG True 0
  31. 29 22.06.23 18:31 ARD GRUP BİLİŞİM TEKNOLOJİLERİ A.Ş. False ODA ODA ODA Tesk A.Ş. İle S&#246;zleşme İmzalanması Hk. Yeni İş İlişkisi - 1161391 False ARDYZ False 0
  32. 30 21.06.23 18:22 AZTEK TEKNOLOJİ &#220;R&#220;NLERİ TİCARET A.Ş. False ODA ODA ODA Migros Ticaret A.Ş. ile imzalanan Tedarik S&#246;zleşmesi Hakkında Yeni İş İlişkisi - 1161014 False AZTEK False 0
  33. 31 21.06.23 16:19 CVK MADEN İŞLETMELERİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1160871 False CVKMD False 0
  34. 32 20.06.23 18:15 ALFA SOLAR ENERJİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1160562 False ALFAS True 0
  35. 33 19.06.23 20:46 KOCAER &#199;ELİK SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş Bağlantısı Yeni İş İlişkisi - 1160172 False KCAER True 0

huangapple
  • 本文由 发表于 2023年7月18日 04:26:46
  • 转载请务必保留本文链接:https://go.coder-hub.com/76707871.html
匿名

发表评论

匿名网友

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定