相关动态
baidu.rar_baidu_baidu api_搜索引擎api_百度搜索api_百度的API
2024-11-10 18:20
import java.io.BufferedInputStream;

baidu.rar_baidu_baidu api_搜索引擎api_百度搜索api_百度的API

import java.io.BufferedReader; import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.net.HttpURLConnection; import java.net.MalformedURLException; import java.net.URL; import java.net.URLConnection; import java.net.URLEncoder; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import java.util.regex.Matcher; import java.util.regex.Pattern; import org.apache.commons.httpclient.*; import org.apache.commons.httpclient.methods.GetMethod; import org.apache.commons.httpclient.methods.PostMethod; import org.apache.commons.httpclient.params.HttpClientParams; import org.apache.commons.httpclient.params.HttpMethodParams; import org.jsoup.Jsoup; import org.jsoup.nodes.document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; public class BatchDownload { public static void main(String[] args) { //百度图片 String fromUrl = "http://image.baidu.com/i?tn=baiduimage&ct=201326592&cl=2&lm=-1&fr=&fmq=&pv=&ic=0&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&word=%B3%B5&s=0"; StringBuffer pageContents = new StringBuffer(); //System.out.println("asdasdas"); try{ URL startUrl = new URL(fromUrl); pageContents = downloadPage(startUrl); //System.out.println(pageContents); // if(pageContents.length()==0) System.out.println("asdasdas"); List<String> imgUrls = getImageUrls(pageContents); //System.out.println(imgUrls.size()); //downloadImages(pageContents); //if(pageContents.length()==0) System.out.println("asdasdas"); //System.out.println(pageContents); } catch(Exception e) { } } public static StringBuffer downloadPage(URL httpUrl)throws MalformedURLException,IOException { StringBuffer data = new StringBuffer(); String currentLine; // 打开输入流 BufferedReader reader = new BufferedReader(new InputStreamReader(getInputStream(httpUrl), "GBK")); // 读取数据 while ((currentLine = reader.readLine()) != null) { data.append(currentLine); } reader.close(); return data; } public static File downloadFile(String httpUrl, String fileSavePath)throws MalformedURLException, IOException { File file = new File(fileSavePath); if (!file.exists()) { file.createNewFile(); } URL url = new URL(httpUrl); // 打开输入流 BufferedInputStream in = new BufferedInputStream( getInputStream(url)); // 打开输出流 FileOutputStream out = new FileOutputStream(file); byte[] buff = new byte[1]; // 读取数据 while (in.read(buff) > 0) { out.write(buff); } out.flush(); out.close(); in.close(); return file; } private static void downloadImages(StringBuffer pageContents)throws MalformedURLException, IOException { // 获取html页面 StringBuffer page = pageContents; // 获取页面中的地址 List<String> imgUrls = getImageUrls(page); // 保存图片,返回文件列表 List<File> fileList = new ArrayList<File>(); String imgSaveDir="E:"; int i = 1; for (String url : imgUrls) { String fileName = url.substring(url.lastIndexOf("/") + 1); File file = downloadFile(url, imgSaveDir + "\" + fileName); System.out.println(file.getPath()+ " 下载完成!"); fileList.add(file); i++; } } private static InputStream getInputStream(URL httpUrl) throws IOException { // 网页Url URL url = httpUrl; URLConnection uc = url.openConnection(); uc.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)"); return uc.getInputStream(); } public static List<String> getImageUrls(StringBuffer html) { List<String> result = new ArrayList<String>(); // 将字符串解析为html文档 document doc = Jsoup.parse(html.toString()); // 获取img标签 Elements es =doc.getElementsByTag("img"); //Element es = doc.getElementById("script"); //Elements ss = new Elements(); //ss.add(es); //System.out.println(es.size()); //doc.getElementsByTag("img"); // 获取每一个img标签src的内容,也就是图片地址 for (Iterator<Element> i = es.iterator(); i.hasNext();) { Element e = i.next(); String r = e.attr("src"); Pattern p = Pattern.compile("http://.+\.(jpg|jpeg)"); Matcher m = p.matcher(r); if (m.matches()) { result.add(r); } } return result; }
    以上就是本篇文章【baidu.rar_baidu_baidu api_搜索引擎api_百度搜索api_百度的API】的全部内容了,欢迎阅览 ! 文章地址:http://ktsh.xhstdz.com/news/5174.html 
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 物流园资讯移动站 http://ktsh.xhstdz.com/mobile/ , 查看更多   
最新文章
苹果cms教程 centos 7
苹果CMS是一套成熟稳定的资源管理系统,可以用来搭建自己的影视网站。现在网络上大量的在线观看电影的网站,有很大一部分都是采
竞价托管
  随着互联网和电商的高速发展,越来越多的品牌企业正将电商渠道视为开拓和增长市场的重要手段。然而,对于许多企业而言,电商
生成式AI 开辟人工智能新纪元,AIGC赛道风起云涌(上)| 汉能云生态观察
作者 | 汉能创投小组「云生态观察」是汉能投资联合中关村云计算产业联盟(以下简称“云联盟”)共同推出的行业趋势洞察栏目,旨
古巴对中国公民实施免签入境,相关机票酒店搜索热度日环比增长逾40%
澎湃新闻消息,5月5日,据央视新闻报道,当地时间5月4日晚,在2024年古巴旅游节的闭幕式上,古巴旅游部长胡安卡洛斯加西亚宣布持
解决方案:360网站卫士优化百度收录,助力个人网站流量提升之行
身为个人网站运营者,我深知网站流量对其影响重大。近期,为提高网站在百度搜索中的收录率,我选择尝试使用360网站卫士进行优化
Linux网络服务DNS详解(不要混日子,小心日子把你们混了)
目录 一、DNS基本概念 1.1本地名称解析配置文件:hosts  1.2 修改DNS优先级 二、域名的分层结构 三、DNS解析过程 四、DN
智能科学与技术专业全国大学排名一览表(2025年最新100强)
智能科学与技术专业的全国大学排名榜单中,排名第一、实力最强的是北京大学。智能科学与技术专业排名前5强的学校是北京大学、南
百度竞价的价格排名如何查看?切实有效的查询途径
百度竞价的价格排名如何查看?切实有效的查询途径:百度推广账户后台中关键词的价格近似于真实出价的价格,而且在账户的后台,存
防止人肉搜索/保护个人隐私,Google Voice教程/GV号小白使用经验分享
    最近一段时间,大家上网越来越注重个人隐私了,我当然也一样。    就在今年早些时候,我微博账号被冻结,创建新号的
相关文章