采集网易云音乐排行榜入库并将封面、mp3上传到oss

xiao9469 · 发表于 2023-4-21 22:11:53

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

网易云音乐排行榜地址：https://music.163.com/#/discover/toplist
采集网易云音乐排行榜入库并将封面、mp3上传到oss 采集,网易,网易云音乐,易云,音乐

采集内容：歌曲名称、歌手、歌曲时长、歌曲封面、歌曲本身mp3、歌曲id
经过分析：歌曲列表里的内容在网页上分为歌曲名称、属性两大部分组成，由页面js通过歌曲id对应上，再展示到页面，即你看到的页面。
由于下载歌曲封面、歌曲mp3并再上传到OSS可能会导致超时，所以分为两部分：一部分只取歌曲的基本信息，另一个程序根据基本信息取封面、mp3下载并上传到oss。

1、采集基本信息并入库：

public function mp3()
{
set_time_limit(0);
$caiji_list = 'https://music.163.com/discover/toplist';
$html = curl_($caiji_list);//自定义写的获取html信息函数，也可以直接用file_get_contents替换
preg_match('|(?<=<ul class="f-hide">)(.*?)(?=</ul>)|', $html, $matches);
if(empty($matches[0]))
{
echo '没有获取到数据';
return ;
}
$html2 = $matches[0];
unset($matches);
preg_match_all('/((id=(\d)+(?="))|((?<=">)(.*?)(?=<)))/', $html2, $matches);
if(empty($matches[0][0]))
{
echo '获取li里数据时错误';
return ;
}
$lis = $matches[0];
unset($matches);
$len = count($lis)/2;
for($i=0; $i<$len; $i++)
{
$j = $i * 2 + 1;
$k = $i * 2;
$data[$lis[$k]] = $lis[$j];
}
if(empty($data))
{
echo '组装好的$data数据为空';
return ;
}
//dd($data);// 示例数据： [id=1449794966] => 遇到，入库即可
$dbmusic = Db::name('music');
foreach($data as $k => $v)
{
$tmp = explode('=', $k);
$id = $tmp[1] ?? 0;
$row = $dbmusic->where('songid', $id)->find();
if(empty($row['songid']))
{
$insert_data = [
'title' => $v,
'songid'=> $id,
];
$dbmusic->insert($insert_data);
}
}
preg_match('/<textarea id="song-list-pre-data" style="display:none;">(.*?)<\/textarea>/',$html, $matches);
if(empty($matches[1]))
{
echo '无法匹配到歌曲其它信息';
return ;
}
$song_other = $matches[1];
unset($matches);
$json = json_decode($song_other, true);
foreach($json as $k => $v)
{
$id = $v['id'];
$duration = intval($v['duration']/100);
$artistName = $v['artists'][0]['name'] ?? '';
$update = [
'duration' => $duration,
'artistName'=> $artistName,
];
$dbmusic->where('songid', $id)->update($update);
}
echo $caiji_list . '基础数据已经入库';
return;
}

复制代码

2、根据基本信息获取图片、mp3下载到本地并上传到oss：

//采集图片、下载mp3
public function mp33()
{
set_time_limit(0);
$dbmusic = Db::name('music');
$rows = $dbmusic->where('songid', '<>', 0)->where('playPath', '')->select();
foreach($rows as $k => $v)
{
$urlimg = 'https://music.163.com/song?id='.$v['songid'];
$html = curl_($urlimg);
preg_match('/(?<=<img src=")(.*?)(?=" class="j-img")/', $html, $match);
if(empty($match[1]))
{
continue;
}
$remote_img_url = $match[1];
unset($match);
$img_short_name = $v['songid'].'.jpg';
$filename = TEMP_PATH . $img_short_name;
file_put_contents($filename, file_get_contents($remote_img_url));
if(is_file($filename))
{
$ret = upload_file_to_oss('home/music/20200523/', $filename);
$url = $ret['code'] == 200 ? $ret['data'] : '';
if($url)
{
$dbmusic->where('songid', $v['songid'])->update(['image'=>$url, 'create_time'=>time()]);
@unlink($filename);
}
}
//下载mp3
$download_url = 'http://music.163.com/song/media/outer/url?id='.$v['songid'].'.mp3';
$mp3_short_name = $v['songid'].'.mp3';
$mp3filename = TEMP_PATH . $mp3_short_name;
file_put_contents($mp3filename, file_get_contents($download_url));
if(is_file($mp3filename))
{
$ret = upload_file_to_oss('home/music/20200523/', $mp3filename);
$url = $ret['code'] == 200 ? $ret['data'] : '';
if($url)
{
$dbmusic->where('songid', $v['songid'])->update(['playPath' => $url]);
@unlink($mp3filename);
}
}
}
echo '数据已经更新，请查看';
return ;
}

复制代码

说实话，这些排行榜的音乐不符合我的胃口，听着想睡觉，没有抖音的音乐有劲、有情调。我基本上算是个抖音迷，每天都要刷刷。对于音乐，我喜欢我所喜欢的经典音乐。并非所有音乐我都会听。
本文只是练习正则来匹配自己想要的结果，仅此而已。如果本文侵犯了您的版权，可以联系我进行删除。

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
网站部分内容来源于网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

采集网易云音乐排行榜入库并将封面、mp3上传到oss

马上注册，免费下载更多dz插件网资源。

相关帖子

回复

More猜你喜欢

关于我们

服务支持

discuzaddons@vip.qq.com