今天考虑一个mcu混合的实现,也就是接收多路过来的rtp流,然后转发出去一路的rtmp流,使用ffmpeg测试做的记录,刚开始一直通过ffmpeg推送的文件流不能满足要求,还是对参数配置不熟悉;
0、ffmpeg 命令格式:
$ ffmpeg \
-y \ # 全局参数
-c:a libfdk_aac -c:v libx264 \ # 输入文件参数
-i input.mp4 \ # 输入文件
-c:v libvpx-vp9 -c:a libvorbis \ # 输出文件参数
output.webm # 输出文件
下列为较常使用的参数:
-i——设置输入文件名。
-f——设置输出格式。
-y——若输出文件已存在时则覆盖文件。
-fs——超过指定的文件大小时则结束转换。
-t——指定输出文件的持续时间,以秒为单位。
-ss——从指定时间开始转换,以秒为单位。
-t从-ss时间开始转换(如-ss 00:00:01.00 -t 00:00:10.00即从00:00:01.00开始到00:00:11.00)。
-title——设置标题。
-timestamp——设置时间戳。
-vsync——增减Frame使影音同步。
-c——指定输出文件的编码。
-metadata——更改输出文件的元数据。
-help——查看帮助信息
影像参数:
-b:v——设置影像流量,默认为200Kbit/秒。(单位请引用下方注意事项)
-r——设置帧率值,默认为25。
-s——设置画面的宽与高。
-aspect——设置画面的比例。
-vn——不处理影像,于仅针对声音做处理时使用。
-vcodec( -c:v )——设置影像影像编解码器,未设置时则使用与输入文件相同之编解码器。
声音参数:
-b:a——设置每Channel(最近的SVN版为所有Channel的总合)的流量。(单位请引用下方注意事项)
-ar——设置采样率。
-ac——设置声音的Channel数。
-acodec ( -c:a ) ——设置声音编解码器,未设置时与影像相同,使用与输入文件相同之编解码器。
-an——不处理声音,于仅针对影像做处理时使用。
-vol——设置音量大小,256为标准音量。(要设置成两倍音量时则输入512,依此类推。)
-preset:指定输出的视频质量,会影响文件的生成速度,有以下几个可用的值 ultrafast, superfast, veryfast, faster, fast, medium, slow, slower, veryslow。
1、udp或者rtp推流
>最简单模式:
ffmpeg -re -i d:\videos\1080P.264 -vcodec copy -f rtp rtp://127.0.0.1:1234
ffplay接收端的命令:
ffplay -protocol_whitelist "file,udp,rtp" -i rtp://127.0.0.1:1234
>复杂模式,决定rtp包封装大小,封装格式,决定I帧间隔
ffmpeg -re -i tuiliu_mp4.mp4 -vcodec libx264 -b:v 800k -s 480x320 -preset:v ultrafast -tune:v zerolatency -an -f rtp -profile baseline -rtpflags h264_mode0 -pkt_size 1460 -slice-max-size 1400 -maxrate 600k -minrate 600k -r 20 -g 20 -keyint_min 20 -an -f rtp rtp://11.12.112.42:49196
关键命令参数说明:
-re一定要加,代表按照帧率发送
-i url (input) 输入文件路径或者 url
-vcodec libx264 ,表示使用x264重新编码
-b:v 800k 码率设置
-s 480x320 分辨率设置
-preset:v ultrafast 开启x264的 -preset fast/faster/verfast/superfast/ultrafast参数
-tune:v zerolatency 即时编码,去掉编码延迟
-profile: 设置编码等级,baseline, main, high
-payload_type :rtp的pt值
-pkt_size:rtp发送的最大长度
-slice-max-size:一个nula包数据的最大长度
-rtpflags h264_mode0 rtp打包模式 packetizition-mode=0, 当 packetization-mode 的值为 0 时或不存在时, 必须使用单一 NALU 单元模式.;当 packetization-mode 的值为 1 时必须使用非交错(non-interleaved)封包模式.;当 packetization-mode 的值为 2 时必须使用交错(interleaved)封包模式.
-pkt_size 1460
-slice-max-size 1400
-maxrate 600k
-minrate 600k (可以使用 -crf 24替换,控制视频码率和质量的均衡)
-r 20 设置帧率为20帧/s
-g 20 GOP间隔,每隔20个帧为一个GOP,两个关键帧之间的帧数称为一个GOP,将关键帧帧间隔设置为1s,也就是每秒一个关键帧
-keyint_min 20 最小关键帧间隔
-an 没有音频,“-an”(no audio)和“-vn”(no video)分别用来单独输出视频和音频
-f:rtp 强制ffmpeg采用某种格式,后跟对应的格式。
> 使用RTP分别发送音频流和视频流
FFmpeg命令:
ffmpeg -re -i <media_file> -an -vcodec copy -f rtp rtp://<IP>:5004 -vn -acodec copy -f rtp rtp://<IP>:5005 > test.sdp
FFplay接收的SDP文件:
SDP: v=2 m=video 5004 RTP/AVP 96 a=rtpmap:96 H264 t=0 0 a=framerate:25 c=IN IP4 192.168.0.100 m=audio 5005 RTP/AVP 97 a=rtpmap:97 PCM/8000/1 a=framerate:25 c=IN IP4 192.168.0.100
2、rtsp推流
ffmpeg -re -i /root/mp4/1.mp4 -vcodec copy -acodec copy -rtsp_transport tcp -f rtsp rtsp://192.168.2.161/live/rtsp_test
-rtsp_transport tcp 标识使用tcp作为rtp的通道
3、rtmp推流
ffmpeg -re -i /root/mp4/1.flv -vcodec copy -acodec copy -f flv rtmp://192.168.2.161/live/rtsp_test
修改-i参数为rtsp的地址,可以拉监控流然后转发为rtmp流:
ffmpeg -f rtsp -i rtsp://admin:xdddd1998@11.12.112.249:554/h264/ch1/sub/av_stream -vcodec libx264 -b:v 800k -s 480x320 -preset:v ultrafast -tune:v zerolatency -an -f rtp -profile baseline -rtpflags h264_mode0 -pkt_size 1460 -slice-max-size 1400 -maxrate 600k -minrate 600k -g 20 -keyint_min 20 -y rtp://11.12.112.42:62159
4、ffmpeg切片,很多人会问,直接播放mp4不就好了么,为什么要切片再播放?
如果是MP4文件,需要先完整的下载格式为 mp4 的视频文件,当视频文件下载完成后,网站才可以播放该视频,这就对于用户体验是极大的下降,所以需要切片为多个ts文件,以及m3u8文件,m3u8格式的视频是将文件分成一小段一小段的ts文件,播放完一个在播放下一个,由于每次请求的ts文件都很小,所以基本可以做到无延时播放:
切片mp4视频文件:
ffmpeg -i ./video.mp4 -c:v libx264 -hls_time 60 -hls_list_size 0 -c:a aac -strict -2 -f hls ./video.m3u8
切片mp3音频文件:
ffmpeg -i ./kczfrr.mp3 -c:a libmp3lame -map 0:0 -f segment -segment_time 10 -segment_list ./kczfrr.m3u8
web页面播放m3u8,一方面可以使用腾讯的js插件,另一方面就是使用video.js的插件:
引入相关资源 <link href="https://cdn.bootcss.com/video.js/6.3.3/video-js.min.css" rel="stylesheet"> <script src="https://cdn.bootcss.com/video.js/6.3.3/video.min.js"></script> <script src="https://cdn.bootcss.com/videojs-contrib-hls/5.11.0/videojs-contrib-hls.js"></script> <!–[if lt IE 9]> <script type="text/javascript" src="http://cdn.static.runoob.com/libs/html5shiv/3.7/html5shiv.min.js"></script> <![endif]–> 说明: video-js.min.css 是播放器的主题样式 video.min.js 是video.js的核心代码 videojs-contrib-hls.js 用于支持HLS的库文件 html5shiv.min.js 由于video.js是基于H5构建的播放器,所以在浏览器不支持H5的时候,需要将相关资源引入到浏览器 放置播放器控件 <video id="myVideo" class="video-js vjs-default-skin vjs-big-play-centered" width="400" controls="controls" autoplay="autoplay" x-webkit-airplay="true" x5-video-player-fullscreen="true" preload="auto" playsinline="true" webkit-playsinline x5-video-player-typ="h5"> <source type="application/x-mpegURL" src="https://cn4.creativemas.cn/ppvod/DD7AB8D25F6AD21E4291775FEAC1F710.m3u8"> </video> 说明: 该控件中用于播放一个网络上找的m3u8的视频资源 给控件一个id主要方便video.js获取控件对象 使用video.js <script> // videojs 简单使用 var myVideo = videojs('myVideo',{ bigPlayButton : true, textTrackDisplay : false, posterImage: false, errorDisplay : false, }) myVideo.play() // 视频播放 myVideo.pause() // 视频暂停 </script>
5、合并音视频
合并视频和音频 1、直接合并 视频文件中没有音频 ffmpeg -i video.mp4 -i audio.wav -c:v copy -c:a aac -strict experimental output.mp4video.mp4,audio.wav分别是要合并的视频和音频,output.mp4是合并后输出的音视频文件。 下面的命令是用audio音频替换video中的音频ffmpeg -i video.mp4 -i audio.wav -c:v copy -c:a aac -strict experimental -map 0:v:0 -map 1:a:0 output.mp4 2、先提取视频中的音频,将两个音频合并成一个音频,然后将合并的音频与视频进行合并 #获取视频中的音频 ffmpeg -i input.mp4 -vn -y -acodec copy output.aac #去掉视频中的音频 ffmpeg -i input.mp4 -an output.mp4 #合并两个音频 ffmpeg -i input1.mp3 -i output.aac -filter_complex amerge -ac 2 -c:a libmp3lame -q:a 4 output.mp3 #合并音频和视频 ffmpeg -i video.mp4 -i audio.wav -c:v copy -c:a aac -strict experimental output.mp4 3、合并视频 #横向合并视频 ffmpeg -i input1.mp4 -i input2.mp4 -lavfi hstack output.mp4 上面的命令虽然可以合并视频,两个视频可以正常播放,但是只保留了前面一个的音频。 #合并多个视频,可以使用下面命令行: ffmpeg -i input1.mp4 -i input2.mp4 -i input3.mp4 -lavfi hstack=inputs=3 output.mp4 #纵向合并视频 ffmpeg -i input1.mp4 -i input2.mp4 -lavfi vstack output.mp4 #网格合并视频,来源:https://www.zhihu.com/question/300182407 当多个视频时,还可以合并成网格状,比如2x2,3x3这种。但是视频个数不一定需要是偶数,如果是奇数,可以用黑色图片来占位。 ffmpeg -f lavfi -i color=c=black:s=1280x720 -vframes 1 black.png 该命令将创建一张1280*720的图片 然后就可以使用下面这个命令来合并成网格视频了,如果只有三个视频,可以选择上面创建的黑色图片替代。 ffmpeg -i top_left.mp4 -i top_right.mp4 -i bottom_left.mp4 -i bottom_right.mp4 \ -lavfi "[0:v][1:v]hstack[top];[2:v][3:v]hstack[bottom];[top][bottom]vstack" -shortest 2by2grid.mp4 上面创建的是正规的2x2网格视频。想象一下,现在只有三个视频,我想把第一个视频摆放在第一行的中间,然后把第二、三个视频摆放在第二行。那么就可以使用下面两个命令了。 ffmpeg -f lavfi -i color=c=black:s=640x720 -vframes 1 black.png ffmpeg -i black.png -i top_center.mp4 -i bottom_left.mp4 -i bottom_right.mp4 -lavfi "[0:v][1:v][0:v]hstack=inputs=3[top];[2:v][3:v]hstack[bottom];[top][bottom]vstack" -shortest 3_videos_2x2_grid.mp4 4、怎么合并两个视频并保留两个视频中的音频,注意视频的分辨率和格式必须一样。 #合并两个视频,只有一个声音; 纵向合并视频 ffmpeg -i input1.mp4 -i input2.mp4 -lavfi vstack output.mp4 #抽取两个视频中的音频,然后合并成一个音频; ffmpeg -i input_1.mp4 -vn -y -acodec copy output_a1.m4a ffmpeg -i input_2.mp4 -vn -y -acodec copy output_a2.m4a ffmpeg -i output_a1.m4a -i output_a2.m4a -filter_complex amerge -ac 2 -c:a copy -q:a 4 output_a.m4a #将这个音频替换到之前的合并视频中; ffmpeg -i video.mp4 -i output_a.m4a -c:v copy -c:a aac -strict experimental output.mp4 5、音频拼接 #两个拼接 /usr/local/ffmpeg/bin/ffmpeg -i d1.mp3 -i d2.mp3 -filter_complex '[0:0] [1:0] concat=n=2:v=0:a=1 [a]' -map [a] j5.mp3 #三个拼接 /usr/local/ffmpeg/bin/ffmpeg -i 片头.wav -i 内容.WAV -i 片尾.wav -filter_complex '[0:0] [1:0] [2:0] concat=n=3:v=0:a=1 [a]' -map [a] 合成.wav #多文件拼接 ffmpeg -f concat -ilist.txt -c copycutebaby.mp3 list.txt文件内容:à按顺序连接cutebaby_1.mp3, football.mp3,cutebaby_2.mp3,cutebaby_3.mp3 #拼接不同格式的文件,下面的命令合并了三种不同格式的文件,FFmpeg concat 过滤器会重新编码它们。注意这是有损压缩。 [0:0] [0:1] [1:0] [1:1] [2:0] [2:1] 分别表示第一个输入文件的视频、音频、第二个输入文件的视频、音频、第三个输入文件的视频、音频。concat=n=3:v=1:a=1 表示有三个输入文件,输出一条视频流和一条音频流。[v] [a] 就是得到的视频流和音频流的名字,注意在 bash 等 shell 中需要用引号,防止通配符扩展。 ffmpeg -i input1.mp4 -i input2.webm -i input3.avi -filter_complex '[0:0] [0:1] [1:0] [1:1] [2:0] [2:1] concat=n=3:v=1:a=1 [v] [a]' -map '[v]' -map '[a]' <编码器选项> output.mkv
6、添加字幕
linux 下使用 ffmpeg 的命令
ffmpeg -i input.mp4 -vf "subtitles=input.srt:force_style='FontName=Source Han Sans SC,Fontsize=27,PrimaryColour=&H88FFFFFF&'" -c:a copy -preset fast -crf 22 output.mp4
srt 字幕文件要注意编码方式,直接下载网上的字幕,使用时老是加不上硬字幕,即使在 ffmpeg 加了“-sub_charenc GB18030”参数还是不行,最后把 srt 文件转成 GB18030 编码方式。
FontName 里的名字可以用"fc-list :lang=zh"或"fc-list"命令查看已安装的字体名字。
PrimaryColour=&H88FFFFFF&,88 是字幕透明度(00 到 FF),FFFFFF 字幕颜色。
如果不加 force_style 参数,可能字幕的大小会很少。
7、FFMpeg转码命令:
1、wav和MP3转换 ffmpeg -i find_blue.wav -ac 1 -ar 8000 -b:a 16k -f mp3 test.mp3 其中: -ac 1 设置声道数为1 -ar 48000 设置采样率为48000Hz 2、wav和aac转换 注意m4a后缀和aac后缀是存在差异的: ffmpeg -i find_blue.wav -c:a libfdk_aac -ac 1 -ar 8000 -b:a 16k output.m4a liyizhang@AY13041521350096807f:~$ ffmpeg -i find_blue.wav -c:a aac -ac 1 -ar 8000 -b:a 16k output_aac3.aac ffmpeg -i find_blue.wav -c:a libfdk_aac -ac 1 -ar 8000 -b:a 16k output_aac_fdk.aac ffmpeg -i find_blue.wav -c:a aac -ac 1 -ar 8000 -b:a 12k output_aac_fdk_12k.aac ffmpeg -i find_blue.wav -c:a aac -ac 1 -profile:a aac_he -ar 8000 -b:a 16k output_aac2.aac -profile:a aac_he_v2 3.转MP3为wav ffmpeg -i input.mp3 -acodec pcm_s16le -ac 2 -ar 44100 output.wav 4.转m4a为wav ffmpeg -iinput.m4a -acodec pcm_s16le -ac 2 -ar 44100 output.wav 5.wav与PCM的相互转换 ffmpeg -iinput.wav -f s16le -ar 44100 -acodec pcm_s16le output.raw 6.PCM转wav ffmpeg -f s16le -ar 44100 -ac 2 -acodec pcm_s16le -i input.raw output.wav 7.用ffplay播放PCM ffplay -f s16le -ar 44100 -ac 2 **.raw
-------------------广告线---------------
项目、合作,欢迎勾搭,邮箱:promall@qq.com
本文为呱牛笔记原创文章,转载无需和我联系,但请注明来自呱牛笔记 ,it3q.com