ryan/mozjpeg
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Optimize 64-bit AVX2 h2v2 fancy upsampler

Browse Source 
Reduce register usage and eliminate unnecessary mov instructions
This commit is contained in:
DRC
2016-07-07 20:36:15 -05:00
parent 6d765524bc
commit c22e42e9a2
1 changed files with 86 additions and 102 deletions
Download Patch File Download Diff File Expand all files Collapse all files

186
simd/jdsample-avx2-64.asm
View File

@@ -65,7 +65,7 @@ EXTN(jsimd_h2v1_fancy_upsample_avx2):
push rbp push rbp
mov rax, rsp mov rax, rsp
mov rbp, rsp mov rbp, rsp
push_xmm 4 push_xmm 3
collect_args 4 collect_args 4
mov eax, r11d ; colctr mov eax, r11d ; colctr
@@ -81,11 +81,11 @@ EXTN(jsimd_h2v1_fancy_upsample_avx2):
mov rdi, JSAMPARRAY [rdi] ; output_data mov rdi, JSAMPARRAY [rdi] ; output_data
vpxor ymm0, ymm0, ymm0 ; ymm0=(all 0's) vpxor ymm0, ymm0, ymm0 ; ymm0=(all 0's)
vpcmpeqb xmm10, xmm10, xmm10 vpcmpeqb xmm9, xmm9, xmm9
vpsrldq xmm11, xmm10, (SIZEOF_XMMWORD-1) ; (ff -- -- -- ... -- --) LSB is ff vpsrldq xmm10, xmm9, (SIZEOF_XMMWORD-1) ; (ff -- -- -- ... -- --) LSB is ff
vpslldq xmm10, xmm10, (SIZEOF_XMMWORD-1) vpslldq xmm9, xmm9, (SIZEOF_XMMWORD-1)
vperm2i128 ymm10, ymm10, ymm10, 1 ; (---- ---- ... ---- ---- ff) MSB is ff vperm2i128 ymm9, ymm9, ymm9, 1 ; (---- ---- ... ---- ---- ff) MSB is ff
.rowloop: .rowloop:
push rax ; colctr push rax ; colctr
@@ -100,7 +100,7 @@ EXTN(jsimd_h2v1_fancy_upsample_avx2):
mov dl, JSAMPLE [rsi+(rax-1)*SIZEOF_JSAMPLE] mov dl, JSAMPLE [rsi+(rax-1)*SIZEOF_JSAMPLE]
mov JSAMPLE [rsi+rax*SIZEOF_JSAMPLE], dl ; insert a dummy sample mov JSAMPLE [rsi+rax*SIZEOF_JSAMPLE], dl ; insert a dummy sample
.skip: .skip:
vpand ymm7, ymm11, YMMWORD [rsi+0*SIZEOF_YMMWORD] vpand ymm7, ymm10, YMMWORD [rsi+0*SIZEOF_YMMWORD]
add rax, byte SIZEOF_YMMWORD-1 add rax, byte SIZEOF_YMMWORD-1
and rax, byte -SIZEOF_YMMWORD and rax, byte -SIZEOF_YMMWORD
@@ -108,38 +108,36 @@ EXTN(jsimd_h2v1_fancy_upsample_avx2):
ja short .columnloop ja short .columnloop
.columnloop_last: .columnloop_last:
vpand ymm6, ymm10, YMMWORD [rsi+0*SIZEOF_YMMWORD] vpand ymm6, ymm9, YMMWORD [rsi+0*SIZEOF_YMMWORD]
jmp short .upsample jmp short .upsample
.columnloop: .columnloop:
vmovdqu ymm6, YMMWORD [rsi+1*SIZEOF_YMMWORD] vmovdqu ymm6, YMMWORD [rsi+1*SIZEOF_YMMWORD]
vperm2i128 ymm8, ymm0, ymm6, 0x20 vperm2i128 ymm6, ymm0, ymm6, 0x20
vpslldq ymm6, ymm8, 15 vpslldq ymm6, ymm6, 15
.upsample: .upsample:
vmovdqu ymm1, YMMWORD [rsi+0*SIZEOF_YMMWORD] vmovdqu ymm1, YMMWORD [rsi+0*SIZEOF_YMMWORD] ; ymm1=( 0 1 2 ... 29 30 31)
vmovdqa ymm2, ymm1 vperm2i128 ymm2, ymm0, ymm1, 0x20
vmovdqa ymm3, ymm1 ; ymm1=( 0 1 2 ... 29 30 31) vpalignr ymm2, ymm1, ymm2, 15 ; ymm2=(-- 0 1 ... 28 29 30)
vperm2i128 ymm8, ymm0, ymm2, 0x20 vperm2i128 ymm4, ymm0, ymm1, 0x03
vpalignr ymm2, ymm2, ymm8, 15 ; ymm2=(-- 0 1 ... 28 29 30) vpalignr ymm3, ymm4, ymm1, 1 ; ymm3=( 1 2 3 ... 30 31 --)
vperm2i128 ymm8, ymm0, ymm3, 0x03
vpalignr ymm3, ymm8, ymm3, 1 ; ymm3=( 1 2 3 ... 30 31 --)
vpor ymm2, ymm2, ymm7 ; ymm2=(-1 0 1 ... 28 29 30) vpor ymm2, ymm2, ymm7 ; ymm2=(-1 0 1 ... 28 29 30)
vpor ymm3, ymm3, ymm6 ; ymm3=( 1 2 3 ... 30 31 32) vpor ymm3, ymm3, ymm6 ; ymm3=( 1 2 3 ... 30 31 32)
vpsrldq ymm7, ymm8, (SIZEOF_XMMWORD-1) ; ymm7=(31 -- -- ... -- -- --) vpsrldq ymm7, ymm4, (SIZEOF_XMMWORD-1) ; ymm7=(31 -- -- ... -- -- --)
vpunpckhbw ymm4, ymm1, ymm0 ; ymm4=( 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31) vpunpckhbw ymm4, ymm1, ymm0 ; ymm4=( 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31)
vpunpcklbw ymm8, ymm1, ymm0 ; ymm8=( 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23) vpunpcklbw ymm5, ymm1, ymm0 ; ymm5=( 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23)
vperm2i128 ymm1, ymm8, ymm4, 0x20 ; ymm1=( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15) vperm2i128 ymm1, ymm5, ymm4, 0x20 ; ymm1=( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15)
vperm2i128 ymm4, ymm8, ymm4, 0x31 ; ymm4=(16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31) vperm2i128 ymm4, ymm5, ymm4, 0x31 ; ymm4=(16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31)
vpunpckhbw ymm5, ymm2, ymm0 ; ymm5=( 7 8 9 10 11 12 13 14 23 24 25 26 27 28 29 30) vpunpckhbw ymm5, ymm2, ymm0 ; ymm5=( 7 8 9 10 11 12 13 14 23 24 25 26 27 28 29 30)
vpunpcklbw ymm8, ymm2, ymm0 ; ymm8=(-1 0 1 2 3 4 5 6 15 16 17 18 19 20 21 22) vpunpcklbw ymm6, ymm2, ymm0 ; ymm6=(-1 0 1 2 3 4 5 6 15 16 17 18 19 20 21 22)
vperm2i128 ymm2, ymm8, ymm5, 0x20 ; ymm2=(-1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14) vperm2i128 ymm2, ymm6, ymm5, 0x20 ; ymm2=(-1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14)
vperm2i128 ymm5, ymm8, ymm5, 0x31 ; ymm5=(15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30) vperm2i128 ymm5, ymm6, ymm5, 0x31 ; ymm5=(15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30)
vpunpckhbw ymm6, ymm3, ymm0 ; ymm6=( 1 2 3 4 5 6 7 8 17 18 19 20 21 22 23 24) vpunpckhbw ymm6, ymm3, ymm0 ; ymm6=( 1 2 3 4 5 6 7 8 17 18 19 20 21 22 23 24)
vpunpcklbw ymm8, ymm3, ymm0 ; ymm8=( 9 10 11 12 13 14 15 16 25 26 27 28 29 30 31 32) vpunpcklbw ymm8, ymm3, ymm0 ; ymm8=( 9 10 11 12 13 14 15 16 25 26 27 28 29 30 31 32)
@@ -189,7 +187,7 @@ EXTN(jsimd_h2v1_fancy_upsample_avx2):
.return: .return:
uncollect_args 4 uncollect_args 4
pop_xmm 4 pop_xmm 3
pop rbp pop rbp
ret ret
@@ -224,7 +222,7 @@ EXTN(jsimd_h2v2_fancy_upsample_avx2):
mov [rsp], rax mov [rsp], rax
mov rbp, rsp ; rbp = aligned rbp mov rbp, rsp ; rbp = aligned rbp
lea rsp, [wk(0)] lea rsp, [wk(0)]
push_xmm 4 push_xmm 3
collect_args 4 collect_args 4
push rbx push rbx
@@ -251,11 +249,11 @@ EXTN(jsimd_h2v2_fancy_upsample_avx2):
mov rdx, JSAMPROW [rdi+0*SIZEOF_JSAMPROW] ; outptr0 mov rdx, JSAMPROW [rdi+0*SIZEOF_JSAMPROW] ; outptr0
mov rdi, JSAMPROW [rdi+1*SIZEOF_JSAMPROW] ; outptr1 mov rdi, JSAMPROW [rdi+1*SIZEOF_JSAMPROW] ; outptr1
vpxor ymm9, ymm9, ymm9 vpxor ymm8, ymm8, ymm8 ; ymm8=(all 0's)
vpcmpeqb xmm10, xmm10, xmm10 vpcmpeqb xmm9, xmm9, xmm9
vpsrldq xmm11, xmm10, (SIZEOF_XMMWORD-2) ; (ffff ---- ---- ... ---- ----) LSB is ffff vpsrldq xmm10, xmm9, (SIZEOF_XMMWORD-2) ; (ffff ---- ---- ... ---- ----) LSB is ffff
vpslldq xmm10, xmm10, (SIZEOF_XMMWORD-2) vpslldq xmm9, xmm9, (SIZEOF_XMMWORD-2)
vperm2i128 ymm10, ymm10, ymm10, 1 ; (---- ---- ... ---- ---- ffff) MSB is ffff vperm2i128 ymm9, ymm9, ymm9, 1 ; (---- ---- ... ---- ---- ffff) MSB is ffff
test rax, SIZEOF_YMMWORD-1 test rax, SIZEOF_YMMWORD-1
jz short .skip jz short .skip
@@ -274,20 +272,20 @@ EXTN(jsimd_h2v2_fancy_upsample_avx2):
vmovdqu ymm1, YMMWORD [rcx+0*SIZEOF_YMMWORD] ; ymm1=row[-1][0] vmovdqu ymm1, YMMWORD [rcx+0*SIZEOF_YMMWORD] ; ymm1=row[-1][0]
vmovdqu ymm2, YMMWORD [rsi+0*SIZEOF_YMMWORD] ; ymm2=row[+1][0] vmovdqu ymm2, YMMWORD [rsi+0*SIZEOF_YMMWORD] ; ymm2=row[+1][0]
vpunpckhbw ymm4, ymm0, ymm9 ; ymm4=row[ 0]( 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31) vpunpckhbw ymm4, ymm0, ymm8 ; ymm4=row[ 0]( 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31)
vpunpcklbw ymm8, ymm0, ymm9 ; ymm8=row[ 0]( 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23) vpunpcklbw ymm5, ymm0, ymm8 ; ymm5=row[ 0]( 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23)
vperm2i128 ymm0, ymm8, ymm4, 0x20 ; ymm0=row[ 0]( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15) vperm2i128 ymm0, ymm5, ymm4, 0x20 ; ymm0=row[ 0]( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15)
vperm2i128 ymm4, ymm8, ymm4, 0x31 ; ymm4=row[ 0](16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31) vperm2i128 ymm4, ymm5, ymm4, 0x31 ; ymm4=row[ 0](16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31)
vpunpckhbw ymm5, ymm1, ymm9 ; ymm5=row[-1]( 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31) vpunpckhbw ymm5, ymm1, ymm8 ; ymm5=row[-1]( 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31)
vpunpcklbw ymm8, ymm1, ymm9 ; ymm8=row[-1]( 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23) vpunpcklbw ymm6, ymm1, ymm8 ; ymm6=row[-1]( 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23)
vperm2i128 ymm1, ymm8, ymm5, 0x20 ; ymm1=row[-1]( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15) vperm2i128 ymm1, ymm6, ymm5, 0x20 ; ymm1=row[-1]( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15)
vperm2i128 ymm5, ymm8, ymm5, 0x31 ; ymm5=row[-1](16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31) vperm2i128 ymm5, ymm6, ymm5, 0x31 ; ymm5=row[-1](16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31)
vpunpckhbw ymm6, ymm2, ymm9 ; ymm6=row[+1]( 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31) vpunpckhbw ymm6, ymm2, ymm8 ; ymm6=row[+1]( 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31)
vpunpcklbw ymm8, ymm2, ymm9 ; ymm8=row[+1]( 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23) vpunpcklbw ymm3, ymm2, ymm8 ; ymm3=row[+1]( 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23)
vperm2i128 ymm2, ymm8, ymm6, 0x20 ; ymm2=row[+1]( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15) vperm2i128 ymm2, ymm3, ymm6, 0x20 ; ymm2=row[+1]( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15)
vperm2i128 ymm6, ymm8, ymm6, 0x31 ; ymm6=row[+1](16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31) vperm2i128 ymm6, ymm3, ymm6, 0x31 ; ymm6=row[+1](16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31)
vpmullw ymm0, ymm0, [rel PW_THREE] vpmullw ymm0, ymm0, [rel PW_THREE]
vpmullw ymm4, ymm4, [rel PW_THREE] vpmullw ymm4, ymm4, [rel PW_THREE]
@@ -302,8 +300,8 @@ EXTN(jsimd_h2v2_fancy_upsample_avx2):
vmovdqu YMMWORD [rdi+0*SIZEOF_YMMWORD], ymm2 vmovdqu YMMWORD [rdi+0*SIZEOF_YMMWORD], ymm2
vmovdqu YMMWORD [rdi+1*SIZEOF_YMMWORD], ymm6 vmovdqu YMMWORD [rdi+1*SIZEOF_YMMWORD], ymm6
vpand ymm1, ymm1, ymm11 ; ymm1=( 0 -- -- -- -- -- -- -- -- -- -- -- -- -- -- --) vpand ymm1, ymm1, ymm10 ; ymm1=( 0 -- -- -- -- -- -- -- -- -- -- -- -- -- -- --)
vpand ymm2, ymm2, ymm11 ; ymm2=( 0 -- -- -- -- -- -- -- -- -- -- -- -- -- -- --) vpand ymm2, ymm2, ymm10 ; ymm2=( 0 -- -- -- -- -- -- -- -- -- -- -- -- -- -- --)
vmovdqa YMMWORD [wk(0)], ymm1 vmovdqa YMMWORD [wk(0)], ymm1
vmovdqa YMMWORD [wk(1)], ymm2 vmovdqa YMMWORD [wk(1)], ymm2
@@ -316,8 +314,8 @@ EXTN(jsimd_h2v2_fancy_upsample_avx2):
.columnloop_last: .columnloop_last:
; -- process the last column block ; -- process the last column block
vpand ymm1, ymm10, YMMWORD [rdx+1*SIZEOF_YMMWORD] vpand ymm1, ymm9, YMMWORD [rdx+1*SIZEOF_YMMWORD]
vpand ymm2, ymm10, YMMWORD [rdi+1*SIZEOF_YMMWORD] vpand ymm2, ymm9, YMMWORD [rdi+1*SIZEOF_YMMWORD]
vmovdqa YMMWORD [wk(2)], ymm1 ; ymm1=(-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 31) vmovdqa YMMWORD [wk(2)], ymm1 ; ymm1=(-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 31)
vmovdqa YMMWORD [wk(3)], ymm2 ; ymm2=(-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 31) vmovdqa YMMWORD [wk(3)], ymm2 ; ymm2=(-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 31)
@@ -331,20 +329,20 @@ EXTN(jsimd_h2v2_fancy_upsample_avx2):
vmovdqu ymm1, YMMWORD [rcx+1*SIZEOF_YMMWORD] ; ymm1=row[-1][1] vmovdqu ymm1, YMMWORD [rcx+1*SIZEOF_YMMWORD] ; ymm1=row[-1][1]
vmovdqu ymm2, YMMWORD [rsi+1*SIZEOF_YMMWORD] ; ymm2=row[+1][1] vmovdqu ymm2, YMMWORD [rsi+1*SIZEOF_YMMWORD] ; ymm2=row[+1][1]
vpunpckhbw ymm4, ymm0, ymm9 ; ymm4=row[ 0]( 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31) vpunpckhbw ymm4, ymm0, ymm8 ; ymm4=row[ 0]( 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31)
vpunpcklbw ymm8, ymm0, ymm9 ; ymm8=row[ 0]( 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23) vpunpcklbw ymm5, ymm0, ymm8 ; ymm5=row[ 0]( 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23)
vperm2i128 ymm0, ymm8, ymm4, 0x20 ; ymm0=row[ 0]( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15) vperm2i128 ymm0, ymm5, ymm4, 0x20 ; ymm0=row[ 0]( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15)
vperm2i128 ymm4, ymm8, ymm4, 0x31 ; ymm4=row[ 0](16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31) vperm2i128 ymm4, ymm5, ymm4, 0x31 ; ymm4=row[ 0](16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31)
vpunpckhbw ymm5, ymm1, ymm9 ; ymm5=row[-1]( 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31) vpunpckhbw ymm5, ymm1, ymm8 ; ymm5=row[-1]( 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31)
vpunpcklbw ymm8, ymm1, ymm9 ; ymm8=row[-1]( 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23) vpunpcklbw ymm6, ymm1, ymm8 ; ymm6=row[-1]( 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23)
vperm2i128 ymm1, ymm8, ymm5, 0x20 ; ymm1=row[-1]( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15) vperm2i128 ymm1, ymm6, ymm5, 0x20 ; ymm1=row[-1]( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15)
vperm2i128 ymm5, ymm8, ymm5, 0x31 ; ymm5=row[-1](16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31) vperm2i128 ymm5, ymm6, ymm5, 0x31 ; ymm5=row[-1](16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31)
vpunpckhbw ymm6, ymm2, ymm9 ; ymm6=row[+1]( 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31) vpunpckhbw ymm6, ymm2, ymm8 ; ymm6=row[+1]( 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31)
vpunpcklbw ymm8, ymm2, ymm9 ; ymm8=row[+1]( 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23) vpunpcklbw ymm7, ymm2, ymm8 ; ymm7=row[+1]( 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23)
vperm2i128 ymm2, ymm8, ymm6, 0x20 ; ymm2=row[+1]( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15) vperm2i128 ymm2, ymm7, ymm6, 0x20 ; ymm2=row[+1]( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15)
vperm2i128 ymm6, ymm8, ymm6, 0x31 ; ymm6=row[+1](16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31) vperm2i128 ymm6, ymm7, ymm6, 0x31 ; ymm6=row[+1](16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31)
vpmullw ymm0, ymm0, [rel PW_THREE] vpmullw ymm0, ymm0, [rel PW_THREE]
vpmullw ymm4, ymm4, [rel PW_THREE] vpmullw ymm4, ymm4, [rel PW_THREE]
@@ -359,9 +357,9 @@ EXTN(jsimd_h2v2_fancy_upsample_avx2):
vmovdqu YMMWORD [rdi+2*SIZEOF_YMMWORD], ymm2 vmovdqu YMMWORD [rdi+2*SIZEOF_YMMWORD], ymm2
vmovdqu YMMWORD [rdi+3*SIZEOF_YMMWORD], ymm6 vmovdqu YMMWORD [rdi+3*SIZEOF_YMMWORD], ymm6
vperm2i128 ymm1, ymm9, ymm1, 0x20 vperm2i128 ymm1, ymm8, ymm1, 0x20
vpslldq ymm1, ymm1, 14 ; ymm1=(-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 0) vpslldq ymm1, ymm1, 14 ; ymm1=(-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 0)
vperm2i128 ymm2, ymm9, ymm2, 0x20 vperm2i128 ymm2, ymm8, ymm2, 0x20
vpslldq ymm2, ymm2, 14 ; ymm2=(-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 0) vpslldq ymm2, ymm2, 14 ; ymm2=(-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 0)
vmovdqa YMMWORD [wk(2)], ymm1 vmovdqa YMMWORD [wk(2)], ymm1
@@ -370,35 +368,28 @@ EXTN(jsimd_h2v2_fancy_upsample_avx2):
.upsample: .upsample:
; -- process the upper row ; -- process the upper row
vmovdqu ymm7, YMMWORD [rdx+0*SIZEOF_YMMWORD] vmovdqu ymm7, YMMWORD [rdx+0*SIZEOF_YMMWORD] ; ymm7=Int0L=( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15)
vmovdqu ymm3, YMMWORD [rdx+1*SIZEOF_YMMWORD] vmovdqu ymm3, YMMWORD [rdx+1*SIZEOF_YMMWORD] ; ymm3=Int0H=(16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31)
vmovdqa ymm0, ymm7 ; ymm7=Int0L=( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15) vperm2i128 ymm0, ymm8, ymm7, 0x03
vmovdqa ymm4, ymm3 ; ymm3=Int0H=(16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31) vpalignr ymm0, ymm0, ymm7, 2 ; ymm0=( 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 --)
vperm2i128 ymm8, ymm9, ymm0, 0x03 vperm2i128 ymm4, ymm8, ymm3, 0x20
vpalignr ymm0, ymm8, ymm0, 2 ; ymm0=( 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 --)
vperm2i128 ymm4, ymm9, ymm4, 0x20
vpslldq ymm4, ymm4, 14 ; ymm4=(-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 16) vpslldq ymm4, ymm4, 14 ; ymm4=(-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 16)
vmovdqa ymm5, ymm7 vperm2i128 ymm5, ymm8, ymm7, 0x03
vmovdqa ymm6, ymm3
vperm2i128 ymm5, ymm9, ymm5, 0x03
vpsrldq ymm5, ymm5, 14 ; ymm5=(15 -- -- -- -- -- -- -- -- -- -- -- -- -- -- --) vpsrldq ymm5, ymm5, 14 ; ymm5=(15 -- -- -- -- -- -- -- -- -- -- -- -- -- -- --)
vperm2i128 ymm8, ymm9, ymm6, 0x20 vperm2i128 ymm6, ymm8, ymm3, 0x20
vpalignr ymm6, ymm6, ymm8, 14 ; ymm6=(-- 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30) vpalignr ymm6, ymm3, ymm6, 14 ; ymm6=(-- 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30)
vpor ymm0, ymm0, ymm4 ; ymm0=( 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16) vpor ymm0, ymm0, ymm4 ; ymm0=( 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16)
vpor ymm5, ymm5, ymm6 ; ymm5=(15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30) vpor ymm5, ymm5, ymm6 ; ymm5=(15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30)
vmovdqa ymm1, ymm7 vperm2i128 ymm2, ymm8, ymm3, 0x03
vmovdqa ymm2, ymm3 vpalignr ymm2, ymm2, ymm3, 2 ; ymm2=(17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 --)
vperm2i128 ymm8, ymm9, ymm1, 0x20 vperm2i128 ymm4, ymm8, ymm3, 0x03
vpalignr ymm1, ymm1, ymm8, 14 ; ymm1=(-- 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14)
vperm2i128 ymm8, ymm9, ymm2, 0x03
vpalignr ymm2, ymm8, ymm2, 2 ; ymm2=(17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 --)
vmovdqa ymm4, ymm3
vperm2i128 ymm4, ymm9, ymm4, 0x03
vpsrldq ymm4, ymm4, 14 ; ymm4=(31 -- -- -- -- -- -- -- -- -- -- -- -- -- -- --) vpsrldq ymm4, ymm4, 14 ; ymm4=(31 -- -- -- -- -- -- -- -- -- -- -- -- -- -- --)
vperm2i128 ymm1, ymm8, ymm7, 0x20
vpalignr ymm1, ymm7, ymm1, 14 ; ymm1=(-- 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14)
vpor ymm1, ymm1, YMMWORD [wk(0)] ; ymm1=(-1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14) vpor ymm1, ymm1, YMMWORD [wk(0)] ; ymm1=(-1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14)
vpor ymm2, ymm2, YMMWORD [wk(2)] ; ymm2=(17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32) vpor ymm2, ymm2, YMMWORD [wk(2)] ; ymm2=(17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32)
@@ -431,35 +422,28 @@ EXTN(jsimd_h2v2_fancy_upsample_avx2):
; -- process the lower row ; -- process the lower row
vmovdqu ymm6, YMMWORD [rdi+0*SIZEOF_YMMWORD] vmovdqu ymm6, YMMWORD [rdi+0*SIZEOF_YMMWORD] ; ymm6=Int1L=( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15)
vmovdqu ymm4, YMMWORD [rdi+1*SIZEOF_YMMWORD] vmovdqu ymm4, YMMWORD [rdi+1*SIZEOF_YMMWORD] ; ymm4=Int1H=(16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31)
vmovdqa ymm7, ymm6 ; ymm6=Int1L=( 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15) vperm2i128 ymm7, ymm8, ymm6, 0x03
vmovdqa ymm3, ymm4 ; ymm4=Int1H=(16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31) vpalignr ymm7, ymm7, ymm6, 2 ; ymm7=( 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 --)
vperm2i128 ymm8, ymm9, ymm7, 0x03 vperm2i128 ymm3, ymm8, ymm4, 0x20
vpalignr ymm7, ymm8, ymm7, 2 ; ymm7=( 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 --)
vperm2i128 ymm3, ymm9, ymm3, 0x20
vpslldq ymm3, ymm3, 14 ; ymm3=(-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 16) vpslldq ymm3, ymm3, 14 ; ymm3=(-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 16)
vmovdqa ymm0, ymm6 vperm2i128 ymm0, ymm8, ymm6, 0x03
vmovdqa ymm2, ymm4
vperm2i128 ymm0, ymm9, ymm0, 0x03
vpsrldq ymm0, ymm0, 14 ; ymm0=(15 -- -- -- -- -- -- -- -- -- -- -- -- -- -- --) vpsrldq ymm0, ymm0, 14 ; ymm0=(15 -- -- -- -- -- -- -- -- -- -- -- -- -- -- --)
vperm2i128 ymm8, ymm9, ymm2, 0x20 vperm2i128 ymm2, ymm8, ymm4, 0x20
vpalignr ymm2, ymm2, ymm8, 14 ; ymm2=(-- 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30) vpalignr ymm2, ymm4, ymm2, 14 ; ymm2=(-- 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30)
vpor ymm7, ymm7, ymm3 ; ymm7=( 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16) vpor ymm7, ymm7, ymm3 ; ymm7=( 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16)
vpor ymm0, ymm0, ymm2 ; ymm0=(15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30) vpor ymm0, ymm0, ymm2 ; ymm0=(15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30)
vmovdqa ymm1, ymm6 vperm2i128 ymm5, ymm8, ymm4, 0x03
vmovdqa ymm5, ymm4 vpalignr ymm5, ymm5, ymm4, 2 ; ymm5=(17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 --)
vperm2i128 ymm8, ymm9, ymm1, 0x20 vperm2i128 ymm3, ymm8, ymm4, 0x03
vpalignr ymm1, ymm1, ymm8, 14 ; ymm1=(-- 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14)
vperm2i128 ymm8, ymm9, ymm5, 0x03
vpalignr ymm5, ymm8, ymm5, 2 ; ymm5=(17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 --)
vmovdqa ymm3, ymm4
vperm2i128 ymm3, ymm9, ymm3, 0x03
vpsrldq ymm3, ymm3, 14 ; ymm3=(31 -- -- -- -- -- -- -- -- -- -- -- -- -- -- --) vpsrldq ymm3, ymm3, 14 ; ymm3=(31 -- -- -- -- -- -- -- -- -- -- -- -- -- -- --)
vperm2i128 ymm1, ymm8, ymm6, 0x20
vpalignr ymm1, ymm6, ymm1, 14 ; ymm1=(-- 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14)
vpor ymm1, ymm1, YMMWORD [wk(1)] ; ymm1=(-1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14) vpor ymm1, ymm1, YMMWORD [wk(1)] ; ymm1=(-1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14)
vpor ymm5, ymm5, YMMWORD [wk(3)] ; ymm5=(17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32) vpor ymm5, ymm5, YMMWORD [wk(3)] ; ymm5=(17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32)
@@ -514,7 +498,7 @@ EXTN(jsimd_h2v2_fancy_upsample_avx2):
.return: .return:
pop rbx pop rbx
uncollect_args 4 uncollect_args 4
pop_xmm 4 pop_xmm 3
mov rsp, rbp ; rsp <- aligned rbp mov rsp, rbp ; rsp <- aligned rbp
pop rsp ; rsp <- original rbp pop rsp ; rsp <- original rbp
pop rbp pop rbp